udgør en test af respondenternes viden om demokratiet, deres evne til at fortolke politisk kommunikation og deres kundskaber og færdigheder vedrørende økonomi. Dette kapitel omhandler denne test og dens forskellige delresultater. 16 af de 43 spørgsmål er gentagelser af et udvalg af spørgsmål fra grundskoleundersøgelsen (især nogle af de lidt sværere), mens 27 spørgsmål er nye og specielt tilpasset aldersgruppen. Denne test fungerede tilfredsstillende i pilotundersøgelser og blev derfor efter mindre justeringer anvendt i alle lande til testen. På baggrund af en efterfølgende psykometrisk test kunne det fastslås, at 40 spørgsmål havde tilfredsstillende statistiske egenskaber i alle lande. Resultaterne nedenfor vedrører med andre ord svarene på disse 40 spørgsmål ud af testens i alt 43 spørgsmål. Alle spørgsmålene er udformet som “multiple choice” spørgsmål, hvor respondenten skal finde det rigtige svar på spørgsmålet ved at vælge imellem fire forskellige muligheder.
De 40 testspørgsmål fordeler sig indholdsmæssigt i tre hovedgrupper med 14 kundskabsspørgsmål om kendetegn ved demokratiske samfund, 12 færdighedsspørgsmål relateret til evne til at fortolke politisk kommunikation af forskellig art og 14 kombinerede kundskabs- og færdighedsspørgsmål om samfundsøkonomi. I den tidligere test til grundskoleniveauet indgik kun et par enkelte spørgsmål med relation til økonomi, men dette tema er til ungdomsundersøgelsen udvidet til en selvstændig hovedgruppe.
De to første underinddelinger mellem kundskabs- og færdighedsspørgsmål er først og fremmest begrundet i spørgsmålenes formelle karakter. Kundskabsspørgsmålene kan siges at orientere sig mod respondenternes viden om kendetegn ved demokratiske samfund. Der er ikke tale om en test af “paratviden” i traditionel forstand, men om en test af evne til at identificere sådanne kendetegn.
Færdighedsspørgsmålene har lidt mere opgavekarakter, idet de relaterer sig til evnen til at forstå et konkret stykke politisk orienteret materiale. Tematisk overlapper disse to grupper undertiden hinanden. Den tredje underinddeling, økonomiske spørgsmål, er derimod alene begrundet tematisk, og omfatter altså både kundskabsspørgsmål og færdighedsspørgsmål. Det kan siges at være lidt uheldigt, hvis man interesserer sig for distinktionen mellem kundskaber og færdigheder, men IEA har valgt at betragte spørgsmålene om økonomi som noget særskilt. De økonomiske spørgsmål har en klar overvægt af teknisk orienterede spørgsmål, der vedrører respondenternes forståelse af markedsmekanismer såsom forholdet mellem udbud og efterspørgsel.
IEA offentliggør i den internationale rapport (Amadeo et al. 2002) resultaterne af denne test på en række såkaldte “skalaer”. Betegnelsen skala kan siges at dække over en analyseform/præsentationsform, der i udgangspunktet kan betegnes som konstruktioner af “samlevariable”. Der er konkret tale om, at data fra et udvalg af spørgeskemaundersøgelsens manifeste variable (her altså de enkelte spørgsmål i testen) sættes sammen som mål for samme latente variabel. Eksempelvis kan de 14 spørgsmål om økonomi siges at udgøre en test af respondentens “økonomiske kundskaber og færdigheder”, hvorfor den enkelte respondents resultat kan opgøres som én talværdi for dennes svar på disse 14 spørgsmål under ét. Den enkelte respondent får altså udregnet en “skala-score”, der forenklet udtrykt er dennes “gennemsnitlige” resultat. De enkelte landes resultater kan derefter udregnes som gennemsnittet af de respektive landes respondenters skalascores. Derefter kan de præsenteres i en form, hvor de enkelte landes resultater kan sammenlignes. Den største umiddelbare fordel ved denne metode er, at man får reduceret den meget omfattende datamængde fra enkeltspørgsmål til nogle ret få skalaer. Der kan argumenteres for, at man også får mere pålidelige resultater, når man samler forskellige variable, der måler “det samme”, frem for at forlade sig på svarfordelinger for enkeltspørgsmål, der typisk vil have en mindre grad af præcision sammenlignet med samlevariablens. Det kan i øvrigt bemærkes, at der i beregningen af den enkelte respondents skalascore også indgår en vurdering af de rigtigt besvarede spørgsmåls sværhedsgrad.
Som sådan vil vi ikke her tage den mere tekniske diskussion af de statistiske beregninger af dette. For en nærmere diskussion heraf henvises til IEAs rapporter + tekniske rapporter. Se også kapitel 4 senere i denne bog samt Bruun 2001.
Det kan også bemærkes, at der overalt benyttes vægtede tal. Vægtningen benyttes i hovedsagen til at korrigere for stratificerede stikprøver. Den danske stikprøve er imidlertid kun implicit stratificeret, af hvilken grund vægtningen kun har helt perifer betydning for de danske resultater. Se også indledningen til kapitel 2. Alle procenttal i tabellerne er vægtede valide procenter.
Pointen er under alle omstændigheder, at de nævnte inddelinger af testens 40 spørgsmål præsenteres i form af fire skalaer: En for kundskaber, en for færdigheder, en for de samlede kundskaber og færdigheder og en for økonomi.
Da der er en høj statistisk korrelation mellem skalaerne for henholdsvis kundskaber og færdigheder, kan disse to underskalaer også opfattes som én samlet skala, mens skalaen for økonomi både indholdsmæssigt og statistisk kan siges at være mere selvstændig. Den korrelerer eksempelvis ikke helt så tydeligt med kundskaber som med færdigheder. IEA påpeger i øvrigt også, at dette emne i nogle lande ikke anses for så centralt (for “civic education”). Af samme grund har IEA valgt at holde økonomi-skalaen adskilt fra de øvrige i den internationale rapport. Dertil kommer, at det kan være en fordel kun at inkludere de 14 kundskabsspørgsmål og de 12 færdighedsspørgsmål i “totalskalaen”, fordi dette giver en lidt mere direkte sammenlignelighed med totalskalaen fra 14-årsundersøgelsen, hvor totalskalaen netop kun bestod af kundskaber og færdigheder. IEA har dog også udregnet en totalskala for samtlige tre dimensioner af spørgsmål i testen, der altså er det mest omfattende udtryk for respondentens samlede faglige niveau, men IEA offentliggør den ikke i den internationale rapport.
I det følgende skal vi først se på Danmarks placeringer og resultater på disse skalaer, idet der først ses på skalaen for det kombinerede resultat for kundskaber og færdigheder, dernæst på kundskaber og færdigheder hver for sig og afslutningsvis på økonomi. Efterfølgende gives eksempler på de spørgsmål, der indgår i testen. IEA har “frigivet” 19 spørgsmål, der må offentliggøres, mens resten af testen betragtes som fortrolig. For hvert af disse 19 spørgsmål præsenteres foruden ordlyden også svarfordelingen for samtlige 14 lande, således at det kan ses helt konkret, hvor Danmark placerer sig på disse 19 forskellige spørgsmål. Desuden præsenteres kønsfordelingen for Danmark. Som sagt er det kun tilladt at offentliggøre ordlyden af netop disse 19 spørgsmål. IEA forestiller sig nemlig muligheden af at gentage testen på et senere tidspunkt og vil derfor undgå, at testen kommer til at cirkulere som undervisningsmateriale eller evalueringsmateriale.
Der er flere principielle vanskeligheder forbundet med at betragte de enkelte landes resultater på denne test som “retfærdige” sammenligninger. Derfor er landenes resultater i IEAs officielle tabeller ikke rangordnet efter resultat. Landene står i stedet i alfabetisk orden. Når der i det følgende undertiden optræder rangordnede tabeller, er det ikke, fordi vi er grundlæggende uenige i disse forbehold (jf. efterfølgende afsnit om sammenlignelighedsproblemer), men fordi rangordnede tabeller giver et mere letlæseligt overblik.
Som udgangspunkt skal man være opmærksom på, at testen er udviklet for at kunne udtale sig om elevernes kundskaber og færdigheder på disse givne områder, som alle lande i det internationale samarbejde har været enige om er relevante. Intentionen har således ikke været, som i mange andre kvantitative undersøgelser, at udvikle et instrument til at skelne mellem elever på forskelligt niveau, men derimod at undersøge, hvad eleverne kan på nogle konkret udvalgte områder. Dermed er ikke sagt, at testen ikke i praksis til en vis grad skelner dygtige elever fra mindre dygtige elever. Man kan for den sags skyld også have en stærk formodning om, at elever med godt resultat på denne test også er fagligt stærke på andre områder (eksempelvis kræver testen både en vis “læsekompetence” og en vis “matematikkompetence”). Som sådan er der imidlertid ikke udviklet særlige egenskaber ved testen, som definerer, hvad et “godt resultat”
