på disse overvejelser er imidlertid, at det hverken er retfærdigt at sammenligne efter alder alene eller efter klassetrin alene. Elever på samme klassetrin, der har forskellig alder, vil nemlig have haft forskellige skoleforløb. Hvis man vil have den mest “retfærdige” sammenhæng forstået som en sammenligning af samme slags elever, må man ikke blot medtænke alder og klassetrin, men også relationen mellem alder og klassetrin (og dermed skoleforløbet eller “skolealder”). I det mindste når man når op i ungdomsuddannelserne, vil en markant forskel i alder på samme klassetrin nemlig ofte afspejle forskelle i skoleforløb, der typisk er et indirekte udsagn om forskelle i dygtighed eller andre omstændigheder. Som antydet er det reelt ikke så underligt, at de yngste på et givent klassetrin på ungdomsuddannelsesniveau er de dygtigste, da det kan konkluderes, at disse elever har været i stand til at nå det givne trin på kortest mulig tid (normeret tid). Derfor er det ikke nødvendigvis en ulempe (og dermed en uretfærdig sammenligning), hvis et land har en tilsyneladende “ung” stikprøve på et givent trin i ungdomsuddannelserne. Det kan jo også afspejle, at de givne elever har været i stand til at holde uddannelsessystemets tidsplan.
Konklusionen er dog også, at IEAs forsøg på at korrigere for alderseffekten er meget lidt overbevisende. På individniveau er der internationalt kun en ganske svag sammenhæng mellem alder og testresultat. I Danmark er sammenhængen ligefrem negativ. Sammenhængen mellem alder og testresultat er langt større, når der måles på landeniveau, hvilket er en klar indikation af, at der rent faktisk er forskelle på lande, som netop ikke lader sig forklare alene ved at henvise til deres forskellige aldersgennemsnit.
Meget tyder altså på, at IEA i sin vilje til at rapportere retfærdige sammenligninger har været alt for indstillet på at skulle korrigere for den tilsyneladende indlysende uretfærdighed, at forskellige lande har en forskel i stikprøvens (biologiske) alder. Selv om det naturligvis i sig selv er vigtigt at få påvist, at denne sammenhæng rent faktisk næsten ikke er til stede, lige så vigtigt er det på sin vis at problematisere hele “retfærdighedsdiskussionen”. Den forudsætter jo, at man som mål har at finde ud af, hvem der er dygtigst, bedst etc. Imidlertid er resultaterne i undersøgelsen sammenlignelige på mange andre interessante måder, hvis blot man undlader at læse resultaterne som en “kamp” mellem lande. Vel vidende at der kan være mange gode grunde til, at nogle populationer er dygtigere end andre, er det jo interessant for undersøgelsen som helhed at kunne sammenholde elevernes politiske dannelse på en række andre områder med elevernes dygtighedsniveau. Frem for at forsøge sig med nogle kunstige og under alle omstændigheder umulige forsøg på at korrigere skalascores for alder eller klassetrin er det således langt mere nærliggende og frugtbart at tage mere afslappet på den retfærdige sammenligning og i stedet blot se på undersøgelsen som en sammenligning af forskellige ungdomsgrupper fra forskellige lande, der trods alt er på næsten samme sted i livet. Det bliver undersøgelsen ikke ringere af, tværtimod.
Dækningsgradsproblemet
En anden vanskelighed for den internationale sammenlignelighed er populationernes forskellige sammensætning. Problemet vedrører altså definitionen af undersøgelsespopulationen i de respektive lande. IEAs regler for indsamling af stikprøve er i udgangspunktet meget entydige, men når de konkret skal anvendes i forskellige lande med forskellige uddannelsessystemer (forskellige skoletyper, uddannelsesforløb etc.), er det alligevel ikke muligt at opnå målet: At populationerne bliver sammensat helt identisk på tværs af lande. Til dette “tekniske” problem kan så tilføjes, at forskellige lande har haft lidt forskellige intentioner med undersøgelserne. Sådanne mindre forskelle betød, at man i sidste ende enedes om den generelle målsætning, at undersøgelsen skulle foretages på det klassetrin tættest på afslutningen af ungdomsuddannelsesforløbet (upper secondary education), som det enkelte land havde primær forskningsinteresse i (se Amadeo et al. 2002, s. 61). Der var også en vis enighed om, at man meget gerne måtte stræbe efter de 18- årige.
I IEAs rapport diskuteres problemet om undersøgelsernes forskellighed ud fra begrebet “coverage” (dækningsgrad). Grundskoleundersøgelsen omfattede i alle lande stort set alle skolesøgende børn af den givne alder (med undtagelse af specialskoler for børn med særlige handikap og lignende). Selv om der naturligvis kan være lidt forskel på, hvor store andele børn der går på sådanne særlige skoler i forskellige lande, er det i praksis uden større betydning for undersøgelsen. Der var med andre ord tale om relativt ensartede stikprøver, der i alle tilfælde kunne siges at være repræsentative for populationen af aldersgruppen.
Noget tilsvarende gælder imidlertid ikke på samme enkle vis for en undersøgelse på ungdomsuddannelsesniveau, hvor der i forskellige lande dels er forskel på, hvor store andele af en årgang der fortsat er skolesøgende, dels er store forskelle på den skolestruktur, som disse skolesøgende er indplaceret i. Derfor opstår der ret store forskelle på, hvor stor en del af kohorten (en ungdomsårgang) der indgår i den konkrete population, hvoraf man udtager stikprøven. Det er i udgangspunktet vigtigt at præcisere, at det aldrig har været undersøgelsens intention at undersøge så stor en del af kohorten som muligt. I givet fald skulle man jo have benyttet en helt anden metode at udtage stikprøver på. Ikke desto mindre giver det nogle problemer, hvis man i sammenligninger mellem lande antager, at de enkelte landes resultater er direkte sammenlignelige som landsresultater. Det er de ikke, fordi der rent faktisk er ret stor forskel på, hvor bredt undersøgelserne dækker de forskellige landes ungdomsgrupper.
I IEAs rapport har man valgt at tydeliggøre forskellene mellem de deltagende landes stikprøver ved at angive, hvilken procentdel landenes populationer udgør af landenes kohorter. Dette kaldes undersøgelsens “coverage” (dækningsgrad). For at få beregnet sammenlignelige værdier i alle lande har IEA taget udgangspunkt i det totale antal 15-19-årige i hvert land og divideret dette med 5 for at få et (tilnærmet) antal personer for en gennemsnitsårgang. Derefter kan det let regnes ud, hvor stor en andel af denne gennemsnitlige årgangsstørrelse hvert lands samlede undersøgelsespopulation udgør. Denne beregningsmetode anvendes for at få en sammenlignelig beregning for alle lande, (men er i øvrigt ikke nødvendigvis helt nøjagtig). Den konkrete dækningsgrad fremgår af IEAs tabeller for de forskellige skalascores (jf. tidligere).
Dækningsgradsindekset påvirkes af forskellige faktorer. Eksempelvis af, hvilken andel af ungdommen der får en uddannelse efter grundskoleniveau, men også af, hvor mange af disse der i øvrigt falder inden for reglerne for udtagelse af stikprøve (jf. tidligere). I tabellerne angives under alle omstændigheder under overskriften “coverage” den procentdel af den samlede kohorte (årgang), der er blevet udtaget stikprøver fra i de forskellige lande. Man får altså et indtryk af, hvor bredt undersøgelsen dækker et lands ungdom. Per definition har unge uden for uddannelsessystemet (skolesystemet) været udelukket på forhånd. Det er således ikke nødvendigvis en entydig kvalitet ved et lands undersøgelse, at den dækker bredt, men naturligvis heller ikke nødvendigvis et udtryk for mangel på kvalitet. Som sådan er et højt tal hverken bedre eller dårligere end et lavt, men store forskelle i dækningsgrad er en indikation af, at der er tale om ret forskelligartede undersøgelser.
Desuden skal man være opmærksom på, at to lande med lige stor dækningsgrad ikke nødvendigvis er bedre (mere “retfærdigt”) sammenlignelige end to lande med forskellig dækningsgrad. Den samme dækningsgrad behøver jo ikke at dække over samme typer af skoler i forskellige lande. Man kan jo ikke konkludere, at eksempelvis en IEA-“coverage” på 60 indebærer, at et land dermed har præcis 60% dygtigste af årgangen i populationen. Der vil naturligvis være en tendens til, at en mindre dækningsgrad er ensbetydende med en mere selektiv udvælgelse, altså at eksempelvis kun bestemte skoletyper omfattes. Det vil givetvis også ofte være sådan, at de mere erhvervsrettede og håndværksmæssige uddannelser omfattes i mindre grad, jo mindre dækningsgraden er. Man skal således være opmærksom på, at ingen af undersøgelserne overhovedet kan påstås at være helt repræsentative for kohorten (hvad det norske tal på 99 synes at antyde), da unge uden for uddannelsessystemet per definition ikke er inkluderet i målgruppen.
