mõõta intelligentsuse komponente (nagu öeldud, on kõrge Cronbachi alfa küll usaldusväärsuse eelduseks, aga mitte vältimatuks garantiiks).
Kuidas on seotud Cronbachi alfa ja korduvtestimise usaldusväärsus? Need on kaks erinevat näitajat. Näiteks Cronbachi alfa võib olla üsna madal, kuid sellele vaatamata võivad korduvtestimise tulemused olla kokkulangevad. Seega ühe põhjal pole võimalik teist reliaabluse indeksit ennustada.
Mõõtmisvea parandus. Usaldusväärsuse peamiseks ülesandeks on anda pilt selle kohta, milline osa saadud tulemustest võiks olla tingitud mõõdetavast suurusest ja milline osa mõõtmisveast. Näiteks oletame, et mingi testiga mõõdetud IQ skoori ja koolis saadud keskmiste hinnete korrelatsioonon r = 0,55. Selle testi sisereliaablus (Cronbachi alfa) on aga näiteks α = 0,85. Nüüd võib küsida, milline oleks korrelatsioon IQ ja koolihinnete vahel siis, kui vaimseid võimeid õnnestuks mõõta absoluutse usaldusväärsusega? Kui võtta arvesse mõõdiku ebausaldusväärsus, siis on „tegelik” korrelatsioon võrdne suhtega r´ = r/α (saadud korrelatsioon tuleb läbi jagada usaldusväärsuse koefitsiendiga). Konkreetse näite puhul r´ = 0,55/0,85 = 0,67. Seega oleks korrelatsioon ilma mõõtmisveata IQ mõõdiku ja koolihinnete vahel oluliselt kõrgem (0,67), kui ilma paranduseta toorkorrelatsioon (0,55).
Valiidsus
Tavaliselt on valiidsusele pühendatud peatükk psühhomeetria käsiraamatute kõige segasem osa. Segadust külvab eelkõige see, et autorid loetlevad mitmeid erinevaid valiidsuse vorme.
Pealevaatamise valiidsus. Näiteks räägitakse pealevaatamise valiidsusest (face validity). Kui keegi pakub välja, et kahe sirglõigu pikkuste eristamise võime mõõdab inimese intelligentsust, siis võib sellele ülesandele lihtsalt peale vaadates ilma uurimusi läbi viimata väita, et pikkuste võrdlemise katse ei mõõda inimese vaimseid võimeid. Niisuguse arvamuse põhjuseks võib olla asjaolu, et selliste lihtsate tajuülesannete lahendamine, mis ei nõua suurt kognitiivset pingutust, ei saa olla kuidagi seoses sellega, kuidas inimene näiteks lahendab Raveni kasvava raskusastmega testi ülesandeid. Tegelikult me aga teame, et kui muuta pikkuste eristamise ülesanne keerukamaks, esitades hindamist vajavad sirglõigud väga lühikeseks ajaks vahetult enne järgnevat kujutist, mis eelmise üle kirjutab ehk maskeerib, siis võib juhtuda, et vaimselt võimekamad inimesed vajavad õige otsuse tegemiseks lühemat vaatlusaega kui inimesed, kes saavad intelligentsustestides madalamaid skoore. Kuigi ülesandele lihtsast pealevaatamisest võib mõnikord kasu olla, ei või lõplikult kindel olla, kas mingi ülesanne tegelikult mõõdab või ei mõõda intelligentsust.
Kriteeriumi valiidsus. Teine populaarne valiidsuse liik on kriteeriumi valiidsus (criterion validity). Selle mõte on suhteliselt lihtne. Me teame, et mitmed tegevused eeldavad või lausa nõuavad kindlate vaimsete võimete olemasolu. Näiteks koolis või veelgi enam ülikoolis õppimine eeldab keskmisest kõrgemat vaimset võimekust. Järelikult, kui uurija konstrueerib intelligentsustesti, siis saab ta selle usaldusväärsust kontrollida sellega, kui tugevalt on testi skoor korreleeritud vastaja koolihinnetega. Kuna tavaliselt on korrelatsioon 0,50 või rohkem, siis võiks eeldada, et igal uuel väljatöötataval testil peaks olema koolihinnetega vähemalt sama kõrge korrelatsioon (vt pt „Vaimse võimekuse test VVT98”). Ainult niisugusel juhul on selle kriteeriumi valiidsuse nõue täidetud. Samuti on hästi teada, et täiskasvanud inimese intelligentsustase on heas seoses õppimiseks kulutatud aastatega. Seega on kriteeriumi valiidsus testi võime ennustada neid tagajärgi, mis sõltuvad testiga mõõdetavast omadusest.
Konstrukti valiidsus. Kõige raskem on mõista konstrukti valiidsuse (construct validity) tähendust. Võtame eelduseks, et usaldame ühte intelligentsuse mõõdikut, kas või näiteks Raveni SPMi. Nagu eespool öeldud, peavad mitmed autoriteetsed uurijad seda üheks kõige paremaks üldintelligentsust mõõtvaks testiks, mis on sealjuures suhteliselt vaba kultuuri mõjust (Jensen, 1998). Pika aja jooksul selle testiga tehtud uuringud on välja selgitanud mitmeid olulisi seoseid, mis tunduvad usaldatavate ja püsivatena: poisid ja tüdrukud saavad enam-vähem ühesuguseid skoore; korrelatsioon koolihinnetega on üle 0,50; suurem sünnikaal tähendab kõrgemaid skoore 7.–8. eluaastal; ema suitsetamine raseduse ajal langetab lapse intelligentsustesti skoori paari punkti võrra (Rahu, Rahu, Pullmann & Allik, 2010) jne. Kui nüüd keegi loob uue intelligentsustesti, siis eeldatakse, et see uus test peab olema sarnane teada-tuntud Raveni testiga selles mõttes, et ta kordab viimase põhilisi seoseid. Näiteks, kui uuel testil saavad tüdrukud palju kõrgemaid skoore kui poisid, siis on põhjust arvata, et uus test mõõdab midagi muud kui selle valdkonna seni parim ja usaldusväärseim test. Kui uue testi korrelatsioon koolihinnetega on ainult 0,20, siis on põhjust arvata, et test mõõdab peale vaimsete võimete veel midagi muud, mida ta ei peaks mõõtma (eeldusel, et probleem pole madalas reliaabluses).
Mis on valiidsus? Suure selguse valiidsuse kontseptsiooni tõi Denny Borsboom koos kolleegidega Amsterdami ülikoolist (Borsboom, 2005; Borsboom, Mellenbergh & van Heerden, 2004). Alustame näitest, et meid huvitab ühe väga lihtsa mõõdiku valiidsus. Küsime kõigi vastutulevate inimeste käest, milline on nende kasv. Järelikult küsimus on selles, missugune on enesehinnangulise küsimuse „Milline on teie pikkus?” valiidsus. Kellelgi ei teki ilmselt kahtlust, kuidas hinnata sellise küsimuse valiidsust. Enda antud hinnangu valiidsust saab kontrollida sel teel, et mõõdame mingi kontrollitud füüsikalise protseduuri abil (nt mõõdulindiga) inimese tegelikku pikkust. Tegeliku ja enda hinnatud pikkuse korrelatsioon ongi viimase valiidsuse mõõdupuuks: mida lähemal on enda hinnangud objektiivselt mõõdetud pikkusele, seda usaldusväärsem ja seega ka valiidsem on enese antud hinnangutel põhinev meetod. Vahemärkusena olgu öeldud, et arenenud riikides, kus on tavaks teada oma pikkust, on see korrelatsioon märkimisväärselt kõrge ja on tavaliselt 0,95 ringis või isegi suurem. Niisuguse kõrge korrelatsiooni põhjused on hästi arusaadavad. Inimesed mõõdavad ennast ise või lasevad seda kellelgi teisel teha ja jätavad mõõdetud pikkuse meelde. Enda hinnatud pikkuse ja füüsilisel mõõtmisel saadu kõrge korrelatsioon näitab, et erinevad pikkuse mõõtmised – varasem mõõtmine, mille põhjal inimene teab, milline on tema pikkus, ja hilisem mõõtmine, mis on tehtud kontrollimaks enese hinnatud pikkust – on heas kooskõlas ja ka vead varasema mõõtmistulemuse meelespidamises pole väga suured.
Intelligentsuse või mõne muu psühholoogilise omaduse mõõtmise valiidsus ei erine millegi olulise poolest enda hinnatud pikkuse valiidsuse näitest. Mõlemal juhul peab olema mingi reaalselt eksisteeriv omadus X (nt pikkus või intelligentsus), mis määrab ära, kui kõrge skoori saab inimene mõõdikul, mis seda X omadust mõõdab. Väikesekasvuline inimene hindab oma pikkuseks väiksema arvu ja saab ka mõõtmise käigus väiksema näidu kui inimene, kes on temast pikem. Täpselt sama moodi peab vaimselt vähevõimekas inimene saama intelligentsustestis madalama skoori kui suurema vaimse võimekusega inimene. Ainus pikkuse ja intelligentsuse erinevus on see, et on olemas lihtne ja enesehinnangust sõltumatu protseduur, kuidas inimese tegelikku pikkust kindlaks teha. Intelligentsuse jaoks sellist protseduuri veel ei ole, sest pole veel täpselt teada, millised aju ehituslikud ja talitluslikud iseärasused eristavad vähem intelligentset inimest intelligentsemast. Põhimõtteliselt on ilmselt võimalik (ehkki lähitulevikus vähe tõenäoline), et tulevikus piisab intelligentsuse kindlakstegemiseks mingi seadmega kindlate mõõtmiste tegemisest (nt tuleb hinnata hallolluse mahtu mõnes kindlas ajupiirkonnas ja kiirust, millega informatsioon levib ühest ajupiirkonnast teise – seda saab kaudselt mõõta vee difusiooni kiirusega ajus). Praegu me igatahes täpselt ei tea, milliseid parameetreid see seade peaks mõõtma, et saada piisavalt täpne hinnang intelligentsustaseme kohta. Kui niisugused mõõtmised tõesti osutuvad tulevikus võimalikuks, siis saab igat intelligentsustesti skoori võrrelda selle objektiivse intelligentsusekriteeriumiga.
Mida siis teha olukorras, kui omaduse X mõõtmiseks polegi välja mõeldud midagi muud kui needsamad psühholoogide leiutatud testid? Sellisel juhul ei saagi me rangelt võttes rääkida valiidsusest, sest me ei tea, sõltumata testist endast, midagi omaduse X kohta. Kui leppida määratlusega, et intelligentsus on
