onsdag 4 november 2009

Förutsägelse eller förståelse i testteorin

Den som studerar teorin för psykologiska test märker snart att det ytterst handlar om att göra prognoser. Test utvärderas efter hur bra de är i den funktionen, oftast genom att man skaffar in kriteriedata, t ex data på arbetsprestation, och sedan beräknar sambandet mellan test- och kriteriedata. Detta brukar kallas prognostisk validering av testet. Det diskuteras ganska sällan om detta verkligen är lämpligt som en yttersta mätare av testernas värde. Ändå finns det ett flertal goda skäl att reflektera över den saken. Jag ska göra det här med utgångspunkt i förhållandena för personlighetstest men liknande resonemang kan föras även för färdighetstest.

För det första: framtida resultat, t ex i form av arbetsprestation, beror alltid på många faktorer utöver personligheten hos den som testats. Det kan gälla individanknutna aspekter som sjukdomar eller sådant som handlar om individen i förhållande till sin omgivning. Det är alltså externa faktorer som ligger utanför personligheten och som kan vara av mycket stor betydelse. Det är i princip omöjligt att förutsäga alla dessa faktorer utifrån enbart data på personlighet, och de sätter ett tak för hur mycket som är möjligt att förutsäga från personlighetstest. Vi vet sällan eller aldrig var detta tak är beläget. Om ett test kan sägas vara bra eller dåligt utifrån resultatet av en validering beror på i vilken grad det alls är möjligt att göra prognoser. Det finns ingen forskning, såvitt jag vet, där man försökt uppskatta hur stor betydelse faktorer utanför personligheten har (med undantag för intellektuell förmåga).

För det andra: det finns oerhört många tänkbara ”kriterier”, och alla har de olika samband med testen. Valet av ett visst eller några få kriterier i syfte att utvärdera värdet av ett test är tämligen godtyckligt. Den listige testkonstruktören väljer ett kriterium som han vet brukar vara ganska predicerbart och kan på det sättet få sitt test att framstå som mycket värdefullt, även om det i själva verket bara har ett mycket smalt och specifikt värde.

För det tredje: användningen av personlighetstest är sällan i praktiken inriktad på att göra specifika prognoser. Vad som eftersträvas är i stället förståelse av personligheten: av de starka sidorna och utvecklingsmöjligheterna. UPP-testet arbetar med den filosofin och heter därför ”Understanding Personal Potential”. Hur bra ett test är för att skapa förståelse kan inte utvärderas med enkla psykometriska och statistiska beräkningar. Det beror ju bl. a på vems förståelse det handlar om: den testade personen egen förståelse (självkännedom), eller rådgivares, konsulters och beslutsfattares förståelse. Det kan tyckas att vi kommer ut på ett gungfly av subjektiva omdömen här. Det var onekligen tryggare att begränsa sig till prognostisk validitet. Den gamla positivistiska psykologin såg det som en självklarhet att arbeta på det sättet. Den är död sedan länge inom andra områden, men lever kvar vid bedömningen av test. Det är faktiskt märkligt. Subjektiva omdömen kan studeras och så göra med stor framgång inom många av psykologins områden. Det är hög tid att de får en central plats också i testteorin.