Integritetstestens validitet

Traditionellt har det ansetts att integritetstest (egentligen test på ärlighet) har mycket hög validitet, på grundval av en tidig meta-analys (Ones, Viswesvaran, & Schmidt, 1993). En del skeptiska kommentarer har pekat på att en stor del av de studier denna analys byggde på ej var publicerade utan kom direkt från rapporter från testleverantörerna. Ändå har det blivit en etablerad sanning, och en grundval för en hel industri som producerar integritetstestningar, utifrån Schmidt och Hunter (1998) som skrev att g-faktorn + integritet är den bästa grunden för prognos av arbetsresultat. Det är nog fel.

En aktuell och uppdaterad meta-analys visar tydligt att validiteterna hos integritetstesten inte är högre än 0.2, kanske så låga som 0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b), t o m om de är korrigerade för mätfel i kriterierna och begränsad spridning i testen. De tidigare uppskattningarna låg på nivån 0.4, alltså högre än de vanliga personlighetstesten. Det tycks som om skeptikerna har haft rätt: de höga validiteterna kommer från testleverantörernas egen information, oberoende forskning bekräftar den inte. Ett ganska högt värde på validiteten kan man få mot självskattningar av kontraproduktivt beteende i jobbet, men detta är ganska ointressant. Skattningar av andra som kriterium ger validiteter om kring 0.1. Schmidt och Hunter uppskattade validiteten till 0.41, vilket nu framstår som starkt vilseledande.

Detta är ett exempel på att tidiga meta-analyser kan leda fel. Van Iddekinge et al. har gjort ett enormt ambitiöst arbete. Resultatet är tydligt. Integritetstest tycks inte ha nämnvärt praktiskt värde. Och då har vi inte ens diskuterat att sådana test, liksom alla, kan fejkas.

Referenser

Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (1993). Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance. Journal of Applied Psychology Monograph, 78, 679-703.
Schmidt, F. L., &; Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012a). The criterion-related validity of integrity tests: An updated meta-analysis. [doi:10.1037/a0021196]. Journal of Applied Psychology, 97(3), 499-530.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012b). The critical role of the research question, inclusion criteria, and transparency in meta-analyses of integrity test research: A reply to Harris et al. (2012) and Ones, Viswesvaran, and Schmidt (2012). [doi:10.1037/a0026551]. Journal of Applied Psychology, 97(3), 543-549.

Validering: Personlighet och ledarskap

Detta är en studie av UPP-testets validitet gentemot 360-gradersbedömningar.
Deltagarna var 166 chefer inom Stockholms läns landsting (SLL), på mellannivå.
De besvarade testet, ett formulär för mätning av stressupplevelser i arbetet, och
bedömdes av sina egna chefer, kollegor och underställda. I genomsnitt bedömdes
de av 2.5 kollegor och 7.5 underställda. 360-gradersbedömningarna kunde
summeras i tre index, som mätte framgång i förändringsarbete, strukturering av
arbetet samt relationer till underställda medarbetare. Egenbedömningarna hade
lågt samband med övriga bedömningar, som i sin tur var moderat korrelerade
(omkring 0.4). Det fanns emellertid ingen tydlig tendens till skillnad när
egenbedömningarnas nivå jämfördes med övrigas bedömningar.
Samtliga testvariabler korrigerades för skönmålning. För analyserna av testets
validitet bildades tre index av testvariabler som matchade bedömningarna
innehållsmässigt. Genomsnittliga bedömningar av kollegor och underställda
beräknades. Testindexen korrelerades med dessa genomsnittliga bedömningar
samt med bedömningarna av överordnad chef. Korrelationerna korrigerades
sedan för mätfel i kriterierna (360-gradersbedömningarna) och för begränsad
variation i testvariablerna. De slutliga värdena på validitet låg omkring 0.5 för
bedömningar av chefers, kollegors och underställdas 360-gradersbedömningar.
Egenbedömningarna var ännu högre korrelerade med UPP-testets variabler. Det
fanns en tendens till högre samband när minst 10 personer gjort 360-
gradersbedömningarna. Slutsatsen är att testet uppvisade en tillfredsställande
validitet mot 360-gradersbedömningar av chefers arbetsinsatser.
Stressupplevelsen hade främst samband med positiv grundattityd (negativt) och
de arbetsrelaterade attityder som UPP mäter, men mycket låga samband med
360-gradersbedömningarna.
Det intressanta mönster som framträder i data var:
· Höga samband mellan personlighet och 360-gradersbedömningar
· Låga samband mellan personlighet och stressdimensioner
· Höga samband mellan stressdimensioner och arbetsattityder enligt UPP
· Låga samband mellan 360-gradersbedömningar (ej egenbedömningar)
och stressdimensioner

Stressdimensionerna kan sägas mäta de svarandes ”inre värld”, och vara uttryck
för den aktuella arbetssituationen. De är inte tydliga för andra människor, inte
heller starka utslag för mera bestående personlighetsdrag. UPP-testets sektion
med arbetsattityder bildar en intressant brygga mellan det inre och det yttre, det
bestående och det mera tillfälliga.

Referens
Sjöberg, L., Bergman, D., Lornudd, C., & Sandahl, C. (2011). Sambandet mellan ett personlighetstest och 360-graders bedömningar av chefer i hälso- och sjukvården. Stockholm: Karolinska Institutet: Institutionen för lärande, informatik, management och etik (LIME).Klicka här