Integritetstestens validitet

Traditionellt har det ansetts att integritetstest (egentligen test på ärlighet) har mycket hög validitet, på grundval av en tidig meta-analys (Ones, Viswesvaran, & Schmidt, 1993). En del skeptiska kommentarer har pekat på att en stor del av de studier denna analys byggde på ej var publicerade utan kom direkt från rapporter från testleverantörerna. Ändå har det blivit en etablerad sanning, och en grundval för en hel industri som producerar integritetstestningar, utifrån Schmidt och Hunter (1998) som skrev att g-faktorn + integritet är den bästa grunden för prognos av arbetsresultat. Det är nog fel.

En aktuell och uppdaterad meta-analys visar tydligt att validiteterna hos integritetstesten inte är högre än 0.2, kanske så låga som 0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b), t o m om de är korrigerade för mätfel i kriterierna och begränsad spridning i testen. De tidigare uppskattningarna låg på nivån 0.4, alltså högre än de vanliga personlighetstesten. Det tycks som om skeptikerna har haft rätt: de höga validiteterna kommer från testleverantörernas egen information, oberoende forskning bekräftar den inte. Ett ganska högt värde på validiteten kan man få mot självskattningar av kontraproduktivt beteende i jobbet, men detta är ganska ointressant. Skattningar av andra som kriterium ger validiteter om kring 0.1. Schmidt och Hunter uppskattade validiteten till 0.41, vilket nu framstår som starkt vilseledande.

Detta är ett exempel på att tidiga meta-analyser kan leda fel. Van Iddekinge et al. har gjort ett enormt ambitiöst arbete. Resultatet är tydligt. Integritetstest tycks inte ha nämnvärt praktiskt värde. Och då har vi inte ens diskuterat att sådana test, liksom alla, kan fejkas.

Referenser

Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (1993). Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance. Journal of Applied Psychology Monograph, 78, 679-703.
Schmidt, F. L., &; Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012a). The criterion-related validity of integrity tests: An updated meta-analysis. [doi:10.1037/a0021196]. Journal of Applied Psychology, 97(3), 499-530.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012b). The critical role of the research question, inclusion criteria, and transparency in meta-analyses of integrity test research: A reply to Harris et al. (2012) and Ones, Viswesvaran, and Schmidt (2012). [doi:10.1037/a0026551]. Journal of Applied Psychology, 97(3), 543-549.

Subliminal annonsering

I slutet av 1950-talet väckte det stor uppmärksamhet när en biografägare påstod att han fick stora effekter på besökarnas konsumtion av Coca Cola och popcorn genom att utsätta dem för omedveten exponering av uppmaningar av typ "drick Coca Cola". En häftig debatt följde och många var mycket kritiska till idén av etiska skäl. Senare gick han själv ut och erkände att alltsammans var bluff, han hade aldrig gjort det. Forskare kunde inte heller replikera sådana resultat av subliminal annonsering. Långt senare har bilden blivit en annan. Det ser ut som om man faktiskt kan få effekter av subliminala budskap, givet att mottagarna har ett behov, t ex törst, som för tillfället matchar innehållet i annonseringen, och om den produkt som annonseras inte redan är extremt vanlig och välkänd (som Coca Cola).

Det handlar om experiment, inte studier av långsiktiga effekter och många exponeringar. Men de tidiga resultaten som sa att inga effekter fanns tycks alltså inte replikeras. Det gör att vi måste vara på vår vakt mot dem som vill påverka vårt beteende på detta sätt. Idén har använts även i politiken, i åtminstone ett känt fall (presidentvalet i USA år 2000).

Saken är psykologihistoriskt intressant. Först alltså ett sensationellt resultat som visade sig vara ren bluff och som inte kunde replikeras, senare en mera nyanserad bild som tyder på att det kan ligga något i idén. Desto mera skrämmande, faktiskt.

Referens

Stroebe, W. The subtle power of hidden messages. Scientific American Mind, 2012, 23, no. 2, May/June, 46-51.               

Sybils "multipla personligheter"

Sybil blev i slutet av 1900-talet ett viktigt påstått fall av s k multipla personligheter, en tidigare nästan okänd problematik, efter Sybils publicering allt vanligare. Nu har Debbie Nathan skrivit ett definitivt avslöjande av detta fall som bedrägligt, ett sätt att få berömmelse och tjäna stora pengar. En mycket läsvärd essä om Nathans bok finns här.

Ett citat ur Woods recension:

" The impact of Sybil was huge. For decades afterward its spellbinding narrative was accepted as factual. Schreiber declared in the book’s preface that it was a “true story,” and Wilbur herself vouched for its accuracy during television appearances and professional conferences. However, it is now clear that neither Sybil nor Wilbur should ever have been believed. In Sybil Exposed: The Extraordinary Story Behind the Famous Multiple Personality Case, investigative journalist Debbie Nathan has revealed the true story of Sybil, whose real name was Shirley Mason.
Drawing from archives that only recently have been opened to the public, Nathan presents a description of Shirley/Sybil and Wilbur that is both compassionate and devastating. With a wealth of facts and extensive footnotes, Nathan demonstrates that Sybil, both the book and the miniseries, were packed with lies and distortions."
Referens

Sybil Exposed: The Extraordinary Story Behind the Famous Multiple Personality Case. By Debbie Nathan. Free Press, New York, 2011. ISBN: 978-1439168271. 320 pp.

Kontrollbehov ledde till avsked

I Dagens Industri den 1 juni 2012 läser jag att "Ledarstilen fick Södras VD på fall". Ordföranden citeras: "Det har funnits ett stort kontrollbehov".

Det är ett intressant fall, eftersom UPP-testet är ett av de få personlighetstesten (det enda?) som mäter just kontrollbehov, med en validerad och normerad skala. (Plus ett antal andra relevanta egenskaper, allt kontrollerat för skönmålning. Se denna artikel i Dagens Industri, här.) Ett stort antal chefskandidater har testats i skarpt läge och utgör en lämplig norm, men även andra normer kan användas. Se vidare om testet här.

Personlighet är i hög grad avgörande för om högt uppsatta chefer lyckas eller misslyckas, se en  utmärkt översikt av Hogan m. fl. här.

Alla har inte den personlighet som krävs för ett ledarskap som måste fungera både socialt och ekonomiskt. Man kan få värdefull information om en kandidat med hjälp av test, även sådana aldrig ger ett slutgiltigt svar. Vi vet dock att vissa test knappast har något samband alls med arbetsresultat; detta gäller bl a de populära Big Five-testen, se en översikt här.

Kreativitet och kreativitetstest

 Människor varierar i kreativitet. Nästan alla har den i någon grad, och den kan i viss mån tränas upp, men onekligen är somliga mycket kreativa, andra inte riktigt lika mycket. I många sammanhang kan det därför vara intressant att mäta i vilken mån en person är kreativ. Big Five-dimensionen Öppenhet är en indirekt mätning av kreativitet, liksom Förändringsvilja.


Kim har skrivit på ett inspirerat och inspirerande sätt om kreativitet, särskilt om Torrance-testet (Kim, 2006, 2008, 2010). Detta test har funnits länge, och tidiga granskningar var positiva (Chase, 1985; Trefinger, 1985). Det tycks ge en bättre prognos av kreativa resultat än IQ (Kim, 2008), men trots det är validiteten i detta avseende ganska svag (omkring 0.2). Guilfords (1975) "klassiska" ansats var att mäta divergent tänkande, förmågan att skapa många originella lösningar. Denna idé har visat sig vara av värde i testkonstruktion, särskilt om instruktionen poängterar att det ska handla om originella eller kreativa idéer. Andra ansatser som är av värde är att mäta attityder till kreativitet.


Torrance-testet är långt ifrån det slutliga svaret på frågan om hur vi bör mäta kreativitet  (Baer, 2011). Onekligen är en mätning av "kreativ attityd" mycket enklare. Vid testningar av chefskandidater med UPP-testet fann jag en korrelation mellan kreativ attityd och Öppenhet på 0.47, med Förändringsvilja var den 0.30. Det är ganska höga värden med tanke på att det tidigare har varit svårt att begreppsvalidera kreativitetstest.

Debatten om kreativitet och test har tidvis varit något infekterad. Åtskilliga som engagerat sig i dessa frågor verkar ha varit ute efter att nedvärdera begreppet kreativitet eller möjligheten att mäta den. Det är ganska intressant att fundera på varför så är fallet. Jag tror att icke-kreativa människor kan känna sig hotade av att andras skaparkraft och entusiasm, de suckar och säger "Kom inte med flera idéer" eller "Det har prövats, det fungerade inte". "Kritiskt tänkande" sitter i högsätet och stoppar innovationer. Det är farliga attityder, särskilt i en tid när global konkurrens gör att kreativitet och innovationer blir alltmer livsviktiga. Kim, som nämns ovan, kommer från en del av världen som verkar göra sig beredd att ta över mer och mer (Asien, Korea), vi måste försöka hänga med. När ett samhälle koncentrerar sina kreativa krafter inom ett område kan det bli sensationella resultat, se bara på Loreens seger i Melodifestivalen, föregången av en enorm nationell kraftsamling kring att skapa populärmusik. Flera sådana exempel önskas.


Referenser

Baer, J. (2011). How divergent thinking tests mislead us: Are the Torrance Tests still relevant in the 21st century? The Division 10 debate. [doi:10.1037/a0025210]. Psychology of Aesthetics, Creativity, and the Arts, 5(4), 309-313.

Chase, C. I. (1985). Torrance Tests of Creative Thinking (TTCT). In J. V. Mitchell, Jr. (Ed.), The ninth mental measurements yearbook. Lincoln, NE: Buros Institute of Mental Measurements.

Guilford, J. P. (1975). Relation of divergent-production abilities to verbal and nonverbal IQ's. Journal of Multivariate Experimental Personality & Clinical Psychology, 1, 278-284.


Kim, K. H. (2006). Can We Trust Creativity Tests? A Review of the Torrance Tests of Creative Thinking (TTCT). [doi:10.1207/s15326934crj1801_2]. Creativity Research Journal, 18(1), 3-14.
 Klicka här.

Kim, K. H. (2008). Meta-analyses of the relationship of creative achievement to both IQ and divergent thinking test scores. The Journal of Creative Behavior, 42(2), 106-130.


Kim, K. H. (2010). Measurements, causes, and effects of creativity. [doi:10.1037/a0018964]. Psychology of Aesthetics, Creativity, and the Arts, 4(3), 131-135.

Trefinger, D. J. (1985). Torrance Tests of Creative Thinking (TTCT). In J. V. Mitchell, Jr. (Ed.), The ninth mental measurements yearbook. Lincoln, NE: Buros Institute of Mental Measurements.

Hannes Råstam och Thomas Quick

I den briljanta kultur- och samhällstidskriften FILTER finns en lång och mycket intressant artikel om TV:s stjärnreporter Hannes Råstam. Med närmast maniskt intresse undersökte han fakta i flera mycket uppmärksammade rättsfall  och fann slarv eller värre bakom domar för grova brott.Han belönades med fina priser och hans reportage tycks ha haft betydande effekter på rättsväsendet.

Dokumentärerena om "massmördaren" Thomas Quick kan fortfarande ses i TV:s arkriv,klicka här och här. Psykologer och en "minnesforskare", poliser och åklagare har gjort karriär på och skrivit lukrativa böcker om Quick. Råstam visar att alltsammans är myter, och de verkliga mördarna har gått fria.

Psykopater i arbetslivet

"Snakes in suits" heter en fascinerande bok av psykopatiforskarna Paul Babiak och Robert Hare (den är också billig!). Undertiteln säger kanske mera: "When psychopaths go to work". Den fullt utvecklade, kliniske psykopaten, utmärks av våldsbenägenhet, missbruk, en manipulativ och iskall hållning till medmänniskorna, extrem egoism och liten förmåga till produktivt arbete. Boken handlar om mildare, "sub-kliniska", som har vissa men inte alla av dessa drag. Dessa mildare former av psykopati är enligt forskarna ganska vanliga bland bl a företagsledare i USA (4%, mot 1% i befolkningen i stort). Det är en liten andel, men för dem som drabbas av dem som chefer är det illa nog. De är illvilliga.

Subkliniska psykopater förväxlas ofta med narcissister, som de har vissa drag gemensamma med. De är dock mera manipulativa och illvilliga och ibland kriminella; det är vilseledande och felaktigt att beteckna alla chefer man ogillar som "psykopater".

Boken beskriver hur en psykopat lyckas lura sig till ett kvalificerat jobb genom att vara väl påläst om företaget och anställande chef och smickra dem grovt (t o m orten de är verksamma på), att vara verbal och uttrycka sig väl, vara snyggt och korrekt klädd, och strö vänliga och smickrande ord omkring sig i miljön. Det lyckas till 100 %, och man anser sig inte ens ha tid att ta referenser i rädsla för att förlora denna toppkraft. Eller att kolla "betyg" från mystiska universitet, s k "Diploma Mills", där man kan få en "examen" (MBA eller PhD) för en billig penning. (Ett växande problem, inte minst i vårt land, där kunskaperna om denna humbugbransch troligen är ganska små).

Resten är en sorglig historia. Han kan egentligen inte sköta jobbet utan lurar andra till att göra det åt honom och han lyckas snacka in sig hos chefens chef, vilket medför att han får ersätta denne som avpolletteras.

Han anställdes på "magkänsla" - boken visar hur illa det kan gå att bara lita till sin intuition. Om man känner sig extremt säker på att en person är en toppkraft, enbart efter en intervju, bör man nog bli misstänksam mot sig själv!

Så långt Babiak och Hare. I sin stora och aktuella översikt ger Skeem et al. (2011) andra nyanser. De avråder från psykopatiskalor för urval vid anställningar, de är inte tillräckligt validerade. De pekar också på en del evidens för att psykopater kan fungera bra i vissa avseenden, t ex kreativitet, anser inte att et finns bevis för att det handlar om en helt genetiskt styrd problematik och att behandling är möjlig.En stor meta-analys har f ö nyligen visat att psykopati inte tycks vara en valid prediktor av kontraproduktivt beteende i arbetet (O'Boyle et al., 2011).

Referenser

Babiak, P., & Hare, R. D. (2006). Snakes in suits. When psychopaths go to work. New York: Harper.

O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, No Pagination Specified.
 
Skeem, J. L., Polaschek, D. L. L., Patrick, C. J., & Lilienfeld, S. O. (2011). Psychopathic personality: Bridging the gap between scientific evidence and public policy. [doi:10.1177/1529100611426706]. Psychological Science in the Public Interest, 12(3), 95-162.