Amerikansk arbetspsykologi

Den 14-16 april höll amerikanska SIOP (Society for Industrial and Organizational Psychology) sin årliga forskningskongress i Chicago. Jag var där, för första gången. Det var ett massivt program med ca 4500 deltagare, ganska många från hela världen men givetvis de flesta från universitet och forskningsinstitut i USA. Värt att besöka? Absolut. Kvaliteten var hög och de det gick att hitta sessioner som var intressanta nästa hela tiden. Jag var själv särskilt intresserad av personlighetstestning och s k 360-gradersbedömningar. Jag har skrivit flera lite tekniska kommentarer till SIOP 2011 i dessa frågor på min psykometriska blogg, klicka här för att komma dit.

Det var slående hur obekymrat positivistisk den amerikanska psykologin fortfarande är, åtminstone i den meningen att man genomför kvantitativa undersökningar och har stort intresse för meta-analytiska sammanställningar, där effektstorlekar och nivån på korrelationer spelar stor roll. SEM-modeller av typ LISREL tycks dock vara av något mindre intresse, kanske för att valet mellan olika modeller kan tyckas bli ganska godtyckligt. Det är inte heller många som satsar på "tänka högt" för att få en idé om hur människor tänker när de besvarar t ex personlighetstest. F ö var det ett antal testfirmor som passade på att marknadsföra sina gamla välkända produkter på ett mycket hurtigt sätt.

Bland trender som jag också tar upp på den psykometriska bloggen kan jag nämna:

- Stort intresse för skönmålning på personlighetstest, dock utan att det kan skönjas någon tydlig lösning på problemet, som är ett PROBLEM, inte något folk rycker på axlarna åt. Diskussionen om skönmålning är f ö enligt min mening tämligen förvirrad; det påstås ofta att skalor för att mäta social önskvärdhet "i själva verket mäter personlighet" - so what? Se psykometrikbloggen här. För en fungerande lösning av problemet med skönmålning, klicka här.

- Nya massiva data på vägningen begåvning - personlighet: svaret är att det beror på vilka kriterier man vill optimera. Är man ute efter socialt och personligt fungerande är det glasklart att det är personlighetstest som gäller, bl a enligt amerikanska arméns stort upplagd studie av saken som i huvudsak bygger på ett nytt Big Five-test. Lustigt nog inte ord om samma armés helt annorlunda ansats GAT, se min diskussion på den psykrometriska bloggen, klicka här.

- Drömmen om "syntetisk validitet" lever vidare, alltså att man skulle kunna predicera ett tests validitet mot jobb där data ej föreligger, utifrån meta-analytiska data på sambandet mellan validitet och jobbanalys i ett antal kvantitativa dimensioner. Det är givetvis ett hedervärt mål, men det verkar vara långt innan det är trovärdigt. Man ser med spänning fram emot hur domstolarna kommer att bedöma argument som bygger på modeller för syntetisk validitet i fall där testföretagen blir stämda för att de ej visat att testen är empiriskt valida. Jag anar att det inte blir så lätt. Modeller är aldrig "sanningen" och i detta fall torde de dessutom vara mycket svåra att förstå. Vem tror på det han inte begriper? Meta-analys = metafysik?

- Emotionell intelligens (EI) är i hög grad "alive and well" och mötte stort intresse, men kanske utan att man såg några nya stora och viktiga idéer inom området. Akademikerna på området fortsätter att mena att termen bör förbehållas test som bygger på prestation ("performance") - detta trots att det inte är den typen av EI-test som har prognosvärde i praktiska sammanhang. Se en översikt här.

- Även Big Five (B5) hade sin givna plats, men allt oftare hördes det att vad som behövs är en utveckling mot smalare test, test som är mera direkt fokuserade på arbetslivet.  Skälet var givetvis att B5-dimensionerna som sådana är alltför vittomfattande och många meta-analyser har ju sedan början av 90-talet visat att de är ofruktbara. Endast en, noggrannhet/målmedvetenhet (ofta förkortad C), har någon nämnvärd validitet mot arbetsresultat, men även den ligger bara på nivån 0.25 - 0.30. Detta är väldigt lågt jämfört med fokuserade personlighetstest som når nivån 0.5 - och detta utan att vara korrelerade med test på allmänbegåvning. Se också min översikt av personlighetsdimensioners validitet, klicka här.

- 360-gradersbedömningar möter fortsatt stort intresse, men om de har positiva effekter är fortfarande diskutabelt. Är de till hjälp i ledarutveckling? Kanske ibland, men ibland kanske de har negativa effekter. För enskilda chefer kan de bli en alltför besk medicin. Här är återigen en viss rigiditet tydlig - vad avspeglar EGENTLIGEN dessa bedömningar. Jag har i egen (och kollegers) forskning sett att det finns en stark halo-effekt. Man tycker bra eller illa om chefen och det avspeglas i alla bedömningar i ganska hög grad. (Kanske 50 % av variansen). Det handlar om det gamla "hederliga" begreppet personkemi, se min och Ingrid Tollgerdt-Anderssons monografi, klicka här.

Uppdrag granskning om pedofili

I gårdagens Uppdrag Gransning gavs en skakande bild av hur en rättspsykiatrisk, sluten klinik låtit en dömd pedofil få frekventa permission och hjälpt honom att skaffa en lägenhet där han kunde fortsätta att begå övergrepp på barn i ett intet ont anande - och helt ovarnat - bostadsområde. Den behandlande läkaren hade bedömt att inga risker förelåg och länsrätten hade helt förlitat sig på den bedömningen.

Det var slående att ingen av de ansvariga ville svara på frågor om hur bedömningarna hade gått till, eller medge att de hade begått något fel. Längst gick domaren i länsrätten som "inte mindes"(men tydligen inte gick till arkiven för att friska upp minne).

Kliniska bedömningar är felbemängda och det finns stor risk att de slår fel. En behandlande läkare eller psykolog är nog inte rätt person att göra riskbedömningen i realiteten helt ensam. Inom rättssystemet borde man vara mycket medveten om detta och skaffa in oberoende expertis. Man kan också undra om det räcker med en läkarutbildning för att göra dessa psykologiska bedömningar. Dawes bok om kliniska bedömningar har några år på nacken men borde fortfarande kunna vara en ögon öppnare för alla med engagemang i bl a rättspsykologi, se nedan. Hoppas Janne Josefsson läser den, om han inte redan gjort det.Grove och Meehl visar att bättre bedömningar får man genom att arbeta med mera oibjektiva bedömningsscheman.


Referens

Dawes, R. M. (1994). House of cards. Psychology and psychotherapy built on myth. New York: The Free Press.


Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical controversy. Psychology, Public Policy, and Law, 2, 293-323.

Barfotaprognos av riksdagsvalet

I denna studie inbjöds besökare till en Internetsite att bedöma utgången av det kommande riksdagsvalet hösten 2010. 105 personer av varierande bakgrund genomförde sådana bedömningar av 8 partier och en kategori ”övriga”. Deras genomsnittliga prognosfel var endast 0.8 %-enheter vid en jämförelse mellan Alliansen och det rödgröna blocket. Detta resultat var betydligt bättre än vissa opinionsundersökningar genomförda tidsmässigt mycket nära valet och med betydligt flera respondenter. Analysen av den individuella variationen i bedömningsfel visade att de som hade större intresse för politik gjorde bättre bedömningar, och så även de som oftare hade talat om det kommande valet, särskilt om de gjort så med andra än familj och närmaste vänner. De som sade sig gå på intuition eller kunskaper om tidigare val gjorde sämre bedömningar än andra. Resultaten stödjer tesen om ”massans vishet” och är i linje med en liknande undersökning av valet år 2006. Studien visar på ett enkelt, snabbt och billigt sätt att göra prognoser, och ger uppslag när det gäller urval av respondenter som kan tänkas göra särskilt bra prognoser.Läs rapporten här.

Prognos av våld

Risken för våldsdåd är viktig och svår att uppskatta, bl a därför att återfall i brott är ganska vanligt. Det har utvecklats ett 10-tal olika formulär för att systematiskt bedöma sådana risker och numera finns ganska mycket forskning kring deras effektivitet. Yang et al. (2010) har genomfört en ambitiös meta-analys av denna forskning. Deras slutsats är att alla instrumenten har en viss, tämligen begränsad prognosförmåga och att de tycks vara ungefär lika effektiva. Den här studien är av särskilt intresse i vårt land eftersom den inte enbart tar upp amerikanska studier, faktiskt också en del svenska.

Meta-analys är numera en mycket tekniskt specialitet och artiklar av denna typ kan vara svårlästa för många praktiker. Men slutsatserna är tydliga och väl underbyggda. Det behövs mera och annorlunda information för att göra goda prognoser, om de kan göras alls.

Referens

Yang, M., Wong, S. C. P., & Coid, J. (2010). The efficacy of violence prediction: A meta-analytic comparison of nine risk assessment tools. [doi:10.1037/a0020473]. Psychological Bulletin, 136(5), 740-767.

Prognos av valresultatet: första resultaten från "Kristallkulan"

På denna blogg inbjöds till deltagande i ett forskningsprojekt (Kristallkulan) där man skulle bedöma hur många procent av rösterna som skulle gå till de olika partierna. Projektet stängdes den 19 september kl 19. Då hade 109 personer svarat. Medianerna av deras bedömningar beräknades och summerades för de två blocken, varefter skillnaden Alliansen - de Rödgröna beräknades. Samma analys gjordes för SVT:s Valu (11 889 svarande) samt den sista opinionsundersökningen före valet (Novus, 600 svarande). Valu är en undersökning som görs i vallokalerna omedelbart efter det att deltagarna röstat, 11 889 svarande. Novus undersökning är intressant dels för att det den sista före valet, dels för att den fick mycket stort utrymme i media. Spannet mellan Alliansen och de Rödgröna blev, i procentenheter:

Valet: 5.6
Kristallkulan: 5.0
Valu: 4.0
Novus: 0.6

Som synes hade Kristallkulan bästa resultatet, och det stämmer med min tidigare undersökning från valet år 2006. Det stämmer också med omfattande annan forskning, främst om vadslagning. Vadslagning innehåller ju också ett ekonomiskt incitament, men forskning tyder på att det inte är avgörande. I vår undersökning fanns f ö också ett sådant incitament.

Jag kan inte låta bli att häpna över att en liten grupp av bedömare (109 stycken) ger ett bättre resultat än den gigantiska Valu-undersökningen (11 889 svarande). Det kan bero på bortfall i Valu, eller på ovilja att uppge vad man röstat på. Den typen av problem finns alltid i opinionsundersökningar, oavsett hur stora de är, och vanligen är det kanske mindre viktigt att exakt pricka in fördelningen. Men vid politiska val är det viktigt, eftersom skillnaderna är små i det typiska fallet, och några procents förskjutning i ena eller andra riktningen kan betyda mycket för var den politiska makten hamnar.

Novus data är sämre än många andra opinionsundersökningar, och det kan ha många orsaker. De borde ha varit bäst på grund av tidsfaktorn.

Vår studie tog upp ett antal andra dimensioner förutom prognosen av valresultat; dessa kommer att rapporteras senare, troligen i nästa vecka.

Vårt resultat är alltså helt i enlighet med tidigare forskning och visar att man kan predicera valresultat med stor precision, och bättre än opinionsundersökningar, med ganska liten grupp från allmänheten. Det är medelvärdet (medianen) av allmänhetens bedömningar som har denna märkliga egenskap: man har talat om "massans vishet". I vår fortsatta forskning kommer vi att ge oss in på andra områden där gruppens medelvärden kan vara lika effektiva som prognosinstrument. Bloggens läsare med intresse för sådan forskning uppmanas höra av sig till mig.

Referenser

Sjöberg, L. (2009). "Are all crowds equally wise? A comparison of political election forecasts by experts and the public." Journal of Forecasting 28(1): 1-18.
Klicka här.

Surowiecki, J. (2004). The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies and Nations. New York, Doubleday.