Ökad kreativitet

De flesta är överens om att kreativitet är viktigt - men har forskningen på området gjort framsteg? Hennessey och Amabile har publicerat en läsvärd översikt av forskningen om kreativitet under 2000-talet, publicerad i en ledande tidskrift. Den är mycket brett upplagd. De konstaterar att forskningen inom området numera är omfattande och förekommer inom många vetenskapliga discipliner. Den är också fraktionerad och de har haft svårt att integrera resultaten. Några viktiga punkter:

1. Mätning av kreativitet som en personlighetsegenskap har kritiserats men tycks stå sig bra i den senaste forskningen. Relaterade begrepp som också har karaktär av egenskaper är nyfikenhet, inre motivation och intresse samt förmåga att associera brett (lateral inhibition).
2. Positiv affekt befrämjar kreativitet (divergent tänkande) men även negativt stämningsläge kan göra det genom att inriktningen på analytiskt tänkande och problemlösning ökar.
3. Program för att träna upp kreativiteten har utvärderats i omfattande forskning med positiva resultat.
4. Belöningar kan öka kreativiteten om de uppfattas som tecken på att man är kompetent och inte som försök till kontroll.
5. Intresse är en mycket viktig drivkraft bakom kreativitet.
6. Även ”psykologisk trygghet” är en viktig faktor – att man känner sig trygg i att komma med avvikande och kanske kritiska synpunkter, nya idéer.
7. Individualistiska kulturer tycks vara mera stimulerande för kreativitet än kollektivistiska. Att Kina ännu ej fått något Nobelpris har emellertid säkert många andra förklaringar.
8. Ganska många lärare (i USA) tycks inte uppskatta kreativa elever. Kanske är de ”stökiga” och ifrågasättande. Motsvarande fenomen inom företagen kunde ha uppmärksammats.

En del av dessa punkter är inte direkt nya. Författarna förespråkar ”systemteori” för att komma tillrätta med områdets fraktionering. Däremot inte, lustigt nog, mera kreativitet och originalitet. Och systemteori verkar inte ge några nya insikter – det är nog mest ett sätt att skapa en struktur för att tala om olika analysnivåer, från neurologi till kultur. Och det är nog att greppa om alldeles för mycket. Vad jag skulle vilja se är kraftfulla interventioner, mera poängterande av att det går att lära sig att bli mycket mera kreativ och att lösa problem på ett originellt sätt. Att lära oss att acceptera kreativa avvikare.

Varför inte koppla till ”massans vishet” och utlysa nationella tävlingar om hur vi ska lösa landets ekonomiska och sociala problem? Hur ska SAS kunna tävla med Ryanair och Norwegian? Hur ska motsättningarna mellan ”invandrare” och ”svenskar” kunna mildras? Om tusentals människor stimuleras till ge lösningsförslag borde vi kunna hitta några riktigt bra nya idéer!

Referens

Hennessey, B. A., & Amabile, T. M. (2010). Creativity. Annual Review of Psychology, 61, 569-598.

Prognos av valresultatet: första resultaten från "Kristallkulan"

På denna blogg inbjöds till deltagande i ett forskningsprojekt (Kristallkulan) där man skulle bedöma hur många procent av rösterna som skulle gå till de olika partierna. Projektet stängdes den 19 september kl 19. Då hade 109 personer svarat. Medianerna av deras bedömningar beräknades och summerades för de två blocken, varefter skillnaden Alliansen - de Rödgröna beräknades. Samma analys gjordes för SVT:s Valu (11 889 svarande) samt den sista opinionsundersökningen före valet (Novus, 600 svarande). Valu är en undersökning som görs i vallokalerna omedelbart efter det att deltagarna röstat, 11 889 svarande. Novus undersökning är intressant dels för att det den sista före valet, dels för att den fick mycket stort utrymme i media. Spannet mellan Alliansen och de Rödgröna blev, i procentenheter:

Valet: 5.6
Kristallkulan: 5.0
Valu: 4.0
Novus: 0.6

Som synes hade Kristallkulan bästa resultatet, och det stämmer med min tidigare undersökning från valet år 2006. Det stämmer också med omfattande annan forskning, främst om vadslagning. Vadslagning innehåller ju också ett ekonomiskt incitament, men forskning tyder på att det inte är avgörande. I vår undersökning fanns f ö också ett sådant incitament.

Jag kan inte låta bli att häpna över att en liten grupp av bedömare (109 stycken) ger ett bättre resultat än den gigantiska Valu-undersökningen (11 889 svarande). Det kan bero på bortfall i Valu, eller på ovilja att uppge vad man röstat på. Den typen av problem finns alltid i opinionsundersökningar, oavsett hur stora de är, och vanligen är det kanske mindre viktigt att exakt pricka in fördelningen. Men vid politiska val är det viktigt, eftersom skillnaderna är små i det typiska fallet, och några procents förskjutning i ena eller andra riktningen kan betyda mycket för var den politiska makten hamnar.

Novus data är sämre än många andra opinionsundersökningar, och det kan ha många orsaker. De borde ha varit bäst på grund av tidsfaktorn.

Vår studie tog upp ett antal andra dimensioner förutom prognosen av valresultat; dessa kommer att rapporteras senare, troligen i nästa vecka.

Vårt resultat är alltså helt i enlighet med tidigare forskning och visar att man kan predicera valresultat med stor precision, och bättre än opinionsundersökningar, med ganska liten grupp från allmänheten. Det är medelvärdet (medianen) av allmänhetens bedömningar som har denna märkliga egenskap: man har talat om "massans vishet". I vår fortsatta forskning kommer vi att ge oss in på andra områden där gruppens medelvärden kan vara lika effektiva som prognosinstrument. Bloggens läsare med intresse för sådan forskning uppmanas höra av sig till mig.

Referenser

Sjöberg, L. (2009). "Are all crowds equally wise? A comparison of political election forecasts by experts and the public." Journal of Forecasting 28(1): 1-18.
Klicka här.

Surowiecki, J. (2004). The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies and Nations. New York, Doubleday.

Roliga citat

Dagens Nyheter: “I Sverige äter vi 90 000 ton skinka varje jul. Det är nästan 100 ton per medborgare per jul.”

Svenska Dagbladet: “Jag fann massor av unga svenskar som varit här i femtio år.”

Vänsterns avsky för ordning och kunskaper i skolan

Maria Wetterstrand mötte Jan Björklund i en TV-debatt för några veckor sedan. Ministern talade sig varm för kunskapsskolan och ett konstruktivt, ordnat arbetsklimat. Man undrar om någon kan vara emot det? Jo, sannerligen, det kan vänstern som ju ansvarar för den svenska flumskolan sedan många år. Vi fick höra från Wetterstrand att det fanns en motsättning mellan kunskaper och kreativitet, och den svenska skolan var tydligen enormt bra och bubblande av kreativitet tack vare bristen på kunskaper och ordning. Varifrån hade hon fått detta nonsens? Inte från forskning om kreativitet. Se referens nedan som framhåller just kunskaper och konstruktivt arbetsklimat som viktiga. Wetterstrand och övriga vänstern ser världen genom väldiga underliga glasögon och är på ljusårs avstånd från verkligheten, sunt förnuft och vetenskap. Det är så fanatiker fungerar.

Referens

Ma, H.-H. (2009). The effect size of variables associated with creativity: A meta-analysis. [doi:10.1080/10400410802633400]. Creativity Research Journal, 21(1), 30-42.

Personlighet och arbetsresultat

Forskningen om personlighet och arbetsresultat är kvantitativt och empiriskt orienterad. Personligheten mäts med personlighetstest och olika aspekter på beteende i arbetslivet mäts även de kvantitativt, antingen som ”objektiva” mått eller som självbedömningar eller bedömningar av andra. Detta är, om man så vill, positivistisk forskning och den känns säkert främmande för en del. Hela frågeställningen – sambandet mellan personlighet och arbetsresultat – är ju från början kvantitativt tänkt och det är svårt att se hur den skulle kunna analyseras på något annat sätt så att resultaten kan summeras överskådligt och jämföras mellan olika branscher och kulturer. Meta-analys är en relativt ny metodik som har gjort sådana sammanfattningar möjliga. Men det krävs förstås också att många forskare har angripit problemställningarna på någorlunda jämförbara sätt.

Erfarenheterna av meta-analys inom området personlighet och arbetsresultat är nu ganska omfattande; ca 20 års intensivt arbete med analyser av bokstavligen hundratals publicerade studier har gett stabila resultat. Forskningsområdet är kumulativt. Vi vet mera nu än vi gjorde 1990. Praktiska tillämpningar inom området personlighetstestning utvecklas i anslutning till forskningen. Ett exempel är emotionell intelligens som blev ett mycket populärt tema på 1990-talet, mycket tack vare Golemans böcker (Goleman, 1995, 1998) och den enorma uppmärksamhet de fick i media. På svaga grunder gjorde Goleman mycket starka anspråk på att i emotionell intelligens ha funnit en suveränt betydelsefull personlighetsdimension. Media och konsultvärlden kopplade genast på. Det gjorde även forskarna. Omfattande empirisk forskning har nu visat att det finns en kärna av sanning i idén om vikten av emotionell intelligens, låt vara att den inte alls ligger på den nivån som Goleman och andra tänkte sig för 15 år sedan (Joseph & Newman, 2010). Tillämpningar inom testområdet har med framgång utnyttjat den omfattande forskningen på området (Sjöberg, 2010).

Kvantitativt orienterad beteendeforskning gör det alltså möjligt för oss att veta mera, inte bara att veta något annat. Det är en verksamhet som varken domineras av filosofisk spekulation eller inåtvänt teoribygge. Poängen är att en stor internationell forskargrupp samverkar med likartade metoder och frågeställningar på att sådant sätt att man kan bygga på varandras resultat och, som sagt, nå fram till bättre kunskaper och bättre praktiska metoder. Det är ”sanningens ögonblick” när man frågar om ett forskningsområde: Vet vi mera idag än vi gjorde för 20 år sedan? Kan vi göra bättre prognoser?

Referenser

Goleman, D. (1995). Emotional intelligence. New York: Bantam Books.

Goleman, D. (1998). Working with emotional intelligence. New York: Bantam Books.

Joseph, D. L., & Newman, D. A. (2010). Emotional intelligence: An integrative meta-analysis and cascading model. [doi:10.1037/a0017286]. Journal of Applied Psychology, 95(1), 54-78.

Sjöberg, L. (2010). UPP-testet. Teknisk manual. Stockholm: Psykologisk Metod AB.

Dyster debatt

Gårdagens ekonomiska debatt i TV var en trist tillställning. Deltagarna svarade inte på varandras frågor. Så fort de fick ordet passade de i stället på att dra några av sina käpphästar. Det är faktiskt förakt för lyssnarna som sitter framför rutan för att få information om var partierna står, av vilka skäl och vad som skiljer dem. Kan man inte från programledningens sida styra upp det hela genom att införa regler om att frågor måste besvaras? Eller är jag bara naiv?

Godis till väljarna

Så här i slutet av valrörelsen brukar det dyka upp idéer om diverse "godis" som man lovar att en eller annan grupp ska "få" - fast skattebetalarna betalar förstås. I dag ser jag i GP att Pagrotsky vill verka för teater- och konsertbiljetter till alla som fyller 16 år. Se denna länk.Kanske kan man fiska till sig en del röster på det sättet? I ett annat val för ganska länge sedan var det "knattefotboll" som plötsligt blev ett indignationsnummer. Det har inte avhörts sedan.

Så här drivs politik av cyniska personer som inte kan eller vill ta sig an debatt i viktiga samhällsproblem. De rödgröna verkar spela på den planhalvan.

Förvrängda resonemang

DN ger i dagens ledare en intressant analys av skälen till invasionen av Irak. De slutar med att säga att man bör bli misstänksam om det anförs ett antal skäl till ett beslut, inte ett stort och självklart övertygande. I fallet Irakinvasionen har det ju mycket riktigt nämnts ett flertal, minst fyra, skäl. Mycket insiktsfullt resonerat av DN!

Det man undrar är om det finns andra och dolda motiv bakom ett beslut som motiveras med kreativ generering av skäl. Det är då en fråga om argumentation, inte om genomtänkt beslutsfattande. Man resonerar som det fanns en dominansstruktur, dvs det valda alternativet är bäst på nästan alla sätt, sämst på inget. Politiker talar ofta på det sättet, och det är troligen för att de anser att det är ett bra sätt att argumentera offentligt. Medge inte att den egna linjen har nackdelar, inte ens små och tämligen obetydliga sådana. Tala som om den egna politiken är det enda sättet att uppnå alla goda värden, och inte kostar något genom en förlust i något avseende.

Henry Montgomerys forskning om beslutsfattande och dominansstrukturer framstår för mig fortfarande som ett lysande föredöme inom svensk kognitionsforskning. Under inspiration av dessa insikter drev vi ett projektet om "dubbelförnekande". "Det kommer inte att hända och skulle förresten inte vara så farligt". Se referens. Poängen var att traditionellt tänkande om attityder (Fishbein m fl) utgick från att de var resultatet av ett rationellt sammanvägande av aspekter på attitydobjektet; vi fann att det ingalunda förhöll sig så. Uppfattningarna om attitydobjektet tycktes vara dynamiskt styrda mot ett önskat mål, nämligen att hitta argument för en ståndpunkt vars verkliga orsaker man inte kunde eller ville uppge.

Referenser

Montgomery, H. (1989). From cognition to action: The search for dominance in decision making. In H. Montgomery & O. Svenson (Eds.), Process and structure in human decision making (pp. 23-50). Chichester, England: Wiley.

Sjöberg, L., & Montgomery, H. (1999). Double denial in attitude formation. Journal of Applied Social Psychology, 29, 606-621. Klicka här.

Vikten av banala förklaringar

Modeller för psykologiska data, som riskuppfattning, är ofta svaga eller t o m mycket svaga. Det beror troligen till stor del på att forskarna har varit nöjda med "signifikanta" samband, kanske också på att man inte har förstått hur man ska kunna formulera mera kraftfulla modeller, eller att man inte har insett vikten av sådana modeller. Vad det gäller det sistnämnda kan jag hänvisa till Pedhazurs (1982) klargörande diskussion. Om det saknas en eller flera viktiga förklarande faktorer i en modell finns risken att de regressionsvikter som skattas med hjälp av modellen är missvisande (bias).

I exemplet riskperception har jag funnit i ett flertal undersökningar att "riskkänslighet" är en mycket viktig förklarande faktor. Med denna term syftar jag på den nivå i riskbedömningar som en person ligger på; den nivån varierar starkt mellan personer. Se exempel i referenslistan nedan. Tar man med denna faktor i sina modeller hamnar förklaringens styrka på ca 60-70 %, vilket är långt utöver vad man har i vanliga beteendevetenskapliga analyser: 2-3 gånger mera. Faktorn kostar oftast inget att mäta, data finns i det typiska fallet redan insamlade.

"Det är en ointressant och banal faktor" kan man kanske säga. Kanske det. Forskarnas uppmärksamhet ligger naturligtvis på andra faktorer, inte på systematiska olikheter mellan individer i användningen av bedömningsskalorna. Men poängen är att det är en kraftfull och psykologiskt rimlig förklaringsfaktor vars användning gör att övriga faktorers vikter kan uppskattas på ett mera tillförlitligt sätt.

Det finns oerhört omfattande psykologisk forskning som fastnat i mycket svaga förklaringsmodeller, t ex självförtroende som bara är svagt relaterat till beteende. Stora datamängder har garanterat statistisk signifikans, men detta är bara ett "glaspärlespel" för gallerierna. Sökande efter kraftfulla modeller kan leda till stor framgång om man är medveten om vikten av "banala" faktorer och tar med dem i modellerna. På så sätt når man bättre förståelse av beteendet och en mera giltig bild av betydelsen också av de "icke-banala" faktorernas inverkan på det man vill förklara.

Referenser

Pedhazur, E. J. (1982). Multiple regression in behavioral research. Explanation and prediction. New York: Holt, Rinehart and Winston.

Sjöberg, L. (2004). Explaining individual risk perception: the case of nuclear waste. Risk Management: An International Journal, 6(1), 51-64. Klicka här.

Ny blogg om tester och psykometrik

Jag har startat en ny blogg med specialinriktning på tester och psykometrik, se här.Den kommer att behandla både enskilda test, mina egna och andras, och allmänna teoretiska och empiriska frågor. Även annan psykometrik kommer att tas upp, som attitydmätning.

Att nå svåra mål

De flesta når troligen inte alla sina viktiga och svåra mål, kanske bara några få. Det kan bero på att de har mål som är orealistiska men också på att de ger upp för snabbt. De riktigt intressanta målen är ofta svåra att uppnå och sannolikheten att misslyckas är därför stor, medan man kan lyckas om man är ihärdig och inte ger upp, att man försöker flera gånger, betydligt fler än vad som är vanligt (Sjöberg, 2008).

Wiseman (2009) ger goda råd om hur man kan nå sina mål i sin utmärkta självhjälpsbok. Att dagdrömma om hur underbart det skulle vara om målet uppnåtts hjälper inte alls. Man måste föreställa sig stegen dit.

1. Gör upp en plan, skriv ner den. Formulera konkreta delmål.
2. Berätta för andra om din föresats.
3. Belöna dig själv när du klarat av etappmål.
4. Räkna med att du kommer att misslyckas ofta, försök ta misslyckandena med en klackspark. Inse att de inte beror på dig själv utan att de är naturliga när man försöker något svårt.

Wiseman har ett schema för planering och uppföljning, som nog kan passa en del. Uthållighet är en personlighetsdimension av betydelse i många sammanhang (Sjöberg, 2010). "Big Five" förklarade i mina testdata ca 30% av variansen i uthållighet - mycket men inte allt. Viktigast var emotionell stabilitet, därefter extraversion och öppenhet.

Planering måste ha ett realistiskt tidsperspektiv. Man kan aldrig förutse alla komplikationer, inte heller säkert veta vilka prioriteringar man själv har när det kommer till kritan. Problemen måste lösas flexibelt allt eftersom de dyker upp, se Lindbloms (1959) klassiska artikel.

För att nå svåra mål måste man ha ett starkt intresse - det måste vara kul på vägen. Utmaningarna som delmålen innebär måste vara lagom svåra för att intresset ska utvecklas och bibehållas (Sjöberg, 2006). Om det är för enkelt blir man uttråkad, är det för svårt tappar man lusten.

Ta dagdrömmar lätt och gärna med humor: ”The secret life of Walter Mitty” rekommenderas för det syftet. Om denna klassiska novell, se här, och filmen här.

Referenser

Lindblom, C. E. (1959). The science of "muddling through". Public Administration Review, 19, 79-88.

Sjöberg, L. (2006). What makes something interesting? (Review of the book, Exploring the psychology of interest by Paul J. Silvia). PsycCRITIQUES, 51 (46, Article 4), No Pagination Specified. Klicka här.


Sjöberg, L. (2008). The psychology of taking chances and succeeding with very difficult things. Klicka här.

Sjöberg, L. (2010). UPP-testet: Teknisk manual. Stockholm: Psykologisk Metod AB. Klicka här.

Wiseman, R. (2009). 59 seconds. Think a little and change a lot. London: Macmillan.

Att bedöma lögn och sanning

Wiseman har skrivit en självhjälpsbok som tar upp myter ur vardagspsykologin och visar på bättre alternativ med stöd i forskningen. Jag ska komma tillbaka till vad man kan lära sig ur denna utmärkta bok flera gånger. Idag behandlar jag bedömningar om lögn och sanning, ett tema som är av stor vikt både i vardagslivet och yrkesmässigt för många, inte minst i rättsväsendet och näringslivet.

Här är vanliga föreställningar om vad som utmärker en person just i den situation när han eller hon ljuger:

• Undviker ögonkontakt
• Ler mycket
• Sitter eller står oroligt
• Svettas
• Täcker munnen med en hand
• Ger långa och omständliga svar på frågor
• Ger svar som är ostrukturerade
• Nickar mycket
• Gestikulerar mycket
• Talar tyst

Om någon gråter, eller är mycket upprörd, kan ses som tecken på lögn eller sanning.

Tänk nu efter ett tag. Tror du själv på att detta är vad som utmärker lögn eller sanning? Det är du i så fal inte ensam om. Domstolar anser sig ofta kunna bedöma vad som "bär det självupplevdas prägel".

Men alla dessa ”tecken på lögn” säger i själva verket lite eller ingenting. De är tecken på nervositet men man kan ju vara nervös av många skäl. Det är en utbredd – och felaktig - uppfattning att man kan bedöma om någon ljuger utifrån kroppsspråk, inte minst i domstolar.

Vad är då mera användbara tecken på lögn? De finns i innehållet i det som sägs. Lögner

• Innehåller färre detaljer
• Innehåller färre referenser till den talande, ord som jag, mig min etc är mera sällsynta
• Är kortare än sanningar
• Är undvikande, svarar inte rakt på sak på frågor

Forskningen om lögner har dessutom visat att de flesta kraftigt överskattar sin förmåga att avslöja lögner. De som är bra på det – och de är få – har en öppen attityd och väntar i det längsta med att bestämma sig för om de ska tro eller inte, på det som sägs. Deras informationsinhämtning är öppen och inte ett försök att bekräfta vad de tidigt bestämt sig för. Det är förödande i många sammanhang att låta sig styras av tidiga intryck och ”personkemi”. Inte minst gäller detta i anställningsintervjuer. Forskningen visar att många ljuger i sitt CV och i en sådan intervju.

Referens
Wiseman, R. (2009). 59 seconds. Think a little and change a lot. London: Macmillan.

Effekter av psykoterapi

Forskningen om psykoterapins effekter är viktig eftersom kravet på evidensbaserad behandling blir allt starkare, från patienter och uppdragsgivare. Tidigare forskning har gett stöd till kognitiv beteendeterapi medan forskare i allmänhet - inklusive mig själv - har varit skeptiska till psykodynamisk behandling. Det är en skepsis som har haft sin grund i att det funnits ytterst lite forskning av tillräcklig god kvalitet, t ex med kontrollgrupper, som gett stöd åt denna typ av behandling, som ju i sin tur är mycket vanlig. Läget håller emellertid på att ändras i och med att det nu börjar publiceras vetenskapligt acceptabla utvärderingar av dynamisk terapi som visar på betydande effekter, i vissa fall t o m större än av KBT. Omfattande referenser finns i en nyligen publicerad översiktsartikel av Shedler (2010). Den finns i American Psychologist, som är en vida spridd vetenskaplig tidskrift med stort anseende.

Detta är en mycket positiv utveckling och jag har inget emot att ändra åsikt när det kommer övertygande forskningsresultat som går på tvären mot vad jag tidigare skrivit och sagt. I själva verket är jag skyldig att ändra åsikt om jag ska vara trogen mina vetenskaopliga värderingar som säger att slutsatser måste vara empiriskt grundare. Det är en grundbult i rollen som forskare. För andra, för praktiskt arbetande psykologer är det givetvis minst lika viktigt att lita till den egna erfarenheten av behandlingsarbete, men då helst i medvetande om felkällor som kan påverka de uppfattningar som byggs upp på det sättet.

I alla relationer mellan terapeut och patient finns moment som kan leda till positiva eller negativa konsekvenser. Det är därför det viktiga är vilken terapeuten är och om han eller hon fungerar konstruktivt, dvs förstår,accepterar och tycker bra om patienten. Om inte dessa villkor är uppfyllda kan KBT inte hjälpa alls, något jag själv upplevde som patient för 10 år sedan i en krissituation. Terapeutfaktorn är av stor betydelse, viktigare än behandlingsmetodiken.


Referenser

Shedler, J. (2010). The efficacy of psychodynamic psychotherapy. American Psychologist, 65(2), 98-109.

Varför signifikanstesta - egentligen?

Signifikanstestning har i 50 år varit obligatorisk för forskare som vill få sina resultat publicerade. Det har lett till tråkiga konsekvenser eftersom man blivit ensidigt inriktad på statistisk signifikans. Många har en ytlig förståelse av begreppet och förväxlar det med betydelse. Man är ganska sällan klar över att storleken av en effekt är minst lika viktig som ”signifikansen” - i själva verket mycket viktigare enligt min mening. Om man får signifikanta resultat eller ej beror till mycket stor del på stickprovets storlek. I den elementära metodundervisningen verkar det som om man sällan tar upp frågan om effektstorlek. Se Sjöberg (2003).

Signifikanstänkandet har också haft andra negativa konsekvenser (Sjöberg, 1999), ett exempel från utvärderingen av psykologiska test ges i slutet av detta inlägg. Men varför testar man för signifikans? Ett viktigt skäl är troligen att man ska kunna vara någorlunda säker på att resultatet man fått inte har uppkommit av en slump - att det ska kunna replikeras. Kanske är detta det underliggande verkliga skälet, även om det ganska sällan har diskuterats.

Frågan är ju viktig eftersom intuitiva föreställningar är till föga hjälp här, se klassikern Tversky och Kahneman (1971). Tversky och Kahneman visade att forskare (psykologer) kraftigt överskattade sannolikheten att ett ”signifikant” resultat skulle kunna replikeras i en ny studie. Forskarna verkar inte ha varit klara över att sannolikheten för replikation är något helt annat än det vanliga alfa-värdet, som är sannolikheten att ett resultat uppkommer om nollhypotesen är sann. Om alfa=0.05 tror man att sannolikheten för replikation är 0.95 eller något strax därunder.


Sannolikheten för att replikera ett signifikant resultat diskuteras i detalj av Lecoutre et al. (2010). Det tycks som om debatten nu leder fram ett vettigt sätt att praktiskt hantera skattningen av denna sannolikhet med början i Killeen (2005). Killeen har kritiserats intensivt (t ex Miller, 2009) men det verkar som om Lecoutre et al. har fått stil på debatten. Killeens artikel tycks ha fått en del forskare att börja använda hans alternativ till traditionell signifikanstestning. Något tycks vara på väg att hända, men debatten som förts av psykologer borde nog analyseras av statistiker och vetenskapsteoretiker.

Det är tankeväckande att hela frågan som Tversky och Kahneman besvarade i en fotnot i sin artikel 1971 nu ger upphov till mycket omfattande tekniska utredningar där de mest olika åsikter är företrädda. Om man INTE kan bestämma sannolikheten för replikation (Miller, 2009) verkar ett huvudmotiv för signifikanstestning falla bort.

En brasklapp är denna: i små stickprov kan resultaten bli kraftigt påverkade av några få avvikande värden. Det gäller därför att vara extra noga med analyserna när man arbetar med små stickprov (Lemons, 2009).

Signifikanstänkandet styr också ibland rekommendationer om storleken på stickprov. Vid utvärdering av validiteten hos psykologiska test har man länge krävt att minst 100 personer ska ingå i stickprovet. Denna siffra baseras på s k power-analys: man vill ha 90 % chans att belägga ett samband som signifikant på minst nivå alfa=0.05, givet att korrelationen mellan test och kriterium är minst 0.30 i populationen. Om kravet ej är uppfyllt sägs studien vara ”inadekvat” oavsett resultatet (Lindley et al., 2008). Men det är inte Gud som har bestämt värdet på dessa parametrar! Antag att vi ansätter andra lika rimliga eller lika godtyckliga värden på parametrarna. Om vi vill belägga ett samband utifrån konventionell signifikans (p<0.05) med en korrelation på 0.40 i populationen med t ex minst 50 % chans att upptäcka den, vad händer då? Rekommendationen blir N=30 (som ger 61 % chans för att vara exakt), se Tabell F.2 i Cohen et a. (2003). N=100 behövs inte alls i denna situation. Det är uppenbart orimligt att döma ut en studie som ”inadekvat” utifrån vilken storlek stickprovet bör ha som slutsats av en power-analys. Denna typ av analys kan vara bra vid planeringen av en undersökning, men är inte ett lämpligt underlag för att bedöma kvaliteten av resultaten. I själva verket vimlar det av publicerade valideringsstudier av psykologiska test som använt sig av mindre stickprov, t ex en sammanställning av valideringsstudier av det kända personlighetstestet OPQ för urval av säljare (SHL, 1999-2007). Av nio citerade studier var det bara två som uppfyllde kravet N=minst 100. (Intressant är också hur låga sambanden med säljframgång var, i genomsnitt r=0.06, men det är en annan historia som jag snart ska återkomma till).

Referenser
Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (2003). Applied multiple regression/correlation analysis for the behavioral sciences. Mahwah, NJ: Erlbaum.
Killeen, P. R. (2005). An Alternative to Null-Hypothesis Significance Tests. [doi:10.1111/j.0956-7976.2005.01538.x]. Psychological Science, 16(5), 345-353.
Lecoutre, B., Lecoutre, M.-P., & Poitevineau, J. (2010). Killeen's probability of replication and predictive probabilities: How to compute, use, and interpret them. [doi:10.1037/a0015915]. Psychological Methods, 15(2), 158-171
Lemons, C. J. (2009). Replication of significant correlations in small samples. Evaluation & Research in Education, 22(2-4), 75-86.
Lindley, P., Bartram, D., & Kennedy, N. (2008). EFPA review model for the description and evaluation of psychological tests. Test review form and notes for reviewers. Version 3.42: European Federation of Psychological Associations.
SHL. (1999-2007). OPQ32. SHL sales report. Technical manual. SHL Group Ltd.
Miller, J. (2009). What is the probability of replicating a statistically significant effect? [doi:10.3758/PBR.16.4.617]. Psychonomic Bulletin & Review, 16(4), 617-640.
Sjöberg, L. (1999). Psykologisk forskningsmetodik och praktik: tre haverier. (Methods and practice of psychological research: three disasters). VEST: Journal for Science and Technology Studies, 12(3), 5-25.
Klicka här.
Sjöberg, L. (2003). Good and not-so-good ideas in psychological research. A tutorial in idea assessment and generation. VEST: Journal for Science and Technology Studies, 16, 33-68.Klicka här.
Tversky, A., & Kahneman, D. (1971). The belief in the "law of small numbers". Psychological Bulletin, 76, 105-110.

Fascinerande psykologibok

Richard Wiseman, engelsk professor i ”Public Understanding of Psychology”, är känd för sin tidigare bok om tur och otur (2004) och har mera nyligen gett ut en bok med den engelska titeln Quirkology. The curious science of everyday lives. (Den finns på svenska, se referens nedan). Boken om tur och otur var spännande. Wiseman hade bjudit in människor som menade sig ha tur eller otur och undersökte vad som skilde dem. Jag skrev om den forskningen i en tidigare artikel (Sjöberg, 2003). Den leder till en del bra idéer om hur man kan leva så att man får mera "tur" - det är ingen slump att somliga klarar sig bra utan mycket en fråga om öppenhet och kreativitet.

Den senare boken är mycket bredare upplagd. Den innehåller 6 ganska omfattande kapitel som behandlar aktuella forskningsresultat inom socialpsykologi och kognitiv psykologi, i allmänhet erhållna genom studier av människor i naturliga miljöer och inte i laboratorier. Wiseman har en stor förmåga att komma på spännande idéer om fenomen som är oväntade och som få eller inga har undersökt före honom. Han har också en stor talang som skribent och det är ett nöje att läsa honom, man har svårt att lägga boken ifrån sig. Han påminner ganska mycket om Malcolm Gladwell som jag skrivit om flera gånger på denna blogg, men en stor skillnad är att Wiseman mest skriver om sin egen forskning medan Gladwell letar upp och skriver om andras intressanta resultat.

Det är ett antal disparata teman som tas upp i boken: vidskepelse, humor och stress för att nämna några. Genomgående tar Wiseman upp resultat som är oväntade utifrån ”sunt förnuft” och som hans anser är viktiga, inte bara kuriositeter.

Men man undrar lite hur viktiga resultaten är, om de kan replikeras och vilka alternativa tolkningar som kan finnas. Ta forskningen om leenden som exempel. Det finns sanna och falska leenden. I sanna leenden deltar både ögonen och munnen, i falska bara munnen. Man kan träna sig på att känna igen falska leenden. I en studie tog man fram data från en grupp kvinnor som just slutat high school många år tidigare. De som hade sanna leenden på fotografierna klarade sig mycket bättre i livet och levde längre än dem som hade falska leenden (även kallade Pan Am-leenden). Det är en spännande uppgift att fundera ut tolkningar av ett sådant samband. Ännu mera spännande att försöka replikera det.

Ett annat och relaterat exempel är om man kan avslöja lögnare. Det är svårare än de flesta tror, och särskilt svårt om man styrs av det man ser och inte det man hör. Lögnaren tenderar att göra kortare uttalanden med mindre detaljer och med färre referenser till sig själv, enligt forskning som Wiseman refererar, och det låter rimligt men är kanske lite för enkelt. Wiseman nämner inte ofta hur viktiga de faktorer är som han diskuterar och i många fall tror jag att det rör sig om svaga effekter, t ex forskningen om effekter av förnamn.

Boken är bra som läsning för den som vill kunna ta intressanta ämnen i konversation. Alla har något att säga om resultat av den typen som Wiseman skriver om. Humorkapitlet innehåller dels ett antal riktigt roliga historier som var nya åtminstone för mig och i de flesta fallen, och intressanta resultat om vad som är roligt för män och kvinnor. Ett annat exempel är annonser som skrivs för att få nya bekantskaper. Män verkar ha klarare för sig hur en bra annons ska skrivas än vad kvinnor har. Om en kvinna funderar på att skriva en sådan annons bör hon be en man om hjälp, skriver Wiseman, aningen provokativt.

Wiseman lär vara Storbritanniens mest omtalade psykologiforskare och han syns mycket ofta i media. På det hela taget tycker jag att det ger ett bra betyg till brittiska media. Wiseman är ingen opportunist eller humbugpsykolog, vilket man skulle tro utifrån den svenska titel som hans senaste bok har fått. Dålig konsumentinformation där.

Referenser

Sjöberg, L. (2003, 30 Augusti). Man kan själv vända otur till tur. Metro, sid. 6. Klicka här.
Wiseman, R. (2004). Tur eller otur. Stockholm: Wahlström och Widstrand.
Wiseman, R. (2008). Hjärnknäppt - Vår konstiga hjärnas egendomliga vanor. Stockholm: Schibsted Förlagen.