Signifikanstestningens nedgång och fall

Alla som studerat beteendevetenskap har fått lära sig om signifikanstestning. Det är en statistisk metod för att avgöra om en gruppskillnad eller en korrelation skiljer sig från vad som kunde förväntas av en ren slump. Man antar att slumpen är orsaken till det resultat man fått i sina data (en gruppskillnad eller en korrelation). Hur stor är sannolikheten att resultatet skulle uppkomma under det antagandet? Om denna sannolikhet är mindre än 5% säger man att resultatet är "signifikant", och forskaren blir glad. Vi fick en skillnad (korrelation), säger han, och i läroböcker skrivs samma sak. "Signifikanta" effekter, talas det om men mycket sällan hur stora de är. Att det är en viktig fråga lärs sällan ut i elementära kurser. Men signifikanta effekter kan man alltid få om man har tillräckligt många observationer.

Signifikanstestningen introducerades i beteendevetenskapen på 50-talet och har blivit allmänt accepterad som ett sätt att etablera att resultat är stabila och värda att dra slutsatser från. Det är emellertid fel, och ofta vilseledande. Forskarna har lurat sig själva och andra i tron att de etablerat något av betydelse, och slagit sig till ro. De letar sällan efter bättre förklaringar och starkare effekter; de ställer inte just dessa kritiska frågor som för forskningen framåt. Se Rodgers utmärkta artikel som refereras nedan. Rodgers ger ett fascinerande perspektiv på signifikanstestningen som han anser är på väg att ersättas av ett helt annat synsätt, nämligen att bygga modeller och att leta efter mera kraftfulla förklaringar till beteendet.

Diskussionen om signifikanstestning och hypotesprövning är mycket omfattande och många är starkt kritiska. Det är till en del ett svårsmält material det handlar om. Men jag tror man når mycket långt med enkla medel. Fråga efter hur stora skillnader är, eller hur starka sambanden är, inte bara om de är signifikanta. Och leta efter ännu bättre förklaringar och ännu starkare faktorer. Nästan alltid finns det mycket stora utrymmen för förbättringar - det mesta i beteendet är ännu oförklarat!

Referens

Rodgers, J. L. (2010). The epistemology of mathematical and statistical modeling: A quiet methodological revolution. [doi:10.1037/a0018326]. American Psychologist, 65(1), 1-12.