Psykologiska studier visade sig vara falska i mer än 50 % av fallen

2024 Författare: Seth Attwood | [email protected]. Senast ändrad: 2023-12-16 16:17

Det finns "starka ställningar" som bygger upp självförtroende och minskar stresshormoner. När människor håller en kopp varm dryck i sina händer blir de vänligare mot omgivningen. Viljestyrka är en resurs som vi spenderar när vi motstår frestelser. Förmågan att skjuta upp belöning avgör barnets framtida framgång.

Dessa uttalanden är väldigt lika varandra: bakom dem finns välkänd psykologisk forskning, populärvetenskapliga bästsäljare, spalter i populära tidskrifter och TED-föredrag.

De har också en sak till gemensamt: de visade sig alla ha fel.

Reproducerbarhetskrisen har gett tvivel på hela vetenskapsområden. Många av resultaten, som citerades flitigt i media, anses nu vara överdrivna eller falska. När forskare försökte replikera både klassiska och nya psykologiska experiment var resultaten förvånansvärt konsekventa, med ungefär hälften av fallen framgångsrika och den andra hälften misslyckades.

Krisen blev äntligen uppenbar 2015, när forskare ledda av Brian Nosek kontrollerade 100 psykologiska studier. De kunde uppnå initiala resultat endast i 36 fall. Lancets chefredaktör Richard Horton sa snart:

Anklagelserna mot vetenskapen är ganska enkla: åtminstone hälften av den vetenskapliga litteraturen har helt enkelt fel. Genom att lida av studier med liten provstorlek, knapphändig effekt och felaktiga analyser, samt en besatthet av modetrender av tvivelaktig betydelse, har vetenskapen tagit en vändning mot okunskap.

Reproducerbarhet är ett av nyckelkraven för vetenskaplig kunskap. Ju bättre resultatet återges, desto mer tillförlitligt är det - det här är det enda sättet att skilja verkliga mönster från enkla tillfälligheter

Men det visade sig att detta krav inte alltid är uppfyllt.

Krisen började med medicinen, men mest påverkade psykologin. Sommaren 2018 försökte forskare replikera ett urval av psykologiska studier publicerade i Science and Nature, världens mest prestigefyllda vetenskapliga tidskrifter. Av 21 experiment bekräftades endast 13 – och även i dessa fall var de ursprungliga resultaten överdrivna med cirka 50 %.

Ofta misslyckas reproducerbarhetstestet av de studier som har replikerats brett i media och lyckats påverka allmänhetens medvetande. Till exempel försämrar verken som sökmotorer minnet och läsning av skönlitteratur utvecklar förmågan till empati. Om upprepade experiment misslyckas betyder det inte att de ursprungliga hypoteserna är värdelösa. Men nu behövs bättre forskning för att bevisa dem.

Hur man förutsäger framtiden med statistik

2011 publicerade den berömda amerikanske psykologen Daryl Boehm en artikel som bevisade möjligheten till klärvoajans. Denna slutsats var inte en produkt av hans våldsamma fantasi, utan baserades på årtionden av forskning, som involverade hundratals människor. Många misstänkte att Boehm bestämde sig för att arrangera något som Sokals bluff och avslöja psykologi med en falsk artikel med medvetet absurda slutsatser. Men med alla metodiska mått mätt var artikeln mycket övertygande.

I ett av Behms experiment placerades två skärmar framför deltagarna – de fick gissa vilken bild som gömdes bakom. Bilden genererades slumpmässigt direkt efter valet. Om deltagarna gjorde ett bra jobb skulle det tyda på att de på något sätt kan förutse framtiden. I experimentet användes två typer av bilder: neutrala och pornografiska.

Boehm föreslog att om det sjätte sinnet existerar, har det förmodligen ett gammalt evolutionärt ursprung. Om så är fallet, är det mer troligt att det är anpassat till våra äldsta behov och drifter

Deltagarna gissade pornografiska bilder 53 % av gångerna - något oftare än de borde om de var en ren slump. Med tanke på det stora antalet experiment skulle Boehm kunna hävda att framsynthet existerar.

Senare upptäckte experter att när han analyserade resultaten använde han inte helt korrekta metoder. Som regel anses ett forskningsresultat tillförlitligt om sannolikheten för att det erhållits av misstag inte överstiger 5 %. Men det finns många sätt att minska detta värde till den nödvändiga nivån: ändra de initiala parametrarna för analysen, lägg till eller ta bort det nödvändiga antalet exempel från provet, använd mer framgångsrika hypoteser efter att ha samlat in data.

Problemet är att inte bara Boehm, utan även många andra forskare använde samma teknik. Enligt en undersökning från 2011 erkände nästan hälften av psykologerna detta

När den klärvoajanta artikeln kom ut insåg samhällsvetarna Joseph Simmons, Leaf Nelson och Uri Simonson att vetenskapen var på väg mot sin egen ruin. De byggde flera datormodeller och fann att med ganska standardiserade statistiska tekniker kan du öka nivån av falskt positiva resultat flera gånger. Det gör att metoder som formellt är vetenskapliga lätt kan leda till helt absurda slutsatser.

För att illustrera detta genomförde forskare ett experiment som bekräftade att lyssnaren blir ett och ett halvt år yngre genom att lyssna på låten "When I'm Sixty-four".

Alla visste att det var fel att använda sådana tekniker, men de trodde att detta var en kränkning i sin betydelse - som att korsa vägen på fel ställe. Det visade sig vara mer som ett bankrån, avslutade Simmons.

Hur man skiljer dålig forskning från bra

Det stod snart klart att reproducerbarhetsfrågor inte var begränsade till psykologi. Inom cancerforskningen stöds vetenskapliga bevis i 10-25% av fallen. Inom ekonomi kunde 7 av 18 laboratorieexperiment inte replikera. Forskning om artificiell intelligens visar också tecken på kris.

Men att tappa tron på vetenskapen verkar det fortfarande inte vara värt det. Forskare har redan kommit på flera sätt som avsevärt har förbättrat tillförlitligheten och kvaliteten på ny forskning

För flera år sedan publicerade nästan ingen resultaten av upprepade experiment, även om de utfördes. Detta accepterades inte, gav inga bidrag och bidrog inte till en framgångsrik vetenskaplig karriär. Enligt en Nature-undersökning har mer än 70 % av psykologerna försökt och misslyckats med att reproducera andras forskning, ungefär hälften har inte kunnat upprepa sin egen, och nästan ingen har försökt publicera dessa resultat.

När reproducerbarhetskrisen dök upp har mycket förändrats. Upprepad forskning blev efter hand vardag; experimentella data började publiceras allt oftare i det offentliga området; tidskrifter började publicera negativa resultat och registrera den övergripande forskningsplanen redan innan de började.

Forskningen har blivit mer omfattande – ett urval på 30–40 personer, vilket var ganska standard inom psykologi, passar nu väldigt få personer. Stora internationella organisationer – som Psychological Science Accelerator – testar samma hypoteser i flera laboratorier runt om i världen.

Innan vi kollade artiklarna från Nature and Science, som vi skrev om i början, ombads forskare att satsa på utlottningarna. De var tvungna att förutsäga vilken forskning som skulle klara testet och vilken som skulle misslyckas. Sammantaget var priserna mycket exakta. "Detta betyder för det första att det vetenskapliga samfundet kan förutsäga vilka verk som kommer att kunna upprepas, och för det andra att omöjligheten att replikera studien inte var en ren tillfällighet", säger arrangörerna av experimentet.

Forskare är i allmänhet bra på att skilja pålitlig från opålitlig forskning - det är goda nyheter. Nu försöker experter från Center for Open Science tillsammans med DARPA-byrån skapa en algoritm som ska utföra samma uppgift utan mänsklig inblandning.

Det finns för många artiklar som publiceras varje år för att manuellt kontrollera ens en liten del av dem. Om artificiell intelligens kommer igång kommer allt att bli mycket lättare.

Redan i de första testerna klarade AI med framgång förutsägelser i 80% av fallen.

Vad gör forskningen oftast opålitlig? Små prover, inkonsekvenser i siffror, för vacker bekräftelse av hypoteser. Och också - lusten efter sensationer och för enkla svar på svåra frågor.

För bra för att vara sant

Det enklaste sättet att skapa sensationell forskning är genom bedrägeri. Den berömde socialpsykologen Diederik Stapel använde fabricerade data i flera dussin vetenskapliga artiklar. Stapels forskning spreds genom tidningar och tidskrifter med stor hastighet, han fick flera prestigefyllda vetenskapliga utmärkelser, publicerades i Science och ansågs vara en av de största specialisterna inom sitt område.

En gång visade det sig att Stapel under lång tid inte forskat alls, utan bara uppfann data och gav dem till studenter för analys.

Detta är mycket sällsynt inom vetenskapen. Mycket oftare högljudda, men felaktiga påståenden uppstår av andra skäl. Människor letar desperat efter enkla, begripliga och effektiva svar på spännande frågor. Det kan vara väldigt lätt att bli frestad att tro att man har dessa svar, även om man verkligen inte har det. Strävan efter enkelhet och säkerhet är en av huvudorsakerna till att många studier misslyckas med att testa reproducerbarhet. Här är några anmärkningsvärda exempel.

Marshmallow experiment

I ett experiment ombads barn att välja mellan en liten belöning - som marshmallows - som kunde tas emot direkt, och en dubbel belöning om de kunde vänta lite. Det visade sig senare att barn som fick det andra priset blev mer framgångsrika i vuxen ålder. Studien blev mycket populär och påverkade en del skolplaner.

Under 2018 upprepades experimentet på ett bredare prov. Det visade sig att rikedom i familjen är en mycket viktigare faktor, på vilken nivån av självkontroll också beror på.

"Poses of Strength" och "Poses of Weakness"

Deltagarna i experimentet tog en av två poser i två minuter: de lutade sig bakåt i en stol och kastade benen på bordet ("styrkeställning") eller korsade armarna över bröstet ("svaghetsställning"). Som ett resultat kände deltagarna från den första gruppen mer självförtroende och gick oftare med på att ta risker i spelandet. De som satt i en stark position ökade sina testosteronnivåer, och de som satt i en svag position ökade kortisolet. I upprepade experiment reproducerades endast en effekt: "styrkeställningar" hjälpte deltagarna att känna sig mer självsäkra, men ändrade inte deras beteende eller hormonella parametrar.

Associationer med hög ålder gör att man rör sig långsammare

Deltagarna i experimentet ombads lösa flera pussel. Om det sattes in ord i dem som är förknippade med ålderdom - "glömsk", "äldre", "ensam" - så lämnade deltagarna rummet i en långsammare takt.

I de senaste försöken reproducerades experimentet framgångsrikt endast i ett fall: om försöksledarna själva visste att deltagarna i testerna antydde ålderdom. Själva effekten kvarstod, men skälen var redan olika.

Varma föremål gör människor vänligare

Deltagarna i experimentet fick hålla i en kopp varmt eller kallt kaffe en kort stund och ombads sedan att betygsätta personens personlighet med hjälp av en kort beskrivning. Deltagare som höll en varm kopp kaffe bedömde personen som mer sympatisk. I ett annat experiment fick deltagarna ett föremål i en varm eller kall förpackning och ombads sedan att behålla den eller ge den till en vän. Om föremålet var inslaget i ett varmt paket, var det mer sannolikt att deltagarna valde det andra alternativet. Upprepade experiment med ett bredare prov gav inte sådana resultat. Det ser ut som att varma kläder inte kommer att göra dig till en altruist.

Viljestyrkan är uttömd när vi motstår frestelser

Framför deltagarna i experimentet placerades två tallrikar - med kakor och rädisor. I den första gruppen fick deltagarna äta kakor och i den andra bara rädisor. Sedan fick varje deltagare lösa ett omöjligt pussel. Deltagare som bara åt rädisor i den första delen av experimentet gav upp mycket tidigare än andra. I upprepade experiment bekräftades inte resultaten.

I vissa fall tömdes inte förmågan till självkontroll, utan till och med intensifierades med tiden. Många psykologer anser nu att begreppet "viljestyrka" är för förenklat.

Mycket har redan gjorts inom världspsykologin för att göra forskningen mer tillförlitlig och reproducerbar. I Ryssland har detta problem ännu inte fattats.

"Inom rysk psykologi är problemen med krisen främst relaterade till forskarungdomar, som till stor del är inriktade på västerländsk vetenskap," sa Ivan Ivanchey, docent vid RANEPA, till The Knife. – Kontroll över kvaliteten på publikationer på ryska är generellt sett inte särskilt hög. Tidskrifterna avvisar sällan artiklar, så mycket forskning av låg kvalitet publiceras. Små prover används ofta, vilket också minskar sannolikheten för framgångsrik reproduktion. Det finns en misstanke om att många problem kan upptäckas om man på allvar tar itu med frågan om reproducerbarhet av ryskspråkiga verk. Men ingen är direkt inblandad i det här."

I januari 2019 blev det känt att den ryska regeringen kommer att avsevärt utöka kraven för forskare när det gäller antalet publikationer: det minsta antalet artiklar som publiceras per år bör växa med 30-50%.

Forskare från den inflytelserika akademikern "1 juli-klubben" kritiserade initiativet: "Vetenskapens uppgift är inte att producera det maximala antalet publikationer, utan att utforska universum och dra nytta av den kunskap som har vunnits för mänskligheten." Troligtvis kommer de nya kraven bara att öka problemets omfattning.

Berättelsen om reproducerbarhetskrisen är inte en berättelse om den kommande apokalypsen och invasionen av barbarerna. Om krisen inte hade inträffat hade allt varit mycket värre: vi skulle fortfarande hänvisa till felaktig forskning i full förtroende om att vi vet sanningen. Kanske är tiden för djärva rubriker som "brittiska forskare har bevisat" närmar sig sitt slut. Men rykten om att vetenskapen är död bör anses vara något överdrivna.