Cirka 50 % av de vetenskapliga experimenten visade sig vara EJ reproducerbara

2024 Författare: Seth Attwood | [email protected]. Senast ändrad: 2023-12-16 16:17

Av en slump, i en ström av nyheter och information, stötte jag på en artikel i Nature Scientific Reports. Den presenterar data från en undersökning av 1 500 forskare om reproducerbarheten av vetenskapliga forskningsresultat. Om detta problem tidigare togs upp för biologisk och medicinsk forskning, där det å ena sidan är förklarligt (falska korrelationer, den allmänna komplexiteten hos systemen som studeras, ibland anklagas till och med vetenskaplig programvara), å andra sidan har det en fenomenologisk karaktär (till exempel tenderar möss att bete sig annorlunda med forskare olika kön (1 och 2)).

Allt är dock inte smidigt och med Mernaturvetenskaper som fysik och teknik, kemi, ekologi. Det verkar som om just dessa discipliner är baserade på "absolut" reproducerbara experiment utförda under de mest kontrollerade förhållanden, tyvärr, ett fantastiskt - i ordets alla meningar - resultatet av undersökningen: upp till 70 %forskare stod inför Ej reproducerbarexperiment och resultat erhållna inte bara av andra grupper av vetenskapsmän, MEN och av författarna/medförfattarna till publicerade vetenskapliga verk!

Berömmer varje sandsnäppa sitt träsk?

Även om 52 % av de tillfrågade pekar på en reproducerbarhetskris inom vetenskapen, anser mindre än 31 % att de publicerade uppgifterna är fundamentalt felaktiga och majoriteten angav att de fortfarande litar på det publicerade verket.

Naturligtvis ska man inte hacka av axeln och lyncha all vetenskap som sådan enbart utifrån den här undersökningen: hälften av de tillfrågade var fortfarande vetenskapsmän som på ett eller annat sätt förknippade med biologiska discipliner. Som författarna noterar, inom fysik och kemi, är nivån av reproducerbarhet och förtroende för de erhållna resultaten mycket högre (se diagrammet nedan), men fortfarande inte 100%. Men inom medicin går det väldigt dåligt jämfört med resten.

Ett skämt kommer att tänka på:

Marcus Munafo, en biologisk psykolog vid University of Bristol, England, har ett långvarigt intresse för reproducerbarheten av vetenskapliga data. Han minns dagarna under sin studenttid och säger:

En gång försökte jag återskapa ett experiment från litteratur som verkade enkelt för mig, men jag kunde bara inte göra det. Jag hade en förtroendekris, men sedan insåg jag att min upplevelse inte var så sällsynt.

Latitud och longitud djup problem

Föreställ dig att du är en vetenskapsman. Du stöter på en intressant artikel, men resultaten/experimenten går inte att reproducera i laboratoriet. Det är logiskt att skriva om detta till författarna till originalartikeln, be om råd och ställa förtydligande frågor. Enligt undersökningen, mindre än 20 %har gjort detta någonsin under sin vetenskapliga karriär!

Författarna till studien noterar att sådana kontakter och samtal kanske är för svåra för forskarna själva, eftersom de avslöjar sin inkompetens och inkonsekvens i vissa frågor eller avslöjar för många detaljer i det aktuella projektet.

Dessutom försökte en absolut minoritet av vetenskapsmän att publicera ett vederläggande av irreproducerbara resultat, samtidigt som de mötte motstånd från redaktörer och recensenter som krävdetona ner jämförelse med originalforskning. Är det konstigt att chansen att rapportera icke-reproducerbarheten av vetenskapliga resultat är cirka 50%.

Kanske är det då värt att åtminstone genomföra ett reproducerbarhetstest inne på laboratoriet? Det tråkigaste är att en tredjedel av de tillfrågade till och med ALDRIGoch tänkte inte på att skapa metoder för att verifiera data för reproducerbarhet. Endast 40%angav att de regelbundet använder sådana tekniker.

Ett annat exempel, en biokemist från Storbritannien, som inte ville avslöja hennes namn, säger att försök att upprepa, reproducera arbete för hennes laboratorieprojekt helt enkelt fördubblar tids- och materialkostnaderna, utan att ge eller lägga till något nytt till arbetet. Ytterligare kontroller utförs endast för innovativa projekt och ovanliga resultat.

Och, naturligtvis, de eviga ryska frågorna som började tortera utländska kollegor: vem är skyldig och vad ska man göra?

Vem är skyldig?

Författarna till arbetet identifierade tre huvudproblem med reproducerbarhet av resultat:

• Press från överordnade att få verket publicerat i tid
• Selektiv rapportering (uppenbarligen betyder det undertryckande av vissa data, som "förstör" hela bilden)
• Otillräcklig dataanalys (inklusive statistisk)

Vad ska man göra?

Av 1 500 tillfrågade talade mer än 1 000 specialister för att förbättra statistiken vid insamling och bearbetning av data, förbättring av kvaliteten på tillsyn från chefer och mer rigorös planering av experiment.

Slutsats och lite personlig erfarenhet

för det första, även för mig, som vetenskapsman, är resultaten fantastiska, även om jag är van vid en viss grad av irreproducerbarhet av resultaten. Detta är särskilt tydligt i de verk som utförs av kineser och indianer utan "revision" från tredje part i form av amerikanska/europeiska professorer. Det är bra att problemet upptäcktes och tänkte på sin lösning. Jag kommer taktfullt att hålla tyst om rysk vetenskap, i samband med den senaste skandalen, även om många ärligt talat gör sitt jobb.

För det andra, artikeln ignorerar (eller snarare, tar inte hänsyn till) betydelsen av vetenskapliga mätetal och referentgranskade vetenskapliga tidskrifter i uppkomsten och utvecklingen av problemet med irreproducerbarhet av forskningsresultat. I jakten på hastigheten och frekvensen av publikationer (läs, ökning av citeringsindex) sjunker kvaliteten kraftigt och det finns ingen tid för ytterligare verifiering av resultaten.

Som de säger, alla karaktärer är fiktiva, men baserade på verkliga händelser. På något sätt hade en student en chans att recensera en artikel, eftersom inte varje professor har tid och energi att eftertänksamt läsa artiklarna, så åsikten från 2-3-4 studenter och läkare samlas in, från vilken recensionen bildas. En recension skrevs, den indikerade irreproducerbarheten av resultaten enligt metoden som beskrivs i artikeln. Detta visades tydligt för professorn. Men för att inte förstöra relationerna med "kollegor" - trots allt lyckas de med allt - "korrigerades" recensionen. Och det finns 2 eller 3 sådana artiklar publicerade.

Det visar sig vara en ond cirkel. Forskaren skickar artikeln till redaktören för tidskriften, där han anger " önskad"Och främst" oönskade »Recensenter, det vill säga lämnar i själva verket bara de som är positivt inställda till författarteamet. De granskar arbetet, men de kan inte "skita i kommentarerna" och försöka välja det minsta av två onda - här är en lista med frågor som behöver besvaras, och sedan kommer vi att publicera artikeln.

Ett annat exempel, som redaktören för Nature pratade om för bara en månad sedan, är Grazels solpaneler. På grund av det enorma intresset för detta ämne i det vetenskapliga samfundet (de vill trots allt fortfarande ha en artikel i Nature!), var redaktörerna tvungna att skapa ett speciellt frågeformulär där de måste ange många parametrar, tillhandahålla utrustningskalibreringar, certifikat, etc. för att bekräfta att metoden för mätning av effektivitetspaneler överensstämmer med några allmänna principer och standarder.

OCH, tredje, när du återigen hör om ett mirakelvaccin som erövrar allt och alla, en ny berättelse om jobb i kjol, nya batterier eller farorna/fördelarna med GMO eller strålningen från smartphones, speciellt om det främjades av gula skribenter från journalistiken, behandla sedan med förståelse och dra inte förhastade slutsatser. Vänta på bekräftelsen av resultaten av andra grupper av forskare, ackumuleringen av arrayen och dataprover.

PS:Artikeln översattes och skrevs hastigt, om alla fel och felaktigheter som uppmärksammades, skriv gärna i LAN.