Att göra god vetenskap är utmanande: tillbakadragande av en viktig reproducerbarhetsstudie stimulerar självreflektion

Att göra god vetenskap är utmanande: tillbakadragande av en viktig reproducerbarhetsstudie stimulerar självreflektion

Tillbakadragande av ett högprofilerat papper 1, The Metoder för att förbättra giltigheten av vetenskapliga studier Testat har framhävt utmaningarna med sådan ”reproducerbarhet” -forskning. Författarna till det indragna papperet inkluderar flera Armaturer inom detta område.

I studien som publicerades i november förra året i Nature Human Behaviour, beskrev författarna Ett strikt forskningsprotokoll med funktioner som stora provstorlekar för att säkerställa giltigheten av psykologiska experiment. Författarna använde sitt protokoll på dussintals forskningsprojekt. De rapporterade att i 86% av replikationsförsöken bekräftades de förväntade resultaten - en av de högsta "replikationsgraden" som någonsin registrerats i sådana studier. Men tidskriftens redaktörer drog tillbaka tidningen den 23 september och uppgav i tillbakadragningen 2 att de "inte längre har förtroende för resultaten och slutsatsernas tillförlitlighet".

Författarna håller med om tidskriftens oro på bara en punkt, som de tillskriver en oavsiktlig övervakning. En av författarna, Jonathan Schooler, en psykolog vid University of California, Santa Barbara, berättade för Nature att forskningsgruppen arbetar med en ny version av manuskriptet för återlämning.

Forskare som följer fallet säger han ... Problem med en princip om öppen vetenskap: Förregistrering som involverar utövandet av att inrätta detaljerna i en studie, inklusive hypoteser och planerade analyser, skriftligen innan de genomför den för att förhindra datamanipulation och selektiv rapportering av resultat.

"Vad detta visar är att god vetenskap är svårt, mycket svårare än de flesta tror," säger Sam Schwarzkopf, en visuell neurovetenskapsman vid University of Auckland i Nya Zeeland. "Ofta finner människor som förregistrerar sig att deras väl genomtänkta planer inte går ut när de konfronteras med den kalla, hårda verkligheten för datainsamling."

Fyra lag och 64 replikeringsförsök

Uppsatsen beskriver ett komplext och omfattande experiment: fyra forskarteam genomförde vardera registrerade pilotstudier inom samhällsvetenskapliga områden. Till exempel undersökte en av studierna om tidspress påverkar beslutsfattandet 3. Om pilotstudien upptäckte en effekt försökte teamet bekräfta resultaten i ett urval av minst 1 500 personer. Alla fyra lag försökte reproducera de valda experimenten för att se om de skulle uppnå samma resultat. Varje team försökte replikera fyra av sina egna experiment och fyra från vart och ett av de tre andra lagen.

Av de 64 replikationsförsöken var 86% framgångsrika - det vill säga de gav de förväntade och statistiskt signifikanta resultaten. Som jämförelse rapporterar andra replikationsstudier inom samhällsvetenskapliga områden genomsnittliga replikationsgrader på 50%.

Författarna till den återkallade studien tillskrev sin höga replikationsgrad till "rigorösa praxis" såsom stora provstorlekar, Förregistrering och Öppenhet om metoder tillbaka. Att anta sådana metoder kan hjälpa till att göra studier mer pålitliga, skrev författarna.

Strax efter att tidningen publicerades, frågade Joseph Bak-Coleman, samhällsvetare vid University of Konstanz i Tyskland, och Berna Devezer, som studerar marknadsföring vid University of Idaho i Moskva, ifrågasatte det i ett förtryck 4, som laddades upp till Psyarxiv -servern, dess giltighet. De noterade att författarna inte hade förregistrerat några delar av uppsatsen, inklusive den centrala frågan: Skulle författarnas protokoll öka reproducerbarheten? Separat skickade Bak-Coleman analysidor till redaktörerna för Nature Human Behaviour, som inledde en utredning som i slutändan ledde till tillbakadragandet.

I en kommentar 5, som åtföljde tillbakadragandet skrev Bak-Coleman och Devezer att "reproducerbarhet inte var det ursprungliga resultatet av projektet och analyser av reproducerbarhet inte föregicks som påstås." Returnmeddelandet Echo hade dessa uttalanden. (Nature Human Behaviour publiceras av Springer Nature, som också publicerar Nature. Nature's News Team är redaktionellt oberoende av dess förläggare.)

Ett författande erkännande

På dagen för tillbakadragandet publicerade sex av författarna till naturens mänskliga beteende en rapport om deras åsikter 6. I den medger de att några av studiens analyser inte var förregistrerade. De kallar emellertid andra uttalanden i tillbakadragningsmeddelandet ”obehagligt”, till exempel författarnas kunskap om uppgifterna vid tidpunkten för analyserna som bestäms av tidskriften. Tidskriften håller inte med om att uttagsmeddelandet innehåller felaktigheter.

Brian Nosek, verkställande direktören för Center for Open Science i Charlottesville, Virginia och medförfattare till den återkallade studien, säger att det var chockerande att lära sig att förregistreringsfelet kastades genom deras projekthanteringsprocesser. "Jag vet inte hur många gånger jag har läst det papperet med dessa felaktiga uttalanden om allt som är förregistrerat och missat det. Det var bara ett misstag," säger han.

Nosek, som betraktas som en pionjär inom förregistrering, säger också att projektets ursprungliga mål var reproducerbarhet och motsäger Bak-Coleman och Devezer.

Förhandsregistrering

Sagan visar bristerna för förregistrering, säger Yoel Inbar, en psykolog vid University of Toronto i Kanada. "Jag har sett många förregistreringar som var vaga, inte strikt följt, eller där slutdokumentet var en blandning av den förregistrerade och icke-registerade analysen," säger han.

Inbar är alltmer övertygad om att ett bättre alternativ är förregistreringsformatet Registrerade rapporter är där forskare skickar in sitt studieprotokoll, inklusive dess skäl och metoder, till en tidskrift för granskning före datainsamling. Redaktörerna bestämmer sig för att acceptera studien baserat på vikten av forskningsfrågan och striktheten i metoderna och förbinda sig att publicera resultaten om arbetet utförs enligt beskrivningen.

Andra säger att tidskriften är en del av problemet. Anne Scheel, en metascientist vid Utrecht University i Nederländerna, säger att även om författarna gjorde misstag, borde redaktörerna ha märkt bristen på förregistrering. Granskare kontrollerar inte alltid förregistrering, och stora tidskrifter som naturens mänskliga beteende "behöver processer för att faktiskt kontrollera förregistrering," säger hon.

En talesman för tidskriften säger att den undersöker förändringar i dess praxis. "Tidskriften undersöker sätt att förbättra kraven på insyn, standardisering och rapportering för förregistrering inom sociala och beteendevetenskaper, vilket kommer att stärka ansträngningarna för att övervaka efterlevnad av förregistrering," tillägger talesman.

Slöseri med tid för alla

Storskaliga projekt där flera forskningsgrupper genomför samma experiment är svåra att hantera, förklarar Olavo Amaral, en reproducerbarhetsforskare vid Universidade Federal Do Rio de Janeiro i Brasilien. Han talar av erfarenhet: Han leder det brasilianska reproducerbarhetsprojektet, ett försök att reproducera resultaten från dussintals biomedicinska studier som genomförts i laboratorier över hela landet. "Vi kan alltid hitta misstag," säger han.

Han säger att kritik av det återkallade papperet måste tas upp, men problemen förändrar inte hans åsikt om arbetet. "Resultaten verkar vara ganska repliska," säger han. "Jag tror inte att kritiken av förregistrering ändrar min åsikt om uppsatsen mycket."

1. Protzko, J. et al. Nature Hum. Beteende 8, 311–319 (2023).

   Artikel
   Pub
   
   Google Scholar

2. Protzko, J. et al. Nature Hum. Beteende https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikel
   Pub
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Förtryck på Psyarxiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Beteende https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikel
   
   Google Scholar

6. Protzko, L. et al. Förprint på https://osf.io/2s94g (2024).

Ladda ner referenser