At gøre god videnskab er udfordrende: tilbagetrækning af en vigtig reproducerbarhedsundersøgelse stimulerer selvreflektion

At gøre god videnskab er udfordrende: tilbagetrækning af en vigtig reproducerbarhedsundersøgelse stimulerer selvreflektion

Tilbagetrækning af et højt profileret papir 1, The Metoder til forbedring af gyldigheden af ​​videnskabelige undersøgelser Testet har fremhævet udfordringerne ved en sådan "reproducerbarhed" -forskning. Forfatterne af det tilbagetrukne papir inkluderer flere Armaturer på dette felt.

I undersøgelsen, der blev offentliggjort i november sidste år i naturen menneskelig adfærd, beskrev forfatterne En streng forskningsprotokol med funktioner såsom store prøvestørrelser for at sikre gyldigheden af ​​psykologiske eksperimenter. Forfatterne anvendte deres protokol på snesevis af forskningsprojekter. De rapporterede, at i 86% af replikationsforsøgene blev de forventede resultater bekræftet - en af ​​de højeste "replikationshastigheder", der nogensinde er registreret i sådanne undersøgelser. Men tidsskriftets redaktører trak papiret tilbage den 23. september og sagde i tilbagetrækningsmeddelelsen 2, at de "ikke længere har tillid til pålideligheden af ​​resultaterne og konklusionerne".

Forfatterne er enige i tidsskriftets bekymringer om kun et punkt, som de tilskriver et utilsigtet tilsyn. En af forfatterne, Jonathan Schooler, en psykolog ved University of California, Santa Barbara, fortalte Nature, at forskningsgruppen arbejder på en ny version af manuskriptet til genindgivelse.

Forskere, der følger sagen, siger, at han ... Problemer med et princip om åben videnskab: Foregistrering som involverer praksis med at opstille detaljerne i en undersøgelse, herunder hypoteser og planlagte analyser, skriftligt, før de udfører den for at forhindre datamanipulation og selektiv rapportering af resultater.

”Det, der viser, er, at god videnskab er hård, meget hårdere end de fleste mennesker tror,” siger Sam Schwarzkopf, en visuel neurovidenskabsmand ved University of Auckland i New Zealand. ”Ofte finder folk, der forudser, at deres gennemtænkte planer ikke panorerer, når de bliver konfronteret med den kolde, hårde virkelighed i dataindsamling.”

Fire hold og 64 replikationsforsøg

Papiret beskriver et komplekst og omfattende eksperiment: Fire forskerteam gennemførte hver registrerede pilotundersøgelser inden for samfundsvidenskabelige områder. For eksempel undersøgte en af ​​undersøgelserne, om tidspresset påvirker beslutningstagningen 3. Hvis pilotundersøgelsen opdagede en effekt, forsøgte teamet at bekræfte resultaterne i en prøve på mindst 1.500 mennesker. Alle fire hold forsøgte at gengive de valgte eksperimenter for at se, om de ville opnå de samme resultater. Hvert hold forsøgte at gentage fire af deres egne eksperimenter og fire fra hvert af de tre andre hold.

Af de 64 replikationsforsøg var 86% succesrige - det vil sige, de producerede de forventede og statistisk signifikante resultater. Til sammenligning rapporterer andre replikationsundersøgelser inden for samfundsvidenskabelige felter gennemsnitlige replikationshastigheder på 50%.

Forfatterne af den tilbagetrukne undersøgelse tilskrev sin høje replikationshastighed til "streng praksis", såsom store prøvestørrelser, Forregistrering og Gennemsigtighed omkring metoder tilbage. Vedtagelse af sådan praksis kan hjælpe med at gøre undersøgelser mere pålidelige, skrev forfatterne.

Kort efter, at papiret blev offentliggjort, stillede Joseph Bak-Coleman, en socialvidenskabsmand ved University of Konstanz i Tyskland, og Berna Devezer, der studerer marketing ved University of Idaho i Moskva, 4, som blev uploadet til PsyarXIV -serveren, dens gyldighed. De bemærkede, at forfatterne ikke havde forudgående nogle elementer i papiret, inklusive det centrale spørgsmål: Ville forfatterens protokol øge reproducerbarheden? Separat sendte Bak-Coleman sider med analyse til redaktørerne af Nature Human Behaviour, der lancerede en undersøgelse, der i sidste ende førte til tilbagetrækning.

I en kommentar 5, der ledsagede tilbagetrækningen, bak-coleman og Devezer skrev, at "reproducerbarhed ikke var det oprindelige resultat af projektet, og analyser af reproducerbarhed blev ikke forudgående som påstået." Returmeddelelsen Echo havde disse udsagn. (Nature Human Behaviour udgives af Springer Nature, som også udgiver Nature. Naturens nyhedsteam er redaktionelt uafhængigt af sin udgiver.)

En autorisk anerkendelse

På dagen for tilbagetrækningen offentliggjorde seks af forfatterne af naturens menneskelige opførsel en rapport om deres synspunkter 6. I det indrømmer de, at nogle af undersøgelsens analyser ikke blev foregistreret. De kalder dog andre udsagn i tilbagetrækningsmeddelelsen "un -akkurat", såsom forfatterens viden om dataene på tidspunktet for analyserne som bestemt af tidsskriftet. Tidsskriftet er uenig i, at tilbagetrækningsmeddelelsen indeholder unøjagtigheder.

Brian Nosek, den administrerende direktør for Center for Open Science i Charlottesville, Virginia og medforfatter til den tilbagetrukne undersøgelse, siger, at det var chokerende at høre, at foregistreringsfejlen blev kastet gennem deres projektstyringsprocesser. "Jeg ved ikke, hvor mange gange jeg har læst det papir med disse fejlagtige udsagn om alt, hvad der er forudgående og gik glip af det. Det var bare en fejltagelse," siger han.

Nosek, der betragtes som en pioner inden for forudgående, siger også, at projektets originale mål var reproducerbarhed, der modsiger Bak-Coleman og Devezer.

Udfordringer ved forudgående registrering

Sagaen viser manglerne ved forudgående registrering, siger Yoel Inbar, en psykolog ved University of Toronto i Canada. ”Jeg har set mange forudgående, der var vage, ikke strengt fulgt, eller hvor den endelige artikel var en blanding af den forudgående og ikke-forudgående analyse,” siger han.

Inbar er i stigende grad overbevist om, at en bedre mulighed er forudgående registreringsformat Registrerede rapporter er hvor forskere indsender deres studieprotokol, herunder dens begrundelse og metoder, til en dagbog til gennemgang før dataindsamling. Redaktørerne beslutter, om de skal acceptere undersøgelsen baseret på betydningen af ​​forskningsspørgsmålet og strengheden af ​​metoderne og forpligter sig til at offentliggøre resultaterne, hvis arbejdet udføres som beskrevet.

Andre siger, at tidsskriftet er en del af problemet. Anne Scheel, en metascientist ved Utrecht University i Holland, siger, at selv om forfatterne begik fejl, skulle redaktørerne have bemærket manglen på forudgående. Anmeldere kontrollerer ikke altid forudgående, og større tidsskrifter som Nature Human Behaviour "har brug for processer for faktisk at kontrollere forudgående," siger hun.

En talsmand for tidsskriftet siger, at det undersøger ændringer i dens praksis. ”Tidsskriftet undersøger måder at forbedre gennemsigtighed, standardisering og rapporteringskrav til forudgående foregistrering i de sociale og adfærdsvidenskaber, som vil styrke bestræbelserne på at overvåge overholdelsen af ​​forudgående,” tilføjer talsmanden.

Spild af tid til alle

Storskala projekter, hvor flere forskningsgrupper udfører de samme eksperimenter, er vanskelige at styre, forklarer Olavo Amaral, en reproducerbarhedsforsker ved Universidade Federal Do Rio de Janeiro i Brasilien. Han taler af erfaring: Han leder det brasilianske reproducerbarhedsprojekt, et forsøg på at gengive resultaterne af snesevis af biomedicinske undersøgelser udført i laboratorier over hele landet. ”Vi kan altid finde fejl,” siger han.

Han siger, at kritik af det tilbagetrukne papir skal løses, men problemerne ændrer ikke hans mening om arbejdet. ”Resultaterne ser ud til at være ret replikerbare,” siger han. ”Jeg tror ikke, at kritikken af ​​foregistrering ændrer min mening om papiret meget.”

1. Protzko, J. et al. Natur brum. Adfærd 8, 311–319 (2023).

   Artikel
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Natur brum. Adfærd https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikel
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Fortryk på Psyarxiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Adfærd https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikel
   
   Google Scholar

6. Protzko, L. et al. Fortryk på https://osf.io/2s94g (2024).

Download referencer