Å gjøre god vitenskap er utfordrende: tilbaketrekking av en viktig reproduserbarhetsstudie stimulerer selvrefleksjon

Å gjøre god vitenskap er utfordrende: tilbaketrekking av en viktig reproduserbarhetsstudie stimulerer selvrefleksjon

Tilbaketrekning av et høyt profilert papir 1, The Metoder for å forbedre gyldigheten av vitenskapelige studier Testet har fremhevet utfordringene med slik "reproduserbarhet" -forskning. Forfatterne av det tilbaketrukne papiret inkluderer flere Armaturer på dette feltet.

I studien som ble publisert i november i Nature Human Behaviour, beskrev forfatterne En streng forskningsprotokoll med funksjoner som store prøvestørrelser for å sikre gyldigheten av psykologiske eksperimenter. Forfatterne brukte protokollen sin på dusinvis av forskningsprosjekter. De rapporterte at i 86% av replikasjonsforsøkene ble de forventede resultatene bekreftet - en av de høyeste "replikasjonsgradene" som noen gang er registrert i slike studier. Men tidsskriftets redaktører trakk papiret tilbake 2, at de "ikke lenger har tillit til påliteligheten til resultatene og konklusjonene".

Forfatterne er enige i tidsskriftets bekymringer på bare ett punkt, som de tilskriver et utilsiktet tilsyn. En av forfatterne, Jonathan Schooler, en psykolog ved University of California, Santa Barbara, fortalte Nature at forskningsgruppen jobber med en ny versjon av manuskriptet for gjeninnlevering.

Forskere som følger saken, sier at han ... Problemer med et prinsipp om åpen vitenskap: Forhåndsregistrering som involverer praksisen med å sette ut detaljene i en studie, inkludert hypoteser og planlagte analyser, skriftlig før du gjennomfører den for å forhindre datamanipulering og selektiv rapportering av resultater.

"Det dette viser er at god vitenskap er vanskelig, mye vanskeligere enn folk flest tror," sier Sam Schwarzkopf, en visuell nevrovitenskapsmann ved University of Auckland i New Zealand. "Ofte opplever folk som forhåndsregistrerer at deres gjennomtenkte planer ikke går ut når de blir konfrontert med den kalde, harde virkeligheten av datainnsamling."

Fire lag og 64 replikasjonsforsøk

Oppgaven beskriver et komplekst og omfattende eksperiment: fire forskerteam gjennomførte hver registrerte pilotstudier på samfunnsvitenskapelige områder. For eksempel undersøkte en av studiene om tidspress påvirker beslutningen 3. Hvis pilotstudien oppdaget en effekt, prøvde teamet å bekrefte resultatene i et utvalg på minst 1500 mennesker. Alle de fire lagene prøvde å reprodusere de valgte eksperimentene for å se om de ville oppnå de samme resultatene. Hvert lag forsøkte å gjenskape fire av sine egne eksperimenter og fire fra hvert av de tre andre lagene.

Av de 64 replikasjonsforsøkene var 86% vellykkede - det vil si at de ga de forventede og statistisk signifikante resultatene. Til sammenligning rapporterer andre replikasjonsstudier i samfunnsvitenskapelige felt gjennomsnittlig replikasjonsgrad på 50%.

Forfatterne av den tilbaketrukne studien tilskrev sin høye replikasjonshastighet til "strenge praksiser" som store prøvestørrelser, Forhåndsregistrering og Åpenhet om metoder tilbake. Å ta i bruk slik praksis kan bidra til å gjøre studier mer pålitelige, skrev forfatterne.

Kort tid etter at papiret ble publisert, ble Joseph Bak-Coleman, samfunnsforsker ved University of Konstanz i Tyskland, og Berna Devezer, som studerer markedsføring ved University of Idaho i Moskva, spurte det i en forhåndtrykk 4, som ble lastet opp til PSYARXIV -serveren, dens gyldighet. De bemerket at forfatterne ikke hadde forutsagt noen elementer i papiret, inkludert det sentrale spørsmålet: ville forfatternes protokoll øke reproduserbarheten? Hver for seg sendte Bak-Coleman sider med analyse til redaktørene av Nature Human Behaviour, som startet en etterforskning som til slutt førte til tilbaketrekningen.

I en kommentar 5, som fulgte tilbaketrekningen, skrev Bak-Coleman og Devezer at "reproduserbarhet ikke var det opprinnelige utfallet av prosjektet og analysene av reproduserbarhet ikke ble forhåndsregistrert som hevdet." Returvarselen Echo hadde disse uttalelsene. (Nature Human Behaviour er publisert av Springer Nature, som også publiserer Nature. Nature's News Team er redaksjonelt uavhengig av utgiveren.)

En forfatter anerkjennelse

På dagen for tilbaketrekningen publiserte seks av forfatterne av naturens menneskelige atferd en rapport om deres synspunkter 6. I den innrømmer de at noen av studiens analyser ikke var forhåndsregistrert. Imidlertid kaller de andre uttalelser i tilbaketrekningsvarselet "unaccurate", som forfatternes kunnskap om dataene på analysenes tid som bestemt av tidsskriftet. Tidsskriftet er uenig i at tilbaketrekningsvarselet inneholder unøyaktigheter.

Brian Nosek, administrerende direktør for Center for Open Science i Charlottesville, Virginia, og medforfatter av den tilbaketrukne studien, sier det var sjokkerende å vite at forhåndsregistreringsfeilen ble kastet gjennom prosjektstyringsprosessene. "Jeg vet ikke hvor mange ganger jeg har lest papiret med disse feilaktige utsagnene om alt som er forhåndsregistrert og savnet det. Det var bare en feil," sier han.

Nosek, ansett som en pioner innen forhåndsregistrering, sier også at det opprinnelige målet med prosjektet var reproduserbarhet, motstridende Bak-Coleman og Devezer.

Utfordringer med forhåndsregistrering

Sagaen viser feilene i forhåndsregistrering, sier Yoel Inbar, en psykolog ved University of Toronto i Canada. "Jeg har sett mange forhåndsregistreringer som var vage, ikke strengt fulgt, eller hvor sluttoppgaven var en blanding av den forhåndsregistrerte og ikke-forhåndsregistrerte analysen," sier han.

Inbar er stadig mer overbevist om at et bedre alternativ er forhåndsregistreringsformatet Registrerte rapporter er der forskere sender inn studieprotokollen, inkludert dens begrunnelse og metoder, til en tidsskrift for gjennomgang før datainnsamling. Redaktørene bestemmer om de skal akseptere studien basert på viktigheten av forskningsspørsmålet og strengheten til metodene og forplikte seg til å publisere resultatene hvis arbeidet blir utført som beskrevet.

Andre sier at tidsskriftet er en del av problemet. Anne Scheel, metascientist ved Utrecht University i Nederland, sier at selv om forfatterne gjorde feil, burde redaktørene ha lagt merke til mangelen på forhåndsregistrering. Anmeldere sjekker ikke alltid forhåndsregistrering, og store tidsskrifter som naturens menneskelige atferd "trenger prosesser for å faktisk sjekke forhåndsregistrering," sier hun.

En talsperson for tidsskriftet sier at den utforsker endringer i dens praksis. "Tidsskriftet undersøker måter å forbedre kravene til åpenhet, standardisering og rapportering for forhåndsregistrering i samfunns- og atferdsvitenskapene, som vil styrke innsatsen for å overvåke overholdelse av forhåndsregistrering," legger talspersonen til.

Avfall av tid for alle

Storskala prosjekter der flere forskningsgrupper gjennomfører de samme eksperimentene som er vanskelige å administrere, forklarer Olavo Amaral, en reproduserbarhetsforsker ved Universidade Federal do Rio de Janeiro i Brasil. Han snakker av erfaring: Han leder det brasilianske reproduserbarhetsprosjektet, et forsøk på å reprodusere resultatene av dusinvis av biomedisinske studier utført i laboratorier over hele landet. "Vi kan alltid finne feil," sier han.

Han sier at kritikk av det tilbaketrukne papiret må løses, men problemene endrer ikke hans mening om arbeidet. "Resultatene ser ut til å være ganske replikerbare," sier han. "Jeg tror ikke kritikken av forhåndsregistrering endrer min mening om papiret mye."

1. Protzko, J. et al. Natur Hum. Oppførsel 8, 311–319 (2023).

   Artikkel
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Natur Hum. Atferd https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikkel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikkel
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Forhåndtrykk på Psyarxiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Atferd https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikkel
   
   Google Scholar

6. Protzko, L. et al. Forhåndtrykk på https://osf.io/2S94G (2024).

Last ned referanser