Gero mokslo darymas yra sudėtinga: Svarbaus atkuriamumo studijos panaikinimas skatina savirefleksiją

Gero mokslo darymas yra sudėtinga: Svarbaus atkuriamumo studijos panaikinimas skatina savirefleksiją

Aukšto profilio popieriaus pasitraukimas 1, The Mokslinių tyrimų pagrįstumo gerinimo metodai Išbandyti išryškino tokių „atkuriamumo“ tyrimų iššūkius. Įtraukto popieriaus autoriai yra keli Šviestuvai šioje srityje.

Tyrime, paskelbtame praėjusių metų lapkritį gamtos žmogaus elgsenoje, aprašė autoriai Griežtas tyrimų protokolas su tokiomis savybėmis kaip didelis imties dydis, siekiant užtikrinti psichologinių eksperimentų pagrįstumą. Autoriai savo protokolą pritaikė dešimtims tyrimų projektų. Jie pranešė, kad 86% bandymų replikacijoje buvo patvirtinti tikėtini rezultatai - vienas didžiausių „replikacijos procentų“, kada nors užfiksuotų tokiuose tyrimuose. Tačiau žurnalo redaktoriai atitraukė dokumentą rugsėjo 23 d 2, kad jie „nebėra pasitikėjimo rezultatų ir išvadų patikimumu“.

Autoriai sutinka su žurnalo susirūpinimu tik vienu punktu, kurį jie priskiria netyčiniai priežiūrai. Vienas iš autorių, Kalifornijos universiteto Santa Barbaros psichologas Jonathanas Schooleris, „Nature“ sakė, kad tyrimų grupė dirba prie naujos rankraščio versijos iš naujo.

Tyrėjai, sekantys byloje, sako, kad jis ... Atviro mokslo principo problemos: išankstinis registravimas Tai apima praktiką išspręsti tyrimo detales, įskaitant hipotezes ir planuojamą analizę, prieš raštu prieš atlikdamas ją, kad būtų išvengta manipuliavimo duomenų ir selektyviai praneštų apie rezultatus.

„Tai rodo, kad geras mokslas yra sunkus, daug sunkesnis, nei dauguma žmonių galvoja“, - sako Sam Schwarzkopf, vizualinis neuromokslas Aucklando universitete Naujojoje Zelandijoje. „Dažnai žmonės, kurie išankstiniai, nustato, kad jų gerai apgalvotuose planuose nėra išsiaiškinti, kai jie susiduria su šalta, sunkia duomenų rinkimo realybe.“

Keturios komandos ir 64 bandymai replikacijai

Straipsnyje aprašomas sudėtingas ir platus eksperimentas: Keturios tyrimų komandos atliko registruotus bandomuosius tyrimus socialinių mokslų srityse. Pavyzdžiui, viename iš tyrimų buvo tiriama, ar laiko spaudimas daro įtaką sprendimų priėmimui 3. Jei bandomasis tyrimas atrado efektą, komanda bandė patvirtinti bent 1500 žmonių pavyzdžių rezultatus. Visos keturios komandos bandė atkurti pasirinktus eksperimentus, norėdamos išsiaiškinti, ar jos pasieks tuos pačius rezultatus. Kiekviena komanda bandė pakartoti keturis savo eksperimentus ir keturis iš kiekvienos iš trijų kitų komandų.

Iš 64 bandymų replikacijos 86% buvo sėkmingi - tai yra, jie davė laukiamų ir statistiškai reikšmingų rezultatų. Palyginimui, kiti socialinių mokslų sričių replikacijos tyrimai praneša apie 50%replikacijos procentus.

Atsitraukto tyrimo autoriai savo aukštą replikacijos dažnį priskyrė „griežtai praktikai“, tokioms kaip dideli imčių dydžiai, Išankstinė registracija ir Metodų skaidrumas atgal. Tokios praktikos priėmimas galėtų padėti padaryti tyrimus patikimesnes, rašė autoriai.

Netrukus po to 4, kuris buvo įkeltas į „PsyarXIV“ serverį, jo pagrįstumą. Jie pažymėjo, kad autoriai nebuvo išankstiniai kai kurių darbo elementų, įskaitant pagrindinį klausimą: ar autorių protokolas padidintų atkuriamumą? Atskirai BAK-Colemanas išsiuntė analizės puslapius „Nature Human Behanse“ redaktoriams, kurie pradėjo tyrimą, kuris galiausiai paskatino atsitraukti.

Komentare 5, kuris lydėjo pasitraukimą, Bak-Colemanas ir Devezeris rašė, kad „atkuriamumas nebuvo pirminis projekto rezultatas, o atkuriamumo analizė nebuvo išvengta, kaip teigiama“. Pranešimo apie grąžinimą aidas turėjo šiuos teiginius. („Nature Human“ elgesį skelbia „Springer Nature“, kuris taip pat skelbia „Nature“. „Nature's News“ komanda yra redakcija nepriklausoma nuo savo leidėjo.)

Autoriaus pripažinimas

Atšaukimo dieną šeši gamtos autoriai žmogaus elgesio autoriai paskelbė savo nuomonės ataskaitą 6. Jame jie pripažįsta, kad kai kurios tyrimo analizės nebuvo iš anksto registruojamos. Tačiau jie vadina kitus atsakomybės pranešimo teiginius „netikslūs“, pavyzdžiui, autorių žinios apie duomenis analizės metu, kaip nustatė žurnalas. Žurnale nesutinka, kad pranešime apie pasitraukimą yra netikslumų.

Brianas Nosekas, Atvirų mokslo centro vykdomasis direktorius Charlottesville mieste, Virdžinijoje, ir „Attraukto tyrimo“ bendraautorius sako, kad buvo šokiruojanti sužinojus, kad išankstinė registracijos klaida buvo išmesta per jų projekto valdymo procesus. "Nežinau, kiek kartų perskaičiau tą popierių su šiais klaidingais teiginiais apie viską, kas iš anksto registruojama ir praleido. Tai buvo tik klaida",-sako jis.

Nosekas, laikomas išankstinio registracijos pradininku, taip pat sako, kad pirminis projekto tikslas buvo atkuriamumas, prieštaraujantis Bakol-Colemanui ir Devezeriui.

Išankstinio registracijos iššūkiai

Saga rodo išankstinio registracijos trūkumus, sako Yoelis Inbaras, Kanados Toronto universiteto psichologas. „Aš mačiau daugybę išankstinių skyrių, kurie buvo neaiškūs, nesilaikomi griežtai, arba kur galutiniame dokumente buvo išankstinio ir neregistruotos analizės derinys“,-sako jis.

„Inbar“ vis labiau įsitikinęs, kad geresnis pasirinkimas yra išankstinio registracijos formatas Registruotos ataskaitos yra ta vieta, kur tyrėjai pateikia savo tyrimo protokolą, įskaitant jo pagrindimą ir metodus, į žurnalą, skirtą peržiūrėti prieš rinkimąsi duomenimis. Redaktoriai nusprendžia, ar priimti tyrimą, remiantis tyrimo klausimo svarba ir metodų griežtumu bei įsipareigoti skelbti rezultatus, jei darbas atliekamas, kaip aprašyta.

Kiti sako, kad žurnalas yra problemos dalis. Anne Scheel, Nyderlandų Utrechto universiteto metalenistė, sako, kad nors autoriai padarė klaidų, redaktoriai turėjo pastebėti, kad trūksta išankstinio regėjimo. Recenzentai ne visada tikrina išankstinį neregistraciją, o svarbiausiems žurnalams, tokiems kaip „Nature Human“ elgesys, reikia procesų, kad būtų iš tikrųjų tikrinama išankstinė registracija “, - sako ji.

Žurnalo atstovas sako, kad tyrinėja savo praktikos pakeitimus. „Žurnale nagrinėjami būdai, kaip pagerinti skaidrumo, standartizavimo ir ataskaitų teikimo reikalavimus, susijusius su išankstiniais registravimo reikalavimais socialiniuose ir elgesio moksluose, kurie sustiprins pastangas stebėti išankstinio registracijos laikymąsi“, - priduria atstovas spaudai.

Laiko švaistymas visiems

Didelio masto projektai, kuriuose sunku valdyti kelis tyrimų grupes, atlieka tuos pačius eksperimentus, paaiškina Olavo Amaral, „Universidade Federal Do Rio de Janeiro“ atkuriamumo tyrinėtojas Brazilijoje. Jis kalba iš patirties: jis vadovauja Brazilijos atkuriamumo projektui, bandymui atkurti dešimtys biomedicinos tyrimų, atliktų visos šalies laboratorijose, rezultatus. „Mes visada galime rasti klaidų“, - sako jis.

Jis sako, kad reikia atkreipti dėmesį į atsiimto dokumento kritiką, tačiau problemos nekeičia jo nuomonės apie darbą. „Atrodo, kad rezultatai yra gana atkartojami“, - sako jis. „Nemanau, kad išankstinio registracijos kritika labai keičia mano nuomonę apie popierių“.

1. Protzko, J. ir kt. Gamta Hum. Elgesys 8, 311–319 (2023).

   Straipsnis
   PubMed
   
   „Google Scholar“

2. Protzko, J. ir kt. Gamta Hum. Elgesys https://doi.org/10.1038/S41562-024-01997-3 (2024).

   Straipsnis
   
   „Google Scholar“

3. Protzko, J., Zedelius, C. M. ir Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Straipsnis
   PubMed
   
   „Google Scholar“

4. Bak-Coleman, J. ir Dever, B. PrePrint Psyarxiv https://doi.org/10.31234/osf.io/5U3KJ (2024).

5. Bak-Coleman, J. & Dever, B. Nature Hum. Elgesys https://doi.org/10.1038/S41562-024-01982-W (2024).

   Straipsnis
   
   „Google Scholar“

6. Protzko, L. et al. Išankstinis spausdinimas https://osf.io/2S94g (2024).

Atsisiųskite nuorodas