Robiť dobrú vedu je náročné: Zrušenie dôležitej štúdie reprodukovateľnosti stimuluje sebareflexiu

Robiť dobrú vedu je náročné: Zrušenie dôležitej štúdie reprodukovateľnosti stimuluje sebareflexiu

Odstúpenie vysokoprofilového papiera 1, Metódy na zlepšenie platnosti vedeckých štúdií Testované zdôraznilo výzvy takéhoto výskumu „reprodukovateľnosti“. Autori stiahnutého papiera zahŕňajú niekoľko Svietidlá v tejto oblasti.

V štúdii uverejnenej vlani v novembri v prírodnom ľudskom správaní autori opísali autori prísny výskumný protokol s funkciami, ako sú veľké veľkosti vzoriek, na zabezpečenie platnosti psychologických experimentov. Autori aplikovali svoj protokol na desiatky výskumných projektov. Uviedli, že v 86% pokusov o replikáciu boli potvrdené očakávané výsledky - jedna z najvyšších „miery replikácie“, ktorá bola kedy zaznamenaná v týchto štúdiách. Redaktori časopisu však tento dokument 23. septembra stiahli a uviedli v oznámení o stiahnutí 2, že „už nemajú dôveru v spoľahlivosť výsledkov a záverov“.

Autori súhlasia s obavami časopisu iba v jednom bode, ktoré pripisujú neúmyselnému dohľadu. Jeden z autorov, Jonathan Schooler, psychológ na Kalifornskej univerzite v Santa Barbare, povedal Natureovi, že výskumná skupina pracuje na novej verzii rukopisu na opätovné opätovné odoslanie.

Vedci, ktorí nasledujú tento prípad, hovoria, že ... Problémy princípu otvorenej vedy: Predbežné registrácie čo zahŕňa prax stanovenia podrobností štúdie, vrátane hypotéz a plánovaných analýz písomne ​​pred jej vykonaním, aby sa zabránilo manipulácii s údajmi a selektívnemu vykazovaniu výsledkov.

„To ukazuje, že dobrá veda je ťažká, oveľa ťažšia, ako si väčšina ľudí myslí,“ hovorí Sam Schwarzkopf, vizuálny neurovedec na University of Auckland na Novom Zélande. "Ľudia, ktorí predpokladajú, často zistia, že ich premyslené plány sa nevypúšťajú, keď sú konfrontovaní s chladnou a tvrdou realitou zberu údajov."

Štyri tímy a 64 pokusov o replikáciu

Príspevok popisuje komplexný a rozsiahly experiment: Štyri výskumné tímy vykonali registrované pilotné štúdie v oblastiach spoločenských vied. Napríklad jedna zo štúdií skúmala, či časový tlak ovplyvňuje rozhodovanie 3. Ak pilotná štúdia objavila účinok, tím sa pokúsil potvrdiť výsledky vo vzorke najmenej 1 500 ľudí. Všetky štyri tímy sa pokúsili reprodukovať vybrané experimenty, aby zistili, či by dosiahli rovnaké výsledky. Každý tím sa pokúsil zopakovať štyri svoje vlastné experimenty a štyri z každého z troch ďalších tímov.

Z 64 pokusov o replikáciu bolo 86% úspešných - to znamená, že priniesli očakávané a štatisticky významné výsledky. V porovnaní s tým ďalšie replikačné štúdie v oblasti spoločenských vied uvádzajú priemernú mieru replikácie 50%.

Autori stiahnutej štúdie pripísali svoju vysokú mieru replikácie „prísnym postupom“, ako sú veľké veľkosti vzoriek, Predpis a Transparentnosť metód späť. Autori napísali, že prijatie takýchto praktík by mohlo pomôcť zvýšiť spoľahlivejšie štúdie.

Krátko po uverejnení novín Joseph Bak-Coloman, sociálny vedec na University of Konstanz v Nemecku, a Berna Devezer, ktorá študuje marketing na University of Idaho v Moskve, ho spochybnila v predprinte 4, ktorý bol nahraný na server Psyarxiv, jeho platnosť. Poznamenali, že autori nepredpokladali niektoré prvky príspevku, vrátane ústrednej otázky: zvýšil by protokol autorov reprodukovateľnosť? Samostatne poslal Bak-Cleman stránky analýzy redaktorom prírodného ľudského správania, ktorí začali vyšetrovanie, ktoré nakoniec viedlo k stiahnutiu.

V komentári 5, ktorý sprevádzal stiahnutie, Bak-Coloman a Devezer napísali, že „reprodukovateľnosť nebola pôvodným výsledkom projektu a analýzy reprodukovateľnosti neboli predregistrované, ako sa tvrdí.“ Oznámenie o návrate Echo malo tieto vyhlásenia. (Nature Human Behavior publikuje Springer Nature, ktorý tiež vydáva prírodu.

Autorské uznanie

V deň stiahnutia uverejnilo šesť autorov prírodného ľudského správania správu o svojich názoroch 6. V ňom pripúšťajú, že niektoré analýzy štúdie neboli vopred zaregistrované. Nazývajú však ďalšie vyhlásenia v oznámení o stiahnutí „neúprosné“, ako napríklad znalosti autorov o údajoch v čase analýz určených časopisom. Časopis nesúhlasí s tým, že oznámenie o stiahnutí obsahuje nepresnosti.

Brian Nesek, výkonný riaditeľ Centra pre otvorenú vedu v Charlottesville vo Virgínii a spoluautor stiahnutej štúdie, tvrdí, že bolo šokujúce dozvedieť sa, že chyba predregistrácie bola vyvolaná ich procesmi riadenia projektov. „Neviem, koľkokrát som čítal tento dokument s týmito chybnými vyhláseniami o všetkom, čo je vopred zaregistrované a zmeškali. Bola to len chyba,“ hovorí.

Nosek, považovaný za priekopníka v predbežnom registrácii, tiež hovorí, že pôvodným cieľom projektu je reprodukovateľnosť, ktorá je v rozpore s Bak-Colomanom a Devezerom.

Výzvy pred registráciou

Sága ukazuje nedostatky predregistrácie, hovorí Yoel Inbar, psychológ na univerzite v Toronte v Kanade. "Videl som veľa predpokladov, ktoré boli nejasné, nie striktne sledované, alebo kde bol konečný dokument kombináciou predpokladanej a nepredávanej analýzy," hovorí.

Inbar je čoraz viac presvedčený, že lepšou možnosťou je formát predregistrácie registrované správy je miestom, kde vedci predkladajú svoj študijný protokol, vrátane jeho odôvodnenia a metód, do časopisu na preskúmanie pred odberom údajov. Redaktori sa rozhodnú, či akceptujú štúdiu na základe dôležitosti výskumnej otázky a prísnosti metód a zaviazať sa k zverejneniu výsledkov, ak sa práca vykonáva tak, ako je to opísané.

Iní tvrdia, že časopis je súčasťou problému. Anne Scheel, metascientkyňa na Utrechtskej univerzite v Holandsku, hovorí, že hoci autori urobili chyby, redaktori si mali všimnúť nedostatok predpokladu. Recenzenti nie vždy kontrolujú predregistráciu a hlavné časopisy, ako je prírodné ľudské správanie “, potrebujú procesy, aby skutočne skontrolovali predregistráciu,“ hovorí.

Hovorca časopisu tvrdí, že skúma zmeny v jej praktikách. „Časopis skúma spôsoby, ako zlepšiť požiadavky na transparentnosť, štandardizáciu a podávanie správ o predbežnom registrácii v sociálnych a behaviorálnych vedách, ktoré posilnia úsilie o monitorovanie dodržiavania predpisov,“ dodáva hovorca.

Strata času pre všetkých

Veľké projekty, v ktorých viacero výskumných skupín vykonáva rovnaké experimenty, je ťažké zvládnuť, vysvetľuje Olavo Amaral, výskumný pracovník reprodukovateľnosti na univerzitách Federal Do Rio de Janeiro v Brazílii. Hovorí zo skúseností: Vedie brazílsky projekt reprodukovateľnosti, pokus o reprodukciu výsledkov desiatok biomedicínskych štúdií vykonaných v laboratóriách po celej krajine. "Vždy môžeme nájsť chyby," hovorí.

Hovorí, že je potrebné riešiť kritiku stiahnutej práce, ale problémy nemenia jeho názor na prácu. „Výsledky sa javia ako pomerne replikovateľné,“ hovorí. "Nemyslím si, že kritika predregistrácie mení môj názor na papier."

1. Protzko, J. a kol. Príroda hum. Správanie 8, 311 - 319 (2023).

   Článok
   PubMed
   
   Študovňa Google

2. Protzko, J. a kol. Príroda hum. Behavior https://doi.org/10.1038/S41562-024-01997-3 (2024).

   Článok
   
   Študovňa Google

3. Protzko, J., Zedelius, C. M. & School, J. W. Psychol. Sci. 30, 1584 - 1591 (2019).

   Článok
   PubMed
   
   Študovňa Google

4. Bak-Coloman, J. & Devezer, B. Pretlač v Psyarxiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coloman, J. & Devezer, B. Nature Hum. Behavior https://doi.org/10.1038/S41562-024-01982-W (2024).

   Článok
   
   Študovňa Google

6. Protzko, L. a kol. Predtlač v https://osf.io/2s94g (2024).

Stiahnite si referencie