Dobrá věda je náročná: stažení důležité studie reprodukovatelnosti stimuluje sebereflexi

Dobrá věda je náročná: stažení důležité studie reprodukovatelnosti stimuluje sebereflexi

Stažení vysoce postaveného papíru 1, Metody zlepšení platnosti vědeckých studií Testováno zdůraznilo výzvy takového výzkumu „reprodukovatelnosti“. Autoři zasunutého papíru zahrnují několik Svítidla v této oblasti.

Ve studii zveřejněné loni v listopadu v přírodě lidské chování popsali autoři přísný výzkumný protokol s funkcemi, jako jsou velké velikosti vzorků, aby byla zajištěna platnost psychologických experimentů. Autoři použili svůj protokol na desítky výzkumných projektů. Uvedli, že u 86% pokusů o replikaci byly potvrzeny očekávané výsledky - jedna z nejvyšších „míry replikace“, která byla v takových studiích zaznamenána. Redaktoři časopisu však papír 23. září stáhli a v oznámení o zatažení uvedli 2, že „již nemají důvěru ve spolehlivost výsledků a závěrů“.

Autoři souhlasí s obavami časopisu pouze z jednoho bodu, který připisují neúmyslnému dohledu. Jeden z autorů, Jonathan Schooler, psycholog na Kalifornské univerzitě, Santa Barbara, řekl přírodě, že výzkumná skupina pracuje na nové verzi rukopisu pro odeslání.

Vědci, kteří následovali případ, říkají, že ... Problémy principu otevřené vědy: předběžné studium což zahrnuje praxi stanovení podrobností studie, včetně hypotéz a plánovaných analýz, písemně před jejím provedením, aby se zabránilo manipulaci s daty a selektivní hlášení výsledků.

"To ukazuje, že dobrá věda je tvrdá, mnohem těžší, než si většina lidí myslí," říká Sam Schwarzkopf, vizuální neurovědci na University of Auckland na Novém Zélandu. "Lidé, kteří předem, často zjišťují, že jejich promyšlené plány se často nevyskytují, když jsou konfrontováni s chladnou, tvrdou realitou sběru dat."

Čtyři týmy a 64 pokusů o replikaci

Příspěvek popisuje složitý a rozsáhlý experiment: každý z nich provedl registrované pilotní studie v oblastech sociálních věd. Například jedna ze studií zkoumala, zda časový tlak ovlivňuje rozhodování 3. Pokud pilotní studie objevila účinek, tým se pokusil potvrdit výsledky ve vzorku nejméně 1 500 lidí. Všechny čtyři týmy se pokusily reprodukovat vybrané experimenty, aby zjistily, zda by dosáhly stejných výsledků. Každý tým se pokusil replikovat čtyři své vlastní experimenty a čtyři z každého ze tří dalších týmů.

Ze 64 pokusů o replikaci bylo 86% úspěšných - to znamená, že přinesli očekávané a statisticky významné výsledky. Ve srovnání, další replikační studie v oblasti sociálních věd uvádějí průměrnou míru replikace 50%.

Autoři zatažené studie připisovali svou vysokou míru replikace „přísným praktikám“, jako jsou velké velikosti vzorku, Předběžná registrace a Transparentnost o metodách zadní. Přijetí takových praktik by mohlo pomoci zvýšit spolehlivější studie, napsali autoři.

Krátce poté, co byl dokument zveřejněn, Joseph Bak-Coleman, sociální vědec na University of Konstanz v Německu, a Berna Devezer, která studuje marketing na University of Idaho v Moskvě, to zpochybňovalo v předvolech 4, který byl nahrán na server Psyarxiv, jeho platnost. Poznamenali, že autoři nepředstavovali některé prvky příspěvku, včetně ústřední otázky: Zvýšil by autoři protokol reprodukovatelnost? Samostatně Bak-Coleman poslal stránky analýzy editorům lidského chování přírody, kteří zahájili vyšetřování, které nakonec vedlo k zatažení.

V komentáři 5, který doprovázel stažení, Bak-Coleman a Devezer napsali, že „reprodukovatelnost nebyla původním výsledkem projektu a analýzy reprodukovatelnosti nebyly předurčeny, jak se tvrdí.“ Oznámení o návratu Echo měla tato prohlášení. (Nature Human Behavior je publikován Springer Nature, který také publikuje přírodu. Zpravodajský tým je redakčně nezávislý na svém vydavateli.)

Autorské uznání

V den stažení zveřejnilo šest autorů lidského chování na přírodě zprávu o jejich názorech 6. V něm přiznávají, že některé analýzy studie nebyly předběžně zaregistrovány. V oznámení o zatažení však nazývají další prohlášení „nezbytná“, jako je znalost autorů o datech v době analýz, jak je stanoveno časopisem. Časopis nesouhlasí, že oznámení o stažení obsahuje nepřesnosti.

Brian Nosek, výkonný ředitel Centra pro otevřenou vědu v Charlottesville ve Virginii, a spoluautor zasunuté studie, říká, že bylo šokující zjistit, že došlo k chybě předběžného řízení prostřednictvím jejich procesů řízení projektu. „Nevím, kolikrát jsem ten papír s těmito chybnými prohlášeními o všem, co je předběžně zaregistrován, a zmeškal to. Byla to jen chyba,“ říká.

Nosek, považovaný za průkopníka v předběžném předsednictví, také říká, že původním cílem projektu byla reprodukovatelnost, která byla v rozporu s Bak-Coleman a Devezer.

Výzvy předběžného registrace

Saga ukazuje nedostatky předběžného registrace, říká Yoel Inbar, psycholog na University of Toronto v Kanadě. "Viděl jsem mnoho předpokladů, které byly vágní, nebyly přísně dodržovány, nebo tam, kde byl poslední dokument směsí předem a nepředpokládané analýzy," říká.

Inbar je stále více přesvědčen, že lepší volbou je formát předběžného registrace registrované zprávy je místo, kde vědci předkládají svůj studijní protokol, včetně zdůvodnění a metod, do deníku k přezkoumání před sběrem dat. Editoři se rozhodnou, zda studii přijme na základě důležitosti výzkumné otázky a přísnosti metod a zavázali se zveřejnit výsledky, pokud je práce prováděna, jak je popsáno.

Jiní říkají, že časopis je součástí problému. Anne Scheel, mesancientistka na Utrechtské univerzitě v Nizozemsku, říká, že ačkoli autoři udělali chyby, editoři by si měli všimnout nedostatku předběžného registrace. Recenzenti ne vždy kontrolují předběžnou registraci a hlavní časopisy, jako je přírodní lidské chování, „potřebují procesy ke skutečné kontrole předběžného předpisu,“ říká.

Mluvčí časopisu říká, že zkoumá změny svých postupů. „Časopis zkoumá způsoby, jak zlepšit požadavky na transparentnost, standardizaci a podávání zpráv o předběžném registraci v sociálních a behaviorálních vědách, které posilují úsilí o sledování dodržování předběžných předpisů,“ dodává mluvčí.

Ztráta času pro všechny

Vysvětluje Olavo Amaral, rozsáhlé projekty, ve kterých více výzkumných skupin provádí stejné experimenty, které je obtížné zvládnout, v Brazílii. Hovoří ze zkušenosti: vede brazilský projekt reprodukovatelnosti, pokus reprodukovat výsledky desítek biomedicínských studií prováděných v laboratořích po celé zemi. "Vždy můžeme najít chyby," říká.

Říká, že je třeba řešit kritiku zasunutého papíru, ale problémy nemění jeho názor na práci. "Zdá se, že výsledky jsou docela replikovatelné," říká. "Nemyslím si, že kritika předregistrace mění můj názor na článek."

1. Protzko, J. a kol. Příroda hum. Chování 8, 311–319 (2023).

   Článek
   PubMed
   
   Google Scholar

2. Protzko, J. a kol. Příroda hum. Chování https://doi.org/10.1038/S41562-024-01997-3 (2024).

   Článek
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Článek
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Presrint v Psyarxiviovi https://doi.org/10.31234/osf.io/5U3KJ (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Chování https://doi.org/10.1038/S41562-024-01982-W (2024).

   Článek
   
   Google Scholar

6. Protzko, L. a kol. Předtisk na https://osf.io/2S94G (2024).

Stáhnout odkazy