A jó tudomány elvégzése kihívást jelent: Egy fontos reprodukálhatósági tanulmány visszavonása serkenti az önreflexiót

A jó tudomány elvégzése kihívást jelent: Egy fontos reprodukálhatósági tanulmány visszavonása serkenti az önreflexiót

Egy magas színvonalú papír visszavonása 1, a A tudományos vizsgálatok érvényességének javításának módszerei A tesztelt kiemelte az ilyen „reprodukálhatóság” kutatás kihívásait. A visszahúzott papír szerzői többek között szerepelnek Világítótestek ezen a területen -

A Nature Human Behaviorban tavaly novemberben közzétett tanulmányban a szerzők leírták Szigorú kutatási protokoll, olyan funkciókkal, mint a nagy minták, amelyek biztosítják a pszichológiai kísérletek érvényességét - A szerzők tucatnyi kutatási projektre alkalmazták protokolljukat. Azt jelentették, hogy a replikációs kísérletek 86% -ában a várt eredményeket megerősítették - az egyik legmagasabb "replikációs arány" az ilyen tanulmányokban. De a folyóirat szerkesztői szeptember 23 -án visszahúzták a papírt, a visszahúzási értesítésben kijelentve 2, hogy „többé nem bíznak az eredmények és következtetések megbízhatóságában”.

A szerzők csak egy ponton egyetértenek a folyóirat aggodalmaival, amelyeket véletlen felügyeletnek tulajdonítanak. Az egyik szerző, Jonathan Schooler, a Santa Barbara Kaliforniai Egyetem pszichológusa elmondta a Nature -nak, hogy a kutatócsoport a kézirat új verzióján dolgozik az újbóli benyújtás céljából.

Az ügyet követő kutatók azt mondják, hogy ... A nyitott tudomány elve problémái: Előzetes beépítés amely magában foglalja a tanulmány részleteinek meghatározását, ideértve a hipotéziseket és a tervezett elemzéseket is, írásban, mielőtt azt elvégezné, hogy megakadályozzák az adatok manipulációját és az eredmények szelektív jelentését.

"Ez azt mutatja, hogy a jó tudomány nehéz, sokkal nehezebb, mint a legtöbb ember gondolja" - mondja Sam Schwarzkopf, az új -zélandi Aucklandi Egyetem vizuális idegtudósának. "Gyakran az emberek, akik előznek, úgy találják, hogy jól átgondolt terveik nem jelentkeznek, amikor az adatgyűjtés hideg, nehéz valóságával szembesülnek."

Négy csapat és 64 replikációs kísérlet

A cikk egy összetett és kiterjedt kísérletet ír le: négy kutatócsoport mindegyik regisztrált kísérleti tanulmányt végzett a társadalomtudományi területeken. Például az egyik tanulmány megvizsgálta, hogy az időnyomás befolyásolja-e a döntéshozatalt 3 - Ha a kísérleti tanulmány felfedezte a hatást, a csapat megpróbálta megerősíteni az eredményeket legalább 1500 fős mintában. Mind a négy csapat megpróbálta reprodukálni a kiválasztott kísérleteket, hogy megnézze, vajon ugyanazokat az eredményeket érik el. Mindegyik csapat megpróbálta megismételni négy saját kísérletét, és négy másik csapatból négyet.

A 64 replikációs kísérlet közül 86% sikeres volt - azaz a várt és statisztikailag szignifikáns eredményeket hozták létre. Összehasonlításképpen, a társadalomtudományi mezők más replikációs tanulmányai 50%-os átlagos replikációs rátát mutatnak.

A visszahúzott tanulmány szerzői a magas replikációs arányát a "szigorú gyakorlatoknak" tulajdonították, például a nagy minták méretének, Előzetes regisztráció és Átláthatóság a módszerekről vissza. Az ilyen gyakorlatok elfogadása hozzájárulhat a tanulmányok megbízhatóbbá tételéhez - írták a szerzők.

Röviddel a cikk közzététele után Joseph Bak-Coleman, a németországi Konstanz Egyetem társadalomtudósának és Berna Devezernek, aki a moszkvai Idaho Egyetemen marketingt tanulmányoz, egy előzetes nyomtatásban megkérdőjelezte. 4, amelyet feltöltöttek a psyarxiv szerverre, annak érvényessége. Megállapították, hogy a szerzők nem előztek elő a cikk néhány elemét, ideértve a központi kérdést is: a szerzők protokollja növeli -e a reprodukálhatóságot? A Bak-Coleman külön-külön elküldte az elemzési oldalakat a Nature Human Behavior szerkesztõinek, akik vizsgálatot indítottak, amely végül a visszahúzáshoz vezetett.

Egy megjegyzésben 5, amely kíséretében a visszavonást, Bak-Coleman és Devezer azt írták, hogy „a reprodukálhatóság nem volt a projekt eredeti eredménye, és a reprodukálhatóság elemzését nem az állítások szerint állítják elő.” A visszaküldési értesítés Echo -nak volt ezek a kijelentései. (A természet emberi viselkedését a Springer Nature teszi közzé, amely szintén közzéteszi a Nature -t. A Nature's News csapata szerkesztőségben független a kiadójától.)

Egy szerzői elismerés

A visszavonás napján a Nature Human Behavior hat szerzője jelentést tett közzé véleményükről 6 - Ebben beismerik, hogy a tanulmány néhány elemzését nem regisztrálták. Ugyanakkor a visszahúzásban szereplő egyéb nyilatkozatokat „nem megfelelőnek” hívják, például a szerzők ismereteit az adatokról az elemzések idején, a folyóirat által meghatározottak szerint. A folyóirat nem ért egyet arról, hogy a visszavonási értesítés pontatlanságokat tartalmaz.

Brian Nosek, a Virginia, Charlottesville-i Open Science Center ügyvezető igazgatója és a visszahúzott tanulmány társszerzője szerint sokkoló volt megtudni, hogy az előzetes értékelési hibát a projektmenedzsment folyamataik révén dobták el. "Nem tudom, hányszor olvastam ezt a papírt ezekkel a téves állításokkal mindenről, amelyet előre regisztráltak és elmulasztottak. Ez csak egy hiba volt"-mondja.

Nosek, amelyet az előzetes beépítés úttörőjének tekintnek, azt is mondja, hogy a projekt eredeti célja a reprodukálhatóság volt, ellentmondva a Bak-Colemannek és a Devezernek.

Az előzetes regisztráció kihívásai

A saga bemutatja az előzetes regisztráció hibáit-mondja Yoel Inbar, a kanadai torontói egyetem pszichológusa. "Láttam, hogy sok olyan előzetes regisztráció, amelyek homályosak, nem szigorúan követtek, vagy ahol a végső cikk az előzetes és nem pregisztrált elemzés keveréke volt"-mondja.

Az Inbar egyre inkább meg van győződve arról, hogy a jobb megoldás az előzetes regisztrációs formátum regisztrált jelentések A kutatók a kutatók benyújtják a vizsgálati protokollt, beleértve annak indokait és módszereit, az adatgyűjtés előtti felülvizsgálati naplót. A szerkesztők úgy döntenek, hogy elfogadják -e a tanulmányt a kutatási kérdés fontosságán, valamint a módszerek szigorán, és vállalják az eredmények közzétételét, ha a munkát a leírtak szerint hajtják végre.

Mások szerint a folyóirat a probléma része. Anne Scheel, a hollandiai Utrechti Egyetem metascientistája azt mondja, hogy bár a szerzők hibákat követnek el, a szerkesztőknek észre kellett volna venniük az előkészítés hiányát. Az értékelők nem mindig ellenőrzik az előzetes regisztrációt, és olyan fő folyóiratok, mint a Nature Human Behavior, "folyamatokra van szükségük az előzetes regisztráció ellenőrzéséhez" - mondja.

A folyóirat szóvivője szerint a gyakorlatok változásait vizsgálja. "A folyóirat feltárja az átláthatóság, a szabványosítás és a beszámolási követelmények javításának módját a társadalmi és viselkedéstudományi tudományban, amely megerősíti az előzetes regisztráció betartására irányuló erőfeszítéseket" - tette hozzá a szóvivő.

Időpazarlás mindenki számára

A nagyszabású projektek, amelyekben több kutatócsoport ugyanazokat a kísérleteket végzi, nehéz kezelni-magyarázza Olavo Amaral, a brazili Universidade Federal Do Rio de Janeiro reprodukálhatósági kutatója. Tapasztalatból beszél: Vezeti a brazil reprodukálhatósági projektet, amely megkísérelte reprodukálni az ország egész területén laboratóriumokban végzett tucatnyi orvosbiológiai tanulmány eredményeit. "Mindig találhatunk hibákat" - mondja.

Azt mondja, hogy foglalkozni kell a visszahúzott papír kritikájával, de a problémák nem változtatják meg a munkával kapcsolatos véleményét. "Úgy tűnik, hogy az eredmények meglehetősen megismételhetőnek tűnnek" - mondja. "Nem hiszem, hogy az előzetes regisztráció kritikája sokat változtat a papírról."

1. Protzko, J. et al. Természet Hum. 8., 311–319 (2023) viselkedés.

   Cikk
   PubMed
   
   Google Tudós

2. Protzko, J. et al. Természet Hum. Viselkedés https://doi.org/10.1038/S41562-024-01997-3 (2024).

   Cikk
   
   Google Tudós

3. Protzko, J., Zedelius, C. M. és Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Cikk
   PubMed
   
   Google Tudós

4. Bak-Coleman, J. és Devezer, B. Preprint a Psyarxiv-nál https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. és Devezer, B. Nature Hum. Viselkedés https://doi.org/10.1038/S41562-024-01982-W (2024).

   Cikk
   
   Google Tudós

6. Protzko, L. et al. Nyomtat https://osf.io/2s94g (2024).

Töltse le a referenciákat