Izrada dobre znanosti je izazovno: povlačenje važne studije obnovljivosti potiče samorefleksiju

Izrada dobre znanosti je izazovno: povlačenje važne studije obnovljivosti potiče samorefleksiju

Povlačenje visokoprofilnog papira 1, Metode za poboljšanje valjanosti znanstvenih studija Testirani je istaknuo izazove takvih „obnovljivosti“ istraživanja. Autori uvučenog papira uključuju nekoliko Svjetiljke na ovom polju.

U studiji objavljenom prošlog studenog u ljudskom ponašanju prirode, opisali su autori Rigorozan istraživački protokol s značajkama kao što su velike veličine uzorka kako bi se osigurala valjanost psiholoških eksperimenata. Autori su svoj protokol primijenili na desetke istraživačkih projekata. Izvijestili su da su u 86% pokušaja replikacije potvrđeni očekivani rezultati - jedna od najviših "stopa replikacije" ikad zabilježenih u takvim studijama. Ali urednici časopisa povukli su rad 23. rujna, navodeći u obavijesti o povlačenju 2, da "više nemaju povjerenja u pouzdanost rezultata i zaključaka".

Autori se slažu s brigama časopisa u samo jednoj točki, što pripisuju nenamjernom nadzoru. Jedan od autora, Jonathan Schooler, psiholog sa Sveučilišta u Kaliforniji, Santa Barbara, rekao je prirodi da istraživačka skupina radi na novoj verziji rukopisa za ponovno slanje.

Istraživači koji slijede slučaj kažu da ... Problemi načela otvorene znanosti: Preregistracija koja uključuje praksu postavljanja detalja studije, uključujući hipoteze i planirane analize, u pisanom obliku prije nego što je provedete kako bi se spriječila manipulacija podataka i selektivno izvještavanje o rezultatima.

"To pokazuje da je dobra znanost teška, mnogo teža nego što većina ljudi misli", kaže Sam Schwarzkopf, vizualni neuroznanstvenik sa Sveučilišta u Aucklandu na Novom Zelandu. "Često, ljudi koji preregiraju otkrivaju da se njihovi dobro promišljeni planovi ne ispadaju kada su suočeni s hladnom, tvrdom stvarnošću prikupljanja podataka."

Četiri tima i 64 pokušaja replikacije

Rad opisuje složen i opsežan eksperiment: po četiri istraživačka tima provedena su registrirana pilot studija u područjima društvenih znanosti. Na primjer, jedna od studija ispitala je utječe li vremenski pritisak na donošenje odluka 3. Ako je pilot studija otkrila učinak, tim je pokušao potvrditi rezultate u uzorku od najmanje 1.500 ljudi. Sva četiri tima pokušala su reproducirati odabrane eksperimente kako bi vidjeli hoće li postići iste rezultate. Svaki je tim pokušao ponoviti četiri vlastita eksperimenta i četiri iz svake od tri druge ekipe.

Od 64 pokušaja replikacije, 86% je bilo uspješno - to jest, dali su očekivane i statistički značajne rezultate. Za usporedbu, druge studije replikacije na područjima društvenih znanosti izvještavaju o prosječnoj stopi replikacije od 50%.

Autori povučene studije pripisali su svoju visoku stopu replikacije "strogim praksama", poput velikih veličina uzorka, Predbilježba i Transparentnost o metodama nazad. Usvajanje takvih praksi moglo bi pomoći studijama pouzdanijim, napisali su autori.

Ubrzo nakon objavljivanja rada, Joseph Bak-Coleman, društveni znanstvenik na Sveučilištu u Konstanzu u Njemačkoj, i Berna Devezer, koji studira marketing na Sveučilištu u Moskvi, ispitivao ga 4, koja je prenesena na Psyarxiv poslužitelj, njegovu valjanost. Napomenuli su da autori nisu preregirali neke elemente rada, uključujući središnje pitanje: bi li protokol autora povećao obnovljivost? Odvojeno, Bak-Coleman je poslao stranice analize urednicima prirodnog ljudskog ponašanja, koji su pokrenuli istragu koja je u konačnici dovela do povlačenja.

U komentaru 5, što je pratilo povlačenje, Bak-Coleman i Devezer napisali su da "obnovljivost nije bio izvorni ishod projekta, a analize obnovljivosti nisu preregirane kako je tvrđeno." Povratna obavijest Echo imala je ove izjave. (Ljudsko ponašanje prirode objavljuje Springer Nature, koji također objavljuje prirodu. Prirodni novinski tim urednički je neovisan o svom izdavaču.)

Autorsko priznanje

Na dan povlačenja, šest autora prirode ljudskog ponašanja objavilo je izvještaj o njihovim stavovima 6. U njemu priznaju da neke analize studije nisu prethodno registrirane. Međutim, druge izjave u obavijesti o povlačenju nazivaju "nepristojnim", poput autora poznavanja podataka u vrijeme analiza kako je utvrdio časopis. Časopis se ne slaže da obavijest o povlačenju sadrži netočnosti.

Brian Nosek, izvršni direktor Centra za otvorenu znanost u Charlottesvilleu, Virginia, i koautor uvučene studije, kaže da je bilo šokantno saznati da je pogreška preregistracije bačena kroz njihove procese upravljanja projektima. "Ne znam koliko sam puta čitao taj rad s ovim pogrešnim izjavama o svemu što je unaprijed registrirano i propustio. To je bila samo pogreška", kaže on.

Nosek, koji se smatra pionirom u preregistraciji, također kaže da je izvorni cilj projekta bio obnovljivost, suprotstavljajući se Bak-Colemanu i Devezer-u.

Izazovi predbilježbe

Saga pokazuje nedostatke predbilježbe, kaže Yoel Inbar, psiholog sa Sveučilišta u Torontu u Kanadi. "Vidio sam mnoge preregistracije koje su bile nejasne, a koje nisu strogo slijedile ili gdje je konačni rad bio mješavina preregirirane i nepredređene analize", kaže on.

Inbar je sve uvjereniji da je bolja opcija format prije registracije Registrirana izvješća je mjesto gdje istraživači predaju svoj protokol studije, uključujući svoje obrazloženje i metode, časopisu za pregled prije prikupljanja podataka. Urednici odlučuju hoće li prihvatiti studiju na temelju važnosti istraživačkog pitanja i strogosti metoda i obvezati se na objavljivanje rezultata ako se rad provodi kako je opisano.

Drugi kažu da je časopis dio problema. Anne Scheel, metacientistica sa Sveučilišta Utrecht u Nizozemskoj, kaže da su, iako su autori pogriješili, urednici trebali primijetiti nedostatak preregistracije. Recenzenti ne provjeravaju uvijek preregistraciju, a glavni časopisi poput ljudskog ponašanja Nature "trebaju procese da bi zapravo provjerili unaprijed registraciju", kaže ona.

Glasnogovornik časopisa kaže da istražuje promjene u svojoj praksi. "Časopis istražuje načine za poboljšanje zahtjeva za transparentnost, standardizaciju i izvještavanje o preregistraciji u društvenim i bihevioralnim znanostima, što će ojačati napore za nadgledanje usklađenosti s preregistracijom", dodaje glasnogovornik.

Gubljenje vremena za sve

Projekti velikih razmjera u kojima je teško upravljati više istraživačkih skupina, objašnjava Olavo Amaral, istraživač obnovljivosti na Universidade Federal Do Rio de Janeiro u Brazilu. Govori iz iskustva: vodi brazilski projekt obnovljivosti, pokušaj reprodukcije rezultata desetaka biomedicinskih studija provedenih u laboratorijima širom zemlje. "Uvijek možemo pronaći pogreške", kaže on.

Kaže da se treba riješiti kritike uvučenog rada, ali problemi ne mijenjaju njegovo mišljenje o radu. "Čini se da su rezultati prilično ponovljivi", kaže on. "Mislim da kritika preregistracije mnogo mijenja moje mišljenje o radu."

1. Protzko, J. i sur. Priroda hum. Ponašanje 8, 311–319 (2023).

   Članak
   PubMed
   
   Google znalca

2. Protzko, J. i sur. Priroda hum. Ponašanje https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Članak
   
   Google znalca

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Članak
   PubMed
   
   Google znalca

4. Bak-Coleman, J. & Devezer, B. Preprint na Psyarxiv https://doi.org/10.31234/osf.io/5U3KJ (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Ponašanje https://doi.org/10.1038/s41562-024-01982-w (2024).

   Članak
   
   Google znalca

6. Protzko, L. i sur. Unaprijed ispisa https://osf.io/2s94g (2024).

Preuzmite reference