Hea teaduse tegemine on keeruline: olulise reprodutseeritavuse uuringu taganemine stimuleerib enesereflektsiooni

Hea teaduse tegemine on keeruline: olulise reprodutseeritavuse uuringu taganemine stimuleerib enesereflektsiooni

Kõrgetasemelise paberi väljaastumine 1,, Meetodid teaduslike uuringute kehtivuse parandamiseks Testitud on esile toonud sellise reprodutseeritavuse uurimistöö väljakutseid. Sissetõmmatud paberi autorid sisaldavad mitu Valgustid selles valdkonnas.

Eelmise aasta novembris avaldatud uuringus, mis on looduse inimese käitumine, kirjeldasid autorid Range uurimisprotokoll, millel on sellised funktsioonid nagu suured valimi suurused, et tagada psühholoogiliste katsete kehtivus. Autorid rakendasid oma protokolli kümnetele uurimisprojektidele. Nad teatasid, et 86% -l replikatsioonikatsetest kinnitati eeldatavaid tulemusi - üks kõrgemaid "replikatsioonimäärasid", mida sellistes uuringutes kunagi registreeriti. Kuid ajakirja toimetajad tõstsid paberi 23. septembril tagasi, öeldes tagasitõmbamise teatises 2, et nad "ei tunne enam tulemuste ja järelduste usaldusväärsust".

Autorid nõustuvad ajakirja murega ainult ühel hetkel, mille nad omistavad tahtmatule järelevalvele. Üks autoritest, Santa Barbara California ülikooli psühholoog Jonathan Schoolier ütles Nature'ile, et uurimisrühm töötab uuesti käsikirja uue versiooni kallal.

Juhtumit jälgijad ütlevad, et ta ... Avatud teaduse põhimõtte probleemid: eelregistreerimine mis hõlmab uuringu üksikasjade, sealhulgas hüpoteeside ja kavandatud analüüside kehtestamist, enne selle viimist, et vältida andmetega manipuleerimist ja tulemuste valikulist aruandlust.

"See näitab, et hea teadus on raske, palju raskem, kui enamik inimesi arvab," ütleb Uus -Meremaa Aucklandi ülikooli visuaalne neuroteadlane Sam Schwarzkopf. "Sageli leiavad inimesed, kes eelregistrid leiavad, et nende läbimõeldud plaanid ei paista, kui nad seisavad silmitsi andmekogumise külma ja raske reaalsusega."

Neli meeskonda ja 64 replikatsioonikatset

Töö kirjeldab keerulist ja ulatuslikku eksperimenti: neli uurimisrühma viisid igaüks sotsiaalteaduse valdkonnas registreeritud pilootuuringuid. Näiteks uuriti ühes uuringus, kas ajarõhk mõjutab otsuste tegemist 3. Kui pilootuuring avastas efekti, püüdis meeskond kinnitada tulemusi vähemalt 1500 inimese valimis. Kõik neli meeskonda üritasid valitud katseid korrata, et näha, kas nad saavutavad samad tulemused. Iga meeskond üritas korrata nelja oma katset nelja ja neli teisest meeskonnast.

64 replikatsioonikatsest oli 86% edukas - see tähendab, et nad andsid eeldatavaid ja statistiliselt olulisi tulemusi. Võrdluseks - muud sotsiaalteaduse valdkondade replikatsiooniuuringud teatavad keskmisest replikatsioonimäärast 50%.

Ühinenud uuringu autorid omistasid selle kõrge replikatsiooni kiiruse "rangetele tavadele", näiteks suured valimi suurused, Eelregistreerimine ja Meetodite läbipaistvus tagasi. Selliste tavade kasutuselevõtmine võib aidata uuringuid usaldusväärsemaks muuta, kirjutasid autorid.

Vahetult pärast paberi avaldamist küsisid Konstanzi ülikooli sotsiaalteadlane Joseph Bak-Coleman ja Moskva Idaho ülikoolis turundust õppinud Berna Devezer küsis seda eeltrükis 4, mis laaditi üles Psyarxiv serverisse, selle kehtivus. Nad märkisid, et autorid ei olnud eelreprodutseeritavust suurendanud paberi mõnda elementi, sealhulgas keskset küsimust: kas autorite protokoll suurendaks? Eraldi saatis Bak-Coleman analüüsilehed looduse käitumise toimetajatele, kes algatasid uurimise, mis viis lõpuks tagasitõmbamiseni.

Kommentaaris 5, mis kaasnes väljaastumisega, kirjutasid Bak-Coleman ja Devezer, et "reprodutseeritavus ei olnud projekti algne tulemus ja reprodutseeritavuse analüüsid ei olnud eelreprodutseeritava analüüsiga eelnevalt väidetud." Tagastamise teatis kajal olid need avaldused. (Nature Human Behavior avaldab Springer Nature, mis avaldab ka loodus. Looduse uudistemeeskond on oma kirjastajast toimetuslikult sõltumatu.)

Autori tunnustus

Taastumise päeval avaldasid kuus looduse autorit inimkäitumise autorit nende vaadete kohta 6. Selles tunnistavad nad, et mõned uuringu analüüsid ei olnud eelregistreeritud. Kuid nad nimetavad tagasitõmbamise teatis muid väiteid „ebatäpseks”, näiteks autorite teadmised andmete kohta analüüside ajal, nagu ajakiri on määranud. Ajakiri ei nõustu sellega, et taganemisteade sisaldab ebatäpsusi.

Virginia Charlottesville'is asuva avatud teaduse keskuse tegevdirektor Brian Nosek ja sissetõmmatud uuringu kaasautor väidab, et oli šokeeriv teada saada, et eelregistreerimisviga visati nende projektijuhtimisprotsesside kaudu. "Ma ei tea, mitu korda olen seda paberit nende ekslike väidetega lugenud kõige kohta, mis on eelregistreeritud ja sellest ilma jäänud. See oli lihtsalt viga," ütleb ta.

Nosek, keda peetakse eelregistreerimisel teerajajaks, väidab ka, et projekti algne eesmärk oli reprodutseeritavus, mis oli vastuolus Bak-Colemani ja Devezeriga.

Eelregistreerimise väljakutsed

Saaga näitab eelregistreerimise vigu, ütles Kanada Toronto ülikooli psühholoog Yoel Inbar. "Olen näinud palju eelregistreerimisi, mis olid ebamäärased, mitte rangelt järgitud, või kui lõplik paber oli segu eelregistreeritud ja eelregistreerimata analüüsist," ütleb ta.

Inbar on üha enam veendunud, et parem variant on eelregistreerimise vorming registreeritud aruanded on koht, kus teadlased esitavad enne andmete kogumist oma õppeprotokolli, sealhulgas selle põhjendus ja meetodid. Toimetajad otsustavad, kas nõustuda uuringuga uurimisküsimuse olulisusel ja meetodite rangusel ning pühenduvad tulemuste avaldamisele, kui töö tehakse kirjeldatud viisil.

Teised väidavad, et ajakiri on osa probleemist. Hollandi Utrechti ülikooli metascientist Anne Scheel ütleb, et kuigi autorid tegid vigu, oleks toimetajad pidanud märkama eelregistreerimise puudumist. Ülevaatajad ei kontrolli alati eelregistreerimist ja sellised suured ajakirjad nagu loodus inimese käitumine "vajavad eelregistreerimise kontrollimiseks protsesse", ütleb ta.

Ajakirja pressiesindaja ütleb, et uurib oma tavades muudatusi. "Ajakiri uurib võimalusi sotsiaalsete ja käitumisteaduste eelregistreerimise läbipaistvuse, standardimise ja aruandluse nõuete parandamiseks, mis tugevdab jõupingutusi eelregistreerimise järgimise jälgimiseks," lisab pressiesindaja.

Aja raiskamine kõigile

Suuremahulised projektid, kus mitu uurimisrühma viivad läbi samu katseid, on keeruline hallata, selgitab Brasiilias Universidade Federal do Rio de Janeiro reprodutseeritavuse uurija Olavo Amaral. Ta räägib kogemustest: ta juhib Brasiilia reprodutseeritavuse projekti, katset korrata kümnete biomeditsiiniliste uuringute tulemusi, mis viidi läbi laborites kogu riigis. "Me võime alati leida vigu," ütleb ta.

Ta ütleb, et tagandatud paberi kriitika tuleb tegeleda, kuid probleemid ei muuda tema arvamust tööst. "Tulemused näivad olevat üsna korratavad," ütleb ta. "Ma ei usu, et eelregistreerimise kriitika muudab minu arvamust paberi kohta palju."

1. Protzko, J. jt. Looduse hum. Käitumine 8, 311–319 (2023).

   Artikkel
   Avalik
   
   Google Scholar

2. Protzko, J. jt. Looduse hum. Käitumine https://doi.org/10.1038/S41562-024-01997-3 (2024).

   Artikkel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikkel
   Avalik
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Eeltrükk Psyarxivis https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Käitumine https://doi.org/10.1038/S41562-024-01982-W (2024).

   Artikkel
   
   Google Scholar

6. Protzko, L. jt. Eeltrükk kell https://osf.io/2s94g (2024).

Laadige alla viited