Labas zinātnes darīšana ir izaicinoša: svarīga reproducējamības pētījuma atsaukšana stimulē pašrefleksiju

Labas zinātnes darīšana ir izaicinoša: svarīga reproducējamības pētījuma atsaukšana stimulē pašrefleksiju

Augsta profila papīra izņemšana Viens, Metodes zinātnisko pētījumu pamatotības uzlabošanai Pārbaudīts ir uzsvēris šādu “reproducējamības” pētījumu izaicinājumus. Ievērtā papīra autori ietver vairākus Gaismekļi šajā jomā Apvidū

Pētījumā, kas publicēts pagājušā gada novembrī, dabā cilvēku uzvedībā, autori aprakstīja stingrs pētniecības protokols ar tādām pazīmēm kā lieli paraugu lielumi, lai nodrošinātu psiholoģisko eksperimentu derīgumu Apvidū Autori savu protokolu izmantoja desmitiem pētniecības projektu. Viņi ziņoja, ka 86% no replikācijas mēģinājumiem tika apstiprināti gaidāmie rezultāti - viens no augstākajiem "replikācijas rādītājiem", kāds jebkad reģistrēts šādos pētījumos. Bet žurnāla redaktori 23. septembrī ievilka darbu, paziņojot par ievilkšanas paziņojumu Rādītājs, ka viņiem “vairs nav uzticības rezultātu un secinājumu ticamībai”.

Autori piekrīt žurnāla bažām tikai par vienu punktu, ko viņi attiecina uz netīšo uzraudzību. Viens no autoriem, Kalifornijas Universitātes Santa Barbaras psihologs Džonatans Seinsers, sacīja Nature, ka pētniecības grupa strādā pie jaunas manuskripta versijas atkārtotai pārraidei.

Pētnieki, kas seko lietai, saka, ka viņš ... Atvērtās zinātnes principa problēmas: iepriekšēja rīkošana kas ietver praksi izklāstīt sīkāku informāciju par pētījumu, ieskaitot hipotēzes un plānotās analīzes, pirms tā veikšanas, lai novērstu manipulācijas ar datiem un selektīvu ziņošanu par rezultātiem.

“Tas parāda, ka laba zinātne ir grūtāka, daudz grūtāka, nekā domā vairums cilvēku,” saka Sam Schwarzkopf, vizuālais neirozinātnieks Oklendas universitātē Jaunzēlandē. "Bieži vien cilvēki, kuri iepriekš reģistrējas, uzskata, ka viņu pārdomātie plāni neizdodas, kad viņi saskaras ar datu vākšanas auksto un smago realitāti."

Četras komandas un 64 replikācijas mēģinājumi

Rakstā aprakstīts sarežģīts un plašs eksperiments: četras pētījumu grupas katra veica reģistrētus izmēģinājumus sociālo zinātņu jomās. Piemēram, vienā no pētījumiem tika pārbaudīts, vai laika spiediens ietekmē lēmumu pieņemšanu 3 Apvidū Ja izmēģinājuma pētījums atklāja efektu, komanda mēģināja apstiprināt rezultātus vismaz 1500 cilvēku paraugā. Visas četras komandas mēģināja reproducēt atlasītos eksperimentus, lai noskaidrotu, vai tās sasniegtu vienādus rezultātus. Katra komanda mēģināja atkārtot četrus savus eksperimentus un četrus no katras no trim citām komandām.

No 64 replikācijas mēģinājumiem 86% bija veiksmīgi - tas ir, viņi deva paredzamos un statistiski nozīmīgos rezultātus. Salīdzinājumam, citi replikācijas pētījumi sociālo zinātņu jomā ziņo par vidējo replikācijas līmeni 50%.

Ieelpotā pētījuma autori savu augsto replikācijas ātrumu attiecināja uz "stingru praksi", piemēram, lieliem paraugu izmēriem, Iepriekšēja reģistrācija un Pārredzamība par metodēm aizmugurē. Šādas prakses pieņemšana varētu palīdzēt padarīt pētījumus ticamākas, rakstīja autori.

Neilgi pēc darba publicēšanas Džozefs Bak-kolemans, Konstanas Universitātes Vācijā sociālais zinātnieks, un Berna Devezere, kurš studē mārketingu Aidaho universitātē Maskavā, apšaubīja to pirmsrintā 4, kas tika augšupielādēts PSYARXIV serverī, tā derīgumam. Viņi atzīmēja, ka autori nav iepriekš reģistrējuši dažus darba elementus, ieskaitot centrālo jautājumu: vai autoru protokols palielinātu reproducējamību? Atsevišķi Bak-Coleman nosūtīja analīzes lapas Dabas uzvedības redaktoriem, kuri uzsāka izmeklēšanu, kas galu galā noveda pie atsaukšanas.

Komentārā 5, kas pavadīja izstāšanos, Bak-Coleman un Devezer rakstīja, ka “reproducējamība nebija sākotnējais projekta iznākums un reproducējamības analīze netika iepriekš reģistrēta, kā apgalvots.” Paziņojuma par atgriešanos Echo bija šie paziņojumi. (Dabas cilvēku uzvedību publicē Springer Nature, kas arī publicē dabu. Nature's News komanda ir redakcionāli neatkarīga no tā izdevēja.)

Autorizēta atzīšana

Aizbraukšanas dienā seši no dabas cilvēka uzvedības autoriem publicēja ziņojumu par viņu uzskatiem Ar Apvidū Tajā viņi atzīst, ka dažas no pētījuma analīzēm nebija iepriekš reģistrētas. Tomēr viņi izsauc citus paziņojumus par atsaukšanas paziņojumu “neprecīzi”, piemēram, autoru zināšanas par datiem analīžu laikā, kā noteikts žurnālā. Žurnāls nepiekrīt, ka izņemšanas paziņojumā ir neprecizitātes.

Braiens Dūreks, Atvērtās zinātnes centra izpilddirektors Šarlotesvilā, Virdžīnijā un ievelkamā pētījuma līdzautors, saka, ka ir šokējoši uzzināt, ka iepriekšēja reģistrācijas kļūda tika izmesta viņu projekta vadības procesos. "Es nezinu, cik reizes esmu lasījis šo papīru ar šiem kļūdainajiem apgalvojumiem par visu, kas ir iepriekš reģistrēts un nokavējis. Tā bija tikai kļūda," viņš saka.

Degrek, kurš tiek uzskatīts par priekšnoteikuma pionieri, arī saka, ka sākotnējais projekta mērķis bija reproducējamība, kas ir pretrunā ar Bak-Coleman un Devezer.

Iepriekšējas reģistrācijas izaicinājumi

Sāga parāda iepriekšējas reģistrācijas trūkumus, saka Yoel Inbar, Toronto Universitātes Kanādas psihologs. "Es esmu redzējis daudzas iepriekšējas reģistrācijas, kas bija neskaidras, stingri sekojušas, vai kur pēdējais dokuments bija iepriekš reģistrētās un bez kroplīgas analīzes sajaukums," viņš saka.

INBAR arvien vairāk pārliecinās, ka labāks variants ir iepriekšēja reģistrācijas formāts Reģistrēti ziņojumi ir tas, kur pētnieki iesniedz savu pētījumu protokolu, ieskaitot tā pamatojumu un metodes, žurnālam pārskatīšanai pirms datu vākšanas. Redaktori izlemj, vai pieņemt pētījumu, pamatojoties uz pētījuma jautājuma nozīmi un metožu stingrību, un apņemties publicēt rezultātus, ja darbs tiek veikts, kā aprakstīts.

Citi saka, ka žurnāls ir daļa no problēmas. Anne Scheel, Nīderlandes Utrehtas universitātes metascientiste, saka, ka, lai arī autori pieļāva kļūdas, redaktoriem vajadzēja pamanīt priekšstatīšanas trūkumu. Recenzenti ne vienmēr pārbauda priekšnoteikumu, un lieliem žurnāliem, piemēram, dabai, cilvēku uzvedībai "ir nepieciešami procesi, lai faktiski pārbaudītu iepriekšēju reģistrāciju", viņa saka.

Žurnāla pārstāvis saka, ka tas pēta izmaiņas tās praksē. "Žurnāls pēta veidus, kā uzlabot pārredzamību, standartizāciju un ziņošanas prasības priekšnoteikumam sociālajās un uzvedības zinātnēs, kas stiprinās centienus uzraudzīt pirmskārtas ievērošanu," piebilst pārstāvis.

Laika izšķiešana visiem

Liela mēroga projektus, kuros vairākas pētniecības grupas veic vienus un tos pašus eksperimentus, ir grūti pārvaldīt, skaidro Olavo Amaral, reproducējamības pētnieks Universidade Federal Do Riodežaneiro Brazīlijā. Viņš runā no pieredzes: viņš vada Brazīlijas reproducējamības projektu, mēģinājumu reproducēt desmitiem biomedicīnas pētījumu rezultātus, kas veikti laboratorijās visā valstī. "Mēs vienmēr varam atrast kļūdas," viņš saka.

Viņš saka, ka ir jārisina kritika par ievelkamo darbu, bet problēmas nemaina viņa viedokli par darbu. "Rezultāti, šķiet, ir diezgan atkārtojami," viņš saka. "Es nedomāju, ka iepriekšēja reģistrācijas kritika daudz maina manu viedokli par papīru."

1. Protzko, J. et al. Daba hum. Uzvedība 8, 311–319 (2023).

   Pants
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Daba hum. Uzvedība https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Pants
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Pants
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Prefrint pie PSYARXIV https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Daba Hum. Uzvedība https://doi.org/10.1038/s41562-024-01982-w (2024).

   Pants
   
   Google Scholar

6. Protzko, L. et al. Priekšnojautas plkst https://osf.io/2s94g (2024).

Lejupielādēt atsauces