Правенето на добра наука е предизвикателство: оттеглянето на важно проучване за възпроизводимост стимулира саморефлексията

Правенето на добра наука е предизвикателство: оттеглянето на важно проучване за възпроизводимост стимулира саморефлексията

Оттеглянето на хартия с висок профил 1, The Методи за подобряване на валидността на научните изследвания Тестваният подчерта предизвикателствата на подобни изследвания за „възпроизводимост“. Авторите на прибраната хартия включват няколко Светила в тази област.

В проучването, публикувано миналия ноември в човешкото поведение, описаните авторите Строг изследователски протокол с функции като големи размери на извадката, за да се гарантира валидността на психологическите експерименти. Авторите приложиха своя протокол върху десетки изследователски проекти. Те съобщават, че при 86% от опитите за репликация, очакваните резултати са потвърдени - една от най -високите „проценти на репликация“, регистрирана някога в подобни проучвания. Но редакторите на списанието оттеглиха документа на 23 септември, заявявайки в известието за прибиране 2, че те „вече нямат доверие в надеждността на резултатите и заключенията“.

Авторите са съгласни с притесненията на списанието само за една точка, която те приписват на невнимателен надзор. Един от авторите, Джонатан Учиец, психолог от Калифорнийския университет, Санта Барбара, заяви пред Nature, че изследователската група работи върху нова версия на ръкописа за възобновяване.

Изследователи след случая казват, че той ... Проблеми с принцип на отворената наука: Предварително регистрация което включва практиката за определяне на детайлите на проучване, включително хипотези и планирани анализи, писмено, преди да го проведете за предотвратяване на манипулиране на данни и селективно отчитане на резултатите.

„Това показва, че добрата наука е трудна, много по -трудна, отколкото повечето хора мислят“, казва Сам Шварцкопф, визуален невролог от Университета в Окланд в Нова Зеландия. „Често хората, които предварително регистрират, откриват, че техните добре обмислени планове не се отказват, когато се сблъскат със студената, трудна реалност на събирането на данни.“

Четири отбора и 64 опита за репликация

Документът описва сложен и обширен експеримент: четири изследователски екипа провеждат регистрирани пилотни проучвания в областите на социалните науки. Например, едно от проучванията изследва дали времето налягане влияе върху вземането на решения 3. Ако пилотното проучване откри ефект, екипът се опита да потвърди резултатите в извадка от поне 1500 души. И четирите екипа се опитаха да възпроизведат избраните експерименти, за да проверят дали ще постигнат същите резултати. Всеки отбор се опита да повтори четири от собствените си експеримента и четири от всеки от трите други отбора.

От 64 опита за репликация 86% са успешни - тоест те са дали очакваните и статистически значими резултати. За сравнение, други проучвания за репликация в областта на социалните науки отчитат средни проценти на репликация от 50%.

Авторите на прибраното проучване приписват високата си скорост на репликация на „строги практики“, като големи размери на извадката, Предварителна регистрация и Прозрачност относно методите Назад. Приемането на подобни практики може да помогне да се направят проучванията по -надеждни, пишат авторите.

Малко след публикуването на вестника Джоузеф Бак-Коулман, социален учен от Университета в Констанц в Германия, и Берна Девезер, която учи маркетинг в университета в Айдахо в Москва, го постави под въпрос в предварителна част 4, който беше качен на сървъра на psyarxiv, неговата валидност. Те отбелязаха, че авторите не са предварително регистрирани някои елементи на статията, включително централния въпрос: Ще увеличи ли протоколът на авторите възпроизводимост? Отделно Bak-Coleman изпрати страници на анализа на редакторите на човешкото поведение на природата, които започнаха разследване, което в крайна сметка доведе до отдръпването.

В коментар 5, които придружаваха оттеглянето, Bak-Coleman и Devezer написаха, че „възпроизводимостта не е първоначалният резултат от проекта и анализите на възпроизводимостта не са предварително регистрирани, както се твърди.“ Известието за връщане ехото имаше тези изявления. (Природата човешкото поведение е публикувано от Springer Nature, която също публикува природата. Новинският екип на Nature е редакторски независим от своя издател.)

Авторско разпознаване

В деня на оттеглянето шестима от авторите на човешкото поведение публикуваха доклад за техните възгледи 6. В него те признават, че някои от анализите на проучването не са предварително регистрирани. Те обаче извикват други изявления в известието за прибиране „Некомерни“, като например знанията на авторите за данните към момента на анализите, определени от списанието. Списанието не е съгласно, че известието за оттегляне съдържа неточности.

Брайън Носек, изпълнителният директор на Центъра за открити науки в Шарлотсвил, Вирджиния, и съавтор на прибраното проучване, казва, че е шокиращо да научи, че грешката в предварителната регистрация е била хвърлена чрез техните процеси за управление на проекти. "Не знам колко пъти съм чел тази книга с тези погрешни твърдения за всичко, което е предварително регистрирано и го пропуска. Това беше просто грешка", казва той.

Nosek, считан за пионер в предварителната регистрация, също казва, че първоначалната цел на проекта е възпроизводимост, противоречаща на Bak-Co-Co-Co-Co-Co-Co-Co-Coleman.

Предизвикателства пред регистрацията

Сагата показва недостатъците на предварителната регистрация, казва Йоел Инбар, психолог от Университета в Торонто в Канада. „Виждал съм много предварителни регистрации, които са били неясни, не са били строго следвани или където финалната книга е смесица от предварително регистрирания и непречистения анализ“, казва той.

Inbar е все по-убеден, че по-добър вариант е форматът преди регистрация регистрирани отчети е мястото, където изследователите представят своя протокол за проучване, включително неговата обосновка и методи, в списание за преглед преди събиране на данни. Редакторите решават дали да приемат проучването въз основа на значението на изследователския въпрос и строгостта на методите и да се ангажират да публикуват резултатите, ако работата се извърши, както е описано.

Други казват, че дневникът е част от проблема. Ан Шил, метаскант в Утрехтския университет в Холандия, казва, че въпреки че авторите са правили грешки, редакторите е трябвало да забелязват липсата на предварителна регистрация. Рецензенти не винаги проверяват предварителната част, а основните списания като човешкото поведение на природата "се нуждаят от процеси, за да проверят действително предразположенията", казва тя.

Говорител на списанието казва, че изследва промените в своите практики. „Списанието изследва начините за подобряване на изискванията за прозрачност, стандартизация и отчитане за предварително регистрация в социалните и поведенчески науки, което ще засили усилията за наблюдение на спазването на предходната част“, ​​добавя говорителят.

Загуба на време за всички

Мащабните проекти, в които множество изследователски групи провеждат едни и същи експерименти, е трудно да се управляват, обяснява Олаво Амарал, изследовател за възпроизводимост в Университета Федерален до Рио де Жанейро в Бразилия. Той говори от опит: Той ръководи проекта за възпроизводимост на бразилците, опит за възпроизвеждане на резултатите от десетки биомедицински проучвания, проведени в лаборатории в цялата страна. „Винаги можем да намерим грешки“, казва той.

Той казва, че трябва да се реши критиката към прибраната книга, но проблемите не променят мнението му за работата. „Резултатите изглеждат доста възпроизведени“, казва той. „Не мисля, че критиката на предходната част променя много моето мнение за статията.“

1. Protzko, J. et al. Природата шума. Поведение 8, 311–319 (2023).

   Статия
   PubMed
   
   Google Учен

2. Protzko, J. et al. Природата шума. Поведение https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Статия
   
   Google Учен

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Статия
   PubMed
   
   Google Учен

4. Bak-Coleman, J. & Devezer, B. Предварително в Psyarxiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Поведение https://doi.org/10.1038/s41562-024-01982-w (2024).

   Статия
   
   Google Учен

6. Protzko, L. et al. Предварително на https://osf.io/2s94g (2024).

Изтеглете референции