Suche
Hacer buena ciencia es un desafío: la retirada de un importante estudio de reproducibilidad estimula la autorreflexión
La retirada de un importante estudio de reproducibilidad plantea dudas sobre la integridad científica y los desafíos de una buena investigación.
Hacer buena ciencia es un desafío: la retirada de un importante estudio de reproducibilidad estimula la autorreflexión
La retirada de un periódico de alto perfil 1, el Métodos para mejorar la validez de los estudios científicos. probado ha puesto de relieve los desafíos de dicha investigación sobre la “reproducibilidad”. Los autores del artículo retractado incluyen varios Luminarias en este campo.
En el estudio publicado el pasado mes de noviembre en Nature Human Behaviour, los autores describieron un protocolo de investigación riguroso con características tales como tamaños de muestra grandes para garantizar la validez de los experimentos psicológicos. Los autores aplicaron su protocolo a decenas de proyectos de investigación. Informaron que en el 86% de los intentos de replicación se confirmaron los resultados esperados, una de las "tasas de replicación" más altas jamás registradas en este tipo de estudios. Pero los editores de la revista se retractaron del artículo el 23 de septiembre, indicando en el aviso de retractación 2, que “ya no tienen confianza en la fiabilidad de los resultados y conclusiones”.
Los autores coinciden con las preocupaciones de la revista sólo en un punto, que atribuyen a un descuido involuntario. Uno de los autores, Jonathan Schooler, psicólogo de la Universidad de California en Santa Bárbara, dijo a Nature que el grupo de investigación está trabajando en una nueva versión del manuscrito para volver a enviarlo.
Los investigadores que siguen el caso dicen que... Problemas de un principio de ciencia abierta: el prerregistro que implica la práctica de exponer los detalles de un estudio, incluidas las hipótesis y los análisis planificados, por escrito antes de realizarlo para evitar la manipulación de datos y la presentación selectiva de resultados.
"Lo que esto demuestra es que la buena ciencia es difícil, mucho más difícil de lo que la mayoría de la gente piensa", dice Sam Schwarzkopf, neurocientífico visual de la Universidad de Auckland en Nueva Zelanda. "A menudo, las personas que se preinscriben descubren que sus planes bien pensados no funcionan cuando se enfrentan a la fría y dura realidad de la recopilación de datos".
Cuatro equipos y 64 intentos de replicación
El artículo describe un experimento complejo y extenso: cuatro equipos de investigación realizaron cada uno estudios piloto registrados en el ámbito de las ciencias sociales. Por ejemplo, uno de los estudios examinó si la presión del tiempo afecta la toma de decisiones. 3. Si el estudio piloto descubrió algún efecto, el equipo intentó confirmar los resultados en una muestra de al menos 1.500 personas. Los cuatro equipos intentaron reproducir los experimentos seleccionados para ver si lograban los mismos resultados. Cada equipo intentó replicar cuatro de sus propios experimentos y cuatro de cada uno de los otros tres equipos.
De los 64 intentos de replicación, el 86% tuvo éxito, es decir, produjeron los resultados esperados y estadísticamente significativos. En comparación, otros estudios de replicación en los campos de las ciencias sociales reportan tasas de replicación promedio del 50%.
Los autores del estudio retractado atribuyeron su alta tasa de replicación a "prácticas rigurosas", como tamaños de muestra grandes, Preinscripción y Transparencia sobre los métodos atrás. La adopción de tales prácticas podría ayudar a que los estudios sean más confiables, escribieron los autores.
Poco después de la publicación del artículo, Joseph Bak-Coleman, científico social de la Universidad de Konstanz en Alemania, y Berna Devezer, que estudia marketing en la Universidad de Idaho en Moscú, lo cuestionaron en una preimpresión. 4, que fue subido al servidor de PsyArXiv, su validez. Observaron que los autores no habían registrado previamente algunos elementos del artículo, incluida la pregunta central: ¿el protocolo de los autores aumentaría la reproducibilidad? Por otra parte, Bak-Coleman envió páginas de análisis a los editores de Nature Human Behavior, quienes iniciaron una investigación que finalmente condujo a la retractación.
en un comentario 5, que acompañó la retirada, Bak-Coleman y Devezer escribieron que “la reproducibilidad no fue el resultado original del proyecto y los análisis de reproducibilidad no estaban prerregistrados como se afirmaba”. El aviso de devolución de Echo tenía estas declaraciones. (Nature Human Behavior es una publicación de Springer Nature, que también publica Nature. El equipo de noticias de Nature es editorialmente independiente de su editor).
Un reconocimiento autoral
El día de la retirada, seis de los autores de Nature Human Behavior publicaron un informe con sus opiniones. 6. En él admiten que algunos de los análisis del estudio no estaban prerregistrados. Sin embargo, califican de “inexactas” otras declaraciones en el aviso de retractación, como el conocimiento de los datos por parte de los autores en el momento de los análisis, según lo determinado por el Journal. El Diario no está de acuerdo con que el aviso de retiro contenga inexactitudes.
Brian Nosek, director ejecutivo del Centro para la Ciencia Abierta en Charlottesville, Virginia, y coautor del estudio retractado, dice que fue impactante saber que el error de preinscripción se produjo en sus procesos de gestión de proyectos. "No sé cuántas veces leí ese periódico con estas declaraciones erróneas sobre todo lo que está prerregistrado y me lo perdí. Fue simplemente un error", dice.
Nosek, considerado un pionero en el prerregistro, también dice que el objetivo original del proyecto era la reproducibilidad, contradiciendo a Bak-Coleman y Devezer.
Retos de la preinscripción
La saga muestra las fallas de la preinscripción, dice Yoel Inbar, psicólogo de la Universidad de Toronto en Canadá. "He visto muchos prerregistros que eran vagos, no seguidos estrictamente, o donde el documento final era una mezcla de análisis prerregistrados y no prerregistrados", dice.
Inbar está cada vez más convencido de que una mejor opción es el formato de preinscripción informes registrados Es donde los investigadores envían su protocolo de estudio, incluidos sus fundamentos y métodos, a una revista para su revisión antes de la recopilación de datos. Los editores deciden si aceptan el estudio en función de la importancia de la pregunta de investigación y el rigor de los métodos y se comprometen a publicar los resultados si el trabajo se realiza como se describe.
Otros dicen que la revista es parte del problema. Anne Scheel, metacientífica de la Universidad de Utrecht en los Países Bajos, dice que aunque los autores cometieron errores, los editores deberían haber notado la falta de preinscripción. Los revisores no siempre verifican el registro previo, y las principales revistas como Nature Human Behavior "necesitan procesos para verificar el registro previo", dice.
Un portavoz del Journal dice que está explorando cambios en sus prácticas. "La revista está explorando formas de mejorar la transparencia, la estandarización y los requisitos de presentación de informes para el preinscripción en ciencias sociales y del comportamiento, lo que fortalecerá los esfuerzos para monitorear el cumplimiento del preinscripción", agrega el portavoz.
Pérdida de tiempo para todos.
Los proyectos a gran escala en los que varios grupos de investigación realizan los mismos experimentos son difíciles de gestionar, explica Olavo Amaral, investigador de reproducibilidad de la Universidad Federal de Río de Janeiro en Brasil. Habla por experiencia: lidera el Proyecto Brasileño de Reproducibilidad, un intento de reproducir los resultados de decenas de estudios biomédicos realizados en laboratorios de todo el país. "Siempre podemos encontrar errores", dice.
Dice que es necesario abordar las críticas al artículo retractado, pero los problemas no cambian su opinión sobre el trabajo. "Los resultados parecen ser bastante replicables", afirma. "No creo que las críticas al registro previo cambien mucho mi opinión sobre el periódico".
-
Protzko, J. et al. Zumbido de la naturaleza. Comportamiento 8, 311–319 (2023).
-
Protzko, J. et al. Zumbido de la naturaleza. Comportamiento https://doi.org/10.1038/s41562-024-01997-3 (2024).
-
Protzko, J., Zedelius, C. M. y Schooler, J. W. Psychol. Ciencia. 30, 1584-1591 (2019).
-
Bak-Coleman, J. y Devezer, B. Preimpresión en PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).
-
Bak-Coleman, J. y Devezer, B. Nature Hum. Comportamiento https://doi.org/10.1038/s41562-024-01982-w (2024).
-
Protzko, L. et al. Preimpresión en https://osf.io/2s94g (2024).