Por qué la mala ciencia es a veces más atractiva que la buena ciencia
Los investigadores citan estudios que no se pueden replicar con una frecuencia extraña
1 de Agosto de 2021
Por Naomi Oreskes
Un artículo reciente hace una afirmación inquietante sobre el estado de la ciencia: los estudios no replicables se citan con más frecuencia que los replicables. En otras palabras, según el informe de Science Advances, la mala ciencia parece recibir más atención que la buena ciencia.
El artículo da seguimiento a informes de una «crisis de replicación» en psicología, en la que un gran número de artículos académicos presentan resultados que otros investigadores no pueden reproducir, así como afirma que el problema no se limita a la psicología. Esto es importante por varias razones. Si una proporción sustancial de la ciencia no cumple con la norma de replicabilidad, entonces este trabajo no proporcionará una base sólida para la toma de decisiones. La falta de replicación de los resultados puede retrasar el uso de la ciencia en el desarrollo de nuevos medicamentos y tecnologías. También puede socavar la confianza del público, dificultando la vacunación de los estadounidenses o la acción frente al cambio climático. Y el dinero gastado en ciencia inválida es dinero desperdiciado: un estudio sitúa el costo de la investigación médica irreproducible solo en los EE. UU. en $ 28 mil millones al año.
En el nuevo estudio, los autores rastrearon artículos en revistas de psicología, revistas de economía y Science y Nature con fallas documentadas de replicación. Los resultados son inquietantes: los artículos que no se pudieron replicar se citaron más que el promedio, incluso después de que se publicara la noticia de la falla de reproducibilidad, y solo el 12 por ciento de las citas posteriores a la exposición reconocieron la falla.
Estos resultados son paralelos a los de un estudio de 2018. Un análisis de 126,000 cascadas de rumores en Twitter mostró que las noticias falsas se difundieron más rápido y llegaron a más personas que las afirmaciones verdaderas verificadas. También descubrió que los robots propagaban noticias verdaderas y falsas en proporciones iguales: eran las personas, no los bots, las responsables de la difusión desproporcionada de falsedades en línea.
Una posible explicación de estos hallazgos implica una espada de dos filos. Los académicos valoran la novedad: nuevos hallazgos, nuevos resultados, investigación «de vanguardia» y «disruptiva». En cierto nivel, esto tiene sentido. Si la ciencia es un proceso de descubrimiento, entonces los artículos que ofrecen cosas nuevas y sorprendentes tienen más probabilidades de representar un gran avance que los artículos que fortalecen los cimientos del conocimiento existente o amplían modestamente su dominio de aplicabilidad. Además, tanto los académicos como los laicos experimentan las sorpresas como más interesantes (y ciertamente más entretenidas) que lo predecible, lo normal y lo cotidiano. Ningún editor quiere ser el que rechace un artículo que luego se convierte en la base de un premio Nobel. El problema es que los resultados sorprendentes son sorprendentes porque van en contra de lo que la experiencia nos ha hecho creer hasta ahora, lo que significa que hay una buena probabilidad de que estén equivocados.
Los autores del estudio de citas teorizan que los revisores y editores aplican estándares más bajos a los artículos «llamativos» o dramáticos que a los que avanzan gradualmente en el campo y que los artículos muy interesantes atraen más atención, discusión y citas. En otras palabras, existe un sesgo a favor de la novedad. Los autores del estudio de Twitter también señalan la novedad como culpable: encontraron que las noticias falsas que se difundieron rápidamente en línea eran significativamente más inusuales que las verdaderas.
Las afirmaciones novedosas tienen el potencial de ser muy valiosas. Si algo nos sorprende, indica que es posible que tengamos algo que aprender de ello. La palabra clave aquí es «posible» porque esta premisa presupone que lo sorprendente es, al menos en parte, cierto. Pero a veces las cosas son sorprendentes y equivocadas. Todo lo cual indica que los investigadores, revisores y editores deben tomar medidas para corregir su sesgo a favor de la novedad, y se han presentado sugerencias sobre cómo hacerlo.
Hay otro problema. Como señalan los autores del estudio de citas, muchos estudios de replicación se centran en artículos llamativos que han recibido mucha atención. Pero estos tienen más probabilidades que el promedio de no resistir un mayor escrutinio. Una revisión centrada en artículos llamativos y de alto perfil no reflejará la ciencia en general: un fracaso de la norma de representatividad. En un caso que he discutido en otra parte, un artículo que señalaba los problemas de reproducibilidad no reveló los propios métodos de los investigadores; sin embargo, este artículo ha sido, sí, muy citado. Por lo tanto, los científicos deben tener cuidado de que, en su búsqueda por marcar documentos que no puedan ser replicados, no creen sus propias afirmaciones llamativas pero endebles.
Este artículo se publicó originalmente con el título «The Appeal of Bad Science» en Scientific American 325, 2, 82 (agosto de 2021).
doi: 10.1038 / scientificamerican0821-82