La frase “un estudio demuestra que”, escrita entre comillas, devuelve poco más de un millón de resultados la última vez que la busqué en Google. Puede ser una forma sencilla de iniciar un titular periodístico, pero lleva camino de convertirse en el nuevo anunciado en TV, y además da una idea falsa de cómo avanza el conocimiento científico. Este artículo no es una queja más sobre el estado del periodismo, más concretamente el periodismo científico, del que tenemos excelentes ejemplos en este país siempre y cuando no los busquemos en la hoja parroquial. Pero un estudio demuestra que lleva a una concepción errónea de los términos.

Las pruebas que demuestran algo (la existencia de un determinado fenómeno, la explicación de un determinado fenómeno, la efectividad de un determinado fármaco…) son acumulativas. Los estudios científicos son el producto del trabajo humano y como tal son imperfectos y estarán siempre sujetos a posibles errores, sesgos o manipulaciones interesadas. Las revistas científicas no imprimen la verdad revelada, sino una aproximación sujeta a cambios y refutaciones; por eso sirven, porque permiten avanzar en el proceso en lugar de establecer dogmas inamovibles.

Hace unos días, supimos del estudio que relacionaba los transgénicos con ratones con tumores casi más grandes que ellos. También supimos, a poco que buscásemos un poco, que era un estudio con unos fallos garrafales que parecía diseñado para apoyar una conclusión montada a priori. Alguien que hubiese titulado que Un estudio demuestra que los transgénicos producen cáncer habría patinado irremediablemente. Al igual que el estudio de demostró la existencia terrestre de una forma de vida basada en arsénico.

Aquí tienen tres estudios más que pueden utilizarse para demostrar algo, extraídos al azar tras una búsqueda en PubMed: la homeopatía es útil para curar la migraña en niños. Y para regenerar el nervio ciático en ratas. La acupuntura mejora la regeneración neuronal tras la isquemia.

Hablábamos de sesgos: observen cómo las revistas de medicina alternativa son mucho más propensas a publicar resultados positivos para estas paparruchas que las revistas de medicina a secas, también apellidada la que funciona. Igualmente, los científicos chinos tienden a firmar los trabajos que miran la acupuntura con buenos ojos. El señor Hardell les dirá que las ondas de radiofrecuencia de los móviles provocan tumores y Seralini que los transgénicos son tóxicos.

Los estudios científicos sirven porque son replicables. O al menos deberían serlo. La publicación de un estudio, por sí mismo, lo único que demuestra es que un determinado texto ha pasado por el filtro de los revisores, y a veces ni eso. Tras la publicación, los científicos que se dediquen a ese campo tendrán interés en el asunto e intentarán montar experimentos similares para ver si tienen hallazgos comparables; será entonces cuando se pueda empezar a hablar de que se ha descubierto algo. En 2010, Daryl Bem publicó un artículo titulado Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect. En dicho artículo se detallaba un experimento que aparentemente producía una violación de la causalidad: diversos sujetos bajo estudio recordaban mejor palabras (elegidas al azar) que iban a escribir después en otra parte de la prueba. El psicólogo y mago Richard Wiseman, acto seguido, comenzó a trabajar en reunir cuantas más replicaciones posibles y publicó otro artículo tiempo después: Failing the Future: Three Unsuccessful Attempts to Replicate Bem’s ‘Retroactive Facilitation of Recall’ Effect.

En 2005 se publicó en PLOS Medicine un texto con este lúbricofestivo titular: Why Most Published Research Findings Are False. Al margen de estar pensado para dar guerra, el artículo listaba una pequeña lista de precauciones que nos ayudan a entender que una golondrina no hace verano:

[…] a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance.

(En investigación, un hallazgo tiene menos probabilidades de ser cierto cuando los estudios son más pequeños; cuando los tamaños de efecto son más pequeños; cuando hay un mayor número y una menor preselección de relaciones comprobadas; cuando hay mayor flexibilidad en los diseños, definiciones, resultados y modos analíticos; cuando hay mayores intereses financieros u otros prejuicios; y cuando hay más equipos involucrados en un campo científico buscando la significación estadística).

Un estudio demuestra que ante cualquier hallazgo hay que seguir trabajando antes de poder conseguir un titular escandaloso, especialmente si estamos hablando de resultados importantes o que contradigan lo que se sabía anteriormente; un estudio demuestra que es una temeridad. Como dijo Marcello Truzzi, afirmaciones extraordinarias requieren pruebas extraordinarias.