Cómo saber si estamos ante un buen trabajo científico

¡Hay tantos estudios que se arrogan el estatus de científico sin serlo! Los magufos por supuesto están incluídos en ese grupo, pero en la prensa se citan infinidad de trabajos cuya acientificidad es más sutil. La geociencia es especialmente vulnerable a este tema (por motivos históricos, p.e., Alvarez y Leitao, 2012, Geology). Recordad si no el grito de «Geology is not a true science!» de Sheldon en Big Bang Theory.

Así que me arremango para recordar los rasgos más comunes de los estudios científicos y cómo reconocerlos cuando navegamos por la web:

Pregunta científica:

La cuestión que aborda un trabajo científico debe estar bien definida y ser precisa. Puede no ser nueva e incluso puede tener ya una respuesta bien consolidada entre los especialistas, pero hay que dejar clara su relación con estudios anteriores que han abordado los mismos unknowns. En investigación, como en otras formas de vida, uno pasa más tiempo buscando las preguntas correctas que buscando respuestas (inevitable evocar aquí las infames palabras de Rumsfeld).

Referencias, trabajos previos:

La ciencia es un método de recopilación y extensión sistemática del conocimiento y portanto cualquier nuevo estudio debe partir de resultados anteriores. Por eso el extracto de sauce blanco usado medicinalmente en la América precolombina pudo ser un conocimiento extraordinariamente útil, pero no científico: sus propiedades no habían sido relacionadas cuantitativa ni sistemáticamente con otros conocimientos de la época.En cambio el descubrimiento de su principio activo y el aislamiento del ácido acetilsalicílico (aspirina) sí lo son.

La ciencia avanza a Hombros de Gigantes, decía Chartres

Cualquier estudio científico tiene que partir de lo que ya se ha descrito antes, debe anclarse en el conocimiento científico existente. Eso es una pesadez, pero demostrar que conoces lo que ya se ha hecho en tu campo es el primer paso para que tu estudio sea tomado en serio. En la web, los magufos se delatan por carecer de enlaces a fuentes fiables e independientes que apoyen lo que dicen; de forma parecida, la clave de un buen artículo en Wikipedia es la calidad de sus referencias.

Hipótesis y predicciones validables o falseables

Los antecedentes permiten formular una hipótesis, la idea que se quiere poner a prueba. De nuevo, son los antecedentes los que dan solidez a esa hipótesis y los que te permiten distinguir una curiosidad legítima de una chorrada. Luego, el estudio podrá validar o refutar esa hipótesis y en función de ello postular una nueva. Pero vuelvo a ese punto más tarde.

Observación objetiva, repetida, sistemática, cuantitativa

Para mejorar el conocimiento hay que contar con experiencias nuevas. En geociencia pueden ser experiencias de laboratorio (experimentos), de campo (visita y muestreo de una zona) o de cálculo (simulaciones, modelos). Si un experimento de cristalografía (pienso en los infames cristales de hielo de Emoto) no está bien descrito, ni es repetible, ni está cuantificado, entonces puede que sea divertido, pero no es científico.

No siempre es sencillo juzgar cuando las observaciones son objetivas y sistemáticas, y no siempre pueden ser cuantitativas, pero es importante recordar que la aspiración natural del científico es el mayor grado de cuantificación posible. El motivo es que, antes o después, el proceso de comprensión pasa por (o aspira a) formular matemáticamente aquello que se estudia. Vuelvo a esto luego.

Experimentos y análisis reproducibles

La reproducibilidad es tambien esencial, aunque a menudo olvidada. Un ejemplo claro de trabajo no científico es el que se basa en muestras de roca cuya localización no está publicada, porque no se puede contrastar los análisis con otras muestras del mismo lugar. O estudios basados en experimentos numéricos (simulaciones informáticas) que usan un modelo (un programa) muy complejo cuyo código fuente no está disponible. En este caso no se pueden reproducir los cálculos ni comprobar la unicidad de su ajuste de las observaciones. Ambos trabajos pueden ser excelentes, pero no son ciencia porque nadie puede reproducirlos ni poner a prueba sus resultados. Y ambos casos abundan en las Ciencias de la Tierra.

Pero no siempre está tan claro, y para muestra invito a leer este artículo sobre lo que no se suele compartir entre científicos (interesantes los comentarios de lectores al pie). Otro ejemplo: las rocas de una perforación deberían estar disponibles para su estudio crítico por otros grupos, permitiendo la reproducción de su análisis. Pero si cuando pides una muestra no hay nadie que la empaquete y te la envíe, o si una compañía que financió la perforación impide el acceso a las muestras ¿el estudio original sigue siendo científico?

Formulación matemática

Describir un proceso natural con una ecuación tiene algo de trascendental. La matemática es la máxima expresión de lo que mencionaba: objetividad, cuantificación, reproducibilidad.

La formulación matemática es la expresión más sólida de un concepto (en este caso el de isostasia) y permiten ponerlo a prueba sin ambigüedad en escenarios distintos.

Un ejemplo: una buena parte de la tectonofísica se basa en la formulación de la isostasia de finales del siglo XIX (nada del otro mundo, por otra parte, una simple aplicación del principio de Arquímedes a la corteza terrestre). El principio en sí mismo podría haberse enunciado sin más. Pero fue la sencillez de su formulación matemática la que permitió aplicarlo fácilmente a infinidad de escenarios geológicos y así validarlo y hacer brotar una nueva rama de la geociencia.

Interpretación, tesis

En la interpretación de los resultados entra en juego algo tan escurridizo como el sentido común. Algunos trabajos pueden tener resultados tan sólidos como para proponer una nueva tesis provocativa que pueda ser valorada en futuros estudios y pase a ser la hipótesis de un nuevo estudio. Y claro, será  necesario que sea también validable o refutable, porque si no sería científicamente inabordable. Un ejemplo de tesis no falseable que me encanta es la estimación de la posición de las placas tectónicas dentro de 50 millones de años. Nadie va a estar allí para contrastar la veracidad de esta predicción. Por tanto, esta imagen puede ser muy interesante desde el punto de vista educativo o divulgativo y puede estar bien fundamentada, pero no puede ser validada ni se puede por tanto aprender de ellas, y por lo tanto no es ciencia.

Revisión por expertos y publicación

Es obvio que si no publicas nadie se entera de lo que has hecho, nadie va a poner a prueba tus resultados, y tu trabajo no va a entrar a formar parte del conocimiento científico. La publicación debe estar avalada por expertos reconocidos en la materia, lo que generalmente se interpreta como personas que ya han publicado artículos en temas relacionados y en revistas de prestigio similar. Por otro lado, la publicación debería ser fácilmente accesible, por eso son polémicos los enormes costes que tiene hoy publicar y suscribirse a las revistas. En mi disco duro tengo pdfs de artículos que, si no fuera por el acceso que me facilita mi institución, me costarían unos 100.000 euros. Es decir, sólo un privilegiado puede hacer ciencia desde su casa…

Derecho a réplica

Las publicaciones deben poder ser replicadas por otros expertos que vean defectos en el procedimiento o en la interpretación de los resultados. Tradicionalmente estas réplicas han tenido la forma de breves artículos, en principio también revisados por pares. En las Ciencias de la Tierra esto ocurre menos de lo que debería; En otras disciplinas abundan las revistas científicas como PLoS que permiten la réplica o los comentarios online, sin necesidad de pasar necesariamente por un proceso de revisión.

Un artículo de divulgación no puede ser estricto en todos estos aspectos, pero un buen artículo de divulgación se mide por cuanto de ello es capaz de transmitir. A menudo ni siquiera se especifica en qué consisten los experimentos, cálculos o observaciones sin los que el trabajo científico divulgado no tendría valor. Los mejores medios de divulgación entrevistan además a colegas que compitan con los autores del trabajo y den una visión contrapuesta.

En la práctica, un descubrimiento o el nacimiento de una nueva idea tienen poco que ver con el método científico descrito. Este método es más una forma de comunicación entre investigadores: cualquier artículo científico está estructurado de acuerdo con él.

Aunque como decía anteriormente, la web 2.0 está cambiándolo todo. Al nuevo orden científico se está sumando el crowdsourcing y el crowdfunding. ¿Te imaginas publicar con multitud de científicos a quienes no conoces, sin saber qué tienen ellos en la cabeza? ¿Y todo ello sin financiación pública ni conflictos de interés? ¿Es eso posible? La publicación científica está viviendo tiempos revolucionarios y en pocos años no vamos a reconocerla, pero sin duda la estructura que he descrito arriba permacerá intacta, porque eso es la definición del método científico, el menos malo que tenemos para comunicarnos.

Por cierto, a estas alturas queda claro que éste que ahora termina no es un artículo científico, es sólo otro post en la blogosfera, mal referenciado y sin hipótesis falseables.

———————————
Este artículo participa en los Premios Nikola Tesla de divulgación científica y nos lo envía Daniel Garcia-Castellanos (@danigeos en Twitter) científico del Instituto de Ciencias de la Tierra del CSIC en Barcelona y editor del blog sobre geología  Retos Terrícolas. Daniel ha publicado estudios científicos en Revistas prestigiosas como Nature, como ya tuvimos ocasión de comprobar en su anterior colaboración.



Por Colaborador Invitado
Publicado el ⌚ 14 mayo, 2012
Categoría(s): ✓ Divulgación