Cómo saber si estamos ante un buen trabajo científico

¡Hay tantos estudios que se arrogan el estatus de científico sin serlo! Los magufos por supuesto están incluídos en ese grupo, pero en la prensa se citan infinidad de trabajos cuya acientificidad es más sutil. La geociencia es especialmente vulnerable a este tema (por motivos históricos, p.e., Alvarez y Leitao, 2012, Geology). Recordad si no el grito de “Geology is not a true science!” de Sheldon en Big Bang Theory.

Imagen de previsualización de YouTube

Así que me arremango para recordar los rasgos más comunes de los estudios científicos y cómo reconocerlos cuando navegamos por la web:

Pregunta científica:

La cuestión que aborda un trabajo científico debe estar bien definida y ser precisa. Puede no ser nueva e incluso puede tener ya una respuesta bien consolidada entre los especialistas, pero hay que dejar clara su relación con estudios anteriores que han abordado los mismos unknowns. En investigación, como en otras formas de vida, uno pasa más tiempo buscando las preguntas correctas que buscando respuestas (inevitable evocar aquí las infames palabras de Rumsfeld).

Referencias, trabajos previos:

La ciencia es un método de recopilación y extensión sistemática del conocimiento y portanto cualquier nuevo estudio debe partir de resultados anteriores. Por eso el extracto de sauce blanco usado medicinalmente en la América precolombina pudo ser un conocimiento extraordinariamente útil, pero no científico: sus propiedades no habían sido relacionadas cuantitativa ni sistemáticamente con otros conocimientos de la época.En cambio el descubrimiento de su principio activo y el aislamiento del ácido acetilsalicílico (aspirina) sí lo son.

La ciencia avanza a Hombros de Gigantes, decía Chartres

Cualquier estudio científico tiene que partir de lo que ya se ha descrito antes, debe anclarse en el conocimiento científico existente. Eso es una pesadez, pero demostrar que conoces lo que ya se ha hecho en tu campo es el primer paso para que tu estudio sea tomado en serio. En la web, los magufos se delatan por carecer de enlaces a fuentes fiables e independientes que apoyen lo que dicen; de forma parecida, la clave de un buen artículo en Wikipedia es la calidad de sus referencias.

Hipótesis y predicciones validables o falseables

Los antecedentes permiten formular una hipótesis, la idea que se quiere poner a prueba. De nuevo, son los antecedentes los que dan solidez a esa hipótesis y los que te permiten distinguir una curiosidad legítima de una chorrada. Luego, el estudio podrá validar o refutar esa hipótesis y en función de ello postular una nueva. Pero vuelvo a ese punto más tarde.

Observación objetiva, repetida, sistemática, cuantitativa

Para mejorar el conocimiento hay que contar con experiencias nuevas. En geociencia pueden ser experiencias de laboratorio (experimentos), de campo (visita y muestreo de una zona) o de cálculo (simulaciones, modelos). Si un experimento de cristalografía (pienso en los infames cristales de hielo de Emoto) no está bien descrito, ni es repetible, ni está cuantificado, entonces puede que sea divertido, pero no es científico.

No siempre es sencillo juzgar cuando las observaciones son objetivas y sistemáticas, y no siempre pueden ser cuantitativas, pero es importante recordar que la aspiración natural del científico es el mayor grado de cuantificación posible. El motivo es que, antes o después, el proceso de comprensión pasa por (o aspira a) formular matemáticamente aquello que se estudia. Vuelvo a esto luego.

Experimentos y análisis reproducibles

La reproducibilidad es tambien esencial, aunque a menudo olvidada. Un ejemplo claro de trabajo no científico es el que se basa en muestras de roca cuya localización no está publicada, porque no se puede contrastar los análisis con otras muestras del mismo lugar. O estudios basados en experimentos numéricos (simulaciones informáticas) que usan un modelo (un programa) muy complejo cuyo código fuente no está disponible. En este caso no se pueden reproducir los cálculos ni comprobar la unicidad de su ajuste de las observaciones. Ambos trabajos pueden ser excelentes, pero no son ciencia porque nadie puede reproducirlos ni poner a prueba sus resultados. Y ambos casos abundan en las Ciencias de la Tierra.

Pero no siempre está tan claro, y para muestra invito a leer este artículo sobre lo que no se suele compartir entre científicos (interesantes los comentarios de lectores al pie). Otro ejemplo: las rocas de una perforación deberían estar disponibles para su estudio crítico por otros grupos, permitiendo la reproducción de su análisis. Pero si cuando pides una muestra no hay nadie que la empaquete y te la envíe, o si una compañía que financió la perforación impide el acceso a las muestras ¿el estudio original sigue siendo científico?

Formulación matemática

Describir un proceso natural con una ecuación tiene algo de trascendental. La matemática es la máxima expresión de lo que mencionaba: objetividad, cuantificación, reproducibilidad.

La formulación matemática es la expresión más sólida de un concepto (en este caso el de isostasia) y permiten ponerlo a prueba sin ambigüedad en escenarios distintos.

Un ejemplo: una buena parte de la tectonofísica se basa en la formulación de la isostasia de finales del siglo XIX (nada del otro mundo, por otra parte, una simple aplicación del principio de Arquímedes a la corteza terrestre). El principio en sí mismo podría haberse enunciado sin más. Pero fue la sencillez de su formulación matemática la que permitió aplicarlo fácilmente a infinidad de escenarios geológicos y así validarlo y hacer brotar una nueva rama de la geociencia.

Interpretación, tesis

En la interpretación de los resultados entra en juego algo tan escurridizo como el sentido común. Algunos trabajos pueden tener resultados tan sólidos como para proponer una nueva tesis provocativa que pueda ser valorada en futuros estudios y pase a ser la hipótesis de un nuevo estudio. Y claro, será  necesario que sea también validable o refutable, porque si no sería científicamente inabordable. Un ejemplo de tesis no falseable que me encanta es la estimación de la posición de las placas tectónicas dentro de 50 millones de años. Nadie va a estar allí para contrastar la veracidad de esta predicción. Por tanto, esta imagen puede ser muy interesante desde el punto de vista educativo o divulgativo y puede estar bien fundamentada, pero no puede ser validada ni se puede por tanto aprender de ellas, y por lo tanto no es ciencia.

Revisión por expertos y publicación

Es obvio que si no publicas nadie se entera de lo que has hecho, nadie va a poner a prueba tus resultados, y tu trabajo no va a entrar a formar parte del conocimiento científico. La publicación debe estar avalada por expertos reconocidos en la materia, lo que generalmente se interpreta como personas que ya han publicado artículos en temas relacionados y en revistas de prestigio similar. Por otro lado, la publicación debería ser fácilmente accesible, por eso son polémicos los enormes costes que tiene hoy publicar y suscribirse a las revistas. En mi disco duro tengo pdfs de artículos que, si no fuera por el acceso que me facilita mi institución, me costarían unos 100.000 euros. Es decir, sólo un privilegiado puede hacer ciencia desde su casa…

Derecho a réplica

Las publicaciones deben poder ser replicadas por otros expertos que vean defectos en el procedimiento o en la interpretación de los resultados. Tradicionalmente estas réplicas han tenido la forma de breves artículos, en principio también revisados por pares. En las Ciencias de la Tierra esto ocurre menos de lo que debería; En otras disciplinas abundan las revistas científicas como PLoS que permiten la réplica o los comentarios online, sin necesidad de pasar necesariamente por un proceso de revisión.

Un artículo de divulgación no puede ser estricto en todos estos aspectos, pero un buen artículo de divulgación se mide por cuanto de ello es capaz de transmitir. A menudo ni siquiera se especifica en qué consisten los experimentos, cálculos o observaciones sin los que el trabajo científico divulgado no tendría valor. Los mejores medios de divulgación entrevistan además a colegas que compitan con los autores del trabajo y den una visión contrapuesta.

En la práctica, un descubrimiento o el nacimiento de una nueva idea tienen poco que ver con el método científico descrito. Este método es más una forma de comunicación entre investigadores: cualquier artículo científico está estructurado de acuerdo con él.

Aunque como decía anteriormente, la web 2.0 está cambiándolo todo. Al nuevo orden científico se está sumando el crowdsourcing y el crowdfunding. ¿Te imaginas publicar con multitud de científicos a quienes no conoces, sin saber qué tienen ellos en la cabeza? ¿Y todo ello sin financiación pública ni conflictos de interés? ¿Es eso posible? La publicación científica está viviendo tiempos revolucionarios y en pocos años no vamos a reconocerla, pero sin duda la estructura que he descrito arriba permacerá intacta, porque eso es la definición del método científico, el menos malo que tenemos para comunicarnos.

Por cierto, a estas alturas queda claro que éste que ahora termina no es un artículo científico, es sólo otro post en la blogosfera, mal referenciado y sin hipótesis falseables.

———————————
Este artículo participa en los Premios Nikola Tesla de divulgación científica y nos lo envía Daniel Garcia-Castellanos (@danigeos en Twitter) científico del Instituto de Ciencias de la Tierra del CSIC en Barcelona y editor del blog sobre geología  Retos Terrícolas. Daniel ha publicado estudios científicos en Revistas prestigiosas como Nature, como ya tuvimos ocasión de comprobar en su anterior colaboración.

23 Comentarios

Participa Suscríbete

UrbekUrbek

Hay un error de bulto en tu teoría epistemológica cuando abordas la cuestión del tiempo y la falsabilidad. La falsabilidad es una propiedad teórica de un enunciado. La posición de una placa tectónica, de un planeta o de un protón dentro de 50 millones de años naturalmente que puede ser predicha científicamente. La cuestión no es que en ese momento exista o no la posibilidad material de realizar la medición (haya humanos y tengan interés y medios para realizarla) sino que la misma puede ser, a priori, formalmente, hecha. Es decir, la teoría científica enuncia verdades formales independientemente de que puedan materialmente comprobarse. Piensa en el siguiente enunciado: el número de estrellas es par. Es una afirmación fácilmente refutable, basta con contar todas las estrellas… aunque materialmente nos sea imposible hacerlo

Daniel Garcia-CastellanosDaniel Garcia-Castellanos

Interesante punto: Hay un error lógico en tu última frase que creo que te contesta: si “Es una afirmación fácilmente refutable”, entonces no puede ser “materialmente imposible hacerlo” :)
No pretendo exponer una teoría epistemológica, y muchos menos mía, sino algo más práctico y derivado de mi experiencia personal. Puede que desde un punto de vista epistemológico tengas razón (la verdad es que sé poco de eso), pero una predicción a 50 millones de años no es falsable y por tanto no tiene valor científico (a menos que creas que la cultura científica seguirá viva para entonces). Fíjate que un modelo de cómo era el planeta hace 50 millones de año sí lo es, precisamente porque nuestra relación empírica con el pasado es muy distinta que con el futuro: el pasado nos deja rastros con los que validar el modelo.

Daniel Garcia-CastellanosDaniel Garcia-Castellanos

Interesante punto: Hay un error lógico en tu última frase que creo que te contesta: si “Es una afirmación fácilmente refutable”, entonces no puede ser “materialmente imposible hacerlo” :)
No pretendo exponer una teoría epistemológica, y muchos menos mía, sino algo más práctico y derivado de mi experiencia personal. Puede que desde un punto de vista epistemológico tengas razón (la verdad es que sé poco de eso), pero una predicción a 50 millones de años no es falsable y por tanto no tiene valor científico (a menos que creas que la cultura científica seguirá viva para entonces). Fíjate que un modelo de cómo era el planeta hace 50 millones de año sí lo es, precisamente porque nuestra relación empírica con el pasado es muy distinta que con el futuro: el pasado nos deja rastros con los que validar el modelo.

BarrancoBarranco

El enfoque falsacionista se carga de un plumazo disciplinas científicas completas.
Yo sabía que a los geólogos les gusta Popper pero, hay vida más allá.

EmilioEmilio

El enfoque falsacionista se me hacia una buena manera de corroborar la ciencia, pero existen otras metodologías que tienen una menor limitación de la que tiene el falsacionismo. Recomendaría mucho el libro de Alan Chalmers «¿Qué es esa cosa llamada ciencia?», da una muy buena introducción a la filosofía de las ciencias y enseña como todas las posturas tienen sus puntos débiles.

TheogonistTheogonist

Me gustaría saber qué opinais sobre la economía y de si la tomaríais como una ciencia.

Quiero recordar que la economía carece de un consenso entre los “expertos” en cómo se relacionan variables básicas como “desempleo” e “inflación”. Por ejemplo, se formuló la curva de Phillips, para relacionar ambas variables, pero como se dice en la wikipedia:

“Since 1974 seven Nobel Prizes have been given for work critical of the Phillips curve. Some of this criticism is based on the United States’ experience during the 1970s, which had periods of high unemployment and high inflation at the same time. The authors receiving those prizes include Thomas Sargent, Christopher Sims, Edmund Phelps, Edward Prescott, Robert A. Mundell, Robert E. Lucas, Milton Friedman, and F.A. Hayek.”

http://en.wikipedia.org/wiki/Phillips_curve

¿Es una ciencia? ¿Se encuentra en estado pre-científico al no haber establecido un paradigma común, según las categorías de Kuhn?

Saludos.

anonanon

Interesante. ¿Debería ser ser una ciencia, no? Pero es curioso que hoy en día seamos capaces de simular con resultados fantásticos sistemas muy complejos como la dinámica atmosférica y sin embargo no haya buenos modelos predictivos en economía. También es curioso que aunque en nuestro mundo (el capitalismo) la economía sea la base de todas las decisiones, no se enseñen los fundamentos de la economía a la inmensa mayoría de la población, a menos que escojas asignaturas optativas a partir de los 16 años.

FernandoFernando

Veamos una ciencia, la Anatomía. ¿Es falsable?

La afirmación: “Los hombres tienen dos riñones”, ¿es falsable? Si lo es, ¿ha sido falsada? ¿Supone eso que la Anatomía no es útil o no tiene carácter científico?

anonanon

Claro que es esa afirmación falsable, bastaría con encontrar alguien que no tuviera 2 riñones, Y por tanto sería una hipótesis de partida válida. En cambio, la relación de esto con el carácter científico de la anatomía es para mi poco clara.

FernandoFernando

Pues sí existen personas con un sólo riñón o sin riñónes. Hay malformaciones congénitas así. Por tanto la afirmación “Los hombres tienen dos riñones” ya ha sido falsada. Pero también han sido falsadas la mayoría de las afirmaciones de la Anatomía (debido a la existencia de malformaciones congénitas). ¿Suprime eso el valor de la Anatomía?

Veamos entonces la afirmación: “La mayoría de los hombres tienen dos riñones (hay una minoría de personas con malformaciones o que han sufrido una extirpación, etc.)” ¿Es falsable? No. ¿Tiene carácter científico la Anatomía? Sí.

Las afirmaciones del tipo: “La gran mayoría tiene…” no son falsables pero pueden ser científicas.

La Anatomía es un ejemplo de ciencia que no es falsable y no se le puede exigir que lo sea.

anonanon

pues también es falsable y científica, claro! Tú puedes proponer que más del 98% de los pacientes responden a un tratamiento. Es una hipótesis muy fácil de testear (validar o refutar), es decir, es falsable: sólo tienes que hacer un estudio estadísticamente significativo y ver si el resultado es ése.
Una hipótesis no falsable sería por ejemplo: “el ser humano evolucionará hacia algo parecido un camello en 5 millones de años”. Habría que esperar ese tiempo para comprobarlo.

FernandoFernando

Pero puede pasar que, repitiendo el estudio en diversos países o en distintos momentos, el porcentaje de pacientes que responden al tratamiento sea diferente (distintos hábitos de alimentación, distintos fáctores de riesgo, etc.) Eso no quita valor al estudio.

0 (0 Votos)
FernandoFernando

Lo de “dentro de 5 millones de años…” sí puede ser científico. La ciencia muchas veces hace extrapolaciones al futuro.

anonanon

puedes hacer una predicción a 100 años y llamarle ciencia, pero si es a 5 millones de años vista… diría que no podrá ser validada. Puedes usar una técnica muy interesante, pero la interpretación que propones no sirve de nada, porque nadie puede desafiarla.

Carlos

La ciencia es intemporal, estudiará una u otra cosa, pero no desaparecerá, se podrá llamar alquimia, ciencia o magia, pero en esencia será lo mismo.

José de LunaJosé de Luna

Los comentarios están tan importantes como el propio artículo.

Felicitaciones a todos.

4 Trackbacks

Información Bitacoras.com…

Valora en Bitacoras.com: ¡Hay tantos estudios que se arrogan el estatus de científico sin serlo! Los magufos por supuesto están incluídos en ese grupo, pero en la prensa se citan infinidad de trabajos cuya acientificidad es más sutil. La geoci……

Deja un comentario

Tu email nunca será mostrado o compartido. No olvides rellenar los campos obligatorios.

Obligatorio
Obligatorio

Puedes usar las siguientes etiquetas y atributos HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>