Las revistas científicas y el proceso de revisión (peer-review)

Por Colaborador Invitado, el 23 octubre, 2018. Categoría(s): Ciencia • Divulgación

En nuestro anterior post discutimos sobre los métodos de comunicación científica, y vimos que durante siglos los libros dominaron el panorama científico. Actualmente la mayoría de nuevos descubrimientos se publican en revistas especializadas, así que hemos cambiado un método por otro. En este post discutiremos la piedra angular de las publicaciones científicas el proceso de revisión (refeering o peer-review en inglés).

Este cambio, de libros a revistas, se dio de manera progresiva. Todavía siguen publicándose libros científicos, claro está, pero actualmente es poco usual que un científico[1] se guarde sus resultados científicos para publicarlos en un libro. Más usual es ir publicando resultados en diversas revistas y luego reunirlos todos en un sólo volumen para darle una forma coherente. También se publican libros con un alto contenido científico pero con un carácter divulgativo. Por último, muchas veces los libros son usados para expresar una teoría o idea filosófica que se contraste con lo comúnmente aceptado y que requiera un extenso debate. Ejemplos de este último tipo de libros pueden ser El Gen Egoísta (The Selfish Gene en inglés) de Richard Dawkins o Estructuras Sintácticas (Syntactic Structures en inglés) de Noah Chomsky. Sin embargo, los nuevos resultados ya se publican casi exclusivamente en revistas científicas[2].

Portada de El Gen Egoísta, de Richard Dawkins.

Asociada a la idea de revista científica viene la de revisión por pares. La idea es sencilla, si tienes una publicación periódica quieres que se asocie tu marca con una idea de calidad. Si además vas a cobrar a investigadores por leer tu revista tienes que pretender que lo que publicas sea serio. Si lees cosas poco serias en una revista es muy probable que deje de ser interesante, por lo que el control sobre lo que se publica debe ser muy elevado.

Las revistas científicas llevan conviviendo con nosotros desde hace mucho tiempo. Que yo sepa,  la primera en proponer un sistema de revisión de la calidad fue la Philosophical Transactions of the Royal Society en 1665. En ese caso simplemente la revista se limitaba a comprobar que lo que se publicaba tenía sentido mediante sus propios medios. Esto es una manera de decir que publicaban lo que ellos consideraban adecuado. Se trataba de una revista inglesa, y durante mucho tiempo casi todo lo que publicaban era de origen inglés.

Primer número de la Philosophical Transactions of the Royal Society

En aquella época las revistas aún no eran el medio de comunicación principal, pero poco a poco fueron ganando peso. Durante el siglo XIX aparecieron algunas de las revistas que luego dominarían el mundo científico. The Lancet se comenzó a publicar en 1823, Nature en 1869, Science en 1880. Ya para comienzos del siglo XX el modelo estaba bien establecido. Los tres artículos del Año Milagroso (Annus Mirabilis) de Einstein se publicaron en la revista alemana Annalen der Physik. Entonces esta revista tenía un precario un control de calidad y esos artículos fueron revisados por el físico Max Planck, quien después se convertiría en su amigo y mentor.

El problema de la revisión por parte de los editores de la revista apareció a medida que la ciencia se fue diversificando. Planck era un físico experto y perfectamente podía entender casi todos los artículos de la época. A principios del siglo XX, con una plantilla reducida de editores podías cubrir casi todos los campos. Sin embargo, durante el siglo XX la ciencia tuvo un desarrollo exponencial y los campos se multiplicaron. Además, la revisión por parte de editores se presta mucho al amiguismo. Si el editor te conoce no será lo mismo que si no sabe quien eres o si directamente te odia. Por esos motivos durante la segunda mitad del siglo XX se popularizó una nueva manera de revisar la calidad de los artículos, la revisión por pares (peer-review en inglés).

La revisión por parte de pares no es una idea nueva ni exclusiva de la publicación científica. En medicina, ingeniería, economía y muchos otros campos es normal mandar un trabajo a un experto para que lo revise. En la publicación científica se ha impuesto un método que en grandes rasgos suele ser de la siguiente manera[3]:

  1. Unos autores escriben un artículo y lo mandan a una revista. Este artículo lo recibe un editor jefe que lo deriva a un editor especialista en el campo. A veces el editor jefe no es necesario ya que revista te pregunta qué editor quieres o directamente lo reenvía a uno según el campo que hayas elegido.

 

  1. El editor puede rechazar el artículo si lo considera oportuno, sin mandarlo a revisar. Si por otro lado decide que el trabajo puede ser de interés para la revista debe buscar a uno o varios revisores (referees en inglés) y mandarles el artículo o un resumen para que decidan si quieren revisarlo o no. Muchos revisores deciden no participar por no tener tiempo, porque no consideren que el trabajo es de su campo o por cualquier otro motivo. Esto a veces hace que la búsqueda de revisores sea un trabajo arduo y en muchos casos sólo se encuentra un revisor.

 

  1. Los revisores (o el único revisor) evalúan el artículo siguiendo las directrices de la revista. Cada revista tiene sus propios criterios, pero en general pedirán evaluar la calidad científica del artículo, si contiene algún error, el impacto científico, la presentación, etcétera. Los revisores suelen escribir un pequeño informe donde se incluyen posibles mejoras al artículo. Habitualmente, los revisores son anónimos y ni los autores ni los posteriores lectores del artículo sabrán quienes son. Algunas revistas han optado por no evaluar el interés de la publicación y centrarse sólo en cuestiones técnicas, pero son las menos.

 

  1. El editor recibe los informes de los revisores y en base a ellos toma una decisión. Las posibilidades habituales son: aceptar el artículo sin cambios, enviarlo a los autores para que lo corrijan o rechazarlo.

 

  1. Si el artículo ha sido reenviado a los autores estos tienen que decidir si quieren hacer los cambios que les han propuesto o salirse de la revista. Si deciden continuar vuelven a enviarlo y el proceso vuelve al punto 3. A veces no hay acuerdo entre revisores y el editor tiene que decidir si busca otros revisores para que medien, volviendo al punto 2. Lo tradicional ha sido siempre que con 3 revisores se toma una decisión, pero hay artículos que llegan a la decena de revisores cada uno con su opinión.

 

  1. Finalmente la decisión sobre el artículo le corresponde al editor. Si es rechazado los autores todavía pueden protestar si consideran que la evaluación de los revisores no ha sido adecuada. El editor puede entonces decidir consultar con otros revisores. Si es con el editor con quien los autores no están de acuerdo en muchos casos pueden también apelar a instancias superiores de la revista. Al final son los organismos de la revista los que tienen la última palabra sobre lo que ocurrirá con el artículo.

 

  1. Finalmente el artículo es publicado o rechazado. Cuando ocurre lo segundo lo más normal es enviar el artículo a otra revista.

En casos muy excepcionales los editores pueden decidir publicar un artículo sin mandarlo a revisar. Eso ocurrió con el famoso artículo de Watson y Crick donde presentaron la estructura del ADN. Este artículo se publicó en Nature sin pasar por revisión porque el editor, John Maddox, consideraba que el artículo era claramente cierto y además no se fiaba de la confidencialidad de los revisores. Todo esto se explicó en una carta en Nature en 2003.

Un original del famoso artículo de Watson y Crick que fue vendido en subasta por 16,800$. Fuente: PBA Galleries

¿Entonces el proceso de revisión por pares garantiza la veracidad de las publicaciones? Por desgracia no. Los revisores no tenemos la misión de garantizar que lo que se publica sea correcto. Hay que tener en cuenta que muchos artículos incluyen resultados de experimentos. Estos experimentos no están al alcance de cualquiera, y los revisores sólo pueden opinar si les parece razonable o no. Otros artículos tienen análisis estadísticos, y los datos los proveen los autores. Si hay alguna falsedad es imposible de detectar. Tampoco los desarrollos matemáticos son examinados con detalle, salvo excepciones, ya que eso llevaría a los revisores mucho tiempo y ellos no reciben ni dinero ni reconocimiento por hacerlo.

Al final del día lo que se publica es responsabilidad de los autores. Por ese motivo no podemos olvidar que lo que sale publicado en una revista no es una verdad absoluta. Una de las piedras angulares de la ciencia sigue siendo la repetición, por lo que hasta que el mismo efecto no sea observado y comprobado por diferentes grupos no debe ser tomado como cierto. Por ese motivo existen un tipo especial de publicación, los meta-análisis, que también se merecen su propio post.

Por último mencionar que el proceso suele garantizar una calidad bastante buena, sobre todo en revistas con prestigio. Sin embargo, pervertir el sistema en contra de la ciencia es fácil. Si creas tu propia revista, con tus propios editores y revisores tienes via libre para cometer tantas tropelías como te apetezca. Un ejemplo es la revista Homeopathy, de la editorial Elsevier. Ahí se pueden publicar artículos que cualquier revista de medicina no aceptaría nunca por no tener la estadística adecuada, por ser anecdóticos o directamente por entrar en conflictos de intereses.

No hay ni que decir que revistas como la infame Discovery Salud no tienen ningún control de calidad y por eso publican lo que publican. En general, una revista que no tenga revisión por pares no se considera una fuente fiable de información. Para distinguir unas de otras existen bases de datos, como el Journal Citation Report que evalúa la calidad de las publicaciones científicas. En general, las revistas que no están incluidas en estas bases de datos se consideran de baja calidad o directamente no científicas.

El sistema, como todos, tiene sus luces y sus sombras. Las críticas al peer-review y las propuestas de mejoras son tan numerosas que dedicaremos el siguiente post en exclusiva a ellas.

 

Este artículo nos lo envía Daniel Manzano, (@spidermanzano) profesor en la Universidad de Granada. Anteriormente ha sido investigador en diversas instituciones como la Singapore University of Technology and Design, el Massachusetts Institute of Technology o el Institute of Quantum Optics and Quantum Information. Su especialidad es la física cuántica, con especial énfasis en la termodinámica y computación cuánticas. Cuando consigue encontrar algo de tiempo escribe en diversos medios, incluyendo su blog y Twitter.

–> Este artículo es la segunda parte de una serie dedicada a publicación científica y sus métodos. Todos los artículos se podrán leer desde este enlace.

Notas del autor:

[1] De nuevo se usa el masculino como genérico por no usar expresiones largas como «autores y/o autoras», o decir cosas como «autorxs» que son incorrectas gramaticalmente y además dan problemas a quien use programas lectores de pantalla.

[2] Esto es cierto principalmente en ciencias puras y medicinas, en ciencias sociales todavía hay bastante comunicación basada en libros.

[3] Esto es sólo un esquema general, cada revista suele modificar ligeramente el sistema adaptándolo a su propia filosofía.