La Impactolatría en la Ciencia

Por Colaborador Invitado, el 21 agosto, 2012. Categoría(s): Divulgación

Desde los inicios de la ciencia, el ser humano ha sentido la necesidad de transmitir los conocimientos adquiridos al colectivo, partiendo de esa necesidad apareció la publicación científica como el resumen de los resultados obtenidos a través del trabajo investigativo y del método científico. Con el surgimiento de las revistas científicas se hizo indispensable el evaluar los trabajos publicados, es así que Eugene Garfield fue el primero en sugerir el concepto de «factor de impacto» (FI) basándose en el promedio de citas recibidas por las revistas. Lamentablemente el afán por conseguir un estatus en la comunidad científica ha degenerado en una especie de culto o adoración incontinente al factor de impacto como si se tratara de la panacea de la evaluación en ciencia, de ahí el término impactolatría.

La impactolatría conlleva una práctica simplista en la que se presupone que el FI de la revista y su reputación son indicativos absolutos de la calidad o importancia de una investigación concreta y, por extensión, de los autores de ésta. A continuación se presentan algunos ejemplos que tratan de demostrar en cierta forma como el sistema de FI no es del todo infalible.

El truco de la Autocitación.

El FI de una revista es un indicador bibliométrico que se obtiene dividiendo el número de citas que reciben en un año determinado los trabajos publicados en una revista a lo largo de los 2 años anteriores (numerador) por el número total de ítems citables publicados en dichos 2 años (denominador). Estos resultados son indizados y publicados por la Science Citation Index-Journal Citation Reports (SCI-JCR).

El truco de la autocitación, considerada como el número de veces que una revista se cita a sí misma en las referencias bibliográficas de sus artículos, contribuye a aumentar el FI  en el ranking de la JCR. Desde el punto de vista editorial, los intentos de forzar a los autores a aumentar el número de autocitas en sus manuscritos no están bien vistos, a pesar de esto, algunas revistas aún recurren a esta práctica.

Sin duda alguna el ejemplo más sonado, ocurrió cuando la revista internacional suiza “Folia Phoniatrica et Logopaedica,” publico el artículo “Reaction of Folia Phoniatrica et Logopaedica on the Current Trendof Impact Factor Measures,” donde se citan de forma intencionada a todos los artículos publicados en dicha revista en los últimos 2 años, como una demostración de lo absurdo del sistema, logrando con este único artículo que el índice de impacto suba de 0,67 a 1,439 pasando de la posición 22 a la 13 en su categoría. Otro caso un tanto más descarado, ocurrió con la revista Acta Crystallographica, en uno de sus artículos titulado “A short history of SHELX,” se incluyeron 5624 autocitas lo cual hizo que el índice de impacto de esta revista pasara de 2’38 a 49’93 en un solo año.

Como estos, muchos otros ejemplos han ido apareciendo, al parecer la autocitación se ha vuelto cada vez más prevalente con el pasar del tiempo, en las ediciones anteriores de la JCR se excluyeron 51 revistas en 2011, 34 en 2010, 26 en 2009, 20 en 2008, y 9 en 2007, la mayoría por tener un número excesivo de autocitas.

Una pregunta válida sería, ¿Por qué no se eliminan las autocitas del cálculo del índice de impacto? Desde hace algunos años, el JCR incluye tanto el índice de impacto con autocitas como sin ellas. Algunos estudios se han realizado sobre este problema cuyos resultados parecen demostrar que en la mayoría de revistas el índice de autocitación es poco significativo y que al parecer las diferencias del FI con autocitas no dista demasiado del sin autocitas, aunque algunos casos aislados parecen demostrar lo contrario.

¿Es el FI un indicador de prestigio?

En 1998 la revista británica The Lancet, una de las cinco revistas de medicina con más prestigio a nivel mundial, publicó un artículo titulado “Ileallymphoidnodularhyperplasia, nonspecificcolitis, and pervasive developmental disorder in children”, en el que se relacionaba a la vacuna triple viral (Sarampión, rubéola y paperas) con el desarrollo de alteraciones gastrointestinales y la presencia de síntomas regresivos autistas en 12 niños, el artículo generó una intensa controversia, se trataba ni más ni menos de la evidencia científica que tanto esperaban los grupos antivacunas, la noticia se difundió masivamente en los medios de comunicación del Reino Unido causando una ola de temor en los padres lo cual a su vez produjo que los índices de vacunación descendieran de forma espectacular.

Cuando se analiza el estudio, uno no puede dejar de notar la escasa calidad científica del mismo, se trata de un estudio descriptivo, sin grupo control ni enmascaramiento alguno, con una muestra de tan solo 12 participantes, la mayoría menores de 6 años a los que se les sometió a procedimientos cruentos como colonoscopias y tomas de biopsias sin un justificativo válido, y como si todo esto no fuera suficiente, posteriormente salió a la luz que el artículo había recibido financiación de un grupo de padres de niños con autismo, de lo cual no se dio constancia a la revista y mas grave aun, se logró descubrir, luego de una investigación periodística, que los datos habían sido manipulados de forma fraudulenta para hacerlos encajar con los resultados que se buscaba.

Ante el escándalo generado, The Lancet anunciaba que retiraba el estudio en cuestión en el 2010, sin embargo durante ese tiempo el artículo todavía era citable, y debido a la gran controversia que generó, acumulo un numero considerable de referencias aumentando de esta forma el factor de impacto de la revista.

Serias dudas se han generado a partir de todo esto, ¿como es que un artículo tan sesgado logró ser publicado en una revista tan prestigiosa?, ¿porque se permite que citas de artículos dudosos se contabilicen para el cálculo del FI? y sobre todo ¿es el FI un verdadero indicativo de prestigio y calidad científica?, muchas de estas preguntas aún no tienen respuesta.

Hacia un uso correcto del FI.

El FI debería ser entendido en su real dimensión, un indicador cuantitativo de investigaciones citables con una apreciación subjetiva de la supuesta calidad de las mismas. El problema principal surge cuando se deja de lado este concepto y se comienza a utilizar el FI con otros usos distintos a su principal función,  en este sentido, el propio Garfield recientemente reiteraba cuál era la utilidad del FI como herramienta para la clasificación y evaluación de las revistas, mientras que, a su vez, lamentaba que se estuviera haciendo un uso tan inapropiado del FI en ejercicios de evaluación de publicaciones y de curriculums de científicos.

———————————
Este artículo participa en los Premios Nikola Tesla de divulgación científica y nos lo envía Juan Diego Patino, médico residente y autor del blog NSMED.me. También puedes seguirlo en tuiter en @Juandp77.

Enlaces y Referencias

  • Jordi Camí. Impactolatría: diagnóstico y tratamiento. Medicina Clínica 1997;109(13):515-524
  • Schutte HK, Švec JG: Reaction of Folia Phoniatrica et Logopaedica on the Current Trend of Impact Factor Measures. Folia Phoniatr Logop 2007;59:281-285
  • Sheldrick, G. M. Acta Cryst. A64 2008: 112-122.
  • Saha S, Saint S, Christakis DA. Impact factor: a valid measure of journal quality? J Med Libr Assoc.2003;91:42-46
  • Wakefield AJ, Murch SH, Anthony A, Linnell, Casson DM, Malik M, et al. Ileal lymphoid nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children [retracted]. Lancet 1998;351:637-41
  • Fiona Godlee. Wakefield’s article linking MMR vaccine and autism was fraudulent. BMJ 2011;342:c7452
  • Garfield E. How can impact factors be improved? Br Med J 1996; 313: 411-413


Por Colaborador Invitado, publicado el 21 agosto, 2012
Categoría(s): Divulgación