Citas, bases de datos y el factor de impacto (IF)

Por Colaborador Invitado, el 17 enero, 2019. Categoría(s): Ciencia • Divulgación

La evaluación de los científicos es un tema muy relacionado con el de la publicación científica. El problema de origen es sencillo. Si tenemos que distribuir los recursos y decidir a quien contratar y a quien no, lo normal es que seleccionemos entre los aspirantes en base a algún criterio de selección. Si además tenemos en cuenta que los científicos se dedican principalmente a publicar artículos, lo normal es que la evaluación se base en esos artículos.

Durante mucho tiempo la evaluación de los científicos fue muy subjetiva. Igual que pueda ser la evaluación de un artista. Esta subjetividad evolucionó lentamente a criterios más cuantitativos, como el número de artículos publicados, y poco a poco ha ido alcanzando nuevos niveles de sofisticación.

Science y Nature son dos de las revistas científicas más prestigiosas. Fuente

Antes de entrar en detalle dejadme hablar del caso específico español. En este país, desde hace años, ha habido mucha sospecha de malas prácticas en la universidad. Así continuamente tenemos que leer titulares tales como La endogamia alcanza al 73% de los docentes o El destape de la ‘corrupción universitaria’. Esto no es un problema baladí. Las universidades ofrecen miles de puestos públicos al año, y eso se paga del erario público. Es una obvia responsabilidad de los políticos y de las universidades el que estos puestos recaigan sobre los candidatos mejores preparados. La evaluación de la ciencia, si se hace bien, debe contibuir a diseñar criterios objetivos con los que acabar con estas prácticas.

Volviendo al tema en sí de la evaluación, siempre se ha sabido que hay revistas mejores que otras, y que no todos los artículos tienen luego el mismo impacto. Por desgracia, medir eso de manera objetiva es otra historia. Si yo me empeño en que mis artículos son igual de buenos que los de Albert Einstein, ¿de qué manera me corregiríais?

Una de las primeras propuestas de evaluación llegó de manera inesperada. En 1964 el  Institute for Scientific Information (Instituto de Información Científica) creó una base de datos, la Science Citation Index. La idea era sencilla. Los artículos se citan unos a otros ya que el conocimiento se basa en conocimiento anterior. Entonces es útil tener bases de datos de las citas entre artículos. Así si encuentro, por ejemplo, un artículo que me interesa, y que se publicó en 2002, con sólo consultar los artículos que los citan puedo estar al día de lo que se ha hecho desde entonces. Simple y sencillo. Actualmente , existen diversas bases de datos y plataformas que nos permiten acceder a ellas.

¿Y qué tiene que ver esto con la evaluación? Pues ocurre que poco después de crearse estas bases de datos comenzaron a ser usadas principalmente para evaluar la investigación. Todo sigue la siguiente idea: los artículos más importantes son más citados. Ya que estas bases de datos nos dicen el número de citas de cada artículo podemos fácilmente asignarles un nivel de calidad.

Con la llegada de internet, además, todos pudimos comprobar el número de citas de un artículo de manera instantánea. Comenzaba así la época de considerar que la calidad de los artículos es directamente proporcional al número de citas que tiene (ponderado por el tiempo que lleva publicado, claro). Así el número de artículos de un investigador se puede tomar como medida de su productividad, y las citas de cada artículo como una medida de calidad. A partir de ahí se han creado otras medidas derivadas como el número de citas media por artículo, el índice H, etcétera.

Estas medidas no son perfectsa, y puede llevar a diversas malas prácticas, pero tampoco son totalmente absurdas. Está claro que los artículos más relevantes de cada campo tienden a tener muchas citas. Es obvio que no puedes revolucionar algo y pasar desapercibido.

Una cuestión relacionada es la evaluación de las revistas. Todo aquel que está en el mundo de la ciencia sabe que hay revistas muy buenas, como Nature o Science, y otras menos buenas como Homeopathy. ¿Qué las distingue? Obviamente si los artículos los medimos por el número de citas, las revistas las podemos evaluar mediante un promedio del mismo. Por ese motivo en 1975 se comenzó a calcular un indicador de la calidad de las revistas, el Factor de Impacto (IF). Este índice se calcula anualmente teniendo en cuenta las citas que ha recibido los artículos de esa revista publicados los dos años anteriores, dividido por el número de artículos publicados en esos dos mismos años. Así es un promedio bianual de citas por artículo. El IF es la obsesión de las revistas, porque de él depende que los científicos queramos publicar en esas revistas o no. Así, en muchas revistas suelen anunciar públicamente su IF en la cabecera de su web.

. Cabecera de la Web de la revista Advances in Physics, donde se resalta su factor de impacto (capturado el 20 de Diciembre de 2018, a las 16:30).

El factor de impacto se ha convertido sin duda en el índice de calidad más usado en todo el mundo, por encima incluso de las citas individuales. Así en muchos procesos selectivos los artículos son evaluados de manera diferente dependiendo de que la revista en la que han sido publicados esté entre las primeras de su campo. Debido a que las distintas áreas del conocimiento tienen valores muy dispares de IF es muy común no evaluar valores absolutos de este indicador y valorar si la revista está entre el 25% mejor de su campo o no (esos son los famosos «cuartiles»).

¿Y hay problemas con estos indicadores? Sin duda. El más importante es un problema común a todos los indicadores. Una vez que se establece un indicador de la calidad la gente comenzará a trabajar orientado a él. En principio eso no debería ser problema, y no lo es en tareas sencillas de medir como el atletismo. El problema es que en cuestiones más complejas como la ciencia hay muchas maneras de tratar de mejorar tus índices sin hacer mejor ciencia. Ejemplos son la publicación de artículos innecesarios, citarse a uno mismo en demasía, mercadear con citas y cosas similares. También hay problemas más profundos. Si nos van a evaluar por el número de artículos o citas no suele ser una buena idea el explorar nuevos campos o el tomar caminos arriesgados. La ciencia ha evolucionado mucho a la inmediatez y a la productividad y eso no siempre es algo bueno.

Debido a estos problemas en 2012 se creó la San Francisco Declaration on Research Assessment (DORA, o Declaración de San Francisco sobre la Evaluación de la Investigación). Esta declaración pide públicamente dejar de usar el IF como medida de la calidad de las investigaciones y los investigadores. Desde que se promulgó la hemos firmado unos 12,800 investigadores, así como más de 800 instituciones.

Por otro lado, la existencia de medidas objetivas, aunque imperfectas, contribuyen a una evaluación menos dada a la corrupción. Eso en países con un largo historial de corrupción universitaria, como España, es algo bueno. Quizás, la salida sea el perfeccionar estos indicadores, o utilizarlos sólo cuando sea apropiado. En cualquier caso, la bibliometría y los indicadores estarán con nosotros mucho tiempo, así que será mejor acostumbrarse a ellos.

En el siguiente post de esta saga discutiremos las principales críticas a estos instrumentos de medida.

 

Este artículo nos lo envía Daniel Manzano, (@spidermanzano) profesor en la Universidad de Granada. Anteriormente ha sido investigador en diversas instituciones como la Singapore University of Technology and Design, el Massachusetts Institute of Technology o el Institute of Quantum Optics and Quantum Information. Su especialidad es la física cuántica, con especial énfasis en la termodinámica y computación cuánticas. Cuando consigue encontrar algo de tiempo escribe en diversos medios, incluyendo su blog y Twitter.

–> Este artículo es la tercera parte de una serie dedicada a publicación científica y sus métodos. Todos los artículos de esta serie se podrán leer desde este enlace.



Por Colaborador Invitado, publicado el 17 enero, 2019
Categoría(s): Ciencia • Divulgación