La mayoría de las personas investigadoras prefieren que sus resultados tengan un impacto social. Además, muestran interés por conocer ese impacto. A esto hay que añadir la creciente competencia por la financiación, que obliga a cuantificar dicho impacto para optar a determinadas fuentes de financiación. Estas razones han motivado los esfuerzos de la comunidad científica para medir adecuadamente los beneficios sociales de la investigación científica. Para la sociedad, que financia la investigación científica, reconocer y recompensar adecuadamente el enfoque social de la investigación es un objetivo fundamental.

La investigación científica afecta tantos aspectos de la sociedad que medir la totalidad de sus impactos es una tarea ardua. Además, los impactos más significativos son aquellos más difíciles de medir. Por ello, es complicado encontrar buenas métricas de impacto social. Sin embargo, en un momento en que los factores de impacto de las revistas científicas están siendo cuestionados, la búsqueda de nuevos enfoques que puedan medir el impacto social es una tarea primordial.

 

Evaluación con enfoque social

Durante la última década, los esfuerzos de los gobiernos y los organismos de financiación para comprender mejor el retorno de la inversión en investigación han contribuido a sentar las bases para una evaluación más completa del impacto. Este es el caso, por ejemplo, del Research Excellence Framework (REF) realizado en 2014 y 2021, que mide la calidad de las contribuciones de las universidades del Reino Unido asignando una puntuación de impacto, que define como cualquier efecto o beneficio en la “economía, sociedad, cultura, política o servicios públicos, salud, medio ambiente o calidad de vida más allá de la academia” [1]. En este sentido, supera a su predecesor, que evaluó periódicamente la investigación del Reino Unido desde 1986 hasta 2008, aunque sin analizar por separado el impacto social. Para el REF 2021, los paneles de expertos consideraron casi 6.800 solicitudes de departamentos universitarios, documentos que intentan explicar el alcance de su investigación en la sociedad y que se pueden consultar en abierto [2].

En España tuvimos el Sexenio de Transferencia de Conocimiento e Innovación [3], cuya prueba piloto se realizó en 2018 y cuyo objetivo era evaluar el desempeño de los investigadores en esta materia. Evaluar el impacto social supuso en ese momento un desafío, aunque el retorno de la inversión fue alto. Este hito sentó las bases para una evaluación más completa de la investigación y los efectos que tiene en la política, la economía y otras áreas.

 

Impacto en las políticas públicas

Es posible rastrear sistemáticamente las conexiones entre la investigación y las políticas públicas. Una cita en un documento de política pública puede ser más significativa incluso que una cita en una revista muy leída, ya que supone una evidencia de que la investigación realmente afectó el comportamiento social.

Recientemente, algunos investigadores han encontrado evidencias de que los artículos publicados en revistas de ciencias sociales y humanidades tienen una mayor probabilidad de ser citados en documentos de políticas públicas [4]. Empleando datos de Overton, una base de datos de documentos de políticas recopilados de gobiernos, paneles de expertos, organizaciones intergubernamentales y ONG, los casi 37.000 artículos en estos campos que se publicaron en 2010 generaron cerca de 260.000 citas de políticas en la década siguiente, una tasa de casi siete citas por artículo. Sin embargo, se publicaron cerca de 18.000 artículos en revistas de ingeniería y ciencias físicas en 2010, que generaron aproximadamente 63.000 citas de políticas en el mismo período de tiempo, una tasa de alrededor de 3,5 citas por artículo.

La cantidad de citas disponibles sugiere la posibilidad de crear métricas de impacto en políticas públicas similares al índice h, un número que mide el impacto académico a través del número de documentos publicados y las citas recibidas. Sin embargo, aunque es económico y sencillo de implementar, este indicador probablemente simplificaría demasiado el impacto de la investigación y no discriminaría adecuadamente a los científicos que realmente han contribuido a cambiar las acciones de los gobiernos, las sociedades médicas u otras organizaciones. Así, el estudio que comparó las citas de políticas de las universidades del Reino Unido con sus puntuaciones de impacto en el REF 2014 [4], encontró que las instituciones con la mayor cantidad de citas de políticas tendían a recibir puntuaciones más altas por parte de los evaluadores en el REF, aunque la correlación no era especialmente fuerte.

Es posible que un indicador derivado de una base de datos de políticas se quede corto y sea necesario incluir alguna forma de revisión por pares que permita valorar adecuadamente la influencia política. Sin embargo, recopilar y categorizar las citas de políticas puede complementar y apoyar el juicio de los expertos. Para ello, la base de datos Altmetric es otra alternativa que recopila las citas en documentos de políticas públicas.

 

Innovación e impacto económico

La investigación a menudo impulsa el desarrollo de nuevas tecnologías y productos, pero rastrear el impacto de la innovación de un investigador en particular puede ser un proceso complicado.

Las innovaciones son esenciales para la ciencia y la sociedad, y cada vez es más importante identificar los proyectos e investigadores más innovadores. Sin embargo, las métricas más simples para medir la innovación pueden no ser suficientes. Estas métricas suelen medir razonablemente bien los resultados intermedios de la innovación, a través de patentes o citas, aunque con ciertas limitaciones. Al igual que algunos investigadores suelen citarse a sí mismos en sus publicaciones para aumentar su propio impacto, los inventores suelen citar su propio trabajo en las solicitudes de patentes. A ello se suma, en ciertos países, el hecho de que los inventores citen patentes de ese país exclusivamente, en parte para evitar posibles disputas internacionales de derechos de autor.

La investigación universitaria puede tener además impactos económicos que van mucho más allá de las patentes o las empresas derivadas, como es la creación de un mercado laboral cualificado. De hecho, el aspecto diferenciador que generan las universidades desde la investigación y la docencia son los egresados al mercado laboral.

 

Desarrollo sostenible e impacto ambiental

Hay impactos destacados de la investigación que no son económicos y que son más difíciles de medir. Así, por ejemplo, los investigadores en humanidades y ciencias sociales realizan un trabajo crítico que les hace repensar las cosas que valoramos como sociedad y denunciar las desigualdades.

La investigación científica tiene el potencial de transformar el planeta al abordar las crisis ambientales globales, como el cambio climático, y mejorar el bienestar de las comunidades más pobres. Los Objetivos de Desarrollo Sostenible (ODS) de la ONU, un conjunto de 17 metas que abordan los mayores desafíos globales, incluida la pobreza, el hambre y la energía limpia, se utilizan cada vez más para medir dicho impacto.

Las universidades y los investigadores suelen visibilizar su compromiso con los ODS, aunque un informe de 2022 sugiere que la investigación en gran medida no está logrando estos objetivos. Dicho informe [5] encontró que el 95-98% de las patentes e invenciones y el 60-80% de las publicaciones académicas están mal alineadas con los ODS. Tan solo el 30-40% de la investigación realizada en países de ingresos altos o medios tiene alguna conexión con los ODS, muy inferior al 60%-80% en países de ingresos bajos.

En este sentido, la base de datos DimensionsAI proporciona un sistema de clasificación para estos 17 objetivos, la mayoría de los cuales están interconectados. Esta clasificación automatizada de publicaciones que se alinean con los ODS se implementa mediante un modelo de lenguaje natural supervisado por expertos [6].

 

Medios sociales e impacto cultural

Las métricas alternativas, o altmétricas, intentan rastrear el alcance de la investigación a través de las redes sociales, sitios de noticias y otros medios. Fueron creadas para medir el impacto más allá de las citas académicas, pero aún están lejos de ese objetivo. Por ejemplo, contar las menciones de un artículo en las redes sociales no dice mucho sobre su verdadero significado. Cualquiera puede compartir un artículo en las redes sociales, incluso aquellos que no valoran los resultados, lo hacen para criticar la investigación o están difundiendo información falsa sobre sus hallazgos. Si se echa un vistazo a los tuits sobre noticias de prensa, está claro que en la mayoría de los casos no hay una comprensión clara o una lectura profunda de la noticia.

Cabe entonces preguntarnos cómo podrían usarse esas evidencias en la evaluación de los investigadores. Algunos autores han encontrado solo una correlación débil entre las puntuaciones altmétricas y la calidad de la investigación percibida por los expertos, una señal clara de que las puntuaciones eran un indicador deficiente de la calidad de la investigación [7]. Las métricas alternativas deben refinarse y validarse si aspiran a ser una base confiable para las decisiones de evaluación y financiación.

A pesar de estos desafíos, abarcar la amplitud de todos los tipos de impacto de la investigación no es una causa perdida. La comunidad científica que se dedica a la evaluación de la investigación está haciendo importantes esfuerzos en identificar las diferentes dimensiones del impacto de las investigaciones, su significado y las métricas más adecuadas para cuantificarlo.

 

*****

Este artículo nos lo envía Pablo Dorta-González, Catedrático de Métodos Cuantitativos en la Universidad de Las Palmas de Gran Canaria. Actualmente trabaja en el Instituto Universitario de Turismo y Desarrollo Económico Sostenible TiDES, donde mantiene abiertas dos líneas de investigación, una en métodos cuantitativos en economía y empresa, y otra sobre indicadores bibliométricos para la evaluación científica.

Referencias científicas y más información:

[1] Research Excellence Framework, REF 2021. https://www.ref.ac.uk/

[2] Impact case study database, REF 2021. https://results2021.ref.ac.uk/impact

[3] Sexenio de Transferencia de Conocimiento e Innovación, 2018, ANECA. https://www.aneca.es/transferencia

[4] Szomszor M., Adie E. (2022) Overton: A bibliometric database of policy document citations. Quantitative Science Studies 3(3): 624–650. https://doi.org/10.1162/qss_a_00204

[5] Ciarli T. (2022) Changing Directions: Steering science, technology and innovation towards the Sustainable Development Goals, STRINGS, SPRU, University of Sussex. https://dx.doi.org/10.20919/FSOF1258

[6] Wastl J., Porte S., Draux H., Fane B., Hook D. (2020) Contextualizing sustainable development research, Digital Science Report. https://doi.org/10.6084/m9.figshare.12200081.v2

[7] Kassab O., Bornmann L., Haunschild R. (2020) Can altmetrics reflect societal impact considerations?: Exploring the potential of altmetrics in the context of a sustainability science research center. Quantitative Science Studies 1(2), 792–809. https://doi.org/10.1162/qss_a_00032