- Denominado Real Influence ha sido creado por un equipo interinstitucional e internacional con investigadores de España y Brasil
- Se trata de un indicador más robusto y fiable que el factor de impacto y sus aplicaciones prácticas pueden abarcar desde la evaluación de proyectos de investigación y acreditaciones hasta la identificación de patrones inusuales de citación en revistas científicas
León, 29 de noviembre de 2024. Investigadores de la Universidad de León, de la Universidad Carlos III de Madrid (UC3M) y de la Universidad Estadual Paulista (UNESP) de Brasil han desarrollado un indicador más robusto, claro y justo que el factor de impacto, que es la herramienta que se ha utilizado ampliamente desde hace décadas, para la evaluación de las revistas académicas y científicas.
Este nuevo indicador, que han denominado Real Influence, tiene numerosas aplicaciones prácticas, que podrían abarcar desde la evaluación de proyectos de investigación y acreditaciones hasta las solicitudes de sexenios, pasando por la identificación de patrones inusuales de citación en revistas científicas.
Daniel Martínez Ávila, uno de los autores y profesor del departamento de Patrimonio artístico y Documental de la Universidad de León, explica que “el desarrollo de este indicador surge en un momento crítico para el proceso de evaluación de la ciencia” y añade que “la percepción de la calidad de las publicaciones científicas ha estado determinada en gran medida por un indicador denominado factor de impacto” que está basado en la “popularidad que tienen las revistas científicas” y eso “ha provocado un alud de malas prácticas, como que los investigadores paguen para publicar en revistas con factor de impacto o que a las editoriales científicas no les importe que haya un número de investigaciones publicadas de mala calidad mientras mantengan un valor alto en ese cómputo global”.
MENOS SUSCEPTIBLE A MANIPULACIONES
Real Influence ha sido desarrollada por un equipo interinstitucional e internacional y supone, explica Martínez Ávila, “un indicador complementario basado en la visibilidad de todas las publicaciones de una revista y no en un cómputo global” lo que le hace ser un “un indicador mucho más robusto y claro y menos susceptible a manipulaciones”.
Real Influence busca, por tanto, ofrecer una alternativa mejorada al factor de impacto, que calcula el número promedio de citas por publicación científica. El problema, según los investigadores, es que el factor de impacto no ofrece información sobre la visibilidad individual de cada publicación y no es inmune a distorsiones producidas por artículos muy citados, además de otros inconvenientes. Por ejemplo, tiende a ser más alto en campos donde las publicaciones y citas son más frecuentes (como ciencias biomédicas o tecnología) o no refleja el impacto que una publicación pueda tener a largo plazo (porque generalmente realiza mediciones en los dos años posteriores a la publicación).
Por otro lado, Antonio Perianes, otro de los autores, profesor del departamento de Biblioteconomía y Documentación de la UC3M, explica que este nuevo indicador “busca una evaluación racional y contextualizada de las revistas científicas, no una receta mágica para la toma de decisiones exclusivamente basada en números” y “no pretende ser una medida única (ya que no puede capturar toda la complejidad de la ciencia) y debe complementarse siempre con evaluaciones cualitativas de las publicaciones científicas”, añade.
VISIÓN MÁS JUSTA BASADA EN LA VISIBILIDAD DE LOS ARTÍCULOS CIENTÍFICOS
Para llevar a cabo el estudio, publicado recientemente en la revista Quantitative Science Studies, publicada por MIT Press (editorial universitaria afiliada a Instituto Tecnológico de Massachusetts), el equipo ha comparado el rendimiento del nuevo indicador en casi cuatrocientas revistas de las áreas de Biblioteconomía y Ciencias de la Información, Bioquímica y Biología Molecular. Los resultados del análisis muestran que Real Influence es menos vulnerable a manipulaciones, representa mejor la distribución completa de las publicaciones y, sobre todo, proporciona una visión más detallada y justa basada en la visibilidad de cada artículo.
La metodología de Real Influence está inspirada en el uso de percentiles en áreas como la economía o el crecimiento pediátrico, que permite evitar sesgos provocados por artículos excepcionalmente citados, ya que no solo se evalúan las citas obtenidas, sino que también se toma en cuenta la posición relativa de cada artículo dentro del universo de citas en su categoría. Esto hace que sea fácilmente adaptable y que pueda implementarse en cualquier sistema de datos compatible con estudios de citas, como WoS o Scopus.
(FOTOS 1.- Real influence web, FOTO 2- Daniel Martínez Ávila)