La imagen clásica, aunque errónea, de un investigador que trabaja solo, apartado del mundo y del resto de la comunidad científica es errónea. En realidad, la investigación se basa en un intercambio continuo dentro de la comunidad científica: primero se comprende el trabajo de los demás y luego se comparten los hallazgos.
La lectura y redacción de artículos publicados en revistas académicas y presentados en congresos es una parte fundamental de la labor investigadora. Cuando los investigadores escriben un artículo académico, deben citar el trabajo de sus pares para brindar contexto, detallar las fuentes de inspiración y explicar las diferencias en los enfoques y los resultados. Una cita positiva por parte de otros investigadores es una medida clave de la visibilidad del propio trabajo de un investigador.
Pero ¿qué ocurre cuando se manipula este sistema de citas? Artículo reciente de la Revista de la Asociación para la Ciencia y la Tecnología de la InformaciónNuestro equipo de detectives académicos, que incluye científicos de la información, un científico informático y un matemático, ha revelado un método insidioso para inflar artificialmente el número de citas mediante manipulaciones de metadatos: referencias furtivas.
Manipulación oculta
La gente está tomando mayor conciencia de las publicaciones científicas y de cómo funcionan, incluidos sus posibles defectos. Tan solo el año pasado, más de 10.000 artículos científicos fueron retractadosLos problemas relacionados con la manipulación de citas y el daño que causa a la comunidad científica, incluido el daño a su credibilidad, están bien documentados.
Las citas de trabajos científicos se rigen por un sistema de referencias estandarizado: cada referencia menciona explícitamente al menos el título, los nombres de los autores, el año de publicación, el nombre de la revista o conferencia y los números de página de la publicación citada. Estos detalles se almacenan como metadatos, no visibles directamente en el texto del artículo, sino asignados a un identificador de objeto digital o DOI, un identificador único para cada publicación científica.
Las referencias en una publicación científica permiten a los autores justificar elecciones metodológicas o presentar los resultados de estudios pasados, resaltando la naturaleza iterativa y colaborativa de la ciencia.
Sin embargo, a través de un encuentro casual descubrimos que algunos actores sin escrúpulos habían agregado referencias adicionales, invisibles en el texto pero presentes en los metadatos de los artículos, cuando los enviaron a bases de datos científicas. ¿El resultado? El número de citas de ciertos investigadores o revistas se ha disparado, a pesar de que los autores no citaron estas referencias en sus artículos.
Descubrimiento casual
La investigación comenzó cuando Guillaume Cabanac, profesor de la Universidad de Toulouse, escribió una publicación en PubPeerun sitio web dedicado a la revisión por pares posterior a la publicación, en el que los científicos discuten y analizan publicaciones. En la publicación, detalló cómo había notado una inconsistencia: un artículo de la revista Hindawi que sospechaba que era fraudulento porque contenía frases extrañas tenía muchas más citas que descargas, lo cual es muy inusual.
La publicación llamó la atención de varios detectives que ahora son los autores del artículo. Artículo de JASISTUtilizamos un motor de búsqueda científica para buscar artículos que citaran el artículo inicial. Google Scholar no encontró ninguno, pero Crossref y Dimensions sí encontraron referencias. ¿La diferencia? Es probable que Google Scholar dependa principalmente del texto principal del artículo para extraer las referencias que aparecen en la sección de bibliografía, mientras que Crossref y Dimensions utilizan metadatos proporcionados por los editores.
Un nuevo tipo de fraude
Para comprender el alcance de la manipulación, examinamos tres revistas científicas publicadas por la Academia de Tecnociencia, la editorial responsable de los artículos que contenían citas cuestionables.
Nuestra investigación constó de tres pasos:
-
Enumeramos las referencias presentes explícitamente en las versiones HTML o PDF de un artículo.
-
Comparamos estas listas con los metadatos registrados por Crossref, descubriendo referencias adicionales agregadas en los metadatos pero que no aparecen en los artículos.
-
Revisamos Dimensions, una plataforma bibliométrica que utiliza Crossref como fuente de metadatos, y encontramos más inconsistencias.
En las revistas publicadas por Technoscience Academy, al menos el 9% de las referencias registradas eran “referencias ocultas”. Estas referencias adicionales solo estaban en los metadatos, lo que distorsionaba el recuento de citas y otorgaba a ciertos autores una ventaja injusta. También se perdieron algunas referencias legítimas, lo que significa que no estaban presentes en los metadatos.
Además, al analizar las referencias ocultas, descubrimos que beneficiaron enormemente a algunos investigadores. Por ejemplo, un solo investigador asociado con Technoscience Academy se benefició de más de 3000 citas ilegítimas adicionales. Algunas revistas del mismo editor se beneficiaron de un par de cientos de citas ocultas adicionales.
Queríamos que nuestros resultados fueran validados externamente, por eso publicamos nuestro estudio como preimpresióninformó a Crossref y Dimensions de nuestros hallazgos y les proporcionó un enlace a la investigación preimpresa. Dimensions reconoció las citas ilegítimas y confirmó que su base de datos refleja los datos de Crossref. Crossref También confirmado Las referencias adicionales en Reloj de retracción y destacó que era la primera vez que se le notificaba un problema de este tipo en su base de datos. El editor, basándose en la investigación de Crossref, ha tomado medidas para solucionar el problema.
Implicaciones y posibles soluciones
¿Por qué es importante este descubrimiento? El número de citas influye en gran medida en la financiación de las investigaciones, las promociones académicas y las clasificaciones institucionales. La manipulación de las citas puede dar lugar a decisiones injustas basadas en datos falsos. Lo que es más preocupante, este descubrimiento plantea interrogantes sobre la integridad de los sistemas de medición del impacto científico, una preocupación que los investigadores han destacado durante años. Estos sistemas pueden manipularse para fomentar una competencia malsana entre los investigadores, tentándolos a tomar atajos para publicar más rápido o lograr más citas.
Para combatir esta práctica sugerimos varias medidas:
-
Verificación rigurosa de metadatos por parte de editores y agencias como Crossref.
-
Auditorías independientes para garantizar la confiabilidad de los datos.
-
Mayor transparencia en la gestión de referencias y citas.
Este estudio es el primero, hasta donde sabemos, que informa sobre una manipulación de metadatos. También analiza el impacto que esto puede tener en la evaluación de los investigadores. El estudio destaca, una vez más, que la excesiva dependencia de las métricas para evaluar a los investigadores, su trabajo y su impacto puede ser inherentemente errónea y errónea.
Es probable que esa confianza excesiva promueva prácticas de investigación cuestionables, incluida la formulación de hipótesis después de conocer los resultados, o ESCUCHANDO; dividir un único conjunto de datos en varios documentos, conocido como salami slicing; manipulación de datos; y plagio. También obstaculiza la transparencia que es clave para una mayor transparencia. robusto y eficiente investigación. Aunque los metadatos de citas problemáticos y las referencias ocultas aparentemente se han solucionado, las correcciones pueden haber sido, como se A menudo ocurre lo mismo con las correcciones científicas.ocurrió demasiado tarde.
Lonni Besançon es profesor asistente de Visualización de Datos en la Universidad de Linköping. Guillermo Cabanac es Profesor Universitario en el Instituto de Investigación en Informática de Toulouse. Thierry Vieville es el Director de Investigación Inria a cargo de la mediación científica, Inria. Este artículo se vuelve a publicar desde La conversación debajo de Licencia Creative Commons. Leer el artículo original.