Aisciencepubs Graphic Leadimage.png

Los chatbots de IA se han infiltrado profundamente en las publicaciones científicas

El uno por ciento de los artículos científicos publicados en 2023 mostraron signos de la posible participación de la IA generativa, según un análisis reciente

Amanda Montañez; Fuente: Andrew Gray

Los investigadores están haciendo un mal uso de ChatGPT y otros chatbots de inteligencia artificial para producir literatura científica. Al menos, ese es un nuevo temor que han planteado algunos científicos, citando un marcado aumento en los dogmas sospechosos de la IA que aparecen en los artículos publicados.

Algunos de estos indicadores, como el inclusión inadvertida de «ciertamente, aquí hay una posible introducción para su tema» en un artículo reciente en Superficies e interfaces, una revista publicada por Elsevier, son pruebas razonablemente obvias de que un científico utilizó un chatbot de IA conocido como modelo de lenguaje grande (LLM). Pero «probablemente esto sea sólo la punta del iceberg», dice la consultora de integridad científica Elisabeth Bik. (Un representante de Elsevier dijo Científico americano que el editor lamenta la situación y está investigando cómo podría haberse “pasado” del proceso de evaluación del manuscrito). En la mayoría de los demás casos, la participación de la IA no es tan clara, y los detectores de texto automatizados de IA son herramientas poco confiables para analizar un artículo.

Sin embargo, investigadores de varios campos han identificado algunas palabras y frases clave (como «complejo y multifacético”) que tienden a aparecer con más frecuencia en oraciones generadas por IA que en la escritura humana típica. «Cuando miras esto durante suficiente tiempo, te haces una idea del estilo», dice Andrew Gray, bibliotecario e investigador del University College de Londres.


Sobre el apoyo al periodismo científico

Si está disfrutando este artículo, considere apoyar nuestro periodismo galardonado al suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.


Los LLM están diseñados para generar texto, pero lo que producen puede ser exacto o no. «El problema es que estas herramientas aún no son lo suficientemente buenas como para confiar», dice Bik. Sucumben a lo que los informáticos llaman alucinación: en pocas palabras, inventan cosas. «Específicamente, para artículos científicos», señala Bik, una IA «generará referencias de citas que no existen». Entonces, si los científicos confían demasiado en los LLM, los autores del estudio corren el riesgo de insertar fallas fabricadas por la IA en su trabajo, mezclando más posibilidades de error en la ya confusa realidad de las publicaciones científicas.

Gray recientemente buscó palabras de moda sobre IA en artículos científicos utilizando Dimensions, una plataforma de análisis de datos que, según sus desarrolladores, rastrea más de 140 millones papeles a nivel mundial. Buscó palabras utilizadas desproporcionadamente por los chatbots, como «intrincado», «meticuloso» y «encomiable». Estas palabras indicadoras, dice, dan una mejor idea de la escala del problema que cualquier frase de IA “reveladora” que un autor torpe podría copiar en un artículo. Al menos 60.000 artículos (un poco más del 1 por ciento de todos los artículos científicos publicados a nivel mundial el año pasado) pueden haber utilizado un LLM, según Gray’s análisis, que se publicó en el servidor de preimpresión arXiv.org y aún no ha sido revisado por pares. Otros estudios que se centraron específicamente en subsecciones de la ciencia sugieren una dependencia aún mayor de los LLM. Una de esas investigaciones encontró que Hasta el 17,5 por ciento de los artículos recientes sobre informática muestran signos de redacción por IA.

Los gráficos de líneas muestran cómo el volumen de publicaciones científicas y el uso de varias palabras de

Amanda Montañez; Fuente: Andrew Gray

Esos hallazgos están respaldados por Científico americanoBúsqueda propia utilizando Dimensions y varias otras bases de datos de publicaciones científicas, incluidas Google Scholar, Scopus, PubMed, OpenAlex e Internet Archive Scholar. Esta búsqueda buscó señales que pudieran sugerir que un LLM estuvo involucrado en la producción de textos para artículos académicos, medido por la prevalencia de frases que ChatGPT y otros modelos de IA suelen agregar, como «a partir de mi última actualización de conocimientos». En 2020, esa frase apareció solo una vez en los resultados rastreados por cuatro de las principales plataformas de análisis en papel utilizadas en la investigación. Pero apareció 136 veces en 2022. Sin embargo, este enfoque tenía algunas limitaciones: no podía filtrar artículos que podrían haber representado estudios de modelos de IA en sí en lugar de contenido generado por IA. Y estas bases de datos incluyen material más allá de los artículos revisados ​​por pares en revistas científicas.

Al igual que el enfoque de Gray, esta búsqueda también encontró rastros más sutiles que pueden haber apuntado hacia un LLM: analizó la cantidad de veces que se encontraron frases comunes o palabras preferidas por ChatGPT en la literatura científica y rastreó si su prevalencia era notablemente diferente a lo largo de los años. justo antes del lanzamiento en noviembre de 2022 del chatbot de OpenAI (que se remonta a 2020). Los hallazgos sugieren que algo ha cambiado en el léxico de la escritura científica, un desarrollo que podría deberse a los tics de escritura de los chatbots, cada vez más presentes. «Existe cierta evidencia de que algunas palabras cambian constantemente con el tiempo» a medida que el lenguaje evoluciona normalmente, dice Gray. «Pero existe la pregunta de cuánto de esto es un cambio natural de lenguaje a largo plazo y cuánto es algo diferente».

Síntomas de ChatGPT

Para detectar señales de que la IA puede estar involucrada en la producción o edición de papel, Científico americanoLa búsqueda de Profundizó en la palabra “profundizar”, que, como algunos monitores informales del texto creado por IA, ha experimentado un aumento inusual en su uso en el mundo académico. Un análisis de su uso en los aproximadamente 37 millones de citas y resúmenes de artículos en ciencias biológicas y biomedicina contenidos en el catálogo de PubMed destacó cuán de moda está la palabra. En comparación con 349 usos en 2020, “profundizar” apareció 2847 veces en 2023 y ya ha aparecido 2630 veces en lo que va de 2024, un aumento del 654 por ciento. Se observaron aumentos similares, aunque menos pronunciados, en la base de datos Scopus, que cubre una gama más amplia de ciencias, y en los datos de Dimensions.

Otros términos señalados por estos monitores como lemas generados por IA han experimentado aumentos similares, según el Científico americano Análisis: “encomiable” apareció 240 veces en artículos rastreados por Scopus y 10,977 veces en artículos rastreados por Dimensions en 2020. Esas cifras aumentaron a 829 (un aumento del 245 por ciento) y 20,536 (un aumento del 87 por ciento), respectivamente, en 2023. Y En un giro quizás irónico para una posible investigación “meticulosa”, esa palabra se duplicó en Scopus entre 2020 y 2023.

Más que simples palabras

En un mundo donde los académicos viven según el mantra”publicar o perecer”, no sorprende que algunos estén usando chatbots para ahorrar tiempo o reforzar su dominio del inglés en un sector donde a menudo se requiere para la publicación y puede ser el segundo o tercer idioma de un escritor. Pero emplear la tecnología de inteligencia artificial como ayuda gramática o sintáctica podría ser un camino resbaladizo para aplicarla incorrectamente en otras partes del proceso científico. Se teme que escribir un artículo con un coautor de un LLM pueda conducir a cifras clave generadas enteramente por la IA o a revisiones por pares que se subcontratan a evaluadores automatizados.

Estos no son escenarios puramente hipotéticos. Ciertamente, la IA se ha utilizado para producir diagramas e ilustraciones científicas que a menudo se han incluido en artículos académicos, incluido, en particular, uno roedor extrañamente dotado—e incluso a Reemplazar a los participantes humanos en experimentos.. Y el uso de chatbots de IA puede tener impregnó el proceso de revisión por pares en sí, basado en un estudio preimpreso del lenguaje en comentarios brindados a científicos que presentaron investigaciones en conferencias sobre IA en 2023 y 2024. Si los juicios generados por la IA se introducen en los artículos académicos junto con el texto de la IA, eso preocupa a los expertos, incluido Matt Hodgkinson, miembro del consejo. del Comité de Ética en Publicaciones, una organización sin fines de lucro con sede en el Reino Unido que promueve prácticas éticas de investigación académica. Los chatbots «no son buenos para hacer análisis», dice, «y ahí es donde reside el verdadero peligro».