A principios de este año, Los científicos descubrieron un término peculiar Apareciendo en artículos publicados: “Microscopía electrónica vegetativa”.
Esta frase, que suena técnica pero en realidad no tiene sentido, se ha convertido en un “fósil digital”, un error conservado y reforzado en inteligencia artificial (Ai) sistemas que es casi imposible de eliminar de nuestros repositorios de conocimiento.
Al igual que los fósiles biológicos atrapados en el rock, estos artefactos digitales pueden convertirse en accesorios permanentes en nuestro ecosistema de información.
El caso de la microscopía electrónica vegetativa ofrece una visión preocupante de cómo los sistemas de IA pueden perpetuar y amplificar los errores a lo largo de nuestro conocimiento colectivo.
Un escaneo malo y un error en la traducción
La microscopía electrónica vegetativa parece haberse originado a través de una notable coincidencia de errores no relacionados.
Primero, dos papeles De la década de 1950, publicada en la revista Bacteriological Reviews, fueron escaneados y digitalizados.
Sin embargo, el proceso de digitalización combinó erróneamente “vegetativo” de una columna de texto con “electrón” de otro. Como resultado, se creó el término fantasma.
Décadas después, la “microscopía electrónica vegetativa” apareció en algunos artículos científicos iraníes. En 2017 y 2019dos documentos utilizaron el término en subtítulos y resúmenes en inglés.
Este parece deberse a un error de traducción. En Farsi, las palabras para “vegetativa” y “escaneo” difieren en un solo punto.
Un error al aumentar
El resultado? A partir de hoy, la “microscopía electrónica vegetativa” aparece en 22 documentos, según Google Scholar. Uno era objeto de un disputado retracción de un diario de la naturaleza de Springery elsevier emitió una corrección para otro.
El término también aparece en artículos de noticias que discuten posteriormente Investigaciones de integridad.
La microscopía electrónica vegetativa comenzó a aparecer con mayor frecuencia en la década de 2020. Para averiguar por qué, tuvimos que mirar dentro de los modelos de IA modernos, y hacer algunas cavas arqueológicas a través de las vastas capas de datos en las que fueron entrenados.
Evidencia empírica de contaminación por IA
Los modelos de idiomas grandes detrás de los chatbots de IA modernos como ChatGPT están “entrenados” en grandes cantidades de texto para predecir la probable palabra siguiente en una secuencia. El contenido exacto de los datos de entrenamiento de un modelo a menudo es un secreto estrechamente protegido.
Para probar si un modelo “sabía” sobre la microscopía electrónica vegetativa, ingresamos fragmentos de los documentos originales para averiguar si el modelo los completaría con el término sin sentido o alternativas más sensatas.
Los resultados fueron reveladores. GPT-3 de OpenAI completó las frases consistentemente completadas con “microscopía electrónica vegetativa”. Modelos anteriores como GPT-2 y Bert no lo hicieron. Este patrón nos ayudó a aislar cuándo y dónde ocurrió la contaminación.
También encontramos que el error persiste en modelos posteriores, incluidos GPT-4O y Claude 3.5 de Anthrope. Esto sugiere que el término sin sentido ahora puede estar integrado permanentemente en las bases de conocimiento de IA.
Al comparar lo que sabemos sobre los conjuntos de datos de capacitación de diferentes modelos, identificamos el Colegas comunes conjunto de datos de páginas de Internet raspadas como el vector más probable donde los modelos de IA aprendieron por primera vez este término.
El problema de la escala
Encontrar errores de este tipo no es fácil. Arreglarlos puede ser casi imposible.
Una razón es la escala. El conjunto de datos CommonCrawl, por ejemplo, es de tamaño millones de gigabytes. Para la mayoría de los investigadores fuera de las grandes empresas tecnológicas, los recursos informáticos necesarios para trabajar a esta escala son inaccesibles.
Otra razón es la falta de transparencia en los modelos comerciales de IA. Operai y muchos otros desarrolladores se niegan a proporcionar detalles precisos sobre los datos de capacitación para sus modelos. Los esfuerzos de investigación para revertir la ingeniería de algunos de estos conjuntos de datos también han sido Testado por los derribos de derechos de autor.
Cuando se encuentran errores, no hay una solución fácil. El filtrado simple de palabras clave podría lidiar con términos específicos como la microscopía electrónica vegetativa. Sin embargo, también eliminaría referencias legítimas (como este artículo).
Más fundamentalmente, el caso plantea una pregunta inquietante. ¿Cuántos otros términos sin sentido existen en los sistemas de IA, esperando ser descubiertos?
Implicaciones para la ciencia y la publicación
Este “fósil digital” también plantea preguntas importantes sobre la integridad del conocimiento a medida que la investigación y la escritura asistida por AI-se vuelven más comunes.
Los editores han respondido de manera inconsistente cuando se notifica los documentos, incluida la microscopía electrónica vegetativa. Algunos han retirado los documentos afectados, mientras que otros los defendieron. Elsevier notablemente intentó justificar la validez del término antes Finalmente emitiendo una corrección.
Todavía no sabemos si otras peculiaridades afectan a los modelos de lenguaje grande, pero es muy probable. De cualquier manera, el uso de sistemas AI ya ha creado problemas para el proceso de revisión por pares.
Por ejemplo, los observadores han notado el ascenso de “frases torturadas“Se utiliza para evadir el software de integridad automatizado, como” falsificación conciencia“En lugar de” inteligencia artificial “. Además, frases Como “Soy un modelo de idioma AI” se ha encontrado en otros documentos retraídos.
Algunas herramientas de detección automática como Protector de papel problemático Ahora indicando la microscopía electrónica vegetativa como un signo de advertencia de posible contenido generado por IA. Sin embargo, tales enfoques solo pueden abordar los errores conocidos, no los no descubiertos.
Vivir con fósiles digitales
El aumento de la IA crea oportunidades para que los errores se integren permanentemente en nuestros sistemas de conocimiento, a través de procesos no hay controles de actores. Esto presenta desafíos para empresas tecnológicas, investigadores y editores por igual.
Las empresas tecnológicas deben ser más transparentes sobre los datos y los métodos de capacitación. Los investigadores deben encontrar nuevas formas de evaluar la información frente a las tonterías convincentes generadas por AI. Los editores científicos deben mejorar su revisión por pares procesos para detectar errores humanos y generados por IA.
Los fósiles digitales revelan no solo el desafío técnico de monitorear conjuntos de datos masivos, sino el desafío fundamental de mantener un conocimiento confiable en los sistemas donde los errores pueden ser perpetuantes.
Aaron J. SroswellInvestigador de Responsabilidad de AI, Universidad de Tecnología de Queensland; Kevin WitzenbergerInvestigador de investigadores, Genai Lab, Universidad de Tecnología de Queenslandy Rayane El MasriCandidato de doctorado, Genai Lab, Universidad de Tecnología de Queensland
Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.