Sólo al devorar grandes cantidades de imágenes, textos u otras formas de expresión humana podemos… modelos de IA generativos pueden generar sus propias interpretaciones casi sobrenaturales.
¿Y qué ocurre cuando esa despensa de inspiración se vacía? Como un puñado de marineros varados, la IA se ve obligada a recurrir a su propia fuente de alimento digital altamente procesada, una elección que podría traer consecuencias bastante preocupantes.
Un nuevo estudio realizado por investigadores de la Universidad Rice y la Universidad de Stanford en Estados Unidos ofrece evidencia de que cuando los motores de IA se entrenan con entradas sintéticas hechas por máquinas en lugar de texto e imágenes hechas por personas reales, la calidad de su salida comienza a verse afectada.
Los investigadores llaman a este efecto Modelo. Autofagia Trastorno por Déficit de Atención (MAD). La IA se consume a sí misma, lo que significa que existen paralelismos entre enfermedad de las vacas locas – un trastorno neurológico que se presenta en las vacas que se alimentan con restos infectados de otro ganado.
Sin datos reales y actualizados, el contenido producido por IA pierde calidad, diversidad o ambas cosas, según muestra el estudio. Es una advertencia sobre un futuro de Baba de IA de estos modelos.
“Nuestros análisis teóricos y empíricos nos han permitido extrapolar lo que podría suceder a medida que los modelos generativos se vuelvan omnipresentes y entrenen modelos futuros en bucles autoconsumidores”. dice ingeniero informático Richard Baraniuk, de la Universidad Rice.
“Algunas ramificaciones son claras: sin suficientes datos reales frescos, los modelos generativos futuros están condenados a la locura”.
Baraniuk y sus colegas trabajaron con un modelo de IA generativo visualentrenándolo con tres tipos diferentes de datos: totalmente sintético, sintético mezclado con datos de entrenamiento reales que fueron fijados, y sintético mezclado con datos de entrenamiento reales que se actualizaron constantemente.
A medida que los bucles se repetían en los dos primeros escenarios, el resultado del modelo se volvía cada vez más distorsionado. Una forma en que esto se manifestaba era a través de artefactos más notorios, que tomaban la forma de cicatrices similares a una cuadrícula, en caras generadas por computadora.
Además, las caras empezaron a parecerse cada vez más entre sí cuando no se utilizaban datos de entrenamiento nuevos generados por humanos. En las pruebas con números escritos a mano, los números se volvieron gradualmente indescifrables.
Cuando se utilizaron datos reales, pero de forma fija y sin añadir datos nuevos, la calidad del resultado se vio igualmente degradada y solo tardó un poco más en descomponerse. Parece que la frescura es crucial.
“Nuestro grupo ha trabajado extensamente en estos ciclos de retroalimentación, y la mala noticia es que incluso después de unas cuantas generaciones de dicho entrenamiento, los nuevos modelos pueden corromperse irreparablemente”. dice Baraniuk.
Si bien esta investigación en particular se centró en la generación de imágenes, el equipo dice Modelos de lenguaje de gran tamaño Los LLM diseñados para producir texto también fallarían de la misma manera. Esto se ha observado en otros estudios.
Los expertos han Ya advertido Las herramientas de IA generativa se están quedando sin datos con los que entrenarse, y este último estudio actúa como un freno más a la exageración sobre la IA. Es una tecnología prometedora, sin duda, pero también tiene sus limitaciones.
“Un escenario apocalíptico es que, si no se controla durante muchas generaciones, la MAD podría envenenar la calidad y la diversidad de los datos de todo Internet”. dice Baraniuk.
“En caso contrario, parece inevitable que, incluso en el corto plazo, surjan consecuencias imprevistas nunca vistas hasta ahora de la autofagia de la IA”.
La investigación ha sido presentada en el Conferencia internacional sobre representaciones del aprendizaje (ICLR), y puede leer el documento adjunto en línea.