ChatGPT, Gemini, Copilot y otras herramientas de inteligencia artificial crean oraciones y párrafos impresionantes con tan solo una simple línea de texto. Para generar esas palabras, los grandes modelos de lenguaje subyacentes se entrenaron en montones de texto escritos por humanos y extraídos de Internet. Pero ahora, a medida que las herramientas de IA generativa inundan Internet con una gran cantidad de contenido sintético, ese contenido se está utilizando para entrenar a futuras generaciones de esas IA. Si esto continúa sin control, podría ser desastroso, dicen los investigadores.
Entrenamiento de grandes modelos de lenguaje con sus propios datos. podría llevar al colapso del modeloargumentaron recientemente el científico informático de la Universidad de Oxford Ilia Shumailov y sus colegas en Naturaleza.
El colapso del modelo suena sorprendente, pero no significa que las IA generativas simplemente dejarían de funcionar. En cambio, las respuestas de las herramientas se alejarían cada vez más de sus datos de entrenamiento originales. Aunque a veces están sesgados, esos datos originales son una representación decente de la realidad. Pero a medida que las herramientas se entrenan con sus propios datos generados, los pequeños errores que cometen se acumulan y su contenido finalmente pierde el matiz de diversas perspectivas y se transforma en un galimatías.
Eso es lo que encontraron Shumailov y sus colegas. El equipo tomó un modelo de lenguaje previamente entrenado, llamado OPT-125my le alimenté con un montón de artículos de Wikipedia para afinar sus respuestas. Luego, el equipo le dio a esta herramienta un mensaje de texto y le pidió que predijera lo que sucedería a continuación. Su respuesta se retroalimentó al modelo para realizar ajustes adicionales. Cuando cada generación sucesiva fue entrenada con datos generados por la anterior, descubrieron que para la novena generación, el modelo arrojaba tonterías. Lo que comenzó como una sugerencia sobre la arquitectura del siglo XIV terminó como una lista de tipos de liebres. En otra serie de experimentos, cuando el equipo retuvo algunos de los datos originales, la degradación del modelo fue menor.
Este estudio demuestra que entrenar a la IA en sus propias respuestas tendría serias ramificaciones, incluida la exacerbación del sesgo y la transformación del texto en tonterías, si no se controla. Las grandes empresas de IA tienen formas de prevenir este tipo de colapso, pero a medida que más personas comiencen a utilizar modelos de lenguaje para entrenar sus propios chatbots y otras IA, podría haber consecuencias.
¿Cómo podrían colapsar los modelos de IA generativa?
Los modelos de lenguaje y la IA generativa existen desde hace décadas, principalmente en laboratorios de informatica. Pero el dominio de los chatbots es más reciente: comenzó en noviembre de 2022, cuando ChatGPT se lanzó para uso público. La clave de este dominio ha sido una combinación de un mejor hardware que puede procesar información en paralelo, más la llegada del transformador, un tipo de red neuronal, y la disponibilidad de billones de puntos de datos de alta calidad creados por humanos.
“Lo que sugiere el colapso del modelo es que tal vez la calidad de los datos [both going in and coming out] va a disminuir”, afirma Shumailov.
Lo que comenzó como una sugerencia sobre la arquitectura del siglo XIV terminó como una lista de tipos de liebres.
Para entender por qué, imaginemos explicarle a un programa de computadora qué es un gato, dice Shumailov. “Realmente no sabemos cómo [to do that] … así que damos [the LLM] una serie de ejemplos [text descriptions] de qué es un gato y luego le pedimos al modelo que aprenda a definir esta criatura”. El LLM lo hace sin supervisión ni instrucción explícita, extrapolando a partir del conjunto de observaciones dado.
Pero tal extrapolación conlleva errores sutiles. Shumailov lo compara con un juego de teléfono, en el que una frase se susurra de una persona a otra hasta que llega a la última persona, quien luego la dice en voz alta. La frase original a menudo termina muy destrozada debido a errores introducidos en el camino. Esto hace Los LLM alucinangenerando contenido plausible que no es del todo correcto (SN: 1/2/24).
Si dicho contenido erróneo se utiliza para entrenar una versión posterior del modelo u otro modelo completamente diferente, ese contenido comenzará a influir en los procesos de aprendizaje de esos modelos y eventualmente los “romperá” de alguna manera.
¿Cómo sería el colapso de los modelos de IA en la vida real?
El colapso del modelo se refiere esencialmente a un alejamiento del texto original utilizado para entrenar los modelos, dice Leqi Liu, investigador de IA de la Universidad de Texas en Austin. Una de las razones de esto es la desaparición de las colas de distribución de datos, texto que representa eventos de baja probabilidad. Por ejemplo, utilizando el ejemplo de los gatos, el modelo podría volverse muy bueno para describir gatos peludos pero no conservar información sobre los que no tienen pelo.
Otro ejemplo, dice Liu, es que las personas de grupos minoritarios pueden expresar las cosas de manera diferente, y ese tipo de texto aparecerá cada vez menos, dejando de lado aún más los datos pertenecientes a las personas marginadas. Ese es el cambio que probablemente veremos como usuarios finales. El efecto posterior será el contenido generado por IA no solo polarización amplificadoracomo muestran los estudios, pero también, empezando a sonar igual. “Naturalmente, probablemente queramos diversas expresiones de nosotros mismos, pero si usamos el mismo asistente de escritura, eso podría reducir esa diversidad”.
Para evitar que las IA aumenten el sesgo o se descompongan y solten tonterías, es importante realizar un seguimiento de todos los datos y asegurarse de que se utilicen conocimientos previos (incluido el texto generado por humanos), así como nuevos conocimientos (texto generado por IA) para la capacitación. dice Liu. Básicamente, la idea sería no entrenar nuevos modelos sólo con datos generados por IA. “Otro enfoque podría ser que nos aseguremos explícitamente de capturar la cola de la distribución”. Esos gatos sin pelo, por ejemplo.
Dado que las empresas que comercializan herramientas de inteligencia artificial verifican exhaustivamente la desviación de datos, cualquier problema se detectaría temprano y podría solucionarse. Por lo tanto, es poco probable que la posibilidad de un colapso del modelo afecte a los usuarios intermedios, afirma Shumailov. Pero las personas que intenten construir modelos a menor escala ciertamente se verían afectadas y deberían ser conscientes del riesgo.