Según un estudio del MIT, los modelos de lenguajes grandes (LLM) a veces aprenden las lecciones equivocadas.
En lugar de responder una consulta basada en el conocimiento del dominio, un LLM podría responder aprovechando los patrones gramaticales que aprendió durante la capacitación. Esto puede provocar que un modelo falle inesperadamente cuando se implementa en nuevas tareas.
Los investigadores descubrieron que los modelos pueden vincular erróneamente ciertos patrones de oraciones con temas específicos, por lo que un LLM podría dar una respuesta convincente al reconocer frases familiares en lugar de comprender la pregunta.
Sus experimentos demostraron que incluso los LLM más poderosos pueden cometer este error.
Esta deficiencia podría reducir la confiabilidad de los LLM que realizan tareas como atender consultas de clientes, resumir notas clínicas y generar informes financieros.
También podría tener riesgos de seguridad. Un actor nefasto podría aprovechar esto para engañar a los LLM para que produzcan contenido dañino, incluso cuando los modelos tienen salvaguardias para evitar tales respuestas.
Después de identificar este fenómeno y explorar sus implicaciones, los investigadores desarrollaron un procedimiento de evaluación comparativa para evaluar la dependencia de un modelo de estas correlaciones incorrectas. El procedimiento podría ayudar a los desarrolladores a mitigar el problema antes de implementar LLM.
“Esto es un subproducto de cómo entrenamos modelos, pero los modelos ahora se utilizan en la práctica en dominios críticos para la seguridad mucho más allá de las tareas que crearon estos modos de falla sintácticos. Si no está familiarizado con el entrenamiento de modelos como usuario final, es probable que esto sea inesperado”, dice Marzyeh Ghassemi, profesor asociado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, miembro del Instituto de Ciencias de Ingeniería Médica y del Laboratorio de Sistemas de Información y Decisión del MIT, y autor principal del estudio. estudio.
A Ghassemi se unen los autores coautores Chantal Shaib, estudiante de posgrado en la Universidad Northeastern y estudiante visitante en el MIT; y Vinith Suriyakumar, estudiante de posgrado del MIT; así como Levent Sagun, científico investigador del Meta; y Byron Wallace, profesor asociado interdisciplinario Sy y Laurie Sternberg y decano asociado de investigación en la Facultad de Ciencias de la Computación Khoury de la Universidad Northeastern. Se presentará un artículo que describe el trabajo en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Atascado en la sintaxis
Los LLM están capacitados en una gran cantidad de texto de Internet. Durante este proceso de capacitación, el modelo aprende a comprender las relaciones entre palabras y frases, conocimiento que utiliza más adelante al responder consultas.
En trabajos anteriores, los investigadores descubrieron que los LLM detectan patrones en las partes del discurso que frecuentemente aparecen juntas en los datos de entrenamiento. A estos patrones de partes del discurso los llaman “plantillas sintácticas”.
Los LLM necesitan esta comprensión de la sintaxis, junto con el conocimiento semántico, para responder preguntas en un dominio particular.
“En el ámbito de las noticias, por ejemplo, hay un estilo particular de escritura. Por lo tanto, el modelo no sólo aprende la semántica, sino que también aprende la estructura subyacente de cómo se deben formar las oraciones para seguir un estilo específico para ese dominio”, explica Shaib.
Pero en esta investigación, determinaron que los LLM aprenden a asociar estas plantillas sintácticas con dominios específicos. El modelo puede basarse incorrectamente únicamente en esta asociación aprendida al responder preguntas, en lugar de en la comprensión de la consulta y el tema.
Por ejemplo, un LLM podría aprender que una pregunta como “¿Dónde está París?” está estructurado como adverbio/verbo/sustantivo propio/verbo. Si hay muchos ejemplos de construcción de oraciones en los datos de entrenamiento del modelo, el LLM puede asociar esa plantilla sintáctica con preguntas sobre países.
Entonces, si al modelo se le da una nueva pregunta con la misma estructura gramatical pero palabras sin sentido, como “¿Siéntate rápidamente en París nublado?” podría responder “Francia” aunque esa respuesta no tenga sentido.
“Este es un tipo de asociación que el modelo aprende para responder preguntas correctamente y que se pasa por alto. Deberíamos prestar más atención no sólo a la semántica sino también a la sintaxis de los datos que utilizamos para entrenar nuestros modelos”, afirma Shaib.
Falta el significado
Los investigadores probaron este fenómeno diseñando experimentos sintéticos en los que solo aparecía una plantilla sintáctica en los datos de entrenamiento del modelo para cada dominio. Probaron los modelos sustituyendo palabras por sinónimos, antónimos o palabras aleatorias, pero mantuvieron la misma sintaxis subyacente.
En cada caso, descubrieron que los LLM a menudo respondían con la respuesta correcta, incluso cuando la pregunta era una completa tontería.
Cuando reestructuraron la misma pregunta utilizando un nuevo patrón de parte del discurso, los LLM a menudo no dieron la respuesta correcta, a pesar de que el significado subyacente de la pregunta seguía siendo el mismo.
Utilizaron este enfoque para probar LLM previamente capacitados como GPT-4 y Llama, y descubrieron que este mismo comportamiento aprendido reducía significativamente su desempeño.
Curiosos por las implicaciones más amplias de estos hallazgos, los investigadores estudiaron si alguien podría explotar este fenómeno para provocar respuestas dañinas de un LLM que ha sido entrenado deliberadamente para rechazar tales solicitudes.
Descubrieron que, al formular la pregunta utilizando una plantilla sintáctica que el modelo asocia con un conjunto de datos “seguro” (uno que no contiene información dañina), podían engañar al modelo para que anulara su política de rechazo y generara contenido dañino.
“A partir de este trabajo, me queda claro que necesitamos defensas más sólidas para abordar las vulnerabilidades de seguridad en los LLM. En este documento, identificamos una nueva vulnerabilidad que surge debido a la forma en que aprenden los LLM. Por lo tanto, debemos idear nuevas defensas basadas en cómo los LLM aprenden el idioma, en lugar de simplemente soluciones ad hoc para diferentes vulnerabilidades”, dice Suriyakumar.
Si bien los investigadores no exploraron estrategias de mitigación en este trabajo, desarrollaron una técnica de evaluación comparativa automática que se podría utilizar para evaluar la dependencia de un LLM de esta correlación incorrecta entre la sintaxis y el dominio. Esta nueva prueba podría ayudar a los desarrolladores a abordar de forma proactiva esta deficiencia en sus modelos, reduciendo los riesgos de seguridad y mejorando el rendimiento.
En el futuro, los investigadores quieren estudiar posibles estrategias de mitigación, que podrían implicar aumentar los datos de entrenamiento para proporcionar una variedad más amplia de plantillas sintácticas. También están interesados en explorar este fenómeno en modelos de razonamiento, tipos especiales de LLM diseñados para abordar tareas de varios pasos.
“Creo que este es un ángulo realmente creativo para estudiar los modos de falla de los LLM. Este trabajo resalta la importancia del conocimiento y análisis lingüísticos en la investigación de seguridad de los LLM, un aspecto que no ha estado en el centro del escenario pero que claramente debería estarlo”, dice Jessy Li, profesora asociada de la Universidad de Texas en Austin, que no participó en este trabajo.
Este trabajo está financiado, en parte, por una beca de Bridgewater AIA Labs, la Fundación Nacional de Ciencias, la Fundación Gordon y Betty Moore, un premio de investigación de Google y Schmidt Sciences.