Muchos de los últimos modelos de lenguaje grande (LLM) están diseñados para recordar detalles de conversaciones pasadas o almacenar perfiles de usuario, lo que permite que estos modelos personalicen las respuestas.
Pero investigadores del MIT y la Universidad Penn State descubrieron que, durante conversaciones largas, estas características de personalización a menudo aumentan la probabilidad de que un LLM se vuelva demasiado agradable o comience a reflejar el punto de vista del individuo.
Este fenómeno, conocido como adulación, puede impedir que un modelo le diga a un usuario que está equivocado, erosionando la precisión de las respuestas del LLM. Además, los LLM que reflejan las creencias políticas o la visión del mundo de alguien pueden fomentar la desinformación y distorsionar la percepción de la realidad del usuario.
A diferencia de muchos estudios anteriores de adulación que evalúan indicaciones en un laboratorio sin contexto, los investigadores del MIT recopilaron dos semanas de datos de conversaciones de humanos que interactuaron con un LLM real durante su vida diaria. Estudiaron dos escenarios: la amabilidad en los consejos personales y el reflejo de las creencias de los usuarios en las explicaciones políticas.
Aunque el contexto de interacción aumentó la amabilidad en cuatro de los cinco LLM que estudiaron, la presencia de un perfil de usuario condensado en la memoria del modelo tuvo el mayor impacto. Por otro lado, el comportamiento de duplicación solo aumentó si un modelo podía inferir con precisión las creencias de un usuario a partir de la conversación.
Los investigadores esperan que estos resultados inspiren futuras investigaciones sobre el desarrollo de métodos de personalización que sean más sólidos para la adulación del LLM.
“Desde la perspectiva del usuario, este trabajo destaca lo importante que es comprender que estos modelos son dinámicos y que su comportamiento puede cambiar a medida que interactúa con ellos a lo largo del tiempo. Si habla con un modelo durante un período prolongado de tiempo y comienza a subcontratarle su pensamiento, puede encontrarse en una cámara de eco de la que no puede escapar. Ese es un riesgo que los usuarios definitivamente deben recordar”, dice Shomik Jain, estudiante graduado en el Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal de un artículo sobre esta investigación.
A Jain se unen en el artículo Charlotte Park, estudiante de posgrado en ingeniería eléctrica e informática (EECS) del MIT; Matt Viana, estudiante de posgrado de la Universidad Penn State; así como los coautores principales Ashia Wilson, profesora de desarrollo profesional de Lister Brothers en EECS e investigadora principal en LIDS; y Dana Calacci PhD ’23, profesora asistente en Penn State. La investigación se presentará en la Conferencia ACM CHI sobre factores humanos en sistemas informáticos.
Interacciones extendidas
Basándose en sus propias experiencias aduladoras con los LLM, los investigadores comenzaron a pensar en los posibles beneficios y consecuencias de un modelo que es demasiado agradable. Pero cuando buscaron en la literatura para ampliar su análisis, no encontraron estudios que intentaran comprender el comportamiento adulador durante las interacciones LLM a largo plazo.
“Estamos utilizando estos modelos a través de interacciones extendidas, y tienen mucho contexto y memoria. Pero nuestros métodos de evaluación se están quedando atrás. Queríamos evaluar los LLM en la forma en que las personas realmente los usan para comprender cómo se comportan en la naturaleza”, dice Calacci.
Para llenar este vacío, los investigadores diseñaron un estudio de usuarios para explorar dos tipos de adulación: adulación de acuerdo y adulación en perspectiva.
La adulación de acuerdos es la tendencia de un LLM a ser demasiado agradable, a veces hasta el punto de brindar información incorrecta o negarse a decirle al usuario que está equivocado. La adulación de la perspectiva ocurre cuando un modelo refleja los valores y puntos de vista políticos del usuario.
“Sabemos mucho sobre los beneficios de tener conexiones sociales con personas que tienen puntos de vista similares o diferentes. Pero aún no sabemos acerca de los beneficios o riesgos de interacciones prolongadas con modelos de IA que tienen atributos similares”, añade Calacci.
Los investigadores crearon una interfaz de usuario centrada en un LLM y reclutaron a 38 participantes para hablar con el chatbot durante un período de dos semanas. Las conversaciones de cada participante ocurrieron en la misma ventana contextual para capturar todos los datos de interacción.
Durante el período de dos semanas, los investigadores recopilaron un promedio de 90 consultas de cada usuario.
Compararon el comportamiento de cinco LLM con este contexto de usuario versus los mismos LLM a los que no se les proporcionó ningún dato de conversación.
“Descubrimos que el contexto realmente cambia fundamentalmente cómo operan estos modelos, y apuesto a que este fenómeno se extendería mucho más allá de la adulación. Y aunque la adulación tendía a aumentar, no siempre aumentó. Realmente depende del contexto mismo”, dice Wilson.
Pistas de contexto
Por ejemplo, cuando un LLM resume información sobre el usuario en un perfil específico, genera mayores ganancias en adulación de acuerdos. Esta función de perfil de usuario se incorpora cada vez más a los modelos más nuevos.
También descubrieron que el texto aleatorio de conversaciones sintéticas también aumentaba la probabilidad de que algunos modelos estuvieran de acuerdo, incluso si ese texto no contenía datos específicos del usuario. Esto sugiere que la duración de una conversación a veces puede afectar más la adulación que el contenido, añade Jain.
Pero el contenido es muy importante cuando se trata de adulación en perspectiva. El contexto de la conversación solo aumentó la adulación de la perspectiva si revelaba alguna información sobre la perspectiva política de un usuario.
Para obtener esta información, los investigadores consultaron cuidadosamente los modelos para inferir las creencias de un usuario y luego preguntaron a cada individuo si las deducciones del modelo eran correctas. Los usuarios dijeron que los LLM entendían con precisión sus opiniones políticas aproximadamente la mitad del tiempo.
“Es fácil decir, en retrospectiva, que las empresas de IA deberían realizar este tipo de evaluación. Pero es difícil y requiere mucho tiempo e inversión. Usar humanos en el ciclo de evaluación es costoso, pero hemos demostrado que puede revelar nuevos conocimientos”, dice Jain.
Si bien el objetivo de su investigación no fue la mitigación, los investigadores desarrollaron algunas recomendaciones.
Por ejemplo, para reducir la adulación se podrían diseñar modelos que identifiquen mejor los detalles relevantes en el contexto y la memoria. Además, se pueden construir modelos para detectar comportamientos reflejados y señalar respuestas con acuerdo excesivo. Los desarrolladores de modelos también podrían brindar a los usuarios la posibilidad de moderar la personalización en conversaciones largas.
“Hay muchas maneras de personalizar modelos sin hacerlos demasiado agradables. El límite entre la personalización y la adulación no es una línea muy fina, pero separar la personalización de la adulación es un área importante de trabajo futuro”, dice Jain.
“A fin de cuentas, necesitamos mejores formas de captar la dinámica y la complejidad de lo que sucede durante las largas conversaciones con los LLM y cómo las cosas pueden desalinearse durante ese proceso a largo plazo”, añade Wilson.