Imagina que estás intentando ayudar a un amigo a encontrar su película favorita para ver, pero no está muy seguro de qué le apetece. Podrías enumerar títulos de películas aleatorios y ver si alguno despierta su interés, pero eso es bastante ineficiente, ¿verdad? Los investigadores detrás de este trabajo tenían un problema similar: querían crear sistemas de recomendación conversacionales que pudieran conocer rápidamente las preferencias de un usuario sobre elementos (como películas, restaurantes, etc.) a través de diálogos en lenguaje natural sin necesidad de datos previos sobre esas preferencias.
El enfoque tradicional sería hacer que el usuario califique o compare elementos directamente. Pero eso no es factible cuando el usuario no está familiarizado con la mayoría de los elementos. Los modelos de lenguaje grande (LLM) como GPT-3 pueden ser una solución potencial porque estos poderosos modelos de IA pueden comprender y generar texto similar a un humano, por lo que, en teoría, podrían entablar conversaciones de ida y vuelta para obtener intuitivamente las preferencias de alguien.
Sin embargo, los investigadores se dieron cuenta de que simplemente solicitar a un LLM un montón de descripciones de elementos y decirle que tenga una conversación para generar preferencias tiene algunas limitaciones importantes. Por un lado, alimentar el LLM con descripciones detalladas de cada elemento es computacionalmente costoso. Más importante aún, los LLM monolíticos carecen del razonamiento estratégico para guiar activamente la conversación hacia la exploración de las preferencias más relevantes y, al mismo tiempo, evitar quedarse estancado en tangentes irrelevantes.
Entonces, ¿qué hicieron los investigadores? Desarrollaron un nuevo algoritmo llamado PEBOL (PAGreferencia milicitación con Bayesiano ohoptimización aumentada lLM) que combina las capacidades de comprensión del lenguaje de los LLM con un marco de optimización bayesiano de principios para una obtención eficiente de preferencias. Aquí hay una descripción general de alto nivel de cómo funciona (que se muestra en la Figura 2):
1. Preferencias de usuario de modelado: PEBOL comienza asumiendo que hay alguna “función de utilidad” oculta que determina cuánto preferiría un usuario cada elemento según su descripción. Utiliza distribuciones de probabilidad (específicamente, distribuciones Beta) para modelar la incertidumbre en estas utilidades.
2. Consultas en lenguaje natural: En cada turno de conversación, PEBOL utiliza estrategias de teoría de decisiones como Thompson Sampling y Upper Confidence Bound para seleccionar la descripción de un elemento. Luego solicita al LLM que genere una consulta breve basada en aspectos sobre ese elemento (por ejemplo, “¿Está interesado en películas con temas patrióticos?”).
3. Inferir preferencias a través de NLI: Cuando el usuario responde (por ejemplo, “Sí” o “No”), PEBOL no lo toma al pie de la letra. En cambio, utiliza un modelo de inferencia del lenguaje natural para predecir la probabilidad de que la respuesta del usuario implique una preferencia a favor (o en contra) de la descripción de cada elemento.
4. Actualizaciones de las creencias bayesianas: Utilizando estas preferencias predichas como observaciones, PEBOL actualiza sus creencias probabilísticas sobre las utilidades del usuario para cada elemento. Esto le permite explorar sistemáticamente preferencias desconocidas mientras explota lo que ya ha aprendido.
5. Repetir: El proceso se repite, y PEBOL genera nuevas consultas centradas en los elementos/aspectos sobre los que tiene mayor incertidumbre, con el objetivo final de identificar los elementos preferidos del usuario.
La innovación clave aquí es el uso de LLM para la generación natural de consultas y al mismo tiempo aprovechar la optimización bayesiana para guiar estratégicamente el flujo de conversación. Este enfoque reduce el contexto necesario para cada mensaje de LLM y proporciona una forma basada en principios de equilibrar el equilibrio entre exploración y explotación.
Los investigadores evaluaron PEBOL a través de diálogos simulados de obtención de preferencias en tres conjuntos de datos: MovieLens25M, Yelp y Recipe-MPR. Lo compararon con una línea de base monolítica GPT-3.5 (MonoLLM) con descripciones completas de los elementos e historial de diálogo.
Para una comparación justa, limitaron el tamaño del conjunto de elementos a 100 debido a limitaciones del contexto. El rendimiento se midió mediante Precisión media media a 10 (MAP@10) Más de 10 turnos conversacionales con usuarios simulados.
En sus experimentos, PEBOL logró mejoras MAP@10 de 131% en Yelp, 88% en MovieLens y 55% en Recipe-MPR sobre MonoLLM después de sólo 10 vueltas. Si bien MonoLLM exhibió importantes caídas de rendimiento (por ejemplo, en Recipe-MPR entre los turnos 4 y 5), las actualizaciones incrementales de creencias de PEBOL lo hicieron más sólido contra errores tan catastróficos. PEBOL también superó consistentemente a MonoLLM en condiciones de ruido de usuario simuladas. En Yelp y MovieLens, MonoLLM tuvo el peor desempeño en todos los niveles de ruido, mientras que en Recipe-MPR, quedó detrás de las políticas de adquisición de UCB, Greedy y Entropy Reduction de PEBOL.
Si bien PEBOL es un primer paso prometedor, los investigadores reconocen que aún queda trabajo por hacer. Por ejemplo, versiones futuras podrían explorar la generación de consultas contrastivas de múltiples elementos o la integración de este enfoque de obtención de preferencias en sistemas de recomendación conversacionales más amplios. Pero en general, al combinar las fortalezas de los LLM y la optimización bayesiana, PEBOL ofrece un nuevo e intrigante paradigma para construir sistemas de inteligencia artificial que puedan conversar con los usuarios en lenguaje natural para comprender mejor sus preferencias y brindar recomendaciones personalizadas.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 41k+ ML
Vineet Kumar es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en el Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en Deep Learning, Computer Vision y campos relacionados.