Comprender y mitigar las alucinaciones en modelos de visión y lenguaje (VLVM) es un campo de investigación emergente que aborda la generación de respuestas coherentes pero objetivamente incorrectas por parte de estos sistemas avanzados de IA. A medida que los VLVM integran cada vez más entradas de texto y visuales para generar respuestas, la precisión de estas salidas se vuelve crucial, especialmente en entornos donde la precisión es primordial, como los diagnósticos médicos o la conducción autónoma.
Las alucinaciones en los VLVM generalmente se manifiestan como detalles plausibles pero incorrectos generados sobre una imagen. Estas imprecisiones plantean riesgos importantes y potencialmente desinforman las decisiones en aplicaciones críticas. El desafío radica en detectar estos errores y desarrollar métodos para mitigarlos de manera efectiva, garantizando la confiabilidad de las salidas de VLVM.
La mayoría de los puntos de referencia existentes para evaluar alucinaciones en VLVM se centran en respuestas a formatos de consulta restringidos, como preguntas de sí o no sobre objetos o atributos específicos dentro de una imagen. Estos puntos de referencia a menudo no logran medir alucinaciones más complejas y abiertas que pueden ocurrir en diversas aplicaciones del mundo real. Como resultado, existe una brecha significativa en la capacidad de comprender y mitigar completamente el espectro más amplio de alucinaciones que pueden producir los VLVM.
Investigadores de la Universidad de Oxford, AWS AI Labs, introdujeron un nuevo marco llamado TRONO (Reconocimiento de alucinaciones de texto a partir de imágenes con sondas de objetos para evaluación abierta) para abordar esta brecha. THRONE está diseñado para evaluar las alucinaciones de tipo I, aquellas que ocurren en respuesta a indicaciones abiertas que requieren descripciones detalladas de las imágenes. A diferencia de los métodos anteriores, THRONE utiliza modelos de lenguaje disponibles públicamente para evaluar las alucinaciones en respuestas de forma libre generadas por varios VLVM, ofreciendo un enfoque más completo y riguroso.
THRONE aprovecha múltiples métricas para medir cuantitativamente las alucinaciones en diferentes VLVM. Por ejemplo, emplea métricas de precisión y recuperación junto con una puntuación F0.5 por clase, lo que enfatiza la precisión el doble que la recuperación. Esta puntuación es particularmente relevante en escenarios donde los falsos positivos, respuestas incorrectas pero plausibles, son más perjudiciales que los falsos negativos.
Una evaluación de la eficacia de THRONE reveló datos reveladores sobre la prevalencia y las características de las alucinaciones en los VLVM actuales. A pesar del enfoque avanzado del marco, los resultados indican que muchos VLVM todavía luchan con una alta tasa de alucinaciones. Por ejemplo, el marco detectó que algunos de los modelos evaluados producen respuestas, siendo alrededor del 20% de los objetos mencionados alucinaciones. Esta alta tasa de imprecisiones subraya el desafío persistente de reducir las alucinaciones y mejorar la confiabilidad de los resultados de VLVM.
En conclusión, el marco THRONE representa un importante paso adelante en la evaluación de las alucinaciones en modelos de visión-lenguaje, abordando en particular la compleja cuestión de las alucinaciones de tipo I en respuestas de forma libre. Si bien los puntos de referencia existentes han tenido dificultades para medir eficazmente estos errores más matizados, THRONE utiliza una combinación novedosa de modelos de lenguaje disponibles públicamente y un sistema métrico sólido, que incluye precisión, recuperación y puntuaciones F0.5 por clase. A pesar de estos avances, la alta tasa de alucinaciones detectadas, alrededor del 20% en algunos modelos, subraya los desafíos actuales y la necesidad de realizar más investigaciones para mejorar la precisión y confiabilidad de los VLVM en aplicaciones prácticas.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 42k+ ML
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.