Los modelos de lenguaje grande (LLM) han revolucionado las capacidades de generación de texto, pero enfrentan el desafío crítico de las alucinaciones, generando información objetivamente incorrecta, particularmente en contenido de formato largo. Los investigadores han desarrollado la Generación Aumentada Recuperada (RAG) para abordar este problema, que mejora la precisión de los hechos al incorporar documentos relevantes de fuentes confiables en el mensaje de entrada. Si bien RAG se ha mostrado prometedor, han surgido varios métodos de indicaciones iterativos como FLARE y Self-RAG para mejorar aún más la precisión. Sin embargo, estos enfoques siguen estando limitados por su dependencia de la arquitectura RAG tradicional, donde el contexto recuperado es la única forma de retroalimentación en línea integrada en la cadena de entrada.
Los enfoques tradicionales de generación de textos han evolucionado a través de varias metodologías clave para mejorar la precisión de los hechos y la relevancia contextual. Los métodos de recuperación iterativos generan respuestas en segmentos y cada segmento utiliza información recién recuperada. ITER-RETGEN ejemplifica este enfoque al utilizar resultados anteriores para formular consultas para la posterior recuperación de conocimientos. Los sistemas de recuperación adaptativos como FLARE y DRAGIN han perfeccionado este proceso mediante la implementación de generación frase por frase con verificación basada en la confianza. Además, los LLM de contexto largo han explorado enfoques basados en la memoria como Memory3, que codifican fragmentos de conocimiento utilizando cachés KV como memorias. Otros sistemas como Memorizing Transformers y LongMem han experimentado con mecanismos de recuperación de memoria.
Un equipo de investigadores de Meta FAIR ha propuesto EWE (Memoria de trabajo explícita), un enfoque innovador de IA que mejora la precisión fáctica en la generación de textos de formato largo mediante la implementación de un sistema de memoria de trabajo dinámica. Este sistema incorpora de manera única retroalimentación en tiempo real de recursos externos y emplea mecanismos de verificación de datos en línea para actualizar su memoria continuamente. La innovación clave radica en su capacidad para detectar y corregir afirmaciones falsas durante el proceso de generación en sí, en lugar de depender únicamente de información recuperada previamente. Además, la eficacia de EWE se ha demostrado a través de pruebas exhaustivas en cuatro conjuntos de datos de generación de formato largo de búsqueda de hechos, lo que muestra mejoras significativas en las métricas de factualidad manteniendo al mismo tiempo la calidad de la respuesta.
La arquitectura de EWE representa un marco versátil que puede adaptarse a varias configuraciones manteniendo la eficiencia. Básicamente, EWE utiliza un módulo de memoria de múltiples unidades que se puede actualizar dinámicamente durante la generación. Este diseño permite a EWE operar en diferentes modos, desde un simple RAG cuando se usa una sola unidad de memoria sin detenerse, hasta una funcionalidad similar a FLARE cuando se implementa la verificación a nivel de oración. A diferencia de enfoques similares como Memory3, EWE no requiere codificación previa de todos los pasajes y presenta de forma única actualizaciones de memoria dinámicas durante el proceso de generación. Esta flexibilidad permite el procesamiento paralelo de diferentes formas de retroalimentación externa a través de distintas unidades de memoria.
Los resultados experimentales demuestran mejoras significativas en la precisión fáctica en múltiples conjuntos de datos. Utilizando el modelo base Llama-3.1 70B, el aumento de la recuperación mejora constantemente las métricas de factualidad. Si bien los enfoques competitivos muestran resultados mixtos: Nest funciona bien solo en conjuntos de datos de biografía y DRAGIN muestra un rendimiento similar al aumento de recuperación básico, EWE logra el VeriScore F1 más alto en todos los conjuntos de datos. CoVe, a pesar de su alta precisión, produce respuestas más cortas, lo que resulta en un menor rendimiento de recuperación. EWE mantiene un rendimiento comparable al del modelo base con aproximadamente un 50 % de índices de ganancia en utilidad, medidos a través de AlpacaEval.
En conclusión, un equipo de Meta FAIR ha introducido EWE (Memoria de trabajo explícita), que representa un avance significativo para abordar el desafío de la precisión fáctica en la generación de textos de formato largo. El innovador mecanismo de memoria de trabajo del sistema, que opera mediante pausas periódicas y actualizaciones de memoria basadas en la recuperación y la retroalimentación de verificación de hechos, demuestra el potencial de un contenido generado por IA más confiable. Esta investigación ha identificado factores críticos de éxito que incluyen actualizaciones oportunas de la memoria, mecanismos de atención enfocada y almacenes de datos de recuperación de alta calidad, allanando el camino para futuros desarrollos en sistemas de generación de texto factual.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
🚨 PRÓXIMO SEMINARIO WEB GRATUITO SOBRE IA (15 DE ENERO DE 2025): Aumente la precisión del LLM con datos sintéticos e inteligencia de evaluación–Únase a este seminario web para obtener información práctica para mejorar el rendimiento y la precisión del modelo LLM y, al mismo tiempo, proteger la privacidad de los datos..
Sajjad Ansari es un estudiante de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA centrándose en comprender el impacto de las tecnologías de IA y sus implicaciones en el mundo real. Su objetivo es articular conceptos complejos de IA de una manera clara y accesible.