Investigadores de Microsoft, la Universidad de Massachusetts, Amherst y la Universidad de Maryland, College Park, abordan el desafío de comprender cómo la generación aumentada de recuperación (RAG) afecta el razonamiento y la precisión fáctica (LM) de los modelos lingüísticos. El estudio se centra en si los LM dependen más del contexto externo proporcionado por RAG que de su memoria paramétrica al generar respuestas a consultas fácticas.
Los métodos actuales para mejorar la precisión fáctica de los LM a menudo implican mejorar los parámetros internos de los modelos o utilizar sistemas de recuperación externos para proporcionar contexto adicional durante la inferencia. Técnicas como ROME y MEMIT se centran en editar los parámetros internos del modelo para actualizar el conocimiento. Sin embargo, ha habido una exploración limitada sobre cómo estos modelos equilibran el uso del conocimiento interno (paramétrico) y el contexto externo (no paramétrico) en RAG.
Los investigadores proponen un examen mecanicista de las canalizaciones RAG para determinar cuánto dependen los LM del contexto externo frente a su memoria interna al responder consultas fácticas. Utilizan dos LM avanzados, LLaMa-2 y Phi-2, para realizar su análisis, empleando métodos como análisis de mediación causal, contribuciones de atención y nocauts de atención.
Los investigadores utilizaron tres técnicas clave para gestionar el funcionamiento interno de los LM bajo RAG:
1. El rastreo causal identifica qué estados ocultos en el modelo son cruciales para las predicciones fácticas. Al comparar una ejecución corrupta (donde parte de la entrada se modifica deliberadamente) con una ejecución limpia y una ejecución de restauración (donde se reintroducen activaciones limpias en la ejecución corrupta), los investigadores miden el efecto indirecto (IE) para determinar la importancia de factores específicos. estados ocultos.
2. Las contribuciones de atención analizan los pesos de atención entre el token sujeto y el último token en la salida. Esto ayuda a analizar cuánta atención recibe cada token para ver si el modelo se basa más en el contexto externo proporcionado por RAG o en su conocimiento interno.
3. Los knockouts de atención implican establecer pesos de atención críticos en infinito negativo para bloquear el flujo de información entre tokens específicos. Al observar la caída en la calidad de las predicciones cuando se eliminan estos pesos de atención, los investigadores pueden identificar qué conexiones son esenciales para realizar predicciones precisas.
Los resultados revelaron que, en presencia del contexto RAG, tanto el modelo LLaMa-2 como el Phi-2 mostraron una disminución significativa en la dependencia de su memoria paramétrica interna. El efecto indirecto promedio de los tokens de sujeto en la consulta fue notablemente menor cuando estaba presente el contexto RAG. Además, el último flujo residual de token derivó información más enriquecida de los tokens de atributo en el contexto en lugar de los tokens de asunto en la consulta. Attention Contributions y Knockouts confirmaron además que los modelos priorizaban el contexto externo sobre la memoria interna para las predicciones fácticas. Sin embargo, no se comprende claramente la naturaleza exacta de cómo funciona este enfoque.
En conclusión, el método propuesto demuestra que los modelos de lenguaje presentan un comportamiento de «atajo», que depende en gran medida del contexto externo proporcionado por RAG sobre su memoria paramétrica interna para consultas fácticas. Al analizar mecánicamente cómo los LM procesan y priorizan la información, los investigadores brindan información valiosa sobre la interacción entre el conocimiento paramétrico y no paramétrico en la generación de recuperación aumentada. El estudio destaca la necesidad de comprender esta dinámica para mejorar el rendimiento y la confiabilidad del modelo en aplicaciones prácticas.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.
Únete a nuestro Canal de telegramas y LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 44k+ ML
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.