Los LLM han mostrado un fuerte rendimiento en la respuesta de las preguntas de los gráficos de conocimiento (KGQA) aprovechando la planificación y las estrategias interactivas para consultar gráficos de conocimiento. Muchos enfoques existentes se basan en herramientas basadas en SPARQL para recuperar información, lo que permite que los modelos generen respuestas precisas. Algunos métodos mejoran las habilidades de razonamiento de las LLM mediante la construcción de rutas de razonamiento basadas en herramientas, mientras que otros emplean marcos de toma de decisiones que utilizan la retroalimentación ambiental para interactuar con los gráficos de conocimiento. Aunque estas estrategias han mejorado la precisión de KGQA, a menudo difuminan la distinción entre el uso de la herramienta y el razonamiento real. Esta confusión reduce la interpretabilidad, disminuye la legibilidad y aumenta el riesgo de invocaciones de herramientas alucinadas, donde los modelos generan respuestas incorrectas o irrelevantes debido a la excesiva dependencia del conocimiento paramétrico.
Para abordar estas limitaciones, los investigadores han explorado las técnicas acuáticas de memoria que proporcionan almacenamiento de conocimiento externo para respaldar un razonamiento complejo. El trabajo previo ha integrado módulos de memoria para la retención de contexto a largo plazo, lo que permite una toma de decisiones más confiable. Los primeros métodos de KGQA utilizaron memoria de valor clave y redes neuronales gráficas para inferir respuestas, mientras que los recientes enfoques basados en LLM aprovechan los modelos a gran escala para un razonamiento mejorado. Algunas estrategias emplean ajustes finos supervisados para mejorar la comprensión, mientras que otras usan técnicas discriminatorias para mitigar las alucinaciones. Sin embargo, los métodos KGQA existentes aún luchan por separar el razonamiento de la invocación de la herramienta, lo que lleva a la falta de enfoque en la inferencia lógica.
Investigadores del Instituto de Tecnología de Harbin proponen la Reconstrucción de consultas acuático (MEMQ), un marco que separa el razonamiento de la invocación de herramientas en KGQA basada en LLM. MEMQ establece una memoria de consulta estructurada utilizando descripciones generadas por LLM de declaraciones de consulta descompuestas, permitiendo un razonamiento independiente. Este enfoque mejora la legibilidad al generar pasos de razonamiento explícitos y recuperar la memoria relevante basada en la similitud semántica. MEMQ mejora la interpretabilidad y reduce el uso de la herramienta alucinada al eliminar la dependencia de la herramienta innecesaria. Los resultados experimentales muestran que MEMQ logra el rendimiento de vanguardia en los puntos de referencia WebQSP y CWQ, lo que demuestra su efectividad para mejorar el razonamiento KGQA basado en LLM.
MEMQ está diseñado para separar el razonamiento de la invocación de herramientas en KGQA basada en LLM a través de tres tareas clave: construcción de memoria, razonamiento de conocimiento y reconstrucción de consultas. La construcción de la memoria implica almacenar declaraciones de consultas con descripciones de lenguaje natural correspondientes para una recuperación eficiente. El proceso de razonamiento del conocimiento genera planes de razonamiento estructurados de varios pasos, asegurando la progresión lógica para responder consultas. La reconstrucción de consultas luego recupera declaraciones de consulta relevantes basadas en la similitud semántica y las ensambla en una consulta final. MEMQ mejora el razonamiento mediante el ajuste de LLM con pares de explicación de explicación y utiliza una estrategia de recuperación de memoria adaptativa, superando los métodos anteriores en los puntos de referencia WebQSP y CWQ con resultados de última generación.
Los experimentos evalúan el rendimiento de MEMQ en el gráfico de conocimiento, la respuesta de preguntas utilizando conjuntos de datos WebQSP y CWQ. Los golpes@1 y F1 sirven como métricas de evaluación, con comparaciones con líneas de base basadas en herramientas como ROG y TOG. MEMQ, basado en LLAMA2-7B, supera a los métodos anteriores, que muestra un razonamiento mejorado a través de un enfoque acuático de memoria. Los experimentos analíticos destacan la precisión estructural y de borde superior. Los estudios de ablación confirman la efectividad de MEMQ en la utilización de herramientas y la estabilidad del razonamiento. Los análisis adicionales exploran errores de razonamiento, alucinaciones, eficiencia de datos y universalidad del modelo, lo que demuestra su adaptabilidad entre las arquitecturas. MEMQ mejora significativamente el razonamiento estructurado al tiempo que reduce los errores en consultas de varios pasos.
En conclusión, el estudio introduce MEMQ, un marco acuático de memoria que separa el razonamiento de LLM de la invocación de herramientas para reducir las alucinaciones en KGQA. MEMQ mejora la reconstrucción de consultas y mejora la claridad del razonamiento al incorporar un módulo de memoria de consulta. El enfoque permite el razonamiento del lenguaje natural al mitigar los errores en el uso de la herramienta. Los experimentos en los puntos de referencia WebQSP y CWQ demuestran que MEMQ supera a los métodos existentes, logrando resultados de última generación. Al abordar la confusión entre la utilización y el razonamiento de la herramienta, MEMQ mejora la legibilidad y la precisión de las respuestas generadas por LLM, ofreciendo un enfoque más efectivo para KGQA.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.