El análisis semántico convierte el lenguaje natural en lenguajes de consulta formales como SQL o Cypher, lo que permite a los usuarios interactuar con las bases de datos de manera más intuitiva. Sin embargo, el lenguaje natural es inherentemente ambiguo, a menudo apoya múltiples interpretaciones válidas, mientras que los idiomas de consulta exigen exactitud. Aunque se ha explorado la ambigüedad en las consultas tabulares, las bases de datos de gráficos presentan un desafío debido a sus estructuras interconectadas. Las consultas de lenguaje natural en nodos y relaciones gráficas a menudo producen múltiples interpretaciones debido a la riqueza estructural y la diversidad de los datos gráficos. Por ejemplo, una consulta como “mejor restaurante evaluado” puede variar según si los resultados consideran las calificaciones individuales o los puntajes agregados.
Las ambigüedades en los sistemas interactivos plantean riesgos graves, ya que las fallas en el análisis semántico pueden hacer que las consultas divergen de la intención del usuario. Dichos errores pueden dar lugar a una recuperación y cálculo de datos innecesarios, desperdiciando el tiempo y los recursos. En contextos de alto riesgo, como la toma de decisiones en tiempo real, estos problemas pueden degradar el rendimiento, aumentar los costos operativos y reducir la efectividad. El análisis semántico basado en LLM se muestra prometedor para abordar consultas complejas y ambiguas mediante el uso del conocimiento lingüístico y la aclaración interactiva. Sin embargo, los LLM enfrentan un desafío de sesgo de auto-preferencia. Entrenados en comentarios humanos, pueden adoptar preferencias de anotadores, lo que lleva a una desalineación sistemática con la intención real del usuario.
Investigadores de la Universidad Bautista de Hong Kong, la Universidad Nacional de Singapur, Bifold & Tu Berlin y el grupo de hormigas presentan un método para abordar la ambigüedad en la generación de consultas gráficas. El concepto de ambigüedad en consultas de bases de datos gráficas se desarrolla, clasificándolo en tres tipos: atributo, relación y ambigüedades de relación de atributos. Los investigadores introdujeron Ambigraph-Eval, un punto de referencia que contiene 560 consultas ambiguas y muestras de base de datos gráficas correspondientes para evaluar el rendimiento del modelo. Prueba nueve LLM, analizando su capacidad para resolver ambigüedades e identificar áreas para mejorar. El estudio revela que las capacidades de razonamiento proporcionan una ventaja limitada, destacando la importancia de comprender la ambigüedad gráfica y dominar la sintaxis de consulta.
El punto de referencia Ambigraph-Eval está diseñado para evaluar la capacidad de LLM para generar consultas gráficas sintácticamente correctas y semánticamente apropiadas, como Cypher, a partir de entradas de lenguaje natural ambiguo. Además, el conjunto de datos se crea en dos fases: recopilación de datos y revisión humana. Las indicaciones ambiguas se obtienen a través de tres métodos, incluida la extracción directa de las bases de datos gráficas, la síntesis de datos inequívocos que usan LLM y la generación completa al pedir a LLM a crear nuevos casos. Para evaluar el rendimiento, los investigadores probaron cuatro LLM de código cerrado (p. Ej., GPT-4, Claude-3.5-Sonnet) y cuatro LLM de código abierto (por ejemplo, Qwen-2.5, Llama-3.1). Las evaluaciones se realizan a través de llamadas API o utilizan GPU 4X NVIDIA A40.
La evaluación del rendimiento de disparo cero en el punto de referencia de Ambigraph-Eval muestra las disparidades entre los modelos para resolver las ambigüedades de datos gráficos. En las tareas de ambigüedad de atributos, O1-Mini sobresale en escenarios de la misma entidad (SE), con GPT-4O y LLAMA-3.1 funcionando bien. Sin embargo, GPT-4O supera a otros en las tareas de entreñut (CE), que muestra un razonamiento superior entre las entidades. Para la ambigüedad de la relación, Llama-3.1 lidera, mientras que GPT-4O muestra limitaciones en las tareas SE pero sobresale en las tareas de CE. La ambigüedad de la relación de atributos surge como la más desafiante, con LLAMA-3.1 que funciona mejor en tareas SE y tareas CE dominantes de GPT-4O. En general, los modelos luchan más con ambigüedades multidimensionales en comparación con las ambigüedades de atributos o relaciones aisladas.
En conclusión, los investigadores introdujeron Ambigraph-Eval, un punto de referencia para evaluar la capacidad de los LLM para resolver la ambigüedad en las consultas de la base de datos de gráficos. Las evaluaciones de nueve modelos revelan desafíos significativos en la generación de declaraciones de Cypher precisas, con fuertes habilidades de razonamiento que ofrecen solo beneficios limitados. Los desafíos centrales incluyen reconocer la intención ambigua, generar una sintaxis válida, interpretar estructuras gráficas y realizar agregaciones numéricas. La detección de ambigüedad y la generación de sintaxis surgieron como cuellos de botella importantes que obstaculizan el rendimiento. Para abordar estos problemas, la investigación futura debería mejorar la resolución de la ambigüedad de los modelos y el manejo de la sintaxis utilizando métodos como la indicación consciente de la sintaxis y la señalización de ambigüedad explícita.
Mira el Documento técnico. No dude en ver nuestro Página de Github para tutoriales, códigos y cuadernos. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.