Los modelos de lenguajes grandes (LLM) han ganado terreno por su desempeño excepcional en diversas tareas. Investigaciones recientes tienen como objetivo mejorar su factibilidad mediante la integración de recursos externos, incluidos datos estructurados y texto libre. Sin embargo, numerosas fuentes de datos, como registros de pacientes y bases de datos financieras, contienen una combinación de ambos tipos de información. “¿Puedes encontrarme un restaurante italiano con un ambiente romántico?”, un agente necesita combinar los atributos estructurados de cocina y las reseñas de atributos de texto libre.
Los sistemas de chat anteriores suelen emplear clasificadores para dirigir consultas a módulos especializados para manejar datos estructurados, datos no estructurados o charlas. Sin embargo, este método no es suficiente para preguntas que requieren datos estructurados y de texto libre. Otro enfoque implica convertir datos estructurados en texto libre, limitando el uso de SQL para consultas de bases de datos y la efectividad de los recuperadores de texto libre. La necesidad de consultas de datos híbridas se ve subrayada por conjuntos de datos como HybridQA, que contienen preguntas que requieren información de fuentes tanto estructuradas como de texto libre. Los esfuerzos anteriores para basar los sistemas de respuesta a preguntas en datos híbridos operan en pequeños conjuntos de datos, sacrifican la riqueza de las consultas de datos estructurados o admiten combinaciones limitadas de consultas de conocimiento estructuradas y no estructuradas.
Los investigadores de Stanford presentan un enfoque para conectar agentes conversacionales en fuentes de datos híbridas, utilizando consultas de datos estructurados y técnicas de recuperación de texto libre. Demuestra empíricamente que los usuarios frecuentemente hacen preguntas que abarcan datos estructurados y no estructurados en conversaciones de la vida real, y más del 49% de las consultas requieren conocimientos de ambos tipos. Para potenciar la expresividad y la precisión, proponen SUQL (lenguaje de consulta estructurado y no estructurado)un lenguaje formal que aumenta SQL con primitivas para procesar texto libre, lo que permite una combinación de modelos de recuperación disponibles en el mercado y LLM con semántica y operadores de SQL.
El diseño del SUQL tiene como objetivo Expresividad, precisión y eficiencia.. SUQL amplía SQL con operadores de PNL como SUMMARY y ANSWER, lo que facilita consultas de espectro completo sobre fuentes de conocimiento híbridas. Los LLM traducen de manera competente texto complejo en consultas SQL, lo que permite a SUQL realizar consultas complejas. Si bien las consultas SUQL pueden ejecutarse en compiladores SQL estándar, una implementación sencilla puede resultar ineficiente. Describir las primitivas de texto libre de SUQL, destacando su distinción de los métodos basados en recuperación al expresar consultas de manera integral.
Los investigadores evalúan SUQL a través de dos experimentos: uno con HybridQA, un conjunto de datos de preguntas y respuestas, y otro con datos reales de restaurantes de Yelp.com. El experimento HybridQA utiliza LLM y SUQL para lograr una coincidencia exacta (EM) del 59,3 % y una puntuación F1 del 68,3 %. SUQL supera a los modelos existentes en un 8,9% EM y un 7,1% F1 en el conjunto de prueba. En experimentos de restaurantes de la vida real, SUQL demuestra una precisión de giro del 93,8 % y 90,3 % en consultas de un solo turno y conversacionales respectivamente, superando los métodos basados en linealización hasta en un 36,8 % y 26,9 %.
Para concluir, este artículo presenta SUQL como el lenguaje de consulta formal inaugural para corpus de conocimiento híbridos, que abarca datos estructurados y no estructurados. Su innovación radica en la integración de primitivas de texto libre en un marco de consulta preciso y conciso. El aprendizaje en contexto aplicado a HybridQA logra resultados dentro del 8,9% de SOTA, entrenable en 62.000 muestras. A diferencia de los métodos anteriores, SUQL admite grandes bases de datos y corpus de texto libre. Los experimentos con datos de Yelp demuestran la eficacia de SUQL, con una tasa de éxito del 90,3 % para satisfacer las consultas de los usuarios en comparación con el 63,4 % de las líneas base de linealización.
Revisar la Papel, GitHuby Manifestación. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 41k+ ML
Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.
