La inteligencia empresarial (BI) enfrenta desafíos importantes a la hora de transformar de manera eficiente grandes volúmenes de datos en conocimientos procesables. Los flujos de trabajo actuales implican múltiples etapas complejas, incluida la preparación, el análisis y la visualización de datos, que requieren una amplia colaboración entre ingenieros, científicos y analistas de datos que utilizan diversas herramientas especializadas. Estos procesos consumen mucho tiempo y son tediosos, y exigen una importante intervención y coordinación manual. Las intrincadas interdependencias entre los profesionales y las herramientas ralentizan la generación de conocimientos, retrasan la toma de decisiones y reducen la agilidad organizacional. Estas limitaciones subrayan la necesidad crítica de enfoques más integrados y automatizados para los flujos de trabajo de BI.
Las plataformas de BI existentes intentaron abordar los desafíos del flujo de trabajo mediante varios enfoques. Plataformas como Tableau, Power BI y Databricks han desarrollado interfaces gráficas de usuario para la transformación de datos y el soporte de generación de paneles. Estas plataformas han integrado interfaces de lenguaje natural para reducir las cargas operativas manuales. Algunos esfuerzos de investigación han explorado métodos basados en ontologías para mejorar la información semántica y las capacidades de interpretación de consultas. Estudios anteriores se han centrado en escenarios de análisis de datos específicos, investigando cómo interactúan los analistas de datos con los LLM e identificando desafíos como la recuperación de datos contextuales y el refinamiento rápido. Sin embargo, estas soluciones existentes se dirigen principalmente a tareas individuales, pero carecen de un enfoque unificado y detallado para los flujos de trabajo de BI.
Investigadores del State Key Lab de CAD&CG, la Universidad de Zhejiang, Tencent Inc., la Universidad de Ciencia y Tecnología del Sur y la Universidad de Pekín han propuesto DataLab, una plataforma de BI unificada, que integra un marco de agente integral basado en LLM con una plataforma computacional aumentada. interfaz del cuaderno. Admite una variedad de tareas de BI en diferentes roles de datos al combinar perfectamente la asistencia de LLM con la personalización del usuario dentro de un único entorno. DataLab supera las limitaciones existentes de las herramientas de BI fragmentadas y específicas para tareas. La innovación clave del método radica en su capacidad para crear una solución holística que cierra las brechas entre diversas funciones, tareas y herramientas de datos, revolucionando potencialmente la forma en que las organizaciones abordan el análisis de datos y los procesos de toma de decisiones.
La arquitectura de DataLab está diseñada estratégicamente en torno a dos componentes principales: el Agent Framework basado en LLM y la Computational Notebook Interface. El Agent Framework basado en LLM emplea un enfoque complejo de múltiples agentes para manejar diversas tareas de inteligencia empresarial. Cada agente está diseñado específicamente para abordar requisitos de procedimiento específicos, utilizando una estructura de gráfico acíclico dirigido (DAG) que garantiza flexibilidad y extensibilidad. El marco utiliza varias herramientas de datos, como un entorno limitado de Python para la ejecución de código y un entorno VegaLite para la representación de visualizaciones. El diseño innovador de la arquitectura permite que los nodos representen componentes reutilizables como API y herramientas de LLM, mientras que los bordes definen las interconexiones entre estos componentes.
DataLab muestra un rendimiento notable en varias tareas de BI, superando consistentemente las líneas base de última generación basadas en LLM en múltiples puntos de referencia, incluidos BIRD, DS-1000, DSEval, InsightBench y VisEval. Sus capacidades superiores están impulsadas por su innovador módulo de incorporación de conocimientos de dominio y su compleja estrategia de elaboración de perfiles de datos. Para tareas de generación de lenguaje simbólico como NL2SQL, NL2DSCode y NL2VIS, DataLab produce resultados de alta calidad utilizando especificaciones de lenguaje intermedias específicas de dominio. DataLab supera a los marcos existentes como AutoGen hasta en un 19,35 % en algunos puntos de referencia en tareas complejas de razonamiento de varios pasos. Esto muestra las capacidades avanzadas de comprensión de datos de la plataforma y un mecanismo estructurado de comunicación entre agentes que facilita el descubrimiento de información detallada.
En conclusión, los investigadores presentan DataLab, una plataforma de BI unificada que integra un marco de agente basado en LLM con una interfaz de cuaderno computacional. La plataforma introduce componentes innovadores, incluido un módulo de incorporación de conocimientos de dominio, un mecanismo de comunicación entre agentes y una estrategia de gestión de contexto basada en células. Estas funciones avanzadas permiten una integración perfecta de la asistencia de LLM con la personalización del usuario, abordando desafíos críticos en los flujos de trabajo de BI actuales. Al proporcionar una solución detallada que admite diversas funciones y tareas de datos, DataLab representa un avance significativo en el análisis de datos automatizado. Amplias evaluaciones experimentales validan la notable eficacia y aplicabilidad práctica de la plataforma en entornos empresariales.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
🚨 [Must Attend Webinar]: ‘Transformar pruebas de concepto en aplicaciones y agentes de IA listos para producción’ (Promovido)
Sajjad Ansari es un estudiante de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA centrándose en comprender el impacto de las tecnologías de IA y sus implicaciones en el mundo real. Su objetivo es articular conceptos complejos de IA de una manera clara y accesible.