Los agentes de IA se convierten rápidamente en componentes centrales en el manejo de interacciones humanas complejas, particularmente en entornos empresariales donde las conversaciones abarcan giros múltiples e involucran la ejecución de la tarea, la extracción de información y el cumplimiento de reglas de procedimiento específicas. A diferencia de los chatbots tradicionales que manejan preguntas de una sola giro, estos agentes deben mantener el contexto en varios intercambios de diálogo al tiempo que integran datos externos y el uso de la herramienta. Estos desafíos demandan los sistemas capaces de navegar de forma incremental de los usuarios, participar en bucles de retroalimentación e invocar funciones estructuradas como llamadas API basadas en el estado de conversación. Estas capacidades dependen en gran medida de la disponibilidad de conjuntos de datos de capacitación que reflejan la complejidad y secuencia natural de tales tareas. Como se espera que estos agentes de IA operen bajo restricciones específicas de dominio y ejecuten funciones relevantes para tareas en finanzas, minoristas y atención al cliente, la demanda de datos de capacitación matizados y verificados crece significativamente.
El cuello de botella central en la capacidad del agente de escala ha sido la falta de conjuntos de datos de alta calidad y múltiples giros que reflejan interacciones realistas del usuario. Recopilar dichos datos manualmente es lento y costoso y requiere el conocimiento del dominio para construir tareas que representen casos de uso reales. Además, incluso los modelos lingüísticos líderes tienden a tener un rendimiento inferior en conversaciones que requieren el seguimiento del contexto previo, utilizando herramientas con precisión o ajustar dinámicamente su estrategia. Sin conjuntos de datos de capacitación estructurados que reflejan estos desafíos, los modelos son propensos a errores en la ejecución y luchan para mantener la alineación de objetivos en las vueltas. Estas limitaciones se vuelven más pronunciadas en escenarios que involucran el uso de la herramienta, como ejecutar llamadas a funciones, recuperar datos externos o cumplir con las solicitudes de servicio con múltiples etapas de intercambio de información.
Varios marcos han intentado cerrar esta brecha a través de la generación de datos sintéticos o la sintonización específica de la tarea. Algunos esfuerzos como los métodos de destilación de apigen y conocimiento han ayudado a generar datos de tareas de vuelta única o plantillas simplificadas. Los modelos de uso de herramientas se han mejorado utilizando marcos que proporcionan conjuntos fijos de funciones, pero a menudo carecen de la flexibilidad para adaptarse a los entornos de herramientas dinámicas. Otros intentos, como MAG-V, matriz y botón, usan sistemas de múltiples agentes para simular interacciones de entrenamiento, pero sufren controles de calidad inadecuados o dependen de estructuras de instrucciones fijas. Muchas de estas herramientas no pueden capturar la dependencia a largo plazo o confiar en sistemas basados en reglas frágiles que carecen de generalización. Incluso los puntos de referencia de evaluación popular como Multichallenge y la lucha toolal para emular las complejidades de las conversaciones realistas, a menudo debido a los formatos de interacción excesivamente simplificados.
Un equipo de investigación de Salesforce AI Research introdujo Apigen-mtuna nueva tubería de generación de datos de dos fases diseñada para crear datos de interacción múltiples y de alta calidad entre agentes y usuarios humanos simulados. El enfoque se centra en el realismo, la estructura y la verificación mediante la construcción de planos de tareas validados y luego simulando conversaciones detalladas de agente humano en entornos ejecutables. A diferencia de los enfoques anteriores, este método emplea un mecanismo de validación en capas utilizando tanto verificadores automatizados como comités de modelos de idiomas grandes para evaluar la coherencia de las tareas, la precisión y la viabilidad. Los investigadores entrenan a una familia de modelos bajo el Serie Xlam-2-FC-Rque van desde 1 mil millones a 70 mil millones de parámetros, utilizando estos datos sintéticos para superar significativamente los principales puntos de referencia en la evaluación de agentes múltiples.
La arquitectura detrás de Apigen-MT se divide en dos fases operativas principales. En la fase 1, se crea una configuración de tareas utilizando un generador basado en LLM que propone instrucciones de intención del usuario, una secuencia de acciones de TRUTH y las salidas esperadas. Estas propuestas se validan para la corrección del formato, la ejecución y la coherencia semántica utilizando una combinación de verificadores basados en reglas y un comité de revisión de LLM de múltiples agentes. Si una propuesta falla en cualquier etapa, un mecanismo de retroalimentación reflejará los errores y propondrá mejoras. Las tareas exitosas se mueven a la Fase 2, donde un motor de simulación genera diálogos realistas entre un usuario humano simulado y un agente de prueba. El agente responde a las entradas de los usuarios llamando a API, interpretando salidas y evolucionando la conversación a través de giros. Solo aquellas trayectorias de diálogo que coinciden con la Estrut Ground esperada se incluyen en el conjunto de datos de entrenamiento final, asegurando la precisión funcional y el flujo de diálogo natural.
Los modelos entrenados en datos Apigen-MT, específicamente los modelos XAML-2-FC-R, demuestran un rendimiento superior en dos puntos de referencia de evaluación estándar de la industria: τ-bench y BFCL V3. Por ejemplo, en el punto de referencia BFCL V3 en el dominio minorista, el modelo Xlam-2-70B-FC-R logró una puntuación de 78.2, superando a Claude 3.5 (56.5) y GPT-4O (72.1). Del mismo modo, el dominio de la aerolínea obtuvo 67.1 en comparación con los 62.8 de GPT-4O. En entornos más complejos que involucran interacciones iterativas, el modelo XAML-2-8B-FC-R superó a los modelos tradicionales más grandes, ilustrando el impacto de los datos de entrenamiento de mayor calidad. Estos resultados confirman que las interacciones de entrenamiento detalladas y verificadas son más valiosas que el tamaño del modelo puro cuando se estructuran cuidadosamente a través de bucles de retroalimentación y validación de tareas. Además, la consistencia de estos modelos en múltiples ensayos muestra una mayor robustez, un factor crítico para la implementación en entornos empresariales.
El marco Apigen-MT es impactante no solo por su rendimiento sino también por su escalabilidad y contribución de código abierto. Al liberar tanto los conjuntos de datos sintéticos como los modelos Xlam-2-FC-R al público, los investigadores apuntan a democratizar el acceso a los datos de capacitación de agentes de alta calidad. Este enfoque modular, verificable y con conexión a tierra de interacción abre vías para futuros avances en agentes de IA. Permite a los investigadores extender el marco en diferentes dominios, funciones y herramientas, lo que lo hace adaptable a requisitos industriales específicos sin sacrificar el realismo del diálogo o la integridad de la ejecución.
Algunas conclusiones clave de la investigación:
- Apigen-MT crea conjuntos de datos de interacción múltiples giros utilizando una generación de planos de tareas de dos fases seguida de una conversación simulada.
- El sistema integra la validación a través de verificaciones de formato, pruebas de ejecución y comités de revisión de LLM.
- Los bucles de retroalimentación permiten la mejora de las tareas fallidas, creando un mecanismo de aprendizaje dentro de la tubería.
- Los modelos entrenados con estos datos superan a GPT-4O y Claude 3.5 a través de los puntos de referencia de τ bench y BFCL V3.
- El XLAM-2-70B-FC-R anotó 78.2 en el comercio minorista y 67.1 en la aerolínea bajo BFCL V3, más alta que todas las líneas de base.
- Los modelos más pequeños como XLAM-2-8B-FC-R también superan las alternativas más grandes en las interacciones de giro a largo plazo, lo que indica una mejor eficiencia.
- La versión de código abierto de datos y modelos garantiza una accesibilidad más amplia para la investigación y el uso industrial.
- El marco mejora el realismo y la confiabilidad técnica en la capacitación de agentes, estableciendo un nuevo estándar para los datos de interacción sintética.
Verificar el Papel y Modelo. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.