A medida que las empresas integran cada vez más a los asistentes de IA, es esencial evaluar cuán efectivamente estos sistemas realizan tareas del mundo real, particularmente a través de interacciones basadas en la voz. Los métodos de evaluación existentes se concentran en habilidades amplias de conversación o uso limitado de herramientas específicas de tareas. Sin embargo, estos puntos de referencia se quedan cortos cuando se miden la capacidad de un agente de IA para administrar flujos de trabajo complejos y especializados en varios dominios. Esta brecha resalta la necesidad de marcos de evaluación más completos que reflejen los desafíos que enfrentan los asistentes de IA en entornos empresariales prácticos, asegurando que realmente puedan apoyar operaciones intrincadas e impulsadas por la voz en entornos del mundo real.
Para abordar las limitaciones de los puntos de referencia existentes, Salesforce AI Research & Engineering desarrolló un sistema de evaluación robusto adaptado para evaluar a los agentes de IA en tareas empresariales complejas en interfaces de texto y voz. Esta herramienta interna admite el desarrollo de productos como Agentforce. Ofrece un marco estandarizado para evaluar el desempeño del asistente de IA en cuatro áreas de negocio clave: gestión de citas de atención médica, manejo de transacciones financieras, procesamiento de ventas entrantes y cumplimiento de órdenes de comercio electrónico. Utilizando casos de prueba cuidadosamente seleccionados y verificados por humanos, el punto de referencia requiere que los agentes completen operaciones de varios pasos, usen herramientas específicas de dominio y se adhieran a protocolos de seguridad estrictos en ambos modos de comunicación.
Los puntos de referencia tradicionales de IA a menudo se centran en el conocimiento general o las instrucciones básicas, pero las configuraciones empresariales requieren capacidades más avanzadas. Los agentes de IA en estos contextos deben integrarse con múltiples herramientas y sistemas, seguir estrictos procedimientos de seguridad y cumplimiento y comprender términos y flujos de trabajo especializados. Las interacciones basadas en la voz agregan otra capa de complejidad debido a posibles errores de reconocimiento de voz y síntesis, especialmente en tareas de múltiples pasos. Al abordar estas necesidades, el punto de referencia guía el desarrollo de IA hacia asistentes más confiables y efectivos diseñados para uso empresarial.
El punto de referencia de Salesforce utiliza un marco modular con cuatro componentes clave: entornos específicos del dominio, tareas predefinidas con objetivos claros, interacciones simuladas que reflejan conversaciones del mundo real y métricas de rendimiento medibles. Evalúa la IA en cuatro dominios empresariales: gestión de citas de salud, servicios financieros, ventas y comercio electrónico. Las tareas van desde solicitudes simples hasta operaciones complejas que involucran lógica condicional y múltiples llamadas al sistema. Con los casos de prueba verificados por humanos, el punto de referencia garantiza desafíos realistas que prueban el razonamiento, la precisión y el manejo de herramientas de un agente tanto en interfaces de texto como de voz.
El marco de evaluación mide el rendimiento del agente de IA basado en dos criterios principales: precisión, cómo correctamente el agente completa la tarea y la eficiencia, que se evalúan a través de la longitud de conversación y el uso del token. Se evalúan las interacciones de texto y voz, con la opción de agregar ruido de audio para probar la resiliencia del sistema. Implementado en Python, el punto de referencia modular admite diálogos realistas de agente cliente, múltiples proveedores de modelos de IA y procesamiento de voz configurable utilizando componentes incorporados de voz a texto y texto a voz. Se planea una versión de código abierto, lo que permite a los desarrolladores extender el marco a nuevos casos de uso y formatos de comunicación.
Las pruebas iniciales en modelos principales como las variantes GPT-4 y el LLAMA mostraron que las tareas financieras eran las más propensas a los errores debido a los requisitos de verificación estrictos. Las tareas basadas en la voz también vieron una caída del 5–8% en el rendimiento en comparación con el texto. La precisión disminuyó aún más en las tareas de varios pasos, especialmente aquellas que requieren lógica condicional. Estos hallazgos destacan los desafíos continuos en el encadenamiento de uso de herramientas, el cumplimiento del protocolo y el procesamiento del habla. Si bien es robusto, el punto de referencia carece de personalización, diversidad de comportamiento del usuario del mundo real y capacidades multilingües. El trabajo futuro abordará estas brechas expandiendo dominios, introduciendo modelado de usuarios e incorporando evaluaciones más subjetivas e interlingües.
Mira el Detalle técnico. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
