Cómo Loka creó un agente de voz natural y de baja latencia con Amazon Nova 2 Sonic

Loka transformó las interacciones de voz de los clientes al crear un agente de IA conversacional con Amazon Nova 2 Sonic que mantiene a los clientes interesados ​​con experiencias naturales y receptivas. Su solución basada en AWS logra una alta precisión del razonamiento del habla en Big Bench Audio al mismo tiempo que ofrece costos significativamente más bajos y tiempos de respuesta más rápidos que los canales tradicionales de inteligencia artificial de voz. En esta publicación, demostramos la arquitectura y el enfoque que utilizó Loka para resolver una frustración común: asistentes de voz lentos y robóticos que hacen que los clientes cuelguen, dañando la reputación de la marca y aumentando los costos de soporte.

Por qué los asistentes de voz tradicionales se quedan cortos

Los asistentes de voz tradicionales siguen un proceso de tres pasos que crea el problema fundamental. Primero, convierten su voz en texto utilizando sistemas de voz a texto. Luego, procesan ese texto a través de un modelo de lenguaje grande (LLM). Finalmente, convierten la respuesta de texto nuevamente en voz utilizando la tecnología Texto a voz. Este oleoducto introduce retrasos agravantes en cada paso. El resultado suele ser una pausa de 3 a 5 segundos antes de escuchar una respuesta. Ese retraso destruye la sensación de conversación natural. Hace que interrumpir o corregir al asistente resulte torpe y frustrante.

Considere un escenario real en un concesionario de automóviles. Un cliente llama y dice: "Estoy buscando ese SUV que anunciaste, pero no el híbrido. Sólo puedo entrar después de las 5 p. m.". El asistente necesita analizar varios datos simultáneamente. Debe comprender la intención, la negación y las restricciones de programación. Los sistemas tradicionales luchan con esta complejidad porque pierden información crucial durante la conversión. El tono, la vacilación y la urgencia desaparecen cuando el habla se convierte en texto. El contexto del concesionario deja dolorosamente claras estas limitaciones. Los clientes esperan respuestas inmediatas y útiles cuando llaman. Una pausa de cinco segundos parece una eternidad en una conversación de ventas. Peor aún, si el asistente no entiende y necesita una aclaración, los retrasos se agravan. La conversación se vuelve más tediosa que útil.

Más allá de los retrasos técnicos, hay un problema económico. Servir a miles de ubicaciones requiere un estricto control de costos. Los sistemas de voz tradicionales en tiempo real pueden tener un costo prohibitivo a escala, particularmente cuando se procesan flujos de audio continuos. La combinación de mala experiencia y alto costo ha limitado la adopción de la inteligencia artificial por voz. Las empresas necesitan una mejor solución.

Modelos nativos de habla a voz

Los avances recientes en IA han abierto un enfoque fundamentalmente diferente. Los desarrolladores ahora pueden enviar transmisiones de audio directamente a modelos de voz a voz que manejan la comprensión, el razonamiento y la generación como un sistema unificado. Al procesar el audio de un extremo a otro, estos modelos capturan tonos, emociones y señales sutiles que los canales tradicionales de solo texto pasan por alto.

Para validar este enfoque, era esencial realizar pruebas rigurosas. Utilizamos Big Bench Audio, un punto de referencia que mide el razonamiento sobre las entradas de voz. Amazon Nova 2 Sonic logró una puntuación de razonamiento del habla de 87,0. Esto superó a Gemini 2.5 Flash Native Audio (Live API) con 71.0 y superó el 83.0 de GPT Realtime. Estos puntajes confirmaron que el procesamiento de audio nativo no sacrifica la inteligencia por la velocidad. El modelo podría manejar solicitudes complejas de varias partes en escenarios reales de concesionarios.

Figura 1 – Comparación de puntuaciones de razonamiento del habla – Big Bench Audio

La capacidad de razonamiento por sí sola no es suficiente para los sistemas de producción. La latencia determina si las conversaciones se sienten naturales o robóticas. Nova 2 Sonic logró un tiempo hasta el primer audio de 1,39 segundos. Este tiempo de respuesta permite un comportamiento natural de "intrusión". Cuando los usuarios interrumpían la conversación, el agente de voz respondía con naturalidad. Esta experiencia coincide con los patrones de conversación humana.

Figura 2 – Comparación del tiempo hasta el primer audio – Big Bench Audio

La rentabilidad también mejoró. Nova 2 Sonic cuesta aproximadamente $0,27 por hora de audio de entrada (según el precio al momento de la publicación). Esto es más bajo que los modelos en tiempo real y los métodos tradicionales comparables.

Figura 3 – Comparación de costo por hora de audio – Big Bench Audio

Para medir la calidad más allá de la latencia y el costo, necesitábamos una evaluación estructurada. Construimos un canal automatizado utilizando LLM como juez. Cada conversación se calificó en cinco dimensiones utilizando una escala del 1 al 5. La idoneidad de la respuesta midió si las respuestas eran relevantes y contextualmente correctas. La comprensión de la intención evaluó si el agente comprendió el objetivo subyacente del usuario. Se realizó un seguimiento de la integridad de la información o las acciones requeridas. Naturalidad conversacional midió el flujo, la toma de turnos, el tono y la semejanza humana.

La comparación de Amazon Nova Sonic con Amazon Nova 2 Sonic reveló un claro progreso. La idoneidad de la respuesta mejoró de 2,5 a 2,9. La comprensión de la intención aumentó de 2,9 a 3,0. Lo más significativo es que la integridad saltó de 1,8 a 2,5. Esto significaba que era mucho más probable que los agentes terminaran tareas complejas. La naturalidad conversacional mejoró de 2,5 a 2,8. La puntuación general aumentó de 2,4 a 2,7. Estas ganancias se tradujeron directamente en mejores resultados para los clientes en los concesionarios.

Métrica (escala 1-5) Nova Sonic (línea de base) Nova 2 Sonic Cambio Adecuación de la respuesta 2,5 2,9 +0,4 Comprensión de la intención 2,9 3,0 +0,1 Integridad 1,8 2,5 +0,7 Naturalidad conversacional 2,5 2,8 +0,3 Puntuación general del juez 2,4 2,7 +0,3

Tabla 1: Comparación de métricas del modelo de voz a voz en las cinco dimensiones

Ingeniería de agentes de IA conversacionales

Con un modelo de base sólida, el siguiente desafío fue la optimización. Tratamos las indicaciones como código, iterando según el rendimiento medido. La configuración básica del Nova 2 Sonic obtuvo una puntuación general de 2,7. Después del primer refinamiento, la puntuación aumentó a 3,1. La segunda iteración logró 3,8 sobre 5,0. Esta mejora provino de una mejor disciplina en los giros y control de las repeticiones. El agente aprendió cuándo hablar, cuándo escuchar y cuándo hacer preguntas aclaratorias.

Configuración

Respuesta

Oportunidad

Intención Comprensión Integridad Recuperación de errores

Conversacional

Naturalidad

En general

Puntuación del juez

Amazon Nova 2 Sonic (línea de base) 2,9 3,0 2,5 2,6 2,8 2,7 Amazon Nova 2 Sonic (indicador v1) 3,2 3,3 3,0 2,8 3,9 3,1 Amazon Nova 2 Sonic (indicador v2) 3,7 3,9 3,9 3,8 4,1 3,8

Tabla 2: Comparación de métricas del modelo de voz a voz en las cinco dimensiones después de las mejoras en las indicaciones

El equipo mejoró el mensaje de referencia de varias maneras, evolucionándolo a dos plantillas de mensaje. Reemplazaron los detalles codificados del concesionario con variables con plantillas como {assistant_name} y {dealership_address}. Este cambio hizo que el mensaje fuera reutilizable en cualquier concesionario.

El equipo cambió el formato de listas numeradas a viñetas bajo títulos claramente etiquetados. Títulos como “Reglas de uso de herramientas”, “Recuperación de errores” y “Finales de conversación” le dieron al modelo límites de comportamiento más nítidos. Esta estructura redujo el sangrado de instrucción entre temas.

El equipo agregó ejemplos de comportamiento concretos a lo largo del mensaje. Estos ejemplos mostraron exactamente cómo reconocer sin hacer eco a la persona que llama. También introdujeron una lista de verificación previa a la respuesta que solicita al modelo una autoauditoría antes de cada respuesta.

Amazon Bedrock Prompt Management se convirtió en el hogar natural de todo este ciclo de vida. Permitió al equipo almacenar cada versión de la plantilla con un nombre de recurso de Amazon (ARN) único. Podrían promover cambios desde el borrador hasta la producción sin tocar el código de la aplicación.

Cuando se incorporaba un nuevo concesionario, sus variables específicas se inyectaban en tiempo de ejecución a través de la API de Amazon Bedrock. Esto significó que el mismo mensaje central sirviera a todos los clientes sin dejar de ser totalmente personalizable.

El equipo agregó controles de acceso de AWS Identity and Access Management (AWS IAM) para restringir quién podía crear, aprobar o implementar cambios rápidos. Esto aportó una capa de gobernanza adecuada a lo que anteriormente era un proceso de edición informal.

Este enfoque convirtió la ingeniería rápida de una tarea única en un flujo de trabajo repetible y auditable. El flujo de trabajo aumentó a medida que crecía el número de concesionarios y casos de uso.

Las pruebas en el mundo real requerían casos extremos que reflejaran las llamadas reales a los concesionarios. Probamos a clientes enojados, padres ocupados, clientes conversadores, clientes confundidos y personas mayores que llaman.

El escenario de Padres Ocupados obtuvo una puntuación de 5,0 en las cinco dimensiones. El agente manejó perfectamente las interrupciones, el ruido de fondo y la presión del tiempo. El caso del cliente enojado obtuvo una puntuación general de 4,5. El agente se mantuvo tranquilo, empático y centrado en encontrar soluciones. El escenario del Cliente Confundido también obtuvo una puntuación de 4,5. El agente aclaró pacientemente sin parecer condescendiente.

Ejemplos de chat Respuesta Idoneidad Intención Comprensión Integridad Error Recuperación Conversacional Naturalidad Puntuación general del juez Cliente enojado 4,5 4,5 4,0 4,5 4,5 4,5 Cliente padre ocupado 5,0 5,0 5,0 5,0 5,0 5,0 Cliente hablador 3,5 3,0 2,5 2,0 4,0 3,0 Cliente confundido 4,5 4,5 4,5 5,0 4,5 4,5 Cliente mayor 3,5 3,0 2,5 2,0 4,0 3,0 Promedio 4,2 4,0 3,7 3,7 4,4 4,0

Tabla 3: Evaluación del modelo Speech to Speech basada en las personas del cliente

Dos escenarios revelaron las oportunidades restantes. Los casos de Cliente hablador y Cliente de edad avanzada obtuvieron una puntuación general de 3,0. Cuando los usuarios proporcionaban entradas largas y sinuosas, el agente de voz tenía problemas con la estructura. Las puntuaciones de integridad cayeron a 2,5 en estas situaciones. La recuperación de errores cayó a 2.0. Estos resultados identificaron áreas claras para una futura ingeniería rápida. Aún así, la puntuación promedio de 4,0 en los casos extremos indicó una fuerte preparación para el mundo real.

Crear la arquitectura adecuada era importante para la implementación de producción. Diseñamos un sistema sin servidor basado en eventos utilizando LiveKit como capa de transporte. LiveKit resume las complejidades de WebRTC para clientes web y el Protocolo de inicio de sesión (SIP) para llamadas telefónicas. Esto permitió que el equipo de ingeniería se centrara por completo en la lógica del agente.

Figura 4 – Asistente de IA conversacional – Arquitectura de la solución

El agente de voz se integra con las operaciones del concesionario a través de herramientas basadas en funciones de Python, que representan acciones que el asistente puede realizar durante una conversación. Las herramientas comunes incluyen búsqueda de inventario, reserva de citas y búsqueda de datos de clientes. Estas herramientas actúan como capa de integración entre Amazon Nova 2 Sonic y los servicios backend. El modelo decide cuándo se debe utilizar una herramienta y la función de Python ejecuta la consulta o mutación GraphQL correspondiente, devolviendo datos estructurados al agente.

AWS Fargate proporcionó la capa informática. Instalamos agentes LiveKit en contenedores en Amazon Elastic Container Service (Amazon ECS). Esto permitió el escalamiento independiente de los trabajadores agentes frente a los servidores de medios. Los recursos podrían optimizarse dinámicamente durante las horas pico de los concesionarios. Se utilizó Amazon Relational Database Service (Amazon RDS) como almacén relacional persistente para datos estructurados de aplicaciones, incluidas configuraciones de concesionarios, historial de conversaciones y registros de clientes.

Los agentes de voz en tiempo real no pueden tolerar la latencia de la base de datos. Amazon ElastiCache se utiliza para gestionar la administración de salas y la coordinación de sesiones efímeras en tareas distribuidas. Amazon Bedrock proporcionó acceso directo al modelo Nova 2 Sonic.

Clientes de navegador conectados mediante WebRTC (Web Real-Time Communications), marco de código abierto para transmisión de audio, vídeo y datos de igual a igual. Las llamadas telefónicas tradicionales ingresadas a través de una troncal SIP enrutadas a través de Network Load Balancer. Esto permitió el rendimiento TCP/UDP para paquetes de medios.

La observabilidad provino de Langfuse, autohospedado en AWS. Rastreó cada decisión de los agentes y cada llamada de herramientas. Estos datos se reintrodujeron en el proceso de evaluación para una mejora continua.

Manifestación

El siguiente vídeo demuestra la funcionalidad.

Un nuevo estándar para la IA conversacional

La transición de chatbots basados ​​en texto a agentes de voz en tiempo real representa más que un cambio de interfaz. Requiere una infraestructura y un pensamiento fundamentalmente diferentes. Nova 2 Sonic cumple con tres requisitos críticos de ingeniería simultáneamente. En primer lugar, proporciona una alta capacidad de razonamiento sin conversión de texto intermedia. En segundo lugar, ofrece una latencia baja que permite una interrupción natural y similar a la humana. En tercer lugar, ofrece viabilidad de producción con rentabilidad para miles de ubicaciones.

Para los concesionarios de automóviles, esta tecnología ya está generando ingresos en la producción. Los clientes reciben respuestas útiles e inmediatas cuando llaman. Las solicitudes complejas se manejan sin problemas en una sola conversación. Las citas se programan correctamente sin frustrantes intercambios de ida y vuelta.

Las implicaciones se extienden mucho más allá de las ventas de automóviles. Las industrias que requieren interacciones de voz inteligentes y en tiempo real pueden beneficiarse. Imagine un agente de viajes que le ayuda a planificar unas vacaciones completas a través de una conversación natural. Imagínese un tutor educativo que se adapte a su estilo de hablar y ritmo de aprendizaje. Considere los sistemas de programación de atención médica que manejan preguntas complejas sobre seguros y disponibilidad.

La IA de voz a voz está lista para la producción. Comience a experimentar con Nova 2 Sonic en su propio entorno de AWS. Cree prototipos, pruebe casos extremos y explore las posibilidades para su negocio.

Esta publicación representa una colaboración entre AWS y Loka, que se especializan en crear soluciones de IA listas para producción. El equipo de Loka ya ha resuelto los difíciles problemas relacionados con la arquitectura, la evaluación y la optimización. Su experiencia en concesionarios de automóviles se traduce directamente en otras industrias.

La IA de voz a voz todavía está en sus inicios. Las mejores aplicaciones aún no se han inventado. Su conocimiento de la industria combinado con esta tecnología podría crear soluciones innovadoras. Comience su viaje con Nova 2 Sonic y Loka hoy. Transforme la forma en que sus clientes experimentan la conversación con su empresa.

Sobre los autores