Esta publicación está coescrita con Mark Berkeland, Oscar Rodríguez y Marina Gerzon de Vonage.
Las tecnologías basadas en la voz están transformando la forma en que las empresas interactúan con los clientes en atención al cliente, asistentes virtuales y agentes inteligentes. Sin embargo, crear interfaces de voz en tiempo real, expresivas y altamente receptivas aún requiere navegar por una pila compleja de protocolos de comunicación, modelos de IA e infraestructura de medios. Para simplificar este proceso, Vonage se ha integrado Amazon Nova Sonicnuestro Modelo de Fundación de voz a voz (FM), con la API de Vonage Voice, parte de su plataforma de comunicaciones como oferta de servicio (CPAA).
Con esta integración, los desarrolladores pueden implementar agentes de voz de IA para habilitar más conversaciones de voz similares a los humanos sobre llamadas telefónicas, conexiones SIP, WEBRTC y aplicaciones móviles. La solución hace que sea sencillo llevar conversaciones inteligentes en tiempo real en flujos de trabajo para una variedad de casos de uso, como un pequeño taller de reparación de automóviles que utiliza AI de voz para reservar citas y rastrear piezas, una marca minorista global que maneja un alto volumen de llamadas de servicio al cliente o un desarrollador que construye una interfaz de voz escalable.
En esta publicación, exploramos cómo los desarrolladores pueden integrar Amazon Nova Sonic con el Servicio de Comunicaciones de Vonage para construir experiencias de voz receptivas y de sonido natural en tiempo real. Al combinar la API de voz de Vonage con las capacidades de voz de baja latencia y expresiva de Amazon Nova Sonic, las empresas pueden implementar agentes de voz de IA que ofrecen más interacciones similares a los humanos que las interfaces de voz tradicionales. Estos agentes pueden usarse como atención al cliente, asistentes virtuales y más.
Amazon Nova Sonic para IA conversacional en tiempo real
Amazon Nova Sonic es un FM de voz a voz diseñada para construir aplicaciones de IA conversacionales en tiempo real en Roca madre de Amazoncon un rendimiento de precio líder en la industria y baja latencia. Su arquitectura unifica la comprensión del habla y la generación en un solo modelo, para permitir más conversaciones de voz de forma humana en aplicaciones de IA. El modelo puede entender el habla en diferentes estilos de habla y generar discurso en voces expresivas, incluidas las voces de su sonido masculino y de sonido femenino. Amazon Nova Sonic puede adaptar la entonación, la prosodia y el estilo de la respuesta del habla generada para alinearse con el contexto y el contenido de la entrada del habla y manejar con gracia las interrupciones. Además, Amazon Nova Sonic permite las llamadas de funciones y el conocimiento de la base con datos empresariales utilizando la generación aumentada de recuperación (RAG).
Vonage API de voz, impulsadas por AI
Vonageun socio de AWS, proporciona una plataforma amigable para el desarrollador para construir experiencias de voz, mensajes, videos y autenticación. Con sus amplias API de voz, Vonage ofrece soporte de WEBRTC, herramientas de comunicación multicanal, integraciones estándar de llamadas telefónicas, suaves en la aplicación, centros de contacto frontales y funcionalidad de voz en off. El software también ofrece bloques de construcción esenciales como el manejo de llamadas de voz entrantes y salientes, soporte de correo de voz y lógica programable para el enrutamiento y cola de llamadas. El constructor de soluciones y los SDK de Vonage permiten una integración rápida y de bajo código, mientras que su interoperabilidad con aplicaciones comerciales y herramientas de productividad permite a los equipos integrar la comunicación directamente en sus flujos de trabajo existentes.
Descripción general de la solución
Vonage colaboró con Amazon Nova Sonic para construir aplicaciones de baja latencia y primera voz que pueden entender y responder como un agente humano sobre telefonía estándar o canales WEBRTC. Esta nueva herramienta puede conectar las llamadas de vonage entrantes y salientes directamente a Amazon Nova Sonic para el procesamiento de IA conversacional, utilizando una síntesis expresiva del habla en tiempo real para administrar interacciones naturales y líquidos. La integración de Amazon Nova Sonic en Vonage Voice API administra perfectamente el búfer de audio, la infraestructura de medios personalizada y la traducción del protocolo, para que los equipos puedan centrarse en construir experiencias atractivas.
Con la lógica de control de conversación incorporada y la cancelación de ruido, la integración de Vonage con Amazon Nova Sonic hace que sea sencillo para las empresas construir e implementar rápidamente agentes de voz de IA receptivos. Estos agentes pueden manejar conversaciones de voz en tiempo real y escalar interacciones de voz sin depender de los centros de contacto tradicionales.
Vonage está haciendo que esta integración esté disponible como un Repositorio de Github para que los desarrolladores se despliegue y personalicen sus necesidades.
“Como miembro de la Red de Asociación de Amazon (APN) de AWS, Vonage tiene una larga historia de trabajar en estrecha colaboración con el equipo de innovación de AWS para crear nuevas soluciones para beneficiar a los clientes empresariales”, dijo Christophe Van de Weyer, presidente y jefe de API de la Unidad de Negocios para Vonage. “Esta última colaboración con AWS permite a las organizaciones transformar la forma en que se involucran con los clientes mediante la adopción de soluciones de IA generativas que crean un valor agregado para la comunicación interna y externa. Al combinar las API de comunicaciones de Vonage con la IA avanzada de AWS, esta nueva tecnología de agente de IA de voz permite a las empresas a la adopción de los agentes inteligentes, acelerando la modernización de los sistemas de voz de legupy, y brindar un servicio de excepción a las empresas de excepción de la excepción de la excepción de la evaluación inteligente con la satisfacción de la satisfacción de los clientes inteligentes con la satisfacción de los servicios de la voz. eficiencia operativa “.
El siguiente video muestra una demostración de Diana, un agente de voz de IA construido utilizando la integración de Vonage con Amazon Nova Sonic.
El siguiente diagrama de arquitectura proporciona una visión general de Amazon Nova Sonic implementado como agente de voz en el marco de Vonage Voice API en AWS.
La solución enruta diferentes tipos de llamadas entrantes a Amazon Nova Sonic a través de una conexión WebSocket. Los componentes arquitectónicos incluyen (de izquierda a derecha):
- Llamadas – Conexiones de voz entrantes que pueden provenir de números de teléfono globales, conexiones de bebidas con centros de contacto o sistemas comerciales, o conexiones WEBRTC de navegadores web y aplicaciones móviles.
- Vonage API de voz – Proporciona un control programático sobre este tipo de llamadas y conexiones de voz, lo que les permite integrarse con los sistemas de IA, enrutados en otro lugar o se les dio el habla y otros tratamientos. Debido a que Amazon Nova Sonic es un servicio AI completo de voz a voz, las transmisiones de voz en tiempo real están conectadas directamente, a diferencia de otras integraciones de IA que podrían usar la integración basada en texto.
- Conector de Sonic Amazon Nova -Una integración de vonage que conecta las llamadas a Amazon Nova Sonic a través de una conexión WebSocket, proporcionando una transmisión de voz bidireccional de baja latencia, en tiempo real, directamente con Amazon Nova Sonic. El conector también gestiona el aislamiento de voz para manejar mejor entornos ruidosos, elementos de conversación como “irrumpir” donde la persona que llama interrumpe la conversación y las opciones de retroalimentación si es necesario.
- Amazon Nova Sonic – Parte de la familia Amazon Nova de FMS disponible en Amazon Bedrock. Amazon Nova Sonic unifica la comprensión del habla y la generación en un solo modelo, racionalizando el desarrollo y reduciendo la complejidad al construir aplicaciones conversacionales.
- Recuperación de generación aumentada (trapo) – Herramientas dentro de la roca madre de Amazon que optimizan la salida de un modelo de lenguaje grande subyacente (LLM). Amazon Nova Sonic puede hacer referencia a fuentes de conocimiento autorizadas por la empresa. La atribución y la visibilidad de la fuente se pueden configurar en función de los requisitos del cliente.
- Aviso personalizable – Proporcionado al modelo AI y permite definir la personalidad y las capacidades de conversación del agente de voz y la base de conocimiento adecuada.
- Contexto de usuario – Mantenido por Amazon Nova Sonic a lo largo de las secuencias de interacción para permitir una conversación continua natural. La información de identificación personal (PII) se procesa en tiempo real y no está retenida por Amazon Nova Sonic. AWS salvaguarda sus datos a través de controles de seguridad integrales, cifrado en reposo y en tránsito, y certificaciones de cumplimiento, al tiempo que le brinda la flexibilidad de configurar las medidas adicionales de registro, seguridad y cumplimiento a través de los servicios de AWS.
Estos componentes trabajan juntos para crear un servicio de agente de voz flexible e inteligente que pueda adaptarse dinámicamente a diferentes escenarios de comunicación y casos de uso de negocios con diferentes bases y indicaciones de conocimiento.
Ejemplo de casos de uso
Las siguientes son solo algunas de las formas de alto impacto en que las empresas ya están utilizando esta integración para transformar las interacciones de voz:
- Automatización de soporte al cliente – Implemente agentes de voz que respondan consultas de clientes entrantes, tomen citas y intensifiquen las llamadas solo cuando sea necesario.
- Llamadas de salida proactivas -Genere mensajes de salida dinámicos y expresivos como recordatorios, confirmaciones o seguimientos con alojamiento de correo de voz.
- Asistentes de voz multilingües – Cree experiencias de voz que cambien sin problemas entre inglés y español dependiendo de la persona que llama, habilitada por la detección de idiomas de Vonage y la síntesis multilingüe con Amazon Nova Sonic.
Conclusión
Al combinar Amazon Nova Sonic con la infraestructura de comunicación flexible de Vonage, los desarrolladores pueden construir agentes de voz inteligentes y receptivos de IA. Con esta solución, puede proporcionar un compromiso de voz proactivo, crear asistentes multilingües, manejar la atención al cliente y más. Esta integración hace que las aplicaciones de IA de primera voz sean más accesibles y escalables que nunca.
Para comenzar a construir con Amazon Nova Sonic, visite el Consola de roca en Amazon. Para la integración de vonage, explore el Vonage API Developer Portal o usar el Vonage Solution Builder Para configurar su agente de voz en minutos.
Para obtener más información sobre Amazon Nova Sonic, consulte el Blog de noticias de AWS, Página de productos de Amazon Nova Sonico Guía del usuario de Amazon Bedrock.
Sobre los autores
Divyesha malhotra es pasante técnico de gerente de producto senior en el equipo AGI Nova Sonic. Ella lidera la adopción de los clientes e integraciones de los modelos de cimientos de discurso de vanguardia para tecnologías basadas en la voz de próxima generación.
Mark Berkeland es ingeniero de soluciones senior en la Unidad de Negocios API en Vonage. Diseña e implementa soluciones técnicas que incluyen demostraciones y pruebas de concepto para ayudar a los clientes a dar vida a los clientes a dar vida a las aplicaciones de voz y mensajes. Con una carrera de programación profesional que comenzó en 1979, su experiencia abarca desde Fortran en tarjetas perforadas hasta pilas modernas nativas de la nube como React Native, que combina una experiencia técnica profunda con la pasión por hacer que las ideas complejas sean accesibles.
Oscar Rodríguez Es director senior de soluciones de socios globales en la Unidad de Negocios API en Vonage, donde dirige iniciativas estratégicas para empoderar a los socios a través de soluciones de comunicaciones escalables. Aporta una profunda experiencia técnica y una comprensión práctica del desarrollo de aplicaciones del mundo real con más de 20 años de experiencia en tecnologías web y los últimos 10 en CPAA.
Marina Gerzon es un arquitecto de soluciones asociadas en Vonage con más de 20 años de experiencia en comunicaciones en tiempo real, especializándose en soluciones IP de video y voz a través de IP. Conocida por su capacidad para cerrar la profundidad técnica con el impacto comercial, su trabajo abarca las industrias de telecomunicaciones, educación, atención médica, fintech y seguros, donde ha entregado constantemente las arquitecturas SaaS y PAA de grado empresarial adaptada a las complejas necesidades comerciales.