Construya experiencias de IA conversacionales en tiempo real utilizando Amazon Nova Sonic y LiveKit

El rápido crecimiento de la tecnología de IA generativa ha sido un catalizador para el crecimiento de la productividad del negocio, creando nuevas oportunidades para una mayor eficiencia, experiencias de servicio al cliente mejoradas y resultados más exitosos de los clientes. Los avances generativos de IA generativos están ayudando a las tecnologías existentes a alcanzar su potencial prometido desde hace mucho tiempo. Por ejemplo, las aplicaciones de primera voz han estado ganando tracción en todas las industrias durante años, desde el servicio al cliente hasta la educación, los asistentes y agentes de voz personal. Pero las primeras versiones de esta tecnología lucharon por interpretar el discurso humano o imitar la conversación real. La construcción de la voz de voz en tiempo real, suena natural y de baja latencia se ha mantenido compleja hasta hace poco, especialmente cuando se trabaja con la transmisión de la infraestructura y los modelos de base de discursos (FMS).

El rápido progreso de la tecnología de IA conversacional ha llevado al desarrollo de modelos poderosos que abordan los desafíos históricos de las aplicaciones tradicionales de la primera voz. Amazon Nova Sonic es un FM de voz a voz de vanguardia diseñada para construir aplicaciones de IA conversacionales en tiempo real en Roca madre de Amazon. Este modelo ofrece un rendimiento de precio líder en la industria y baja latencia. La arquitectura Amazon Nova sonora unifica la comprensión del habla y la generación en un solo modelo, para permitir conversaciones de voz reales y de forma humana en aplicaciones de IA.

Amazon Nova Sonic acomoda la amplitud y riqueza del lenguaje humano. Puede entender el discurso en diferentes estilos de habla y generar discurso en voces expresivas, incluidas las voces de sonido masculino y de sonido femenino. Amazon Nova Sonic también puede adaptar los patrones de estrés, entonación y estilo de la respuesta del habla generada para alinearse con el contexto y el contenido de la entrada del habla. Además, Amazon Nova Sonic admite llamadas a funciones y conocimientos con datos empresariales utilizando la generación de recuperación y una generación (RAG). Para simplificar aún más el proceso de aprovechar al máximo esta tecnología, Amazon Nova Sonic ahora está integrado con Agentes de LiveKitun marco ampliamente utilizado que permite a los desarrolladores crear aplicaciones de comunicación de audio, video y datos en tiempo real. Esta integración hace posible que los desarrolladores creen interfaces de voz conversacionales sin necesidad de administrar tuberías de audio complejas o protocolos de señalización. En esta publicación, explicamos cómo funciona esta integración, cómo aborda los desafíos históricos de las aplicaciones de voz primero y algunos pasos iniciales para comenzar a usar esta solución.

Descripción general de la solución

LiveKit es una plataforma de código abierto para construir aplicaciones de voz, video y IA física que pueden ver, escuchar y hablar. Diseñado como una solución de pila completa, ofrece SDK de clientes a través de sistemas web, móviles y de backend, un servidor WEBRTC para transporte de red de baja latencia y características incorporadas, como detección de turnos, equilibrio de carga de agentes, telefonía e integraciones de terceros. Los desarrolladores pueden construir flujos de trabajo de agentes sólidos para aplicaciones en tiempo real sin preocuparse por la infraestructura subyacente, ya sea autohostada, implementada en AWS o ejecutarse en el servicio en la nube de LiveKit.

La construcción de aplicaciones de IA en tiempo real y de voz en tiempo real requiere la gestión de una infraestructura compleja, desde la captura y transmisión de audio hasta la señalización, el enrutamiento y la optimización de latencia, especialmente cuando utilizan modelos bidireccionales como Amazon Nova Sonic. Para simplificar esto, integramos un Nova Sonic Plugin En el marco de los agentes de LiveKit, eliminando la necesidad de administrar tuberías personalizadas o capas de transporte. LiveKit maneja el enrutamiento de audio en tiempo real y la gestión de sesiones, mientras que Nova Sonic proporciona comprensión del habla y generación. Los desarrolladores obtienen características como Audio Full-Duplex, Detección de Actividad de Voz y supresión de ruido fuera de la caja, para que puedan centrarse en diseñar una gran experiencia de usuario para sus aplicaciones de voz de IA.

El siguiente video muestra a Amazon Nova Sonic y LiveKit en acción. Puede encontrar el código para este ejemplo en el Ejemplos de LiveKit Repo Github.

El siguiente diagrama ilustra la arquitectura de soluciones de Amazon Nova Sonic desplegado como agente de voz en el marco LiveKit en AWS.

Requisitos previos

Para implementar la solución, debe tener los siguientes requisitos previos:

• Python versión 3.12 o superior
• Una cuenta de AWS con apropiado Gestión de identidad y acceso (Iam) Permisos para el lecho de roca de Amazon
• Acceso a Amazon Nova Sonic en Amazon Bedrock
• Un navegador web (como Google Chrome o Mozilla Firefox) con soporte de WebRTC

Implementar la solución

Complete los siguientes pasos para comenzar a hablar con Amazon Nova Sonic a través de LiveKit:

1. Instale las dependencias necesarias:

brew install livekit livekit-cli
curl -LsSf https://astral.sh/uv/install.sh | sh

uv es un reemplazo rápido y de servicio piputilizado en el SDK de los agentes de LiveKit (también puede elegir usar pip).

2. Configure un nuevo entorno virtual local:

uv init sonic_demo
cd sonic_demo
uv venv --python 3.12
uv add livekit-agents python-dotenv 'livekit-plugins-aws[realtime]'

3. Para ejecutar el servidor LiveKit localmente, abra un nuevo terminal (por ejemplo, un nuevo proceso UNIX) y ejecute el siguiente comando:

Debe mantener el servidor LiveKit en ejecución durante toda la duración que el agente Amazon Nova Sonic está ejecutando, porque es responsable de la proxy de datos entre las partes.

4. Genere un token de acceso utilizando el siguiente código. Los valores predeterminados para api-key y api-secret son devkey y secretrespectivamente. Al crear un token de acceso para permiso para unirse a una habitación LiveKit, debe especificar el nombre de la habitación y la identidad del usuario.

lk token create \
 --api-key devkey --api-secret secret \
 --join --room my-first-room --identity user1 \
 --valid-for 24h

5. Crear variables de entorno. Debe especificar las credenciales de AWS:

vim .env

// contents of the .env file
AWS_ACCESS_KEY_ID=<aws access key id>
AWS_SECRET_ACCESS_KEY=<aws secret access key>

# if using a permanent identity (e.g. IAM user)
# then session token is optional
AWS_SESSION_TOKEN=<aws session token>
LIVEKIT_API_KEY=devkey
LIVEKIT_API_SECRET=secret

6. Crear el main.py archivo:

from dotenv import load_dotenv
from livekit import agents
from livekit.agents import AgentSession, Agent, AutoSubscribe
from livekit.plugins.aws.experimental.realtime import RealtimeModel

load_dotenv()

async def entrypoint(ctx: agents.JobContext):
    # Connect to the LiveKit server
    await ctx.connect(auto_subscribe=AutoSubscribe.AUDIO_ONLY)
    
    # Initialize the Amazon Nova Sonic agent
    agent = Agent(instructions="You are a helpful voice AI assistant.")
    session = AgentSession(llm=RealtimeModel())
    
    # Start the session in the specified room
    await session.start(
        room=ctx.room,
        agent=agent,
    )

if __name__ == "__main__":
    agents.cli.run_app(agents.WorkerOptions(entrypoint_fnc=entrypoint))

7. Ejecutar el main.py archivo:

uv run python main.py connect --room my-first-room

Ahora estás listo para conectarte al frontend del agente.

8. Ir a https://agents-playground.livekit.io/.
9. Elegir Manual.
10. En el primer campo de texto, ingrese ws://localhost:7880.
11. En el segundo campo de texto, ingrese el token de acceso que generó.
12. Elegir Conectar.

Ahora debería poder hablar con Amazon Nova Sonic en tiempo real.

Si está desconectado de la sala LiveKit, deberá reiniciar el proceso de agente (main.py) para hablar con Amazon Nova Sonic nuevamente.

Limpiar

Este ejemplo se ejecuta localmente, lo que significa que no se requieren pasos de desmontaje especiales para la limpieza. Simplemente puede salir de los procesos del servidor de agente y LiveKit. El único costo incurrido son los costos de hacer llamadas a Amazon Bedrock para hablar con Amazon Nova Sonic. Después de que se haya desconectado de la sala LiveKit, ya no incurrirá en cargos y no se utilizarán los recursos de AWS.

Conclusión

Gracias a la IA generativa, ahora se pueden realizar los beneficios cualitativos prometidos durante mucho tiempo por las aplicaciones de primera voz. Al combinar Amazon Nova Sonic con el Marco de Agentes de LiveKit, los desarrolladores pueden construir aplicaciones de IA en tiempo real y la primera voz con menos complejidad e implementaciones más rápidas. La integración reduce la necesidad de tuberías de audio personalizadas, para que los equipos puedan centrarse en construir experiencias de conversación atractivas.

“Nuestro objetivo con esta integración es simplificar el desarrollo de aplicaciones de IA de voz”, dijo Russ D’A, CEO y cofundador de LiveKit. “Al combinar el marco de los agentes de LiveKit con las capacidades del habla de Nova Sonic, estamos ayudando a los desarrolladores a moverse más rápido, no es necesario administrar la infraestructura de bajo nivel, para que puedan concentrarse en construir sus aplicaciones”.

Para obtener más información sobre Amazon Nova Sonic, lea el blog de noticias de AWS, la página de productos de Amazon Nova Sonic y la Guía del usuario de Amazon Nova Sonic. Para comenzar con Amazon Nova Sonic en Amazon Bedrock, visite la consola de Amazon Bedrock.

Sobre los autores

Glen Ko es un desarrollador de IA en AWS Bedrock, donde su enfoque es permitir la proliferación de herramientas de IA de código abierto y apoyar la innovación de código abierto.

Anuj jauhari Es un gerente senior de marketing de productos en Amazon Web Services, donde ayuda a los clientes a obtener valor de las innovaciones en IA generativa.

OSMAN IPEK es un arquitecto de soluciones en el equipo AGI de Amazon centrado en los modelos de la Fundación Nova. Él guía a los equipos para acelerar el desarrollo a través de estrategias prácticas de implementación de IA, con experiencia que abarca la voz de voz, la PNL y las MLOP.