Los agentes de voz, las aplicaciones de aprendizaje interactivo, las herramientas de accesibilidad y los asistentes de servicio al cliente deben responder sin largas pausas silenciosas. En este tutorial, implementará un modelo de texto a voz (TTS) en Amazon SageMaker AI que puede comenzar a reproducir voz antes de que termine de generar la respuesta completa. Utilice el contenedor de aprendizaje profundo (DLC) AWS vLLM-Omni para implementar Qwen3-TTS, transmitir texto y salida de audio a través de una conexión bidireccional persistente y probar el flujo de trabajo a través de una aplicación Gradio.
Los contenedores de aprendizaje profundo de AWS proporcionan imágenes de Docker con marcos de aprendizaje profundo y dependencias para capacitación e inferencia en AWS. AWS proporciona orientación para la implementación de marcos de servicio ampliamente adoptados, como vLLM y SGLang. Esta publicación es la Parte 1 de una serie sobre DLC especializados, incluidos vLLM-Omni, WhisperX y llama.cpp. Se centra en la transmisión de voz para aplicaciones de voz en tiempo real. La parte 2 aplica el DLC vLLM-Omni a la generación de imágenes y videos. La serie combina casos de uso enfocados con ejemplos de implementación y puntos de referencia reproducibles donde agregan evidencia útil.
El proyecto vLLM-Omni extiende vLLM más allá de la generación de texto para ofrecer modelos que procesan o generan texto, audio, imágenes y video. Los paquetes DLC de AWS vLLM-Omni rastrearon las versiones de vLLM-Omni en imágenes de AWS y agregan middleware de enrutamiento para SageMaker AI. Utilice la transmisión bidireccional de SageMaker para enviar texto y recibir fragmentos de audio a través de la conexión persistente.
La publicación anterior, Cree aplicaciones de voz en tiempo real con Amazon SageMaker AI y vLLM, demuestra el lado de entrada de una canalización de voz. Transmite audio del micrófono al modelo de voz a texto (STT) en tiempo real Voxtral-Mini-4B y devuelve eventos de transcripción. Esta publicación agrega el lado de salida enviando texto a Qwen3-TTS y transmitiendo la voz generada a través del DLC vLLM-Omni.
Clonará el ejemplo de código, implementará un modelo Qwen3-TTS e intentará transmitir voz a través de una aplicación Gradio.
DLC de AWS especializados para inferencia multimodal
Los tiempos de ejecución de inferencia especializados admiten arquitecturas de modelos y canalizaciones de medios que difieren de la generación de texto general. Los DLC de AWS empaquetan estos tiempos de ejecución con sus dependencias de marco y configuración de implementación, lo que le brinda una ruta consistente basada en imágenes hacia los servicios de computación y de inferencia administrados de AWS.
vLLM-Omni extiende vLLM desde la generación autorregresiva centrada en texto hasta modelos que procesan y generan múltiples modalidades. Su abstracción de canalización heterogénea coordina flujos de trabajo de modelos de varias etapas, incluidas las etapas autorregresivas y de difusión. También proporciona salidas de transmisión y API compatibles con OpenAI.
El tiempo de ejecución no se limita a TTS. Sus modelos compatibles incluyen modelos omni unificados, reconocimiento automático de voz (ASR), TTS, generación de audio, generación de imágenes y generación de video. Esta publicación utiliza Qwen3-TTS como ejemplo específico porque la transmisión de voz proporciona una forma directa de demostrar la salida de audio bidireccional.
La publicación anterior de vLLM cubre la ruta de entrada: el audio del micrófono ingresa a un modelo Voxtral y los eventos de transcripción regresan a la aplicación. Una aplicación de voz puede pasar esa transcripción a su lógica de conversación y luego usar este ejemplo para convertir el texto de respuesta en voz transmitida. La orquestación entre los dos puntos finales queda fuera de este tutorial.
Descripción general de la solución
La muestra completa se encuentra en 03-features/bidireccional-streaming-vLLM-Omni. Clone el repositorio para usar el script de implementación, el transporte de transmisión compartido y el cliente Gradio juntos.
La transmisión bidireccional de SageMaker expone un WebSocket full-duplex transportado a través de HTTP/2. El cliente se conecta al punto final de SageMaker Runtime en el puerto 8443. El sidecar de inferencia de SageMaker reenvía la conexión a la ruta WebSocket nativa de vLLM-Omni dentro del contenedor.
La Figura 1 muestra la ruta de solicitud y respuesta. El cliente envía la configuración de la sesión y eventos de texto. Qwen3-TTS devuelve el ciclo de vida del audio y los eventos de fragmentos a través de la misma conexión.
Figura 1: Una aplicación Gradio utiliza un WebSocket HTTP/2 para transmitir eventos de texto a través de Amazon SageMaker AI, el sidecar de inferencia y el DLC vLLM-Omni a Qwen3-TTS. Los eventos de audio y los fragmentos PCM de 24 kHz regresan a través de la misma conexión
El DLC vLLM-Omni v1.5 agrega la etiqueta de capacidad de transmisión bidireccional y el middleware de enrutamiento requerido por SageMaker AI. El ejemplo utiliza v1/audio/speech/stream, una de las rutas nativas de WebSocket expuestas por vLLM-Omni.
La configuración del punto final también utiliza grupos de instancias de SageMaker. Un grupo de instancias define una lista ordenada por prioridad de tipos de instancias compatibles para una variante de producción. SageMaker primero prueba ml.g6.xlarge, luego recurre a ml.g6e.xlarge, ml.g5.xlarge o ml.g4dn.xlarge cuando la capacidad no está disponible. Todavía aprovisiona una instancia, no una instancia por grupo.
SageMaker valida la cuota para cada entrada del grupo configurado cuando crea el punto final, por lo que necesita una cuota disponible para cada tipo incluido. Su costo por hora también puede cambiar si SageMaker selecciona una instancia diferente. Utilice –instance-types para restringir el grupo a los tipos que cumplan con sus requisitos de cuota, precio y rendimiento.
Requisitos previos
Antes de comenzar, necesitas:
Una cuenta de AWS con credenciales configuradas para AWS Command Line Interface (AWS CLI) o un SDK de AWS Git Python 3.12 o posterior Un rol de ejecución de SageMaker AI Permiso para crear e invocar puntos finales de SageMaker AI Cuota de puntos finales para al menos un tipo de instancia agrupada: ml.g6.xlarge, ml.g6e.xlarge, ml.g5.xlarge o ml.g4dn.xlarge Boto3 versión 1.40.0 o más nuevo El cliente SageMaker Runtime HTTP/2 Python versión 0.4.0
El tutorial utiliza la región Este de EE. UU. (Norte de Virginia). El ejemplo crea el URI de la imagen DLC y el punto final del tiempo de ejecución desde AWS_REGION.
Implementar un punto final de transmisión de voz
Clona el repositorio de ejemplos de hosting. Clone el repositorio e ingrese al directorio de muestra de transmisión bidireccional vLLM-Omni.
Instale los paquetes de Python necesarios. Cree un entorno virtual e instale las versiones definidas por el ejemplo.
Configurar la muestra. Establezca su función de ejecución de SageMaker AI. El ejemplo predeterminado es us-east-1. Pase –region para usar otra región compatible.
La configuración de AMI de inferencia es necesaria para el sidecar de SageMaker que maneja el WebSocket HTTP/2. La ruta de invocación del modelo debe omitir la barra diagonal porque SageMaker la agrega antes de reenviar la solicitud.
Implementar y conservar el punto final del modelo. El ejemplo crea un modelo de SageMaker a partir del DLC, una configuración de punto final y un punto final en tiempo real. La variable de entorno SM_VLLM_MODEL le dice al contenedor qué modelo cargar. El script también ejecuta una prueba de humo en streaming y guarda el resultado como validation-output.wav.
Espere hasta que el punto final llegue a InService. La primera implementación lleva tiempo porque la instancia descarga la imagen DLC y los artefactos del modelo.
Inicie la aplicación Gradio. Ejecute el cliente Gradio registrado en el punto final.
Abra http://127.0.0.1:6006 en su navegador. La opción –share crea un enlace público de Gradio, así que déjala deshabilitada a menos que necesites ese comportamiento.
Generar voz en streaming. Ingrese texto, elija una voz y un idioma y elija Generar voz. El cliente compartido abre la transmisión bidireccional, configura la salida de modulación de código de pulso (PCM) y envía el texto.
El componente de audio Gradio reproduce cada fragmento PCM de 24 kHz a medida que el cliente lo recibe. El campo de estado informa el recuento de fragmentos y el total de bytes de audio.
Elimine los recursos de muestra. Detenga el proceso de Gradio, luego elimine el punto final, la configuración del punto final y el modelo.
Limpiar
Confirme que el comando de limpieza informe la eliminación del punto final, la configuración del punto final y el modelo. Si el proceso se detiene antes de que se complete la limpieza, elimine los recursos a través de la consola o API de SageMaker AI. Un terminal GPU en ejecución sigue generando cargos.
Conclusión
Al implementar un modelo de texto a voz, utilizó el DLC AWS vLLM-Omni en SageMaker AI para transmitir audio mientras el modelo aún lo estaba generando. Este ejemplo muestra cómo los DLC de AWS especializados admiten modelos multimodales cuyos patrones de ejecución y transmisión difieren de la generación de texto general. Junto con el ejemplo anterior de voz a texto de vLLM, las muestras muestran rutas complementarias: transmitir el audio del micrófono a la transcripción y luego transmitir la respuesta de texto de la aplicación como voz. Parte 2 que mostrará cómo utilizar la misma familia de DLC para la generación de imágenes y vídeos.
Pruebe el código de muestra, luego explore la documentación del DLC de vLLM-Omni y la guía para desarrolladores de transmisión bidireccional de SageMaker AI para aplicar el patrón a otros modelos multimodales compatibles.
Recursos
Expresiones de gratitud
Los autores agradecen a Zhuofu Bai, Ayush Sharma, Christian Kamwangala y Jon Chua por sus contribuciones a la solución y al proceso de publicación.