Tongyi Lab de Alibaba ha lanzado Qwen-Audio-3.0-TTS, un sistema de conversión de texto a voz (TTS) orientado a la producción. El modelo se envía en dos variantes del mismo linaje. Flash apunta a la interacción en tiempo real. Plus apunta a la generación de alta calidad. Ambos se entregan como modelos alojados a través de Alibaba Cloud Model Studio, no como pesas descargables.
El lanzamiento se centra en cuatro cosas que los desarrolladores lograron en la producción: cobertura de lenguaje más amplia, control de estilo de lenguaje natural, control de etiquetas detallado y solidez cuando el audio de referencia no está limpio. Qwen-Audio-3.0-TTS-Plus también ocupa el primer lugar en la clasificación independiente de análisis artificial de texto a voz.
Dos variantes, un linaje
Los dos niveles se asignan a diferentes trabajos. Flash está optimizado para la interacción en tiempo real, con una latencia del primer paquete de 300 ms. Plus está optimizado para una generación de alta calidad, donde la naturalidad y la fidelidad del timbre importan más que la velocidad.
Los ID de modelo son qwen-audio-3.0-tts-flash y qwen-audio-3.0-tts-plus. Ambos se llaman a través de un protocolo de transmisión WebSocket bidireccional. La API admite PCM, WAV, MP3 y Opus, con salida de frecuencia de muestreo de hasta 48 kHz. Expone entrada y salida de transmisión, clonación de voz, diseño de voz y control de instrucciones. Alibaba proporciona el SDK de DashScope además de ejemplos sin formato de WebSocket en Python, Java, Go, C#, PHP y Node.js en sus regiones de Singapur y Beijing.
Cómo se construye el modelo
Dos opciones de diseño anclan el sistema.
Un tokenizador de voz de baja velocidad de cuadros de 12,5 Hz reduce el costo de decodificación autorregresiva y al mismo tiempo conserva el contenido y la información del hablante. Una velocidad de cuadros más baja significa menos tokens por segundo de audio, lo que reduce la latencia de inferencia. Un paradigma de entrenamiento progresivo de cinco etapas coordina los componentes del modelo de lenguaje (LM) y de coincidencia de flujo (FM). Las etapas son preentrenamiento independiente de LM y FM, entrenamiento conjunto con recocido de datos de alta calidad, aprendizaje por refuerzo de LM, entrenamiento de robustez de FM y aprendizaje por refuerzo de FM. El equipo de investigación informa que este canal mejora la coherencia del contenido, la naturalidad prosódica, la fidelidad de la voz, la calidad de percepción y la solidez.
El modelo también maneja síntesis de formato largo de una sola pasada de hasta 3 minutos, casos de normalización de texto estricto y superresolución de vocoder para salida de 48 kHz.