La tecnología de texto a voz (TTS) ha hecho avances significativos en los últimos años, pero los desafíos siguen siendo la creación de síntesis de habla natural, expresiva y de alta fidelidad. Muchos sistemas TTS luchan por replicar los matices del habla humana, como la entonación, la emoción y el acento, lo que a menudo resulta en voces que suenan artificiales. Además, la clonación de voz precisa sigue siendo difícil, lo que limita la capacidad de generar resultados de voz personalizados o diversos. Estos desafíos han impulsado la investigación continua a modelos TTS más sofisticados capaces de producir un discurso en tiempo real, expresivo y realista.
Zyphra ha introducido el lanzamiento beta de Zonos-V0.1, con dos modelos TTS en tiempo real con clonación de voz de alta fidelidad. El lanzamiento incluye un modelo de transformador de 1.600 millones de parámetros y un modelo híbrido de tamaño similar, ambos disponibles bajo la licencia Apache 2.0. Esta iniciativa de código abierto busca avanzar en la investigación de TTS haciendo que la tecnología de síntesis del habla de alta calidad sea más accesible para los desarrolladores e investigadores.
Los modelos Zonos-V0.1 están entrenados en aproximadamente 200,000 horas de datos del habla, que abarcan patrones de habla neutrales y expresivos. Si bien el conjunto de datos principal consiste en contenido en inglés, se han incorporado porciones significativas de discurso chino, japonés, francés, español y alemán, lo que permite el soporte multilingüe. Los modelos generan discurso realista a partir de indicaciones de texto utilizando incrustaciones de altavoces o prefijos de audio. Pueden realizar una clonación de voz con tan solo 5 a 30 segundos de discurso de muestra y ofrecer controles sobre parámetros como la tasa de hablar, la variación de tono, la calidad del audio y las emociones como la tristeza, el miedo, la ira, la felicidad y la sorpresa. El discurso sintetizado se produce a una frecuencia de muestreo de 44 kHz, lo que garantiza una alta fidelidad de audio.
Zonos-V0.1 incluye varias características clave:
- TTS de disparo cero con clonación de voz: Los usuarios pueden generar discurso proporcionando una muestra de altavoz corta junto con la entrada de texto, lo que permite sintetizar voces con datos mínimos.
- Entradas de prefijo de audio: Al incorporar un prefijo de audio, los modelos pueden igualar las características de los altavoces e incluso reproducir estilos de habla específicas, como susurrar.
- Soporte multilingüe: El sistema admite múltiples idiomas, incluidos inglés, japonés, chino, francés y alemán, aumentando su versatilidad para las aplicaciones globales.
- Calidad de audio y control de emociones: Los usuarios pueden ajustar aspectos como el tono, el rango de frecuencia y el tono emocional para crear salidas de habla más expresivas y naturales.
- Rendimiento eficiente: Corriendo a una velocidad en tiempo real aproximadamente dos veces en un RTX 4090, los modelos están optimizados para aplicaciones en tiempo real.
- Interfaz fácil de usar: Un WebUI basado en Gradio simplifica la generación del habla, lo que lo hace accesible para una gama más amplia de usuarios.
- Despliegue sencillo: Los modelos se pueden instalar e implementar fácilmente utilizando una configuración de Docker proporcionada, lo que garantiza la facilidad de integración en los flujos de trabajo existentes.
Estas características hacen que Zonos-V0.1 sea una herramienta flexible para varias aplicaciones TTS, desde la creación de contenido hasta las herramientas de accesibilidad.
Las evaluaciones tempranas sugieren que Zonos-V0.1 ofrece una generación del habla de alta calidad, a menudo comparable o excediendo sistemas propietarios principales. Si bien la evaluación objetiva de audio sigue siendo compleja, las comparaciones con otros modelos, incluidas soluciones patentadas como once y cartasia, así como alternativas de código abierto como FishSpeech-V1.5, la capacidad de Highlight Zonos para producir un habla clara, natural y expresiva. El modelo híbrido, en particular, ofrece una latencia reducida y un menor uso de la memoria en comparación con la variante del transformador, que se beneficia de su arquitectura basada en Mamba2, que minimiza la dependencia de los mecanismos de atención.
La liberación beta de Zonos-V0.1 representa un importante paso adelante en el desarrollo de TTS de código abierto. Al proporcionar una herramienta de síntesis de voz de alta fidelidad, expresiva y en tiempo real bajo una licencia accesible, Zyphra ofrece a los desarrolladores e investigadores un poderoso recurso para avanzar en aplicaciones TTS. Su combinación de clonación de voz, soporte multilingüe y control de audio de grano fino lo convierte en una adición versátil al campo, con posibles aplicaciones en tecnologías de asistencia, creación de contenido y más allá.
Verificar el Detalle técnico, Página de Github, Zyphra/zonos-v0.1-transformer y Zyphra/Zonos-V0.1-Hybrid. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 75k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.