La generación de texto a audio ha surgido como un enfoque transformador para sintetizar el sonido directamente a partir de indicaciones textuales, ofreciendo un uso práctico en la producción musical, los juegos y las experiencias virtuales. Bajo el capó, estos modelos generalmente emplean técnicas gaussianas basadas en flujo, como difusión o flujos rectificados. Estos métodos modelan los pasos incrementales que pasan del ruido aleatorio al audio estructurado. Si bien es altamente efectivo para producir paisajes sonoros de alta calidad, las lentas velocidades de inferencia han planteado una barrera para la interactividad en tiempo real. Es particularmente limitante cuando los usuarios creativos esperan una capacidad de respuesta similar al instrumento de estas herramientas.
La latencia es el problema principal con estos sistemas. Los modelos actuales de texto a audio pueden tomar varios segundos o incluso minutos para generar unos segundos de audio. El cuello de botella central se encuentra en su arquitectura de inferencia basada en escalones, que requiere entre 50 y 100 iteraciones por salida. Las estrategias de aceleración anteriores se centran en los métodos de destilación donde los modelos más pequeños están capacitados bajo la supervisión de modelos de maestros más grandes para replicar la inferencia de múltiples pasos en menos pasos. Sin embargo, estos métodos de destilación son computacionalmente caros. Exigen almacenamiento a gran escala para salidas de capacitación intermedia o requieren el funcionamiento simultáneo de varios modelos en la memoria, lo que dificulta su adopción, especialmente en dispositivos móviles o de borde. Además, tales métodos a menudo sacrifican la diversidad de salida e introducen artefactos de sobre saturación.
Mientras que se han intentado algunos métodos adversos posteriores a la capacitación para evitar el costo de la destilación, su éxito ha sido limitado. La mayoría de las implementaciones existentes se basan en la destilación parcial para la inicialización o no escala bien a la síntesis de audio compleja. Además, las aplicaciones de audio han visto menos soluciones totalmente adversas. Herramientas como Presto integran objetivos adversos, pero aún dependen de los modelos de maestros y la capacitación basada en CFG para obtener una adherencia rápida, lo que restringe su diversidad generativa.
Investigadores de UC San Diego, AI de estabilidad y brazo introducidos Posterior a la contrativación relativista (ARC) de la delantera. Este enfoque evita la necesidad de modelos de maestros, destilación o orientación sin clasificadores. En cambio, ARC mejora un generador de flujo rectificado previamente capacitado existente al integrar dos objetivos de entrenamiento novedosos: una pérdida de adversaria relativista y una pérdida de discriminador contrastante. Estos ayudan al generador a producir audio de alta fidelidad en menos pasos mientras mantienen una fuerte alineación con las indicaciones de texto. Cuando se combina con el marco de Audio Open (SAO) estable, el resultado fue un sistema capaz de generar 12 segundos de audio estéreo de 44.1 kHz en solo 75 milisegundos en una GPU H100 y alrededor de 7 segundos en dispositivos móviles.
Con metodología de arco, introdujeron Audio estable abiertouna versión compacta y eficiente de SAO adaptada para entornos con recursos limitados. Este modelo contiene 497 millones de parámetros y utiliza una arquitectura basada en un transformador de difusión latente. Consiste en tres componentes principales: un autoencoder de compresión de forma de onda, un sistema de incrustación de texto basado en T5 para acondicionamiento semántico y un DIT (transformador de difusión) que funciona dentro del espacio latente del autoencoder. Audio estable abierto puede generar audio estéreo de hasta 11 segundos a 44.1 kHz. Está diseñado para implementarse utilizando la biblioteca ‘Stable-Audio-Tools y admite un muestreo de ping-pong, permitiendo una generación eficiente de pocos pasos. El modelo demostró una eficiencia de inferencia excepcional, logrando velocidades de generación de menos de 7 segundos en un teléfono Vivo X200 Pro después de aplicar la cuantización dinámica INT8, que también redujo el uso de RAM de 6.5GB a 3.6 GB. Esto lo hace especialmente viable para aplicaciones creativas en el dispositivo como herramientas de audio móvil y sistemas integrados.
El enfoque de entrenamiento de ARC implica reemplazar la pérdida tradicional de L2 con una formulación adversaria donde las muestras generadas y reales, emparejadas con indicaciones idénticas, son evaluadas por un discriminador entrenado para distinguirlas. Un objetivo contrastante enseña al discriminador a clasificar los pares precisos de texto de audio más altos que los que no coinciden para mejorar la relevancia rápida. Estos objetivos emparejados eliminan la necesidad de CFG al tiempo que logran una mejor adherencia rápida. Además, ARC adopta el muestreo de ping-pong para refinar la salida de audio mediante ciclos alternos de renovación y recompensa, reduciendo los pasos de inferencia sin comprometer la calidad.
El rendimiento de ARC se evaluó ampliamente. En las pruebas objetivas, logró una puntuación FDOPENL3 de 84.43, una puntuación KLPASST de 2.24 y una puntuación de aplause de 0.27, lo que indica calidad equilibrada y precisión semántica. La diversidad fue notablemente fuerte, con un puntaje de diversidad condicional (CCDS) de Clap de 0.41. El factor en tiempo real alcanzó 156.42, reflejando una velocidad de generación sobresaliente, mientras que el uso de la memoria de GPU permaneció en un práctico 4.06 GB. Subjetivamente, ARC obtuvo un puntaje de 4.4 para la diversidad, 4.2 por calidad y 4.2 para la rápida adherencia en evaluaciones humanas que involucran a 14 participantes. A diferencia de los modelos basados en la destilación como Presto, que obtuvieron puntajes más altos en la calidad, pero cayó a 2.7 en diversidad, ARC presentó una solución más equilibrada y práctica.
Varias conclusiones clave de la investigación por estabilidad IA en la comprensión relativista contrastiva (ARC) posterior a la capacitación y el audio estable Abierto de audio pequeño incluyen:
- ARC después del entrenamiento evita la destilación y el CFG, dependiendo de pérdidas adversas y contrastadas.
- ARC genera 12s de audio estéreo de 44.1 kHz en 75 ms en H100 y 7s en CPU móviles.
- Logra 0.41 puntaje de diversidad condicional de aplausos, el más alto entre los modelos probados.
- Puntajes subjetivos: 4.4 (diversidad), 4.2 (calidad) y 4.2 (adherencia rápida).
- El muestreo de ping-pong permite una inferencia de pocos pasos mientras refina la calidad de la salida.
- Stable Audio Open Small ofrece parámetros de 497m, admite la generación de 8 pasos y es compatible con implementaciones móviles.
- En Vivo X200 Pro, la latencia de inferencia cayó de 15.3 a 6.6s con la mitad de la memoria.
- ARC y SAO Small ofrecen soluciones en tiempo real para música, juegos y herramientas creativas.
En conclusión, la combinación de ARC después de la capacitación y el audio estable abierto Small elimina la dependencia de la destilación intensiva en recursos y la orientación sin clasificadores, lo que permite a los investigadores ofrecer un marco adversario optimizado que acelera la inferencia sin comprometer la calidad de producción o la adherencia rápida. ARC permite la síntesis de audio rápida, diversa y semánticamente rica en entornos de alto rendimiento y móviles. Con el audio estable abierto pequeño optimizado para la implementación liviana, esta investigación establece las bases para integrar herramientas de audio generativas y receptivas en flujos de trabajo creativos cotidianos, desde diseño de sonido profesional hasta aplicaciones en tiempo real en dispositivos Edge.
Mira el Papel, Página de Github y Modelo en la cara abrazada. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 90k+ ml de subreddit.
Asjad es consultor interno en MarktechPost. Está persiguiendo B.Tech en Ingeniería Mecánica en el Instituto de Tecnología Indio, Kharagpur. Asjad es un entusiasta de aprendizaje automático y aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.
