Stability AI ha publicado pesos abiertos para Stable Audio 3 junto con un artículo de investigación técnica. Stable Audio 3 es una familia de modelos de difusión latente que generan audio estéreo a 44,1 kHz. Los modelos admiten resultados de longitud variable, edición basada en pintura e inferencia rápida.
¿Qué es el audio estable 3?
Stable Audio 3 es una familia de tres modelos de escala: pequeña, mediana y grande. Un modelo de difusión latente genera audio aprendiendo a eliminar progresivamente el ruido de una representación comprimida de audio, llamada latente. El modelo aprende un mapeo del ruido a los datos entrenando en muchos pares (ruidosos latentes, audio).
Los tres modelos de báscula se diferencian por su capacidad y duración máxima de generación. Todos los recuentos de parámetros a continuación son solo para el componente del transformador de difusión. Cada modelo también incluye un codificador automático SAME (108M parámetros para SAME-S, 852M para SAME-L).
música pequeña: parámetros del transformador de difusión 459M, hasta 2 minutos, solo música. Small-sfx: parámetros del transformador de difusión 459M, hasta 2 minutos, solo efectos de sonido. Medio: parámetros del transformador de difusión de 1,4 B, hasta 6 minutos y 20 segundos, música y efectos de sonido. Grande: parámetros del transformador de difusión de 2,7 B, hasta 6 minutos y 20 segundos, música y efectos de sonido.
Hay pesas abiertas para pequeños y medianos disponibles en Hugging Face. Large está disponible bajo una licencia empresarial.
Arquitectura: dos componentes
Stable Audio 3 tiene dos componentes principales: un codificador automático semántico-acústico llamado SAME y un transformador de difusión que genera secuencias latentes condicionadas al texto, la duración y las máscaras de pintura.
El MISMO codificador automático
SAME (Codificador automático de música alineado semánticamente) convierte audio estéreo de 44,1 kHz en una representación latente compacta y viceversa. Su parámetro de diseño clave es una relación de reducción de resolución de 4096×, sustancialmente mayor que las relaciones de 1024× a 2048× comunes en los codificadores automáticos de audio anteriores. Esta proporción más alta reduce la longitud de las secuencias latentes lo suficiente como para que la generación de formato largo se ejecute en hardware de consumo.
SAME logra su compresión de 4096× a través de dos etapas. Primero, una etapa de parcheo transforma el audio estéreo en parches no superpuestos de 256 muestras por canal, logrando una reducción de resolución de 256×. En segundo lugar, un bloque de remuestreo de transformador (TRB) aplica una reducción de resolución adicional de 16 × utilizando incrustaciones de salida aprendibles intercaladas con la secuencia de entrada, procesadas a través de un transformador. La salida combinada es una secuencia latente de 256 dimensiones a aproximadamente 10,76 Hz para una entrada de 44,1 kHz.
El codificador automático SAME está entrenado con cinco tipos de pérdida: reconstrucción espectral, confrontación, alineación de difusión, regresión semántica (predicción de croma y diferencia de nivel interaural) y alineación latente contrastante. Estas pérdidas empujan a lo latente a preservar tanto la calidad de la reconstrucción acústica como la estructura semántica. Un cuello de botella de normalización suave limita la escala de lo latente, proporcionando una codificación determinista.
El codificador automático SAME se congela durante el entrenamiento de difusión. Los modelos pequeños utilizan SAME-S (parámetros de 108M, optimizados para la inferencia de la CPU); uso mediano y grande SAME-L (parámetros 852M).
El transformador de difusión
El transformador de difusión funciona con las MISMAS latentes. El condicionamiento entra por tres vías:
Texto: un codificador T5Gemma congelado produce una secuencia de 256 incrustaciones de dimensión 768. Las indicaciones breves se completan hasta 256 con una incrustación aprendida; Las indicaciones largas se truncan. Duración: codificada como un vector de características de Fourier e inyectada mediante Normalización de capa adaptativa (AdaLN) y atención cruzada junto con el mensaje de texto. Inpainting: se proyecta una máscara binaria concatenada con el audio de referencia enmascarado a través de un MLP de 2 capas y se agrega al flujo residual de cada bloque de transformador.
Cada bloque transformador contiene autoatención, atención cruzada, acondicionamiento de aditivos locales para pintura interna y una red de alimentación directa SwiGLU. Medio y grande utilizan atención diferencial, que calcula dos mapas de atención separados utilizando dos pares (Q, K) que comparten un conjunto de valores V, luego resta un mapa del otro. Esto anula patrones de atención que son comunes a ambas cabezas. El transformador antepone 64 incrustaciones de memoria que se pueden aprender antes de procesar cada secuencia. Estos proporcionan un búfer de contexto global al que cada posición puede atender y se eliminan antes de calcular cualquier pérdida.
Generación de longitud variable
La mayoría de los modelos de difusión latente anteriores para audio funcionan con una longitud de secuencia máxima fija. Generar un clip corto aún requiere ejecutar inferencias en toda su extensión, lo que desperdicia computación en silencio. Stable Audio 3 está entrenado para generar audio de longitud variable de forma nativa, utilizando tres mecanismos:
Atención flash de longitud variable y pérdida enmascarada: las secuencias más cortas que el máximo del lote se rellenan a la derecha en el espacio latente. Las posiciones acolchadas están excluidas de la auto atención y de la pérdida. Cambios de paso de tiempo por elemento: las secuencias más largas conservan más estructura en un nivel de ruido determinado debido a la redundancia entre elementos vecinos. Para compensar, el programa de ruido se desplaza hacia niveles de ruido más altos para secuencias más largas durante el entrenamiento, utilizando un cambio logístico parametrizado por µ (interpolando entre µmin=0,5 y µmax=1,15 según la longitud de la secuencia). Aumento del silencio: la región de la señal se extiende aleatoriamente con incorporaciones de silencio precalculadas extraídas de una distribución exponencial, con un promedio de 4 segundos. Esto le enseña al modelo a terminar el audio con un silencio natural.
El resultado práctico es que el costo de inferencia aumenta con la duración de la producción. Medium genera 20 segundos de audio en aproximadamente 0,62 segundos en un H200. Generar 380 segundos lleva 1,31 segundos en el mismo hardware.
Canal de capacitación de tres etapas
Etapa 1: Preentrenamiento de coincidencia de flujo. El modelo aprende un campo de velocidad que transporta el ruido gaussiano hacia señales de audio latentes. La capacitación utiliza un acoplamiento de transporte óptimo de minibatch a través de iteraciones Sinkhorn, que empareja cada muestra de datos con el vector de ruido disponible más cercano en el lote. Esto endereza las trayectorias de entrenamiento y reduce los cruces de vías de transporte. Inpainting se entrena de forma conjunta en todo momento: en cada paso, se muestra uno de los tres tipos de máscara: máscara completa (80%, equivalente a generación incondicional), máscaras de segmento aleatorio (10%) o una máscara de prefijo causal para continuación (10%).
Etapa 2: Calentamiento de destilación. Una copia congelada del modelo de coincidencia de flujo (maestro) genera trayectorias DPM++ de 15 pasos con escala CFG 5. El estudiante es entrenado durante 10,000 pasos para mapear cualquier estado ruidoso intermedio directamente a la salida final sin ruido del maestro en un solo paso, usando una pérdida de MSE. Esto colapsa la ODE de varios pasos en un eliminador de ruido de un solo paso. La contrapartida es que la regresión MSE produce resultados que regresan hacia la media condicional, lo que reduce los detalles detallados.
Etapa 3: Post-entrenamiento adversario. Esta etapa reemplaza el objetivo de MSE con una configuración de confrontación relativista. Un discriminador (inicializado a partir del modelo de coincidencia de flujo base) evalúa las salidas sin ruido de un paso del estudiante directamente con datos reales. En esta etapa el profesor queda completamente descartado. El generador está entrenado con dos pérdidas: una pérdida adversarial relativista (L_R) y una pérdida de alineación CLAP (L_CLAP). El discriminador se entrena con L_R y una pérdida de contraste (L_C) que penaliza al discriminador por ignorar la alineación texto-audio (está entrenado para distinguir pares de audio-texto correctamente emparejados de los mezclados). La configuración adversarial permite que el modelo recupere la agudeza perceptiva que elimina la destilación MSE.
Inferencia: muestreo de ping-pong y sin CFG
El modelo post-entrenado puede generar audio en un solo pase hacia adelante. Sin embargo, la generación en un solo paso a partir de ruido puro sigue siendo difícil. Stable Audio 3 utiliza muestreo de ping-pong en la inferencia: el modelo elimina el ruido hasta obtener una estimación limpia, luego agrega ruido nuevo a un nivel reducido y luego elimina el ruido nuevamente. Esto se repite durante 8 pasos utilizando un programa logSNR uniforme (N+1 pasos igualmente espaciados en el intervalo [λmin, λmax] = [−6,2, 2,0]). El programa iterativo de eliminación de ruido y luego eliminación de ruido permite que cada paso corrija los errores del paso anterior.
Stable Audio 3 no requiere guía sin clasificador (CFG) en la inferencia. Los modelos de difusión estándar ejecutan dos pases directos por paso (uno condicional y otro incondicional) e interpolan. Aquí, las ganancias en la calidad del CFG se internalizan durante el calentamiento de la destilación, donde se capacita al estudiante para que coincida con las trayectorias docentes mejoradas por el CFG. La alineación texto-audio se refuerza aún más a través de L_CLAP durante el post-entrenamiento adversario. Esto elimina el costo de dos pasos por paso del CFG.
Nota de formato de aviso: todos los modelos de Stable Audio 3 entrenados en AudioSparx (música pequeña, mediana, grande) requieren prefijos de aviso para funcionar correctamente. Las indicaciones de música deben ir precedidas de "TrackType: Music, VocalType: Instrumental" y las indicaciones de efectos de sonido, "TrackType: SFX".
Resultados de la evaluación
Música instrumental (conjunto de datos de descripción de canciones, 120). En FAD (cuanto más bajo, mejor) y CLAP (cuanto más alto, mejor), grande alcanza FAD 0,101 / CLAP 0,393. Medio alcanza FAD 0,107 / CLAP 0,390. Stable Audio 2.5 (la línea base interna de la generación anterior) alcanza FAD 0.106 / CLAP 0.395. En la prueba de escucha, los medios y grandes obtienen una puntuación más alta en musicalidad (MUS) que Stable Audio 2.5 (4,15 y 4,30 frente a 3,70 sobre 5, respectivamente). Tiempo de inferencia para audio de 120 s en un H200: 0,45 s para pequeño, 0,78 s para mediano y 0,81 s para grande. Stable Audio 2.5 tarda 0,85 s para la misma duración.
Efectos de sonido (conjunto de datos de efectos de sonido de la BBC, 5 s). El medio alcanza FAD 0,369 / CLAP 0,369. Las siguientes mejores líneas de base de peso abierto son Stable Audio Open Small (FAD 0.500 / CLAP 0.277) y Stable Audio Open (FAD 0.501 / CLAP 0.263). Woosh Flow obtiene una puntuación FAD de 0,580.
Edición de audio (inpainting). El equipo de investigación evalúa tres entornos de pintura: región única, dos regiones independientes y continuación. Para la música, el medio logra un FAD completo de 0,046 en pintura simple y 0,046 en pintura doble. Grande alcanza 0,047 en ambos. A continuación, el medio alcanza FAD completo 0,074 y el grande alcanza 0,071. Los resultados de los efectos de sonido siguen un patrón similar; La continuación muestra un FAD más alto que en la pintura en ambos dominios, lo que el equipo atribuye a que el modelo tiene menos contexto de audio circundante para anclar la generación.
Comparación
Especificaciones del modelo
Puntos de referencia musicales (SDD, 120s)
Puntos de referencia SFX (BBC, 5s)
★ Filas SA3: los recuentos de parámetros son solo para el componente del transformador de difusión (DT); Los MISMOS parámetros del codificador automático se enumeran por separado. Tamaño total del modelo incluido SAME: pequeño ~567M, mediano ~2.25B, grande ~3.55B.
Stable Audio 2.5 es un modelo interno de estabilidad AI que no se ha publicado públicamente; incluido como línea de base interna de generación anterior del documento SA3.
DiffRhythm 2 VAE procesa audio de entrada de 24 kHz y lo reconstruye a 48 kHz (arXiv:2510.22950).
Configuración de evaluación: conjunto de datos de descripción de canciones (SDD), generaciones de música instrumental de 120 años, GPU H200. FAD utiliza incrustaciones LAION-CLAP (630k-audioset-best.pt). OVL/REL/MUS son puntuaciones de opinión medias (1 a 5) de una prueba de escucha de 14 participantes. Fuente: documento SA3, Tablas 3 y 4. Negrita + subrayado = mejor puntuación en la columna.
FAD: Distancia de audio Fréchet: cuanto menor sea, mejor. CLAP: similitud de coseno entre incrustaciones de texto y audio: cuanto más alto, mejor.
OVL = calidad general de la producción. REL = relevancia del texto. MUS = musicalidad (coherencia melodía/armonía).
ACE-Step 1.5 y DiffRhythm 2 se evaluaron con indicaciones instrumentales solo para una comparación justa con SA3 (modelos solo instrumentales). Los modelos de coincidencia de flujo base SA3 (50 pasos, CFG 7, muestreador Euler) no se muestran aquí; consulte la Tabla 11 del documento SA3 para esa comparación.
Configuración de evaluación: conjunto de datos de efectos de sonido de la BBC, ≤5 generaciones coincidentes con la duración de referencia, GPU H200. FAD utiliza incrustaciones LAION-CLAP. OVL/REL de una prueba de escucha de 14 participantes. Fuente: artículo SA3 Tabla 5. Negrita + subrayado = mejor puntuación en la columna.
Woosh DFlow logra la inferencia más rápida (0,06 s), pero a un costo de calidad: mayor FAD que Woosh Flow. SA3 de efectos pequeños, medianos y grandes superan a todos los competidores en FAD y CLAP en la quinta generación.
Los modelos SA3 no utilizan guía sin clasificador (CFG) en la inferencia. Las ganancias en la calidad del CFG se internalizan durante el entrenamiento de calentamiento de destilación.
Conclusiones clave
Stable Audio 3 es una familia de modelos de difusión latente de peso abierto (pequeños, medianos y grandes) para la generación y edición de música y efectos de sonido. Un codificador automático SAME con reducción de resolución de 4096× comprime el audio en latentes de 256 dimensiones a ~10,76 Hz, lo que hace que la generación de formato largo sea manejable en hardware de consumo. La generación de longitud variable se admite de forma nativa: el costo de inferencia se escala con la duración solicitada, no con una longitud máxima fija. El entrenamiento en tres etapas (coincidencia de flujo → calentamiento de destilación → posentrenamiento adversario) permite la inferencia de 8 pasos sin guía sin clasificador. Se requieren prefijos de aviso ("TrackType: Music, VocalType: Instrumental" / "TrackType: SFX") para las variantes de modelos entrenados por AudioSparx.
Consulte el papel, los pesos de los modelos y el repositorio aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros