Hasta ahora, la mayoría de los modelos de música generativa producían sonido mono. Esto significa que MusicGen no coloca ningún sonido o instrumento en el lado izquierdo o derecho, lo que resulta en una mezcla menos animada y emocionante. La razón por la que hasta ahora se ha pasado por alto el sonido estéreo es que generar estéreo no es una tarea trivial.
Como músicos, cuando producimos señales estéreo, tenemos acceso a las pistas de instrumentos individuales en nuestra mezcla y podemos colocarlas donde queramos. MusicGen no genera todos los instrumentos por separado, sino que produce una señal de audio combinada. Sin acceso a estas fuentes de instrumentos, crear sonido estéreo es difícil. Desafortunadamente, dividir una señal de audio en sus fuentes individuales es un problema difícil (he publicado un entrada en el blog sobre eso) y la tecnología aún no está 100% lista.
Por ello, Meta decidió incorporar la generación estéreo directamente al modelo MusicGen. Utilizando un nuevo conjunto de datos que consta de música estéreo, entrenaron a MusicGen para producir salidas estéreo. Los investigadores afirman que generar estéreo no supone costes informáticos adicionales en comparación con mono.
Aunque creo que el procedimiento estéreo no se describe muy claramente en el artículo, tengo entendido que funciona así (figura 3): MusicGen ha aprendido a generar dos señales de audio comprimidas (canal izquierdo y derecho) en lugar de una señal mono. Estas señales comprimidas deben luego decodificarse por separado antes de combinarlas para crear la salida estéreo final. La razón por la que este proceso no lleva el doble de tiempo es que MusicGen ahora puede producir dos señales de audio comprimidas aproximadamente al mismo tiempo que antes tardaba una señal.
Ser capaz de producir un sonido estéreo convincente realmente distingue a MusicGen de otros modelos de última generación como MusicLM o Stable Audio. Desde mi perspectiva, esta “pequeña” adición marca una gran diferencia en la vivacidad de la música generada. Escuchen ustedes mismos (puede ser difícil escucharlo en los parlantes de los teléfonos inteligentes):
Mononucleosis infecciosa
Estéreo
MusicGen fue impresionante desde el día de su lanzamiento. Sin embargo, desde entonces, el equipo FAIR de Meta ha mejorado continuamente su producto, permitiendo resultados de mayor calidad que suenan más auténticos. Cuando se trata de modelos de conversión de texto a música que generan señales de audio (no MIDI, etc.), MusicGen está por delante de sus competidores desde mi perspectiva (a noviembre de 2023).
Además, dado que MusicGen y todos sus productos relacionados (EnCodec, AudioGen) son de código abierto, constituyen una increíble fuente de inspiración y un marco de referencia para los aspirantes a ingenieros de audio de IA. Si miramos las mejoras que MusicGen ha realizado en sólo 6 meses, sólo puedo imaginar que 2024 será un año emocionante.
Otro punto importante es que con su enfoque transparente Meta también está haciendo un trabajo fundamental para los desarrolladores que quieran integrar esta tecnología en software para músicos. Generar muestras, generar ideas musicales o cambiar el género de su trabajo existente: estas son algunas de las interesantes aplicaciones que ya estamos empezando a ver. Con un nivel suficiente de transparencia, podemos asegurarnos de que estamos construyendo un futuro en el que la IA haga que la creación de música sea más emocionante en lugar de ser solo una amenaza para la musicalidad humana.