El proceso de añadir ruido a una señal debe ser probabilístico (es decir, predecible). Al modelo se le muestra una señal de audio y luego se le indica que prediga la misma señal con una pequeña cantidad de ruido gaussiano añadido a él. Debido a sus propiedades, el ruido gaussiano se utiliza con mayor frecuencia, pero no es obligatorio. El ruido debe definirse mediante una distribución probabilística, lo que significa que sigue un patrón específico que sea consistentemente predecible. Este proceso de indicarle al modelo que agregue pequeñas cantidades de ruido predecible a la señal de audio se repite durante varios pasos hasta que la señal se haya convertido efectivamente en solo ruido.
Por ejemplo, tomemos una muestra única de una caja. A U-Net se le proporciona esta muestra de caja y se le pide que reconstruya ese sonido de caja, pero con un poco de ruido añadido que hace que suene un poco menos limpio. Luego, esta muestra de caja ligeramente ruidosa se proporciona al modelo y nuevamente se le indica que reconstruya esta muestra de caja con aún más ruido. Este ciclo se repite hasta que suena como si la muestra de caja ya no existiera, sino que solo quedara ruido blanco. Luego se le enseña al modelo cómo hacer esto para una amplia gama de sonidos. Una vez que se convierte en un experto en predecir cómo agregar ruido a una señal de audio de entrada, debido a que el proceso es probabilístico, simplemente se puede revertir para que en cada paso se elimine un poco de ruido. Así es como el modelo puede generar una muestra de trampa cuando se le proporciona ruido blanco.
Debido a la naturaleza probabilística de este proceso, surgen algunas capacidades increíbles, específicamente la capacidad de simular la creatividad.
Sigamos con nuestro ejemplo de trampa. Imagine que el modelo fue entrenado con miles de muestras de trampas de un solo disparo. Uno imaginaría que podría tomar algo de ruido blanco y luego convertirlo en cualquiera de estas muestras de trampa. Sin embargo, no es exactamente así como aprende el modelo. Debido a que se le muestra una gama tan amplia de sonidos, aprende a crear sonidos que generalmente son similares a cualquiera de las trampas con las que ha sido entrenado, pero no exactamente. Así es como se crean sonidos completamente nuevos y estos modelos parecen exhibir una chispa de creatividad.
Para ilustrar esto, usemos el siguiente boceto.
Imagine que todos los sonidos posibles, desde rasgueos de guitarra hasta ladridos de perro y ruido blanco, se pueden representar en un plano bidimensional representado por el rectángulo negro en la imagen de arriba. Dentro de este espacio, hay una región donde existen golpes de trampa. Están algo agrupados debido a sus características tímbricas y transitorias similares. Esto se muestra mediante la mancha azul y cada punto azul es representativo de una única muestra de trampa en la que entrenamos nuestro modelo. Los puntos rojos representan las versiones con ruido completo de las trampas con las que se entrenó al modelo y corresponden a sus contrapartes de puntos azules sin ruido.
En esencia, nuestro modelo aprendió a tomar puntos de la región “no trampa” y llevarlos a la región “trampa”. Entonces, si tomamos un nuevo punto verde en la región “no trampa” (por ejemplo, ruido aleatorio) que no corresponde a ningún punto azul y le pedimos a nuestro modelo que lo lleve a la región “trampa”, lo llevará a una nueva zona. ubicación dentro de esa región “trampa”. Este es el modelo que genera una “nueva” muestra de trampa que contiene algunas similitudes con todas las demás trampas con las que fue entrenado en la región de la trampa, pero también algunas características nuevas desconocidas.
Este concepto se puede aplicar a cualquier tipo de sonido, incluidas canciones completas. Esta es una innovación increíble que puede conducir a numerosas formas nuevas de crear. Sin embargo, es importante comprender que estos modelos no crearán algo fuera de los límites de cómo se entrenan. Como se muestra en la ilustración anterior, si bien nuestro modelo conceptual puede aceptar cualquier tipo de sonido, solo puede producir muestras de caja similares a aquellas con las que fue entrenado. Esto es válido para cualquiera de estos modelos de difusión de audio. Debido a esto, es fundamental entrenar modelos en conjuntos de datos extensos para que las regiones conocidas (como la región trampa) sean lo suficientemente diversas y grandes como para no simplemente copiar los datos de entrenamiento.
Todo esto significa que ningún modelo puede replicar la creatividad humana, sólo simular variaciones de la misma.
Aplicaciones de los modelos de difusión
Estos modelos no generarán mágicamente nuevos géneros ni explorarán paisajes sonoros desconocidos como lo hacen los humanos. Teniendo esto en cuenta, estos modelos generativos no deben verse como un reemplazo de la creatividad humana, sino más bien como herramientas que pueden mejorar la creatividad. A continuación se presentan algunas formas en las que se puede aprovechar esta tecnología con fines creativos:
- Creatividad a través de la curación: Buscar en paquetes de muestras para encontrar el sonido deseado es una práctica común en la producción. Estos modelos se pueden utilizar efectivamente como una versión de un “paquete de muestras ilimitado”, mejorando la creatividad de un artista a través de la selección de sonidos.
- Transferencia de voz: Así como los modelos de difusión pueden tomar ruido aleatorio y convertirlo en audio reconocible, también pueden recibir otros sonidos y “transferirlos” a otro tipo de sonido. Si tomamos nuestro modelo de caja anterior, por ejemplo, y le damos una muestra de bombo en lugar de ruido blanco, tomará la muestra de bombo y comenzará a transformarla en un sonido de caja. Esto permite creaciones muy singulares, pudiendo combinar las características de múltiples sonidos diferentes.
- Variabilidad del sonido (humanización): Cuando los humanos tocan un instrumento en vivo, como el charles de una batería, siempre hay una variabilidad inherente en cada golpe. Varios instrumentos virtuales han intentado simular esto mediante varios métodos diferentes, pero aún pueden sonar artificiales y carecer de carácter. La difusión de audio permite la variación ilimitada de un solo sonido, lo que puede agregar un elemento humano a una muestra de audio. Por ejemplo, si programa una batería, se puede aprovechar la difusión de audio para que cada golpe sea ligeramente diferente en timbre, velocidad, ataque, etc. para humanizar lo que podría sonar como una interpretación obsoleta.
- Ajustes de diseño de sonido: De manera similar al potencial de variabilidad humana, este concepto también se puede aplicar al diseño de sonido para crear ligeros cambios en un sonido. Quizás te guste más el sonido de un sample de portazo, pero desearías que tuviera más cuerpo o crujido. Un modelo de difusión puede tomar esta muestra y cambiarla ligeramente para mantener la mayoría de sus características y adoptar algunas nuevas. Esto puede agregar, eliminar o cambiar el contenido espectral de un sonido en un nivel más fundamental que aplicar un ecualizador o filtro.
- Generación de melodía: De manera similar a navegar por paquetes de muestras, los modelos de difusión de audio pueden generar melodías que pueden generar ideas sobre las que desarrollar.
- Efecto estéreo: Existen varios trucos de mezcla diferentes para añadir amplitud estéreo a un sonido de un solo canal (mono). Sin embargo, a menudo pueden añadir coloración, retrasos o cambios de fase no deseados. La difusión de audio se puede aprovechar para generar un sonido casi idéntico al sonido mono, pero lo suficientemente diferente en su contenido como para expandir el ancho estéreo y evitar muchos de los fenómenos no deseados.
- Súper resolución: Los modelos de difusión de audio pueden mejorar la resolución y la calidad de las grabaciones de audio, haciéndolas más claras y detalladas. Esto puede resultar especialmente útil en la restauración de audio o cuando se trabaja con grabaciones de baja calidad.
- En pintura: Los modelos de difusión se pueden aprovechar para completar partes faltantes o dañadas de las señales de audio, restaurándolas a su estado original o mejorado. Esto es valioso para reparar grabaciones de audio dañadas, completar secciones de audio que puedan faltar o agregar transiciones entre clips de audio.
No hay duda de que estos nuevos modelos de IA generativa son avances tecnológicos increíbles, independientemente de si se ven desde una perspectiva positiva o negativa. Hay muchos más aspectos de los modelos de difusión que pueden optimizar su rendimiento en cuanto a velocidad, diversidad y calidad, pero hemos discutido los principios básicos que gobiernan la funcionalidad de estos modelos. Este conocimiento proporciona un contexto más profundo de lo que realmente significa cuando estos modelos generan “nuevos sonidos”.
En un nivel más amplio, no es sólo la música en sí lo que le importa a la gente: es el elemento humano en la creación de esa música. Pregúntese: si escuchara una grabación de un solo de guitarra virtuoso y veloz, ¿quedaría impresionado? Todo depende. Si fue generado artificialmente por un instrumento MIDI virtual programado por un productor, es probable que no estés en fase y que ni siquiera te guste cómo suena. Sin embargo, si conoces a un guitarrista real que tocó el solo en una guitarra real, o incluso lo viste hacerlo, quedarás completamente enamorado de su experiencia y precisión. Nos atrae la destreza de una interpretación, los pensamientos y emociones detrás de las letras y las consideraciones que intervienen en cada decisión al elaborar una canción.
Si bien estos increíbles avances han generado cierto temor existencial entre los artistas y productores, la IA nunca podrá quitar ese elemento humano de los sonidos y la música que creamos. Por lo tanto, deberíamos abordar estos nuevos avances con la intención de que sean herramientas para mejorar la creatividad de los artistas en lugar de reemplazarla.