Los humanos poseen una capacidad extraordinaria para localizar fuentes de sonido e interpretar su entorno utilizando señales auditivas, un fenómeno denominado audición espacial. Esta capacidad permite tareas como identificar hablantes en entornos ruidosos o navegar en entornos complejos. Emular dicha percepción espacial auditiva es crucial para mejorar la experiencia de inmersión en tecnologías como la realidad aumentada (AR) y la realidad virtual (VR). Sin embargo, la transición de la síntesis de audio monoaural (un solo canal) a la binaural (dos canales), que captura efectos auditivos espaciales, enfrenta desafíos importantes, particularmente debido a la disponibilidad limitada de datos de audio posicionales y multicanal.
Los enfoques tradicionales de síntesis mono a binaural a menudo se basan en marcos de procesamiento de señales digitales (DSP). Estos métodos modelan los efectos auditivos utilizando componentes como la función de transferencia relacionada con la cabeza (HRTF), la respuesta al impulso ambiental (RIR) y el ruido ambiental, generalmente tratados como sistemas lineales invariantes en el tiempo (LTI). Aunque las técnicas basadas en DSP están bien establecidas y pueden generar experiencias de audio realistas, no tienen en cuenta los efectos de ondas acústicas no lineales inherentes a la propagación del sonido en el mundo real.
Los modelos de aprendizaje supervisado han surgido como una alternativa al DSP, aprovechando las redes neuronales para sintetizar audio binaural. Sin embargo, dichos modelos enfrentan dos limitaciones importantes: en primer lugar, la escasez de conjuntos de datos binaurales anotados en función de la posición y, en segundo lugar, la susceptibilidad al sobreajuste a entornos acústicos, características de los altavoces y conjuntos de datos de entrenamiento específicos. La necesidad de equipos especializados para la recopilación de datos limita aún más estos enfoques, haciendo que los métodos supervisados sean costosos y menos prácticos.
Para abordar estos desafíos, investigadores de Google han propuesto CeroBAS, un método neuronal de disparo cero para la síntesis de voz monoaural que no depende de datos de entrenamiento binaural. Este enfoque innovador emplea técnicas de deformación de tiempo geométrica (GTW) y escala de amplitud (AS) sin parámetros basadas en la posición de la fuente. Estas señales binaurales iniciales se refinan aún más utilizando un vocoder de eliminación de ruido previamente entrenado, lo que produce un audio binaural perceptualmente realista. Sorprendentemente, ZeroBAS se generaliza eficazmente en diversas condiciones de la sala, como se demuestra con el conjunto de datos monoaural TUT recientemente introducido, y logra un rendimiento comparable o incluso mejor que los métodos supervisados de última generación en sistemas fuera de distribución. datos.
El marco ZeroBAS comprende una arquitectura de tres etapas de la siguiente manera:
- En la etapa 1, Deformación geométrica del tiempo (GTW) transforma la entrada monoaural en dos canales (izquierdo y derecho) simulando diferencias de tiempo interaurales (ITD) basadas en las posiciones relativas de la fuente de sonido y los oídos del oyente. GTW calcula los retrasos de tiempo para los canales del oído izquierdo y derecho. Luego, las señales deformadas se interpolan linealmente para generar canales binaurales iniciales.
- En la etapa 2, Escalado de amplitud (AS) mejora el realismo espacial de las señales deformadas simulando la diferencia de nivel interaural (ILD) basada en la ley del cuadrado inverso. Como la percepción humana de la espacialidad del sonido se basa tanto en ITD como en ILD, siendo este último dominante para los sonidos de alta frecuencia. Utilizando las distancias euclidianas de la fuente desde ambos oídos y , se escalan las amplitudes.
- En la etapa 3, implica un refinamiento iterativo de las señales deformadas y escaladas utilizando un vocoder de eliminación de ruido previamente entrenado, Ajuste de onda. Este vocoder aprovecha las características del espectrograma log-mel y los modelos probabilísticos de difusión de eliminación de ruido (DDPM) para generar formas de onda binaurales limpias. Al aplicar iterativamente el vocoder, el sistema mitiga los artefactos acústicos y garantiza una salida de audio binaural de alta calidad.
En cuanto a las evaluaciones, ZeroBAS se evaluó en dos conjuntos de datos (resultados en las Tablas 1 y 2): el Habla binaural conjunto de datos y el recién introducido TUT mono a binaural conjunto de datos. Este último fue diseñado para probar las capacidades de generalización de los métodos de síntesis monoaurales en diversos entornos acústicos. En evaluaciones objetivas, ZeroBAS demostró mejoras significativas con respecto a las líneas de base de DSP y se acercó al rendimiento de los métodos supervisados a pesar de no estar capacitado con datos binaurales. En particular, ZeroBAS logró resultados superiores en el conjunto de datos TUT fuera de distribución, destacando su solidez en diversas condiciones.
Las evaluaciones subjetivas confirmaron aún más la eficacia de ZeroBAS. Las evaluaciones de puntuación media de opinión (MOS) mostraron que los oyentes humanos calificaron los resultados de ZeroBAS como ligeramente más naturales que los de los métodos supervisados. En las evaluaciones de MUSHRA, ZeroBAS logró una calidad espacial comparable a la de los modelos supervisados, y los oyentes no pudieron discernir diferencias estadísticamente significativas.
Aunque este método es bastante notable, tiene algunas limitaciones. ZeroBAS tiene dificultades para procesar directamente la información de fase porque el vocoder carece de acondicionamiento posicional y se basa en modelos generales en lugar de modelos específicos del entorno. A pesar de estas limitaciones, su capacidad para generalizar de manera efectiva resalta el potencial del aprendizaje de disparo cero en la síntesis de audio binaural.
En conclusión, ZeroBAS ofrece un enfoque fascinante e independiente del espacio para la síntesis de voz binaural que logra una calidad de percepción comparable a los métodos supervisados sin requerir datos de entrenamiento binaural. Su sólido rendimiento en diversos entornos acústicos lo convierte en un candidato prometedor para aplicaciones del mundo real en AR, VR y sistemas de audio inmersivo.
Verificar el Papel y Detalles. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 65.000 ml.
🚨 Recomendar plataforma de código abierto: Parlant es un marco que transforma la forma en que los agentes de IA toman decisiones en escenarios de cara al cliente. (Promovido)
Vineet Kumar es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en el Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en Deep Learning, Computer Vision y campos relacionados.