Un desafío crítico en la Evaluación Subjetiva de la Calidad del Habla (SSQA) es permitir que los modelos se generalicen en dominios del habla diversos e invisibles. Los modelos generales SSQA evalúan muchos modelos por su desempeño deficiente fuera de su dominio de entrenamiento, principalmente porque dicho modelo a menudo enfrenta dificultades de desempeño en varios dominios, sin embargo, debido a las características de datos bastante distintas y los sistemas de puntuación que existen entre los diferentes tipos de tareas SSQA. Incluyendo TTS, VC y mejora del habla, es igualmente desafiante. Es necesaria una generalización eficaz de SSQA para garantizar la alineación de la percepción humana en estos campos; sin embargo, muchos de estos modelos siguen limitados a los datos con los que han sido entrenados, lo que limita su utilidad en el mundo real en aplicaciones como la evaluación automatizada del habla para Sistemas TTS y VC.
Los enfoques actuales de SSQA incluyen métodos basados tanto en referencias como en modelos. Los modelos basados en referencias evalúan la calidad comparando muestras de voz con una referencia. Por otro lado, los métodos basados en modelos, especialmente los DNN, aprenden directamente de conjuntos de datos anotados por humanos. El SSQA basado en modelos tiene un gran potencial para capturar la percepción humana de manera mucho más precisa pero, al mismo tiempo, muestra algunas limitaciones muy significativas:
- Restricciones de generalización: los modelos SSQA a menudo fallan cuando se prueban con datos nuevos fuera del dominio, lo que resulta en un rendimiento inconsistente.
- Sesgo del conjunto de datos y efecto corpus: los modelos pueden entonces adaptarse demasiado a las características del conjunto de datos con todas sus peculiaridades, como sesgos de puntuación o tipos de datos, lo que podría hacerlos menos efectivos en diferentes conjuntos de datos.
- Complejidad computacional: los modelos de conjunto aumentan la solidez de SSQA, pero al mismo tiempo aumentan el costo computacional en comparación con el modelo de referencia, reduciéndolo a posibilidades poco prácticas para la evaluación en tiempo real en entornos de bajos recursos. Las limitaciones mencionadas anteriormente obstaculizan colectivamente el desarrollo de buenos modelos SSQA, con la capacidad de generalizarse bien en diferentes conjuntos de datos y contextos de aplicación.
Para abordar estas limitaciones, los investigadores presentan MOS-Bench, una colección de referencia que incluye siete conjuntos de datos de entrenamiento y doce conjuntos de datos de prueba en diversos tipos de habla, idiomas y frecuencias de muestreo. Además de MOS-Bench, SHEET es un conjunto de herramientas propuesto que proporciona un flujo de trabajo estandarizado para la capacitación, validación y prueba de modelos SSQA. Esta combinación de MOS-Bench con SHEET permite que los modelos SSQA se evalúen sistemáticamente, y específicamente implican la capacidad de generalización de los modelos. MOS-Bench incorpora el enfoque de conjuntos de datos múltiples, combinando datos de diferentes fuentes para ampliar la exposición del modelo a condiciones variables. Además de eso, también se introduce una nueva métrica de rendimiento de mejor relación/diferencia de puntuación para proporcionar una evaluación holística del rendimiento del modelo SSQA en estos conjuntos de datos. Esto no solo proporciona un marco para una evaluación consistente, sino que se generaliza mejor a medida que los modelos se ajustan a la variabilidad del mundo real, lo cual es una contribución bastante notable al SSQA.
La colección de conjuntos de datos de MOS-Bench consta de una amplia gama de conjuntos de datos que tienen diversidad en sus frecuencias de muestreo y etiquetas de oyente para capturar la variabilidad entre dominios en SSQA. Los principales conjuntos de datos son:
- BVCC: un conjunto de datos para inglés que viene con muestras para TTS y VC.
- SOMOS: datos de calidad del habla sobre modelos TTS en inglés entrenados en LJSpeech.
- SingMOS: un conjunto de datos de muestreo de voces cantadas en chino y japonés.
- NISQA: Muestras de voz ruidosas que han sido objeto de comunicaciones a través de redes. Los conjuntos de datos son multilingües, de múltiples dominios y tipos de voz para un alcance de capacitación generalizado. MOS-Bench utiliza el modelo SSL-MOS y AlignNet modificado como columna vertebral, utilizando SSL para aprender representaciones de funciones enriquecidas. SHEET lleva el proceso SSQA un paso adelante con flujos de trabajo de procesamiento de datos, capacitación y evaluación. SHEET también incluye inferencia kNN no paramétrica de puntuación basada en recuperación para mejorar la fidelidad de los modelos. Además, se ha incluido ajuste de hiperparámetros, como el tamaño del lote y las estrategias de optimización, para mejorar aún más el rendimiento del modelo.
Al utilizar MOS-Bench y SHEET, ambos logran enormes mejoras en la generalización de SSQA en conjuntos de pruebas sintéticos y no sintéticos hasta el punto en que los modelos aprenden a alcanzar rangos altos y predicciones de calidad altamente fieles incluso para datos fuera del dominio. Los modelos entrenados en conjuntos de datos MOS-Bench, como PSTN y NISQA, son muy robustos en conjuntos de pruebas sintéticos, y la necesidad de datos centrados en la síntesis, como antes se requería para la generalización, se vuelve obsoleta. Además, esta incorporación de visualizaciones estableció firmemente que los modelos entrenados en MOS-Bench capturaron una amplia variedad de distribuciones de datos y reflejaron una mejor adaptabilidad y coherencia. En este sentido, la introducción de estos resultados por parte de MOS-Bench establece además un punto de referencia confiable, que permite a los modelos SSQA aplicar un rendimiento preciso en diferentes dominios con mayor efectividad y aplicabilidad de la evaluación automatizada de la calidad del habla.
Esta metodología, a través de MOS-Bench y SHEET, debía desafiar el problema de generalización de SSQA a través de varios conjuntos de datos, así como mediante la introducción de una nueva métrica de evaluación. Al proporcionar una reducción de los sesgos específicos del conjunto de datos y la aplicabilidad entre dominios, esta metodología moverá las fronteras de la investigación SSQA para hacer posible que los modelos se generalicen entre aplicaciones de manera efectiva. Un avance importante es que MOS-Bench y su conjunto de herramientas estandarizado han recopilado conjuntos de datos entre dominios. Es bastante interesante que los recursos ahora estén disponibles para que los investigadores desarrollen modelos SSQA que sean sólidos en presencia de una variedad de tipos de voz y la presencia de aplicaciones del mundo real.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[AI Magazine/Report] Lea nuestro último informe sobre ‘MODELOS DE LENGUAS PEQUEÑAS‘
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.