¿Cómo se construye un único sistema de reconocimiento de voz que pueda comprender miles de idiomas, incluidos muchos que nunca antes habían tenido modelos ASR (reconocimiento automático de voz) que funcionaran? Meta AI ha lanzado Omnilingual ASR, una suite de reconocimiento de voz de código abierto que se adapta a más de 1600 idiomas y se puede extender a idiomas invisibles con solo unos pocos ejemplos de texto de voz, sin volver a entrenar el modelo.
Cobertura de datos e idiomas
Los datos del entrenamiento supervisado provienen de un corpus combinado llamado AllASR. AllASR contiene 120.710 horas de discurso etiquetado junto con transcripciones en 1.690 idiomas. Este corpus fusiona varias fuentes, incluidos conjuntos de datos de código abierto, corpus internos y con licencia, datos creados por socios y una colección encargada llamada Omnilingual ASR Corpus.
El Omnilingual ASR Corpus aporta 3.350 horas de habla en 348 idiomas, con datos recopilados a través del trabajo de campo con organizaciones locales y hablantes en regiones como África y el sur de Asia. Las indicaciones son abiertas, por lo que los hablantes producen monólogos naturales en su propio idioma en lugar de leer oraciones fijas, lo que brinda una variación acústica y léxica más realista.
Para un preentrenamiento autosupervisado, los codificadores wav2vec 2.0 se entrenan en un gran corpus de voz sin etiquetar. El conjunto de datos previo al entrenamiento contiene 3,84 millones de horas de habla con identificación de idioma en 1239 idiomas, más otras 460.000 horas sin identificación de idioma. Por lo tanto, el audio total sin etiquetar utilizado para la formación previa es de aproximadamente 4,3 millones de horas. Esto sigue siendo significativamente menor que los 12 millones de horas utilizadas por USM, lo que hace que los resultados reportados sean más interesantes desde una perspectiva de eficiencia de datos.
Familia modelo
Omnilingual ASR expone 3 familias de modelos principales que comparten la misma columna vertebral del codificador de voz wav2vec 2.0:
Codificadores SSL (OmniASR W2V)
Codificadores wav2vec 2.0 autosupervisados con los siguientes recuentos de parámetros
• omniASR_W2V_300M con 317.390.592 parámetros
• omniASR_W2V_1B con 965.514.752 parámetros
• omniASR_W2V_3B con 3.064.124.672 parámetros
• omniASR_W2V_7B con 6.488.487.168 parámetros. Estos modelos se entrenan con el objetivo contrastivo estándar wav2vec 2.0. Después del entrenamiento, el cuantificador se descarta y el codificador se utiliza como columna vertebral de representación de voz. Modelos ASR CTC (clasificación temporal conexionista)
Los modelos CTC agregan una capa lineal simple encima del codificador y se entrenan de un extremo a otro con una pérdida de CTC a nivel de caracteres. Los modelos CTC lanzados varían desde 325.494.996 parámetros hasta 6.504.786.132 parámetros y alcanzan factores de tiempo real tan bajos como 0,001 para el modelo 300M en A100 para audio de 30 segundos con tamaño de lote 1. Modelos LLM ASR
LLM ASR apila un decodificador Transformer encima del codificador wav2vec 2.0. El decodificador es un modelo de lenguaje como Transformer que opera con tokens a nivel de personaje más tokens especiales como y. El entrenamiento utiliza la predicción del siguiente token estándar en secuencias de la forma gs(x), gt(), gt(y), gt() donde gs es el codificador de voz y gt es la matriz de incrustación de texto. La familia LLM ASR varía desde aproximadamente 1,63 mil millones de parámetros para omniASR_LLM_300M hasta 7,801,041,536 parámetros para omniASR_LLM_7B. Para el ASR de disparo cero se utiliza un punto de control omniASR_LLM_7B_ZS independiente con 7.810.900.608 parámetros.
Todos los modelos LLM ASR admiten acondicionamiento de idioma opcional. Los idiomas se representan como {language_code}_{script}, como eng_Latn para inglés en escritura latina o cmn_Hans para chino mandarín en escritura china simplificada. Se inyecta una incrustación aprendida para el identificador de escritura del idioma en la entrada del decodificador. En el entrenamiento, el token de ID de idioma a veces se elimina, por lo que el modelo también puede funcionar sin etiquetas de idioma explícitas en la inferencia.
ASR de disparo cero con ejemplos de contexto y SONAR
Los modelos supervisados cubren más de 1.600 idiomas. Sin embargo, muchos idiomas aún no tienen datos ASR transcritos. Para manejar estos casos, Omnilingual ASR amplía el modelo LLM ASR con un modo de disparo cero entrenado con ejemplos de contexto.
Durante el entrenamiento para la variante de disparo cero, el decodificador consume N + 1 pares de texto de voz del mismo idioma. Los primeros N pares actúan como contexto y el último par es el objetivo. Todos los pares se incrustan con el codificador de voz y la matriz de incrustación de texto y luego se concatenan en una única secuencia de entrada del decodificador. La pérdida sigue siendo la siguiente predicción simbólica en la transcripción de destino. Esto le enseña al decodificador a inferir la asignación de voz a texto en un idioma determinado a partir de una pequeña indicación de ejemplos del idioma.
Por inferencia, el modelo omniASR_LLM_7B_ZS puede recibir algunos ejemplos de texto de voz de cualquier idioma, incluidos los idiomas que no están presentes en el entrenamiento, y luego transcribir nuevas expresiones en ese idioma sin actualizar los pesos. Este es un aprendizaje en contexto para ASR.
El sistema incluye un mecanismo de recuperación de ejemplo basado en SONAR, un codificador multimodal multilingüe que proyecta audio y texto en un espacio de incrustación compartido. El audio de destino se incrusta una vez, luego la búsqueda del vecino más cercano en una base de datos de pares de textos de voz selecciona los ejemplos más relevantes para incluirlos en la ventana contextual. Esta selección basada en SONAR mejora el rendimiento de disparo cero en comparación con la selección aleatoria de ejemplos o la simple similitud de texto.
Calidad y puntos de referencia
El modelo omniASR_LLM_7B logra una tasa de error de caracteres inferior al 10 por ciento para el 78 por ciento de los más de 1600 idiomas admitidos.
El equipo de investigación informa que en puntos de referencia multilingües como FLEURS 102, el modelo 7B LLM ASR supera a los modelos 7B CTC y también supera a las variantes de Google USM en la tasa promedio de error de caracteres, a pesar de utilizar alrededor de 4,3 millones de horas sin etiquetar en lugar de 12 millones y un proceso de preentrenamiento más simple. Esto sugiere que escalar el codificador wav2vec 2.0 y agregar un decodificador estilo LLM es un camino efectivo para ASR multilingüe de alta cobertura.
Conclusiones clave
Omnilingual ASR proporciona cobertura ASR de código abierto para más de 1600 idiomas y puede generalizarse a más de 5400 idiomas utilizando el aprendizaje de disparo cero en contexto. Los modelos se basan en codificadores wav2vec 2.0 de gran escala entrenados con aproximadamente 4,3 millones de horas de audio sin etiquetar de 1239 idiomas etiquetados más voz adicional sin etiquetar. El conjunto incluye codificadores wav2vec 2.0, CTC ASR, LLM ASR y un modelo LLM ASR de disparo cero dedicado, con tamaños de codificador de 300 M a 7 B de parámetros y LLM ASR de hasta aproximadamente 7,8 B de parámetros. El modelo 7B LLM ASR logra una tasa de error de caracteres inferior al 10 por ciento en el 78 por ciento de los más de 1600 idiomas admitidos, lo que es competitivo o mejor que los sistemas multilingües anteriores en entornos de bajos recursos.
ASR omnilingüe es una contribución significativa a nivel de sistemas porque trata el ASR multilingüe como un marco extensible, no una lista de idiomas fija, que combina un codificador 7B wav2vec 2.0, decodificadores CTC y LLM ASR, y un modelo LLM ASR de disparo cero que puede adaptarse a nuevos idiomas con algunos ejemplos en contexto, mientras logra una tasa de error de caracteres inferior al 10 por ciento en el 78 por ciento de más de 1,600 idiomas admitidos y publica todo bajo Apache 2.0 y CC. PARA 4.0. En general, este lanzamiento establece a Omnilingual ASR como el modelo de reconocimiento de voz de código abierto más extensible disponible actualmente.
Consulte el documento, el repositorio y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.