Uno de los principales desafíos en el desarrollo de sistemas avanzados de conversión de texto a voz (TTS) es la falta de expresividad al transcribir y generar voz. Tradicionalmente, los modelos de lenguaje grande (LLM) utilizados para crear canalizaciones TTS convierten voz en texto mediante el reconocimiento automático de voz (ASR), lo procesan mediante un LLM y luego convierten la salida nuevamente a voz a través de TTS. Sin embargo, este enfoque a menudo conduce a una pérdida de calidad expresiva, ya que matices como el tono, la emoción y el tono se eliminan durante el proceso de ASR. Como resultado, el discurso sintetizado tiende a sonar monótono o antinatural, incapaz de transmitir adecuadamente emociones como excitación, ira o sorpresa.
Meta AI lanzó recientemente Meta Spirit LM, un innovador modelo de lenguaje multimodal de código abierto capaz de mezclar libremente texto y voz para abordar estas limitaciones. Meta Spirit LM aborda las limitaciones de los sistemas TTS existentes al integrar texto y voz a nivel de palabra, lo que permite que el modelo cruce modalidades de manera más fluida. Este modelo se entrenó en conjuntos de datos de voz y texto utilizando un método de entrelazado a nivel de palabras, capturando de manera efectiva las características expresivas del lenguaje hablado y al mismo tiempo manteniendo las sólidas capacidades semánticas de los modelos basados en texto.
Meta Spirit LM viene en dos versiones: Spirit LM Base y Spirit LM Expressive. Spirit LM Base utiliza tokens fonéticos para codificar el habla, lo que permite una representación eficiente de las palabras, mientras que Spirit LM Expressive va un paso más allá al incorporar tokens de tono y estilo para capturar detalles del tono, como emoción o enojo, y generar un discurso expresivo que refleje estos emociones. Esto convierte a Meta Spirit LM en una poderosa herramienta para integrar modalidades de texto y voz para producir un habla coherente y que suene natural.
Meta Spirit LM emplea un método único de entrelazado a nivel de palabras para entrenar en una combinación de conjuntos de datos de texto y voz. La arquitectura del modelo está diseñada para realizar una transición libre entre texto y voz codificando ambas modalidades en un único conjunto de tokens. Spirit LM Base utiliza tokens fonéticos derivados de representaciones del habla, mientras que Spirit LM Expressive incorpora tokens de tono y estilo que agregan capas de expresividad, como tono o matices emocionales.
Esta arquitectura permite a Meta Spirit LM generar un discurso más natural y contextualmente rico. El modelo es capaz de realizar un aprendizaje rápido para tareas de distintas modalidades, como el reconocimiento automático de voz (ASR), la conversión de texto a voz (TTS) y la clasificación de voz. Esta versatilidad posiciona a Meta Spirit LM como una mejora significativa con respecto a los modelos tradicionales de IA multimodal que normalmente operan en dominios aislados. Al aprender representaciones que abarcan texto y voz, el modelo también se puede utilizar para aplicaciones complejas, incluida la narración expresiva, asistentes virtuales impulsados por emociones y sistemas de diálogo interactivos mejorados.
La importancia de Meta Spirit LM radica en su capacidad de realizar una transición libre entre voz y texto, mejorando significativamente la experiencia de IA multimodal. La versión Expressive del modelo (Spirit LM Expressive) va más allá de los modelos de habla estándar al permitir la preservación del sentimiento y el tono en diferentes modalidades. Los resultados de la evaluación en el punto de referencia de Preservación del sentimiento de voz y texto (STSP) indican que Spirit LM Expressive retiene efectivamente la intención emocional, ofreciendo resultados más naturales y emotivos que los LLM estándar que utilizan cascadas ASR y TTS.
Otro aspecto clave de la contribución de Meta Spirit LM son sus capacidades de aprendizaje de pocas oportunidades en diferentes modalidades. El modelo ha demostrado la capacidad de manejar tareas intermodales, como convertir texto en discurso expresivo, con una precisión competitiva que muestra su comprensión generalizada en todas las modalidades. Esto convierte a Meta Spirit LM en un importante avance en el desarrollo de agentes conversacionales, herramientas de comunicación accesibles para personas con discapacidades y tecnologías educativas que requieren un diálogo natural y expresivo. La naturaleza de código abierto del modelo también invita a la comunidad de investigación en general a explorar y mejorar sus capacidades multimodales.
Meta Spirit LM representa un paso innovador hacia la integración de modalidades de voz y texto en sistemas de inteligencia artificial sin sacrificar la expresividad. Meta Spirit LM Base y Spirit LM Expressive demuestran una poderosa combinación de comprensión semántica y generación de voz expresiva mediante el uso de un enfoque de entrelazado para entrenar en conjuntos de datos de voz y texto. Ya sea generando asistentes virtuales emotivos o mejorando la IA conversacional, el enfoque de código abierto de Meta Spirit LM abre la puerta a usos más innovadores y expresivos de la tecnología de IA multimodal. Se espera que las contribuciones de Meta AI a este modelo inspiren más investigación y desarrollo en la intersección del texto y el habla, lo que en última instancia conducirá a sistemas de comunicación de IA más naturales y capaces.
Mira el GitHub y Detalles. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml.
[Upcoming Live Webinar- Oct 29, 2024] La mejor plataforma para ofrecer modelos optimizados: motor de inferencia Predibase (promocionado)
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.