Tecnologías
Nuestras tecnologías pioneras de generación de voz están ayudando a personas de todo el mundo a interactuar con asistentes digitales y herramientas de inteligencia artificial más naturales, conversacionales e intuitivos.
El habla es fundamental para la conexión humana. Ayuda a personas de todo el mundo a intercambiar información e ideas, expresar emociones y crear un entendimiento mutuo. A medida que nuestra tecnología diseñada para generar voces naturales y dinámicas continúa mejorando, estamos desbloqueando experiencias digitales más ricas y atractivas.
En los últimos años, hemos estado ampliando las fronteras de la generación de audio, desarrollando modelos que pueden crear voz natural y de alta calidad a partir de una variedad de entradas, como texto, controles de tempo y voces particulares. Esta tecnología potencia el audio de un solo altavoz en muchos productos y experimentos de Google, incluidos Géminis en vivo, Proyecto Astra, Voces de viaje y Doblaje automático de YouTube – y está ayudando a personas de todo el mundo a interactuar con asistentes digitales y herramientas de inteligencia artificial más naturales, conversacionales e intuitivos.
Trabajando junto con socios de Google, recientemente ayudamos a desarrollar dos nuevas funciones que pueden generar diálogos extensos con varios oradores para hacer que el contenido complejo sea más accesible:
- Descripción general del audio de NotebookLM convierte los documentos cargados en un diálogo atractivo y animado. Con un solo clic, dos anfitriones de IA resumen el material del usuario, hacen conexiones entre temas y bromean de un lado a otro.
- Iluminar Crea debates formales generados por IA sobre artículos de investigación para ayudar a que el conocimiento sea más accesible y digerible.
Aquí, brindamos una descripción general de nuestra última investigación sobre generación de voz que respalda todos estos productos y herramientas experimentales.
Técnicas pioneras para la generación de audio
Durante años, hemos estado invirtiendo en investigación de generación de audio y explorando nuevas formas de generar un diálogo más natural en nuestros productos y herramientas experimentales. En nuestra investigación anterior sobre tormenta de sonidoprimero demostramos la capacidad de generar segmentos de 30 segundos de diálogo natural entre varios hablantes.
Esto amplió nuestro trabajo anterior, Corriente de sonido y AudioLMlo que nos permitió aplicar muchas técnicas de modelado de lenguaje basado en texto al problema de la generación de audio.
SoundStream es un códec de audio neuronal que comprime y descomprime eficientemente una entrada de audio, sin comprometer su calidad. Como parte del proceso de capacitación, SoundStream aprende a asignar audio a una variedad de tokens acústicos. Estos tokens capturan toda la información necesaria para reconstruir el audio con alta fidelidad, incluidas propiedades como prosodia y timbre.
AudioLM trata la generación de audio como una tarea de modelado de lenguaje para producir tokens acústicos de códecs como SoundStream. Como resultado, el marco AudioLM no hace suposiciones sobre el tipo o la composición del audio que se genera y puede manejar de manera flexible una variedad de sonidos sin necesidad de ajustes arquitectónicos, lo que lo convierte en un buen candidato para modelar diálogos de varios hablantes.
Ejemplo de un diálogo de varios oradores generado por NotebookLM Audio Overview, basado en algunos documentos relacionados con las patatas.
Sobre la base de esta investigación, nuestra última tecnología de generación de voz puede producir 2 minutos de diálogo, con mayor naturalidad, consistencia del hablante y calidad acústica, cuando se le proporciona un guión de diálogo y marcadores de turno del hablante. El modelo también realiza esta tarea en menos de 3 segundos en un solo Chip v5e de la unidad de procesamiento tensorial (TPU)en un pase de inferencia. Esto significa que genera audio 40 veces más rápido que el tiempo real.
Escalando nuestros modelos de generación de audio
Escalar nuestros modelos de generación de un solo altavoz a modelos de varios altavoces se convirtió entonces en una cuestión de datos y capacidad del modelo. Para ayudar a que nuestro último modelo de generación de voz produzca segmentos de voz más largos, creamos un códec de voz aún más eficiente para comprimir audio en una secuencia de tokens, en tan solo 600 bits por segundo, sin comprometer la calidad de su salida.
Los tokens producidos por nuestro códec tienen una estructura jerárquica y están agrupados por periodos de tiempo. Las primeras fichas dentro de un grupo capturan información fonética y prosódica, mientras que las últimas fichas codifican finos detalles acústicos.
Incluso con nuestro nuevo códec de voz, producir un diálogo de 2 minutos requiere generar más de 5000 tokens. Para modelar estas largas secuencias, desarrollamos un sistema especializado Transformador Arquitectura que puede manejar eficientemente jerarquías de información, coincidiendo con la estructura de nuestros tokens acústicos.
Con esta técnica, podemos generar eficientemente fichas acústicas que correspondan al diálogo, dentro de un único pase de inferencia autorregresivo. Una vez generados, estos tokens se pueden decodificar nuevamente en una forma de onda de audio utilizando nuestro códec de voz.
Animación que muestra cómo nuestro modelo de generación de voz produce un flujo de tokens de audio de forma autorregresiva, que se decodifican en una forma de onda que consta de un diálogo de dos hablantes.
Para enseñar a nuestro modelo cómo generar intercambios realistas entre varios hablantes, lo entrenamos previamente con cientos de miles de horas de datos de voz. Luego lo ajustamos en un conjunto de datos mucho más pequeño de diálogos con alta calidad acústica y anotaciones precisas del hablante, que consiste en conversaciones sin guión de varios actores de doblaje y realistas. disfluencias – los “umm” y “aah” de una conversación real. Este paso le enseñó al modelo cómo cambiar de manera confiable entre altavoces durante un diálogo generado y generar solo audio con calidad de estudio con pausas, tono y sincronización realistas.
En línea con nuestro Principios de la IA y nuestro compromiso de desarrollar e implementar tecnologías de IA de manera responsable, estamos incorporando nuestra tecnología SynthID para marcar con agua el contenido de audio no transitorio generado por IA de estos modelos, para ayudar a proteger contra el posible uso indebido de esta tecnología.
Nuevas experiencias de habla por delante
Ahora estamos enfocados en mejorar la fluidez y la calidad acústica de nuestro modelo y agregar controles más detallados para funciones, como la prosodia, mientras exploramos la mejor manera de combinar estos avances con otras modalidades, como el video.
Las aplicaciones potenciales para la generación avanzada de voz son enormes, especialmente cuando se combinan con nuestra familia de modelos Gemini. Desde mejorar las experiencias de aprendizaje hasta hacer que el contenido sea más accesible universalmente, estamos entusiasmados de continuar superando los límites de lo que es posible con las tecnologías basadas en voz.