Los avances recientes en modelos generativos para tareas de texto a imagen (T2I) han dado lugar a resultados impresionantes en la producción de imágenes realistas y de alta resolución a partir de indicaciones textuales. Sin embargo, ampliar esta capacidad a los modelos de texto a vídeo (T2V) plantea desafíos debido a las complejidades que introduce el movimiento. Los modelos T2V actuales enfrentan limitaciones en la duración del video, la calidad visual y la generación de movimiento realista, principalmente debido a desafíos relacionados con el modelado del movimiento natural, la memoria, los requisitos de computación y la necesidad de datos de entrenamiento extensos.
Los modelos de difusión T2I de última generación se destacan en la síntesis de imágenes fotorrealistas de alta resolución a partir de mensajes de texto complejos con capacidades versátiles de edición de imágenes. Sin embargo, extender estos avances a modelos T2V a gran escala enfrenta desafíos debido a las complejidades del movimiento. Los modelos T2V existentes a menudo emplean un diseño en cascada, donde un modelo base genera fotogramas clave y los modelos posteriores de superresolución temporal (TSR) llenan los vacíos, pero persisten las limitaciones en la coherencia del movimiento.
Investigadores de Google Research, el Instituto Weizmann, la Universidad de Tel-Aviv y Technion presentes Lumière, un novedoso modelo de difusión de texto a video que aborda el desafío de una síntesis de movimiento realista, diversa y coherente. Introducen una arquitectura U-Net espacio-temporal que genera de forma única la duración temporal completa de un vídeo en una sola pasada, en contraste con los modelos existentes que sintetizan fotogramas clave distantes seguidos de superresolución temporal. Al incorporar muestreo ascendente y descendente espacial y temporal y aprovechar un modelo de difusión de texto a imagen previamente entrenado, Lumière logra resultados de texto a video de última generación, respaldando de manera eficiente diversas tareas de creación de contenido y edición de video.
Empleando una arquitectura U-Net espacio-temporal, Lumière procesa eficientemente dimensiones espaciales y temporales, generando videoclips completos con una resolución aproximada. Se incorporan bloques temporales con convoluciones espacio-temporales factorizadas y mecanismos de atención para un cálculo eficaz. El modelo aprovecha la arquitectura de texto a imagen previamente entrenada, enfatizando un enfoque novedoso para mantener la coherencia. Se introduce la multidifusión para la superresolución espacial, lo que garantiza transiciones suaves entre segmentos temporales y aborda las limitaciones de la memoria.
Lumière Supera los modelos existentes en síntesis de vídeo. Entrenado en un conjunto de datos de 30 millones de videos de 80 cuadros, Lumière supera a ImagenVideo, AnimateDiff y ZeroScope en evaluaciones cualitativas y cuantitativas. Con la competitiva distancia de vídeo de Frechet y la puntuación inicial en pruebas de disparo cero en UCF101, Lumière demuestra una coherencia de movimiento superior, generando videos de 5 segundos con mayor calidad. Los estudios de usuarios lo confirman Lumière preferencia sobre varias líneas de base, incluidos modelos comerciales, destacando su excelencia en calidad visual y alineación con indicaciones de texto.
En resumen, los investigadores de Google Research y otros institutos han introducido Lumière, un marco innovador de generación de texto a video basado en un modelo de difusión de texto a imagen previamente entrenado. Abordaron la limitación del movimiento globalmente coherente en los modelos existentes proponiendo una arquitectura U-Net espacio-temporal. Este diseño, que incorpora muestreo ascendente y descendente espacial y temporal, permite la generación directa de videoclips con velocidad de cuadro completa. Los resultados demostrados con tecnología de punta resaltan la versatilidad del enfoque para diversas aplicaciones, como conversión de imagen a video, video en pintura y generación estilizada.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.