Los avances recientes en los modelos de generación de vídeo han permitido la producción de videoclips realistas y de alta calidad. Sin embargo, estos modelos enfrentan desafíos a la hora de escalarlos para aplicaciones del mundo real a gran escala debido a las demandas computacionales requeridas para el entrenamiento y la inferencia. Los modelos comerciales actuales como Sora, Runway Gen-3 y Movie Gen exigen amplios recursos, incluidos miles de GPU y millones de horas de GPU para capacitación, y cada segundo de inferencia de video demora varios minutos. Estos altos requisitos hacen que estas soluciones sean costosas y poco prácticas para muchas aplicaciones potenciales, lo que limita el uso de la generación de vídeo de alta fidelidad sólo a aquellas con importantes recursos computacionales.
Reducio-DiT: una nueva solución
Los investigadores de Microsoft han presentado Reducio-DiT, un nuevo enfoque diseñado para abordar este problema. Esta solución se centra en un codificador automático variacional (VAE) condicionado por imágenes que comprime significativamente el espacio latente para la representación de video. La idea central detrás de Reducio-DiT es que los videos contienen más información redundante en comparación con las imágenes estáticas, y esta redundancia se puede aprovechar para lograr una reducción de 64 veces en el tamaño de la representación latente sin comprometer la calidad del video. El equipo de investigación ha combinado este VAE con modelos de difusión para mejorar la eficiencia de generar videoclips de 1024×1024, reduciendo el tiempo de inferencia a 15,5 segundos en una sola GPU A100.
Enfoque técnico
Desde un punto de vista técnico, Reducio-DiT destaca por su enfoque de generación en dos etapas. Primero genera una imagen de contenido mediante técnicas de texto a imagen, y luego utiliza esta imagen como previo para crear fotogramas de vídeo mediante un proceso de difusión. La información de movimiento, que constituye una gran parte del contenido de un vídeo, se separa del fondo estático y se comprime de manera eficiente en el espacio latente, lo que resulta en una huella computacional mucho más pequeña. Específicamente, Reducio-VAE, el componente codificador automático de Reducio-DiT, aprovecha las convoluciones 3D para lograr un factor de compresión significativo, lo que permite una representación de los videos de entrada con un muestreo descendente de 4096 veces. El componente de difusión, Reducio-DiT, integra esta representación latente altamente comprimida con características extraídas tanto de la imagen del contenido como del mensaje de texto correspondiente, produciendo así secuencias de video fluidas y de alta calidad con una sobrecarga mínima.
Este enfoque es importante por varias razones. Reducio-DiT ofrece una solución rentable para una industria agobiada por desafíos computacionales, haciendo que la generación de video de alta resolución sea más accesible. El modelo demostró una aceleración de 16,6 veces con respecto a métodos existentes como Lavie, al tiempo que logró una puntuación de distancia de video Fréchet (FVD) de 318,5 en UCF-101, superando a otros modelos en esta categoría. Al utilizar una estrategia de capacitación de múltiples etapas que escala desde la generación de video de baja a alta resolución, Reducio-DiT mantiene la integridad visual y la consistencia temporal en todos los fotogramas generados, un desafío que muchos enfoques anteriores de generación de video tuvieron dificultades para lograr. Además, el espacio latente compacto no sólo acelera el proceso de generación de vídeo sino que también reduce los requisitos de hardware, lo que hace posible su uso en entornos sin grandes recursos de GPU.
Conclusión
Reducio-DiT de Microsoft representa un avance en la eficiencia de la generación de video, equilibrando la alta calidad con un costo computacional reducido. La capacidad de generar un videoclip de 1024×1024 en 15,5 segundos, combinada con una reducción significativa en los costos de entrenamiento e inferencia, marca un desarrollo notable en el campo de la IA generativa para video. Para una mayor exploración técnica y acceso al código fuente, visite Repositorio GitHub de Microsoft para Reducio-VAE. Este desarrollo allana el camino para una adopción más amplia de la tecnología de generación de vídeo en aplicaciones como la creación de contenidos, la publicidad y el entretenimiento interactivo, donde es esencial generar medios visuales atractivos de forma rápida y rentable.
Mira el Papel y Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferencia virtual gratuita sobre GenAI con Meta, Mistral, Salesforce, Harvey AI y más. Únase a nosotros el 11 de diciembre en este evento virtual gratuito para aprender lo que se necesita para construir a lo grande con modelos pequeños de pioneros de la IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face y más.
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.