En el campo en rápida evolución de la IA generativa, persisten los desafíos para lograr modelos de generación de video eficientes y de alta calidad y la necesidad de herramientas de edición de imágenes precisas y versátiles. Los métodos tradicionales a menudo implican complejas cascadas de modelos o necesitan ayuda con una modificación excesiva, lo que limita su eficacia. Los investigadores de Meta AI abordan estos desafíos de frente introduciendo tDos avances innovadores: Vídeo del emú y Emú Editar.

Los métodos actuales de generación de texto a vídeo a menudo requieren profundas cascadas de modelos, lo que exige importantes recursos computacionales. Emu Video, una extensión del modelo fundamental de Emu, introduce un enfoque factorizado para agilizar el proceso. Implica generar imágenes condicionadas a un mensaje de texto, seguida de la generación de video basada en el texto y la imagen generada. La simplicidad de este método, que requiere sólo dos modelos de difusión, establece un nuevo estándar para la generación de vídeo de alta calidad, superando a trabajos anteriores.

Mientras tanto, es necesario mejorar las herramientas tradicionales de edición de imágenes para brindar a los usuarios un control preciso.

Emú editar, es un modelo de edición de imágenes multitarea que redefine la manipulación de imágenes basada en instrucciones. Aprovechando el aprendizaje multitarea, Emu Edit maneja diversas tareas de edición de imágenes, incluida la edición basada en regiones y de forma libre, junto con tareas cruciales de visión por computadora como la detección y la segmentación.

Vídeo del emúEl enfoque factorizado de agiliza la capacitación y produce resultados impresionantes. Generar vídeos de 512×512 de cuatro segundos a 16 fotogramas por segundo con sólo dos modelos de difusión representa un importante avance. Las evaluaciones humanas consistentemente favorecen a Emu Video sobre trabajos anteriores, destacando su excelencia tanto en la calidad del video como en la fidelidad al texto. Además, la versatilidad del modelo se extiende a la animación de imágenes proporcionadas por el usuario, estableciendo nuevos estándares en este dominio.

La arquitectura de Emu Edit está diseñada para el aprendizaje multitarea, lo que demuestra adaptabilidad en diversas tareas de edición de imágenes. La incorporación de incorporaciones de tareas aprendidas garantiza un control preciso en la ejecución de instrucciones de edición. Los experimentos de adaptación de pocas tomas revelan la rápida adaptabilidad de Emu Edit a nuevas tareas, lo que lo hace ventajoso en escenarios con ejemplos etiquetados o recursos computacionales limitados. El conjunto de datos de referencia publicado con Emu Edit permite evaluaciones rigurosas, lo que lo posiciona como un modelo que sobresale en fidelidad de instrucciones y calidad de imagen.

En conclusión, Emu Video y Emu Edit representan un salto transformador en la IA generativa. Estas innovaciones abordan los desafíos en la generación de texto a video y la edición de imágenes basada en instrucciones, ofreciendo procesos optimizados, calidad superior y adaptabilidad sin precedentes. Las posibles aplicaciones, desde la creación de vídeos cautivadores hasta lograr manipulaciones precisas de imágenes, subrayan el profundo impacto que estos avances podrían tener en la expresión creativa. Ya sea animando imágenes proporcionadas por el usuario o ejecutando complejas ediciones de imágenes, Emu Video y Emu Edit abren posibilidades interesantes para que los usuarios se expresen con un nuevo control y creatividad.

Documento de vídeo de la UEM: https://emu-video.metademolab.com/assets/emu_video.pdf

Documento de edición de EMU: https://emu-edit.metademolab.com/assets/emu_edit.pdf

Madhur Garg es pasante de consultoría en MarktechPost. Actualmente está cursando su Licenciatura en Ingeniería Civil y Ambiental en el Instituto Indio de Tecnología (IIT), Patna. Comparte una gran pasión por el aprendizaje automático y disfruta explorando los últimos avances en tecnologías y sus aplicaciones prácticas. Con un gran interés en la inteligencia artificial y sus diversas aplicaciones, Madhur está decidido a contribuir al campo de la ciencia de datos y aprovechar su impacto potencial en diversas industrias.