Recientemente, ha habido avances significativos en la edición de videos, con la edición utilizando Inteligencia Artificial (IA) a la vanguardia. Han surgido numerosas técnicas novedosas y, entre ellas, la edición de vídeo basada en difusión destaca como un campo particularmente prometedor. Aprovecha modelos de difusión de texto a imagen/video previamente entrenados para tareas como cambio de estilo, intercambio de fondo, etc. Sin embargo, la parte desafiante en la edición de video es transferir movimiento desde la fuente al video editado y, lo más importante, garantizar la coherencia temporal en todo el proceso.
La mayoría de las herramientas de edición de vídeo se centran en preservar la estructura del vídeo garantizando la coherencia temporal y la alineación del movimiento. Sin embargo, este proceso se vuelve ineficaz cuando se trata de cambiar la forma en el vídeo. Para abordar esta brecha, los autores de este artículo (investigadores de Show Lab, Universidad Nacional de Singapur y GenAI, Meta) han introducido intercambio de vídeo, un marco que utiliza correspondencias de puntos semánticos en lugar de densas para alinear la trayectoria de movimiento del sujeto y alterar su forma.
El uso de correspondencias densas permite una mejor coherencia temporal, pero limita el cambio en la forma del sujeto en el vídeo editado. Aunque el uso de correspondencias de puntos semánticos es un método flexible, varía según las diferentes configuraciones del mundo abierto, lo que dificulta entrenar un modelo de condición general. Los investigadores intentaron utilizar sólo un número limitado de fotogramas de vídeo fuente para aprender el control de puntos semánticos. Descubrieron que los puntos optimizados en los cuadros de video fuente pueden alinear la trayectoria de movimiento del sujeto y también cambiar la forma del sujeto. Además, los puntos semánticos optimizados también podrían transferirse a través de cambios semánticos y de bajo nivel. Estas observaciones destacan el uso de la correspondencia de puntos semánticos en la edición de videos.
Los investigadores han diseñado el marco de la siguiente manera. Han integrado la capa de movimiento en el modelo de difusión de imágenes, lo que garantiza la coherencia temporal. También identificaron puntos semánticos en el vídeo original y los utilizaron para transferir la trayectoria del movimiento. El método se centra únicamente en la alineación semántica de alto nivel, lo que evita que aprenda demasiados detalles de bajo nivel, mejorando así la alineación de puntos semánticos. Además, VideoSwap también tiene interacciones de puntos de usuario, como eliminar o arrastrar puntos para numerosas correspondencias de puntos semánticos.
Los investigadores implementaron el marco utilizando el modelo de difusión latente y adoptaron la capa de movimiento en AnimateDiff como modelo fundamental. Descubrieron que, en comparación con los métodos de edición de video anteriores, VideoSwap logró un cambio de forma significativo y al mismo tiempo alineó la trayectoria del movimiento de la fuente y preservaba la identidad del concepto de destino. Los investigadores también validaron sus resultados utilizando evaluadores humanos, y los resultados muestran claramente que VideoSwap superó a los otros métodos comparados en métricas como la identidad del sujeto, la alineación del movimiento y la consistencia temporal.
En conclusión, VideoSwap es un marco versátil que permite la edición de videos, incluso aquellos que involucran formas complejas. Limita la intervención humana durante el proceso y utiliza correspondencias de puntos semánticos para mejorar el intercambio de temas de vídeo. El método también permite cambiar la forma y al mismo tiempo alinear la trayectoria del movimiento con el objeto fuente y supera a los métodos anteriores en múltiples métricas, lo que demuestra resultados de última generación en el intercambio de sujetos de vídeo personalizado.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.