Los modelos de difusión se han convertido en el enfoque predominante para generar vídeos. Sin embargo, su dependencia de datos web a gran escala, cuya calidad varía, con frecuencia conduce a resultados que carecen de atractivo visual y no se alinean bien con las indicaciones textuales proporcionadas. A pesar de los avances recientes, todavía hay margen para mejorar la calidad visual de los vídeos generados. Un factor notable que contribuye a este desafío es la calidad diversa de los extensos datos web utilizados en la capacitación previa. Esta variabilidad puede dar como resultado modelos capaces de producir contenido que carece de atractivo visual, puede ser tóxico y no se alinea bien con las indicaciones proporcionadas.
Un equipo de investigadores de la Universidad de Zhejiang, Alibaba Group, la Universidad de Tsinghua, la Universidad de Tecnología y Diseño de Singapur, S-Lab, la Universidad Tecnológica de Nanyang, el Laboratorio CAML y la Universidad de Cambridge presentaron InstructVideo para instruir modelos de difusión de texto a video con humanos. retroalimentación mediante el ajuste de recompensas. Experimentos integrales, que abarcan evaluaciones cualitativas y cuantitativas, confirman la practicidad y eficacia de incorporar modelos de recompensa de imágenes en InstructVideo. Este enfoque mejora significativamente la calidad visual de los videos generados sin comprometer la capacidad del modelo para generalizar.
Los primeros esfuerzos en la generación de videos se centraron en GAN y VAE, pero generar videos a partir de textos siguió siendo un desafío. Los modelos de difusión han surgido como el método de facto para la generación de vídeos, proporcionando diversidad y fidelidad. VDM extendió los modelos de difusión de imágenes a la generación de video. Se hicieron esfuerzos para introducir condiciones espaciotemporales para una generación más controlable. Comprender las preferencias humanas en la generación de contenido visual es un desafío, y algunos trabajos utilizan anotaciones y ajustes de datos anotados para modelar las preferencias humanas. Es deseable aprender de la retroalimentación humana en la generación de contenido óptico, y trabajos anteriores se centraron en el aprendizaje por refuerzo y la alineación de agentes.
InstructVideo utiliza una reformulación del ajuste de recompensas como edición, mejorando la eficiencia y eficacia computacional. El método incorpora recompensa de video segmental (SegVR) y recompensa atenuada temporalmente (TAR) para permitir un ajuste eficiente de la recompensa utilizando modelos de recompensa de imágenes. SegVR proporciona señales de recompensa basadas en un muestreo disperso segmentario, mientras que TAR mitiga la degradación del modelado temporal durante el ajuste fino. El objetivo de optimización se reescribe para incluir el grado de la tasa de atenuación, con un valor predeterminado de 1 para el coeficiente. InstructVideo aprovecha el proceso de difusión para obtener el punto de partida para ajustar las recompensas en la generación de videos.
La investigación proporciona más resultados de visualización para ejemplificar las conclusiones extraídas, mostrando cómo evolucionan los vídeos generados. La eficacia de InstructVideo se demuestra mediante un estudio de ablación en SegVR y TAR, que muestra que su eliminación conduce a una reducción notable en las capacidades de modelado temporal. InstructVideo supera consistentemente a otros métodos en términos de calidad de video, siendo las mejoras en la calidad del video más pronunciadas que las mejoras en la alineación del texto y el video.
En conclusión, el método InstructVideo mejora significativamente la calidad visual de los videos generados sin comprometer las capacidades de generalización, como se validó a través de extensos experimentos cualitativos y cuantitativos. InstructVideo supera a otros métodos en cuanto a la calidad del video, siendo las mejoras en la calidad del video más pronunciadas que las mejoras en el video-texto. alineación. El uso de modelos de recompensa de imágenes, como HPSv2, en InstructVideo resulta práctico y eficaz para mejorar la calidad visual de los vídeos generados. La incorporación de SegVR y TAR en InstructVideo mejora el ajuste y mitiga la degradación del modelado temporal.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.