Google Research presenta un codirector de vídeo con IA: 4 marcos agentes para una generación de vídeo coherente de unos minutos de duración

Google Research ha introducido un codirector de vídeo con IA para la generación de vídeos de larga duración. El conjunto de cuatro marcos agentes convierte clips cortos en historias coherentes de minutos de duración. Se centra en la deriva de identidad y los errores en cascada, los dos fallos que interrumpen la mayoría de los canales de vídeo de IA de tomas múltiples en la actualidad.

Por qué los vídeos largos de IA se desmoronan

Los modelos de difusión reproducen clips de alta fidelidad en segundos. Unir esos clips en una historia es más difícil. La mayoría de los pipelines agentes encadenan módulos con indicaciones independientes y hechas a mano. Eso provoca una deriva semántica, donde la vestimenta o el paisaje cambian entre tomas. También provoca fallas en cascada, donde un activo ascendente defectuoso corrompe cada disparo posterior.

El equipo de Google plantea esto como un problema de asignación de crédito. Es difícil rastrear un video final roto hasta el mensaje que lo causó.

Cómo funciona el codirector de vídeo de IA

El sistema se encuentra encima de Gemini y Veo. Es independiente del modelo, por lo que la misma capa puede impulsar otros generadores. Las salidas heredan la marca de agua SynthID de los modelos base.

El codirector, aceptado en COLM 2026, utiliza un bandido de múltiples brazos (MAB). Un agente orquestador elige una configuración entre estrategia creativa, modo narrativo y arquetipo estético. Un agente de preproducción construye el guión gráfico. Los subagentes de fotogramas clave, vídeo y audio producen los medios. Luego, un juez de MLLM califica el corte y envía una recompensa factorizada al bandido.

2. LIENZO: memoria visual persistente

CANVAS, aceptado en EMNLP 2026, rastrea personajes, ubicaciones y estados de objetos a medida que evoluciona la historia. Recupera anclajes visuales almacenados cuando regresa una escena. En la prueba de atraco a un museo de Google, AutoStudio perdió la gorra del ladrón y Gemini-3.1-Pro cambió la piedra preciosa. CANVAS mantuvo ambos consistentes.

3. A²RD: vídeo largo segmento por segmento

A²RD (difusión autorregresiva agente) es una arquitectura sin formación. Cada segmento ejecuta un bucle de recuperación, síntesis, refinación y actualización en una memoria de video multimodal. El agente cambia entre la extrapolación de nuevos ritmos de la historia y la interpolación de entidades que regresan. Google compartió una película de 10 minutos generada de esta manera.

4. VQQA: refinamiento de avisos de circuito cerrado

VQQA (Respuesta a preguntas con calidad de video) genera preguntas visuales para cada mensaje. Las críticas de VLM actúan como “gradientes semánticos” que reescriben el mensaje de texto. No necesita acceso a los componentes internos del modelo. Un paso de Selección global elige el mejor vídeo de todas las iteraciones, no solo el último.

Puntos de referencia y resultados

Google creó 3 nuevos puntos de referencia. GenAD-Bench tiene 400 escenarios publicitarios en 200 productos ficticios de 50 marcas. HardContinuityBench enfatiza las reapariciones de escenas y los cambios de estado de los accesorios. LVBench-C tiene 120 escenarios donde los activos clave desaparecen durante al menos 10 segmentos antes de regresar.

Codirector: promedio de 81,4 en GenAD-Bench y 3,96 de 5 en calificaciones humanas, según la página del proyecto. Las líneas de base incluyeron Veo 3.1, Kling 3.0 Omni, Wan 2.6 y MovieAgent. LIENZO: ganancias del 21,6% en continuidad del fondo, 9,6% en consistencia de personajes y 7,6% en consistencia de accesorios. A²RD: hasta un 30 % más de coherencia y un 20 % más de coherencia narrativa en vídeos de 1 a 10 minutos. VQQA: ganancias absolutas del 11,57% en T2V-CompBench y del 8,43% en VBench2 sobre la generación básica.

Cómo se compara

CaracterísticaCodirector de vídeo con IA de GoogleStoryMem (ByteDance, NTU)MovieAgent (Show Lab, NUS)AutoStudioSalidaVídeo de varias tomas de minutos de duración con voz en off y partituraVídeo de varias tomas de un minuto de duraciónVídeo de varias escenas y tomas con subtítulos y audioSecuencias de imágenes de varias vueltas (sin vídeo)Arquitectura4 marcos en una capa jerárquica de orquestación de múltiples agentes Difusión de memoria a vídeo modelo, toma a toma Planificación de cadena de pensamiento de múltiples agentes (director, guionista, artista de guión gráfico, administrador de locaciones) 3 agentes LLM más un agente basado en Difusión Estable Mecanismo de consistencia Memoria visual persistente (CANVAS) y memoria de video multimodal (A²RD) Banco de memoria de fotogramas clave de tomas anteriores Planificación jerárquica más personalización por carácter Administrador de sujetos más Bucle de autocorrección Parallel-UNet Búsqueda de bandidos con MLLM Judge; VQQUn refinamiento rápido con Selección GlobalSelección de fotogramas clave semánticos y filtrado estéticoNo informadoNo informadoEntrenamiento de modelosSin ajustes; orquesta los modelos existentesAjuste de LoRA en el modelo baseLoRA por carácter (ED-LoRA a través de ROICtrl)Sin entrenamientoGeneradores de baseGemini y Veo (independiente del modelo)Wan2.2ROICtrl, SVD, HunyuanVideo I2VDifusión estableSalida más larga reportada10 minutos (A²RD)Aproximadamente 1 minutoNo especificadoN/A (imágenes)CódigoCo-Director y público de A²RD; CANVAS próximamentePúblicoPúblicoPúblico

Fuentes: artículos vinculados, páginas de proyectos y repositorios de GitHub. Verificado el 27 de septiembre de 2026.

Conclusiones clave

Google trata los vídeos de larga duración como un problema de optimización global y seguimiento del estado mundial. Cuatro marcos cubren planificación, guiones gráficos, generación larga y autocorrección. Se ejecuta como una capa de orquestación en Gemini y Veo, con marca de agua SynthID. A²RD produjo una película continua de 10 minutos con personajes y ubicaciones estables. El codirector obtuvo una puntuación de 81,4 en GenAD-Bench, por delante de una base de búsqueda aleatoria de 75,7.

Preguntas frecuentes

¿Quién es el codirector de vídeos de IA de Google? Es una capa de orquestación de múltiples agentes en Gemini y Veo. Planifica, genera y corrige vídeos de varias tomas para mantenerlos coherentes. ¿Cuanto tiempo pueden durar los videos? A²RD se evaluó en vídeos de 1 a 10 minutos y Google lanzó una película de demostración continua de 10 minutos. ¿Pueden los desarrolladores usarlo hoy? Parcialmente. El código del codirector y A²RD está en GitHub. El código CANVAS está pendiente y el proceso completo no es un producto de Google.

Consulta los Detalles Técnicos. Todo el crédito es para el investigador de este proyecto. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.

¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros

Asif Razzaq es el director ejecutivo de Marktechpost AI Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.