Robbyant, la unidad de inteligencia incorporada de Ant Group, ha lanzado LingBot-World-Infinity (LingBot-World 2.0). Es un modelo de generación de vídeo causal que se comporta como un simulador de mundo interactivo. Así es como el equipo ataca dos modos de falla: deriva de largo horizonte y latencia interactiva.
¿Qué es LingBot-World-Infinity?
Un modelo de mundo interactivo genera vídeo cuadro por cuadro, condicionado a un flujo de acciones del usuario. Cada estado depende sólo de fotogramas pasados y de la entrada actual. El equipo de investigación formaliza esto como una factorización causal:
Aquí x_t es el estado visual en el momento t. La acción a_t combina una pose de cámara y un mensaje de texto. La pose de la cámara utiliza incrustaciones de Plücker, inyectadas mediante normalización de capa adaptativa (AdaLN). El texto ingresa como indicaciones fragmentadas a través de la atención cruzada.
El equipo de investigación afirma cuatro mejoras con respecto a LingBot-World:
Un horizonte de interacción ilimitado con una calidad de producción constante. Una variante destilada en tiempo real suficiente para generar transmisiones de video de 720p a 60 fps. Un espacio de acción más amplio, que incluye ataque, tiro con arco, lanzamiento de hechizos y disparos. Un arnés de agente que empareja a un agente piloto con un agente director.
El modelo principal es el 14B. Una contraparte liviana de 1.3B se describe como implementable en una sola GPU.
La arquitectura: MoBA y formación en dos etapas
La contribución principal es la máscara de atención mixta bidireccional y autorregresiva (MoBA). Eso explica la deriva.
El entrenamiento por video autorregresivo estándar utiliza una máscara de fuerza docente. Cada cuadro ruidoso se ocupa de sí mismo y de su contexto limpio. El equipo de investigación encontró una falla aquí. A medida que crece el contexto, el modelo se apoya en ese contexto en lugar de predecir marcos futuros. El resultado es un sobreajuste y una degradación de la calidad visual.
MoBA añade un bloque bidireccional de atención total a la máscara de fuerza del profesor. Ese bloque actúa como regularizador. También ayuda al modelo a manejar la generación de longitudes flexibles.
La máscara de atención cruzada refleja la división. El componente autorregresivo atiende a un mensaje de fondo junto con mensajes fragmentados en un patrón triangular inferior. Eso evita que la semántica futura se filtre hacia atrás. El componente bidireccional atiende a un mensaje global.
El entrenamiento previo optimiza un objetivo de coincidencia de flujo condicional con interpolación de flujo rectificado. Luego, la capacitación posterior comprime al maestro de varios pasos en un estudiante de unos pocos pasos:
Destilación de coherencia: las latentes en la misma trayectoria de EDO de flujo de probabilidad del maestro (PF-ODE) deben corresponderse con predicciones idénticas. Destilación de coincidencia de distribución (DMD): el generador sigue el gradiente KL entre las distribuciones de datos de estudiantes con ruido y de datos con ruido.
El detalle importante se encuentra en el DMD. El equipo de investigación lo aplica a lo largo de trayectorias largas de autodespliegue, no sólo en estados forzados por los docentes. Por lo tanto, el estudiante está optimizado en la distribución de estado que inducen sus propias predicciones. Ese es el mecanismo declarado detrás del anti-deriva.
El arnés agente: la característica que vale la pena tomar en serio
Un predictor de fotogramas no se reproduce solo. El equipo de investigación de Robbyant envuelve el generador en un marco de cosimulación director-piloto.
Como se describe en el trabajo de investigación, un modelo de visión-lenguaje es el director. Gobierna las reglas semánticas macroscópicas y el razonamiento causal. El generador de vídeo Diffusion Transformer es el Piloto. Simula dinámicas físicas de bajo nivel y representa transiciones.
El arnés expone dos modos de interacción:
Modo A: Interacción Semántica Directa. El VLM lee el fotograma actual y genera tarjetas de eventos. No se requieren máscaras de objetos.
Modo B: Interacción de objetos asistida por seguimiento. Un bucle de propuesta de acción basado en SAM (Segment Anything Model) rastrea objetos a través de fragmentos. Los usuarios seleccionan un objeto rastreado y activan acciones. El artículo de investigación muestra la apertura de puertas y los despliegues giratorios de bolas.
Los usuarios también pueden intervenir textualmente. Los cambios de estado global cambian la hora del día o el clima. La inyección de entidades locales genera criaturas y el VLM elige puntos de entrada plausibles.
La interfaz sigue las convenciones del juego. WASD impulsa el movimiento, IJKL controla la vista. El espacio desencadena un salto; P desencadena un planeo del ala. Las teclas U y O llevan acciones de personajes propuestas por VLM. Las teclas F y G transmiten eventos ambientales. Las claves numéricas son espacios para eventos registrados por el usuario.
Práctica: qué se envía y qué no
Las expectativas necesitan calibración aquí.
El código base se basa en Wan2.2. Actualmente, solo se puede descargar lingbot-world-v2-14b-causal-fast. El 14B causal preentrenado, el 14B bidireccional y ambas variantes 1.3B están marcadas como TODO.
El generate.py proporcionado ejecuta inferencia causal con almacenamiento en caché KV. Procesa fotogramas fragmento a fragmento en lugar de todos a la vez. El comando de referencia es ocho GPU y 480P:
El script de referencia publicado es 480×832 en ocho GPU. La cifra de 60 fps describe la corriente desplegada, que pasa por un refinador espacio-temporal. Ese refinador aumenta la muestra de fotogramas decodificados y luego sintetiza fotogramas intermedios para obtener una velocidad de fotogramas más alta. Ambas etapas se compilan en motores TensorRT.
También existe un puesto de control de Difusores:
Para una ruta alojada, Reactor sirve el modelo como reactor/lingbot-world-2. Sus documentos enumeran 48 fps a 1664 × 960. Las sesiones están controladas por comandos y tienen estado:
El movimiento es un estado persistente, no un pulso. set_move_longitudinal: “avanza” conduce hasta enviar “inactivo”. Los comandos aterrizan en el siguiente límite del fragmento.
Comparación
La comparación del trabajo de investigación es cualitativa. Cada afirmación de superioridad se basa en rejillas de marcos una al lado de la otra.
Casos de uso
Creación de prototipos de juegos y niveles: siembra una imagen de una ciudad canalizada. Cambie en caliente el aviso para convocar una tormenta de nieve. Repita el estado de ánimo antes de que exista cualquier canalización de activos. Simulación incorporada: genere despliegues en primera persona bajo poses de cámara programadas. Envíe marcos a un alumno de políticas sin crear una escena de Unreal Engine. Datos sintéticos para la comprensión del vídeo: las indicaciones fragmentadas producen eventos localizados temporalmente. Cada fragmento lleva su propio título por construcción. Arneses de evaluación del agente: permita que el agente director proponga eventos y luego califique cómo reacciona un agente posterior. La propia analogía del artículo es un andamio de codificación como el Codex. Previsualización: controle set_camera_pose para movimientos de cámara del agente dirigidos. Cambia el estilo del mundo a mitad de camino sin perder la imagen de referencia.
Conclusiones clave
LingBot-World-Infinity (LingBot-World 2.0) es el modelo de mundo causal abierto de Robbyant, lanzado con un punto de control 14B. La atención del MoBA más el DMD sobre el despliegue automático es la verdadera contribución: apunta directamente a la deriva a largo plazo. Un arnés de director (VLM) y piloto (generador DiT) convierte el predictor de fotogramas en un simulador interactivo. El titular de 720p/60 fps necesita la pila de implementación inédita; el script público se ejecuta a 480×832 en ocho GPU. La comparación es cualitativa: una implementación de 60 minutos, sin VBench ni FVD y una licencia CC BY-NC-SA 4.0 no comercial.