Generar simulaciones de vídeo de alta calidad en tiempo real plantea desafíos importantes, especialmente cuando se busca longitudes extendidas sin comprometer la calidad. Tradicionalmente, los modelos mundiales para la generación de videos han enfrentado limitaciones debido a los altos costos computacionales, la corta duración del video y la falta de interactividad en tiempo real. El uso de activos configurados manualmente, como se ve en el desarrollo de juegos AAA, puede resultar costoso, lo que lo hace insostenible para la producción continua de videos a escala. Muchos modelos existentes, como Sora o Genie, tienen dificultades para generar simulaciones realistas de alta resolución o funcionar en tiempo real, lo que limita su uso práctico. Estas barreras exigen un enfoque más escalable y realista para generar simulaciones de vídeo de alta fidelidad con capacidades interactivas.
Conoce la matriz
Matrix es un modelo mundial básico para generar vídeos de duración infinita con control a nivel de fotograma en tiempo real. Desarrollado por un equipo colaborativo de Alibaba, la Universidad de Hong Kong y la Universidad de Waterloo, The Matrix aborda muchos de los desafíos que enfrentan los modelos tradicionales. Puede producir secuencias de vídeo infinitamente largas de 720p que replican entornos del mundo real, como paisajes urbanos y terrenos naturales, manteniendo al mismo tiempo la interactividad en tiempo real con precisión a nivel de fotograma. A diferencia de los simuladores tradicionales que requieren una configuración manual extensa, The Matrix aprovecha el aprendizaje supervisado y no supervisado de fuentes de datos como juegos AAA (por ejemplo, Forza Horizon 5 y Cyberpunk 2077) y secuencias de video del mundo real. Este enfoque permite que el modelo navegue sin problemas tanto en entornos de juego como del mundo real, por ejemplo, simulando un BMW X3 conduciendo en un entorno de oficina, algo que no está disponible en los datos de entrenamiento.
Detalles técnicos
Matrix se basa en un modelo de transformador de difusión de vídeo (DiT), que le permite producir contenido de vídeo fluido y de alta resolución de forma continua. Una innovación clave que hace esto posible es el “Modelo de proceso de eliminación de ruido de ventana cambiante” (Swin-DPM), que permite la generación de videos de duración infinita al administrar de manera efectiva los mecanismos de atención necesarios para secuencias de video largas. Este proceso funciona en conjunto con el Módulo Interactivo, que incorpora entradas del usuario (como comandos de teclado) para influir dinámicamente en el contenido de video generado. El resultado es un modelo que ofrece una simulación de alta calidad con control en tiempo real, funcionando a velocidades de hasta 16 fotogramas por segundo (FPS).
Matrix puede generalizar desde entornos de juego a contextos del mundo real sin capacitación adicional, lo que la convierte en una herramienta versátil para crear simulaciones interactivas, potencialmente útil para videojuegos, simulación de vehículos autónomos, experiencias de realidad virtual y más. Además, la naturaleza de código abierto de The Matrix permite una mayor experimentación y adaptación por parte de los desarrolladores, fomentando la innovación continua.
Importancia y resultados
La importancia de Matrix radica en su capacidad para cerrar la brecha entre entornos simulados y del mundo real, lo que la convierte en una herramienta valiosa en el modelado mundial. La escalabilidad que ofrece The Matrix reduce el costo de generar simulaciones interactivas, eliminando la necesidad de entornos hechos a mano. Los resultados presentados en el artículo muestran que The Matrix logra una precisión a nivel de cuadro en el control de movimiento en múltiples escenas, incluidas las de Cyberpunk 2077 y Forza Horizon 5. El modelo demuestra una fuerte generalización, lo que permite un control preciso incluso en entornos fuera de distribución como como conducir en interiores, que no formaba parte de los datos del entrenamiento.
En términos de calidad visual y precisión de control, Matrix logró una alta relación señal-ruido (Move-PSNR) de alrededor de 28,98 en ciertas configuraciones, con velocidades de renderizado en tiempo real de 8-16 FPS después de optimizar con Stream Consistency. Modelo (SCM). Esto convierte a The Matrix en un simulador mundial eficaz que integra generación de vídeo infinita con renderizado de alta calidad y capacidades en tiempo real. Si bien se hacen algunos sacrificios en la calidad visual para lograr velocidades en tiempo real, la calidad general aún supera la de los modelos anteriores, ofreciendo una simulación realista y atractiva.
Conclusión
Matrix representa un avance significativo en la tecnología de generación de video, ya que proporciona una solución escalable para producir secuencias de video de longitud infinita con capacidades interactivas en tiempo real. Al aprovechar técnicas de difusión avanzadas y un canal de capacitación eficiente, Matrix logra un nivel de calidad y generalización que los modelos anteriores no podían. Este modelo fundamental no solo nos acerca a la realización de entornos virtuales inmersivos, sino que también demuestra el potencial de aplicaciones en juegos, simulaciones de entrenamiento y experiencias virtuales. Con su combinación de escalabilidad, control en tiempo real y disponibilidad de código abierto, The Matrix establece un nuevo estándar para el modelado mundial en la era de las simulaciones basadas en IA.
Mira el Papel y Detalles. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferencia virtual gratuita sobre GenAI con Meta, Mistral, Salesforce, Harvey AI y más. Únase a nosotros el 11 de diciembre en este evento virtual gratuito para aprender lo que se necesita para construir a lo grande con modelos pequeños de pioneros de la IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face y más.
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.