La síntesis de vistas en tiempo real, una tecnología de gráficos por computadora de vanguardia, revoluciona la forma en que percibimos e interactuamos con entornos virtuales. Este enfoque innovador permite la generación instantánea de escenas dinámicas e inmersivas desde puntos de vista arbitrarios, combinando a la perfección los mundos real y virtual. Tiene un inmenso potencial para aplicaciones de realidad virtual y aumentada, ya que utiliza algoritmos avanzados y métodos de aprendizaje profundo para superar los límites del realismo visual y la participación del usuario.
Investigadores de Google DeepMind, Google Research, Google Inc., Tubingen AI Center y la Universidad de Tubingen presentaron SMERF (Streamable Memory Efficient Radiance Fields), un método que permite la síntesis de visualización en tiempo real de escenas extensas en dispositivos con recursos limitados con una calidad comparable. a los principales métodos fuera de línea. SMERF se adapta perfectamente a ubicaciones que cubren cientos de metros cuadrados y es compatible con navegadores, lo que lo hace ideal para explorar vastos entornos en dispositivos cotidianos como teléfonos inteligentes. Esta innovadora tecnología cierra la brecha entre la renderización en tiempo real y la síntesis de escenas de alta calidad, ofreciendo una solución accesible y eficiente para experiencias inmersivas en plataformas restringidas.
Los avances recientes en Neural Radiance Fields (NeRF) se centran en mejoras de velocidad y calidad, explorando métodos como características dependientes de la vista precalculadas y varias parametrizaciones. El enfoque MERF combina cuadrículas de vóxeles dispersas y de bajo rango, lo que permite la representación en tiempo real de grandes escenas dentro de limitaciones de memoria. Al destilar un modelo Zip-NeRF de alta fidelidad en submodelos basados en MERF se logra una representación en tiempo real con una calidad comparable. El estudio también profundiza en métodos de síntesis de vistas basados en rasterización, ampliando la partición basada en cámaras para permitir la representación en tiempo real de escenas extremadamente grandes a través de la coherencia mutua y la regularización durante el entrenamiento.
La investigación propone un enfoque escalable para la representación en tiempo real de escenas 3D extensas utilizando campos radiantes, superando las compensaciones anteriores entre calidad, velocidad y tamaño de representación. Para lograr una representación en tiempo real en hardware común, el método emplea una arquitectura de modelo en mosaico con submodelos especializados para diversos puntos de vista, mejorando la capacidad del modelo y controlando el uso de recursos.
El método SMERF se introduce para la exploración en tiempo real de escenas grandes, empleando una arquitectura de modelo en mosaico con submodelos especializados para diferentes puntos de vista. La representación en tiempo real se logra mediante un procedimiento de capacitación de destilación, que garantiza la supervisión del color y la geometría de escenas comparables en escala y calidad a trabajos de vanguardia. La partición basada en cámaras facilita la renderización de escenas extremadamente grandes, mejorada por pesos de renderización volumétricos. La interpolación trilineal se utiliza para la interpolación de parámetros y los colores dependientes de la vista se decodifican según una ecuación específica, lo que contribuye a la eficiencia y eficacia del método.
SMERF logra una síntesis de visualización en tiempo real para escenas grandes en diversos dispositivos básicos, acercándose a la calidad de los métodos fuera de línea de última generación. Al operar en dispositivos con recursos limitados, incluidos teléfonos inteligentes, el proceso destaca en precisión en comparación con MERF y 3DGS, particularmente a medida que aumenta la subdivisión espacial. El modelo demuestra una precisión de reconstrucción notable, acercándose a la de su maestro Zip-NeRF, con brechas mínimas en PSNR y SSIM. Este enfoque escalable permite la representación en tiempo real de amplios espacios de varias habitaciones en hardware común, mostrando su versatilidad y fidelidad.
En conclusión, la investigación presenta una técnica innovadora, escalable y adaptable para renderizar espacios amplios en tiempo real. Logra un hito significativo al generar de manera convincente espacios ilimitados de varias habitaciones en tiempo real en hardware estándar. La arquitectura del modelo en mosaico introducida y el procedimiento de entrenamiento de destilación del campo de radiación garantizan una alta fidelidad y coherencia en diversos dispositivos básicos. Este enfoque cierra la brecha con los métodos fuera de línea existentes en cuanto a la calidad de renderizado y permite la síntesis de vistas en tiempo real.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 34k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.