¿Cómo se pueden completar eficazmente las partes faltantes de una captura 3D? Este trabajo de investigación de Google Research y UC Berkeley presenta “NeRFiller”, un enfoque novedoso para la pintura en 3D, que aborda el desafío de reconstruir escenas 3D incompletas u objetos que a menudo faltan debido a fallas de reconstrucción o falta de observaciones. Este enfoque permite completar escenas de manera precisa y personalizable al controlar el proceso de pintura a través de ejemplos de referencia. NeRFiller es un enfoque de pintura generativa 3D que mejora escenas u objetos en capturas 3D, lo que lo convierte en una solución eficaz para mejorar las reconstrucciones 3D.
El estudio explora diversas metodologías para completar secciones faltantes en escenas 3D, que van desde la tradicional pintura en 2D hasta técnicas avanzadas como LaMa para la pintura a gran escala. Profundiza en modelos de difusión probabilística y latente, considerando enfoques de generación 3D que involucran texto o imágenes como inputs. Se enfatiza la relevancia de la configuración de eliminación de objetos y se evalúan varias líneas de base y conjuntos de datos para la pintura 3D. Si bien aborda trabajos relacionados en edición de videos y escenas, se enfoca principalmente en completar escenas dentro del contexto de escenas 3D existentes.
La investigación aborda el desafío de completar y pintar escenas en 3D, enfatizando la importancia de un enfoque consistente con múltiples vistas y consciente del 3D. Al distinguir entre completar una escena y eliminar objetos, la atención se centra en generar contenido nuevo dentro de las escenas 3D. Se discuten las limitaciones de los modelos de pintura generativos 2D para imágenes consistentes en 3D. El enfoque NeRFiller propuesto aprovecha el fenómeno de cuadrícula previa de los modelos de difusión de texto a imagen para mejorar la coherencia de múltiples vistas en inpaints. También se analizan trabajos relacionados en la generación de escenas 3D y métodos de eliminación de objetos.
NeRFiller es un método que utiliza un modelo de difusión 2D generativo como pintura antes de completar las regiones faltantes en escenas 3D. Aborda los desafíos de las diversas estimaciones pintadas y la falta de coherencia 3D en los modelos 2D. NeRFiller incorpora mecanismos de consolidación para resultados pintados destacados y fomenta el carácter 3D. Utiliza optimización iterativa de escenas 3D, extendiendo la cuadrícula en pintura a una gran colección de imágenes. Se comparan líneas de base como Masked NeRF y LaMask, lo que demuestra la eficacia de NeRFiller. La evaluación incluye comparaciones, métricas de vista novedosa, calidad de imagen y métricas de geometría.
NeRFiller sobresale en la finalización de escenas 3D, llenando regiones faltantes y eliminando oclusores no deseados, demostrando consistencia y plausibilidad 3D. En comparación con las líneas base de eliminación de objetos, NeRFiller supera a la hora de completar áreas faltantes. Las métricas de evaluación abarcan NeRF, vista novedosa, calidad de imagen MUSIQ y métricas de geometría, lo que muestra su eficacia para generar escenas 3D coherentes y realistas.
En conclusión, NeRFiller es una potente herramienta de pintura 3D que puede completar con precisión las piezas faltantes en escenas 3D. Su capacidad para llenar huecos y eliminar elementos no deseados supera las líneas base de eliminación de objetos. La introducción de Joint Multi-View Inpainting mejora aún más su coherencia al promediar las predicciones de ruido en múltiples imágenes. NeRFiller ha demostrado su eficacia a la hora de completar escenas 3D especificadas por el usuario comparándolas con líneas de base de última generación. Proporciona un marco valioso para pintar regiones faltantes en capturas 3D con especificaciones definidas por el usuario.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.