Investigadores del Instituto Tecnológico de Massachusetts (MIT), Meta y Codec Avatars Lab abordaron la desafiante tarea de la reconstrucción 3D de vista única desde una perspectiva de campo de radiación neuronal (NeRF) e introdujeron un enfoque novedoso, PlatoNeRF. El método propone una solución que utiliza datos de tiempo de vuelo capturados por un diodo de avalancha de fotón único, superando las limitaciones asociadas con los datos anteriores y las sombras observadas por las cámaras RGB.
Aprovecha la luz de dos rebotes medida por lidar, empleando datos transitorios de lidar para la supervisión en el modelado de rutas ópticas dentro de NeRF. Este enfoque distingue a PlatoNeRF de los métodos existentes, ya que permite la reconstrucción de la geometría visible y ocluida sin depender de datos previos o iluminación ambiental controlada. Los investigadores también demuestran una generalización mejorada bajo limitaciones prácticas en la resolución espacial y temporal del sensor.
La importancia de PlatoNeRF en el contexto de los lidares de fotón único emergentes que se vuelven frecuentes en dispositivos de consumo como teléfonos, tabletas y auriculares. En particular, PlatoNeRF muestra una reconstrucción 3D precisa de una sola vista sin detalles alucinantes y demuestra solidez ante la luz ambiental, el albedo de la escena y las limitaciones de resolución espacio-temporal. La representación implícita del método permite una generalización mejorada a resoluciones más bajas que los métodos lidar existentes.
La comparación se realizó con PlatoNeRF con dos métodos, uno que usa lidar de dos rebotes para la reconstrucción 3D de vista única sin aprendizaje y otro que usa sombras medidas por una cámara RGB para entrenar NeRF. A través de los experimentos, se observó que el modelo propuesto funcionó mejor que BF Lidar y S.3 -NeRF en profundidad L1 y métricas PNSR en las imágenes de profundidad reconstruidas. El modelo pudo reconstruir las partes visibles y ocluidas de la escena, proporcionando una escala precisa y una profundidad absoluta, logrando resultados mucho más fluidos que el lidar BF. La eficiencia del método se demostró aún más en escenarios del mundo real, mostrando un rendimiento competitivo en comparación con Bounce-Flash Lidar.
En conclusión, PlatoNeRF ofrece una dirección prometedora en el campo de la reconstrucción 3D al combinar las fortalezas de NeRF y lidar, particularmente a medida que los lidars de fotón único se vuelven cada vez más frecuentes en los dispositivos de consumo. La capacidad del método para reconstruir la geometría visible y ocluida desde una sola vista sin datos previos ni condiciones de iluminación estrictas marca un avance significativo en el ámbito de la comprensión de escenas 3D.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.