Los métodos de estimación de ocupación 3D inicialmente dependían en gran medida de enfoques de entrenamiento supervisado que requerían anotaciones 3D extensas, lo que limitaba la escalabilidad. Las técnicas de aprendizaje autosupervisadas y débilmente supervisadas surgieron para abordar este problema, utilizando la representación de volumen con señales de supervisión 2D. Sin embargo, estos métodos enfrentaron desafíos, incluida la necesidad de poses 6D de verdad fundamental e ineficiencias en el proceso de representación. Los conjuntos de datos existentes también presentaban limitaciones, con problemas como la autooclusión que afectaban la precisión de la predicción.
Para superar estos desafíos, los investigadores exploraron paradigmas más eficientes para la estimación de ocupación 3D autosupervisada. El campo buscó soluciones para reducir la dependencia de las poses reales, mejorar la eficiencia de la representación y desarrollar métodos aplicables a escenarios del mundo real con disponibilidad limitada de datos. Este artículo presenta GaussianOcc, un enfoque totalmente autosupervisado que utiliza splatting gaussiano, diseñado para abordar las limitaciones de los métodos anteriores y avanzar en el campo de la estimación de ocupación 3D.
Investigadores de la Universidad de Tokio y la Universidad de Tecnología del Sur de China desarrollaron GaussianOcc, un nuevo enfoque para la estimación de ocupación 3D totalmente autosupervisada y eficiente mediante el uso de splatting gaussiano. Este método aborda las limitaciones de las técnicas existentes, que a menudo requieren poses 6D de verdad fundamental y dependen de una representación de volumen ineficiente. GaussianOcc presenta dos componentes clave: Gaussian Splatting for Projection (GSP) y Gaussian Splatting from Voxel Space (GSV). Estas innovaciones eliminan la necesidad de poses de verdad fundamental durante el entrenamiento y mejoran la eficiencia de la representación. El método propuesto demuestra un rendimiento competitivo al lograr un entrenamiento 2,7 veces más rápido y una representación 5 veces más rápida en comparación con los enfoques existentes, lo que lo hace muy adecuado para aplicaciones prácticas en la estimación de ocupación 3D.
La metodología de GaussianOcc se centra en dos técnicas innovadoras, GSP y GSV. GSP proporciona información precisa de la escala durante el entrenamiento sin depender de poses 6D reales, utilizando proyecciones de vistas adyacentes para crear una pérdida de vista cruzada. Este enfoque optimiza el rendimiento del modelo y elimina la dependencia de datos de pose externos. GSV mejora la eficiencia de la representación al realizar splatting gaussiano directamente desde el espacio de vóxeles 3D, tratando cada vértice como un gaussiano 3D y optimizando los atributos dentro del espacio de vóxeles.
La metodología emplea una arquitectura U-Net con New-CRFs basadas en el Transformador Swin para la estimación de profundidad y una red de pose 6D consistente con SurroundDepth. Se implementa una estrategia de entrenamiento que tiene en cuenta la escala, que incorpora técnicas de enmascaramiento y procesos de refinamiento para mejorar la efectividad del splatting gaussiano y mejorar la precisión de la estimación de profundidad. Estudios de ablación exhaustivos evalúan el impacto de varios componentes, demostrando las ventajas de los métodos propuestos en términos de métricas de ocupación y profundidad. Este enfoque integrado logra una estimación de ocupación 3D eficiente y autosupervisada, abordando las limitaciones clave de los métodos existentes.
GaussianOcc demuestra un rendimiento superior en la estimación de ocupación 3D mediante un entrenamiento autosupervisado y una renderización eficiente. El método logra un entrenamiento 2,7 veces más rápido y una renderización 5 veces más rápida en comparación con la renderización de volumen tradicional. Supera los enfoques existentes en métricas de ocupación (mIoU) y estimación de profundidad. El módulo GSP permite la adquisición precisa de información de escala sin poses de verdad fundamental. El entrenamiento consciente de la escala y las operaciones de erosión mejoran la alineación y reducen los artefactos. La renderización de salpicadura mantiene la eficiencia a resoluciones más altas, lo que ofrece ventajas significativas sobre la renderización de volumen. Estos avances establecen a GaussianOcc como un punto de referencia en la estimación de ocupación 3D autosupervisada.
En conclusión, GaussianOcc presenta un enfoque totalmente autosupervisado y eficiente para la estimación de la ocupación 3D. El método demuestra una gran capacidad de generalización en diversos entornos, validado en conjuntos de datos nuScenes y DDAD. La dispersión gaussiana en cuadrículas de vóxeles supera la representación de volumen tradicional en precisión y eficiencia, lo que reduce significativamente los costos computacionales. La investigación destaca la importancia de una estimación precisa de la profundidad en la predicción de la ocupación. El uso innovador de GaussianOcc de una red de poses 6D para el aprendizaje autosupervisado, junto con sus avances en la representación, marca un avance significativo en las técnicas de comprensión y reconstrucción de escenas 3D.
Echa un vistazo a la Papel y GitHub. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios
A continuación se muestra un seminario web muy recomendado por nuestro patrocinador: ‘Desarrollo de aplicaciones de IA de alto rendimiento con NVIDIA NIM y Haystack’
Shoaib Nazir es pasante de consultoría en MarktechPost y ha completado su doble titulación de máster en tecnología en el Instituto Indio de Tecnología (IIT) de Kharagpur. Siendo un gran apasionado de la ciencia de datos, le interesan especialmente las diversas aplicaciones de la inteligencia artificial en diversos ámbitos. Shoaib está impulsado por el deseo de explorar los últimos avances tecnológicos y sus implicaciones prácticas en la vida cotidiana. Su entusiasmo por la innovación y la resolución de problemas del mundo real alimenta su continuo aprendizaje y contribución al campo de la IA.