La síntesis de visión novedosa ha sido testigo de avances significativos recientemente, con los campos de radiación neuronal (NERF) pionero en técnicas de representación 3D a través de la representación neuronal. Mientras que NERF introdujo métodos innovadores para reconstruir escenas al acumular valores de RGB a lo largo de los rayos de muestreo utilizando perceptrones multicapa (MLP), encontró desafíos computacionales sustanciales. El extenso muestreo de puntos de rayos y los grandes volúmenes de redes neuronales crearon cuellos de botella críticos que impactaron el entrenamiento y el rendimiento de representación. Además, la complejidad computacional de generar vistas fotorrealistas a partir de imágenes de entrada limitadas continuó planteando obstáculos técnicos significativos, exigiendo enfoques más eficientes y computacionalmente livianos para la reconstrucción y representación de la escena 3D.
Los intentos de investigación existentes para abordar los desafíos de síntesis de la vista novedosa se han centrado en dos enfoques principales para la compresión de representación neuronal. Primero, las técnicas de compresión del campo de radiación neural (NERF) han evolucionado a través de representaciones explícitas basadas en la red y estrategias de reducción de parámetros. Estos métodos incluyen Instant-NGP, Tensorf, Planes K y DVGO, que intentaron mejorar la eficiencia de representación mediante la adopción de representaciones explícitas. Las técnicas de compresión ampliamente clasificadas en enfoques basados en el valor y basados en la relación estructural surgieron para abordar las limitaciones computacionales. Métodos basados en el valor, como poda, libros de códigos, cuantización y limitaciones de entropía, destinadas a reducir el recuento de parámetros y la arquitectura del modelo de línea.
Investigadores de la Universidad de Monash y la Universidad de Shanghai Jiao Tong han propuesto HAC ++, un marco de compresión innovador para el splatting gaussiano 3D (3DGS). El método propuesto utiliza las relaciones entre los anclajes no organizados y una cuadrícula de hash estructurada, utilizando información mutua para el modelado de contexto. Al capturar las relaciones contextuales intrainchor e introducir un módulo de cuantización adaptativa, HAC ++ tiene como objetivo reducir significativamente los requisitos de almacenamiento de las representaciones gaussianas 3D mientras se mantiene las capacidades de representación de alta fidelidad. También representa un avance significativo para abordar los desafíos computacionales y de almacenamiento inherentes a las técnicas de síntesis de visión novedas actuales.
La arquitectura HAC ++ se basa en el marco de andamio-GS y comprende tres componentes clave: contexto asistido con griD (HAC), contexto intrainchor y enmascaramiento de compensación adaptativa. El módulo de contexto asistido con la red hash presenta una cuadrícula de hash compacta estructurada que se puede consultar en cualquier ubicación de anclaje para obtener una función de hash interpolada. El modelo de contexto intrainchor aborda los despidos de anclaje interno, proporcionando información auxiliar para mejorar la precisión de la predicción. El módulo de enmascaramiento de compensación adaptativa las circulas redundantes de los gaussianos y los anclajes integrando el proceso de enmascaramiento directamente en los cálculos de tasas. La arquitectura combina estos componentes para lograr una compresión integral y eficiente de representaciones de chapuzón gaussianas 3D.
Los resultados experimentales demuestran el notable rendimiento de Hac ++ en la compresión de estallido gaussiana 3D. Logra reducciones de tamaño sin precedentes, superando 100 veces en comparación con los 3DG de vainilla en múltiples conjuntos de datos mientras se mantiene y mejora la fidelidad de la imagen. En comparación con el modelo base de andamio-GS, HAC ++ ofrece una reducción de tamaño de 20 veces con métricas de rendimiento mejoradas. Si bien los enfoques alternativos como SOG y contextGS introdujeron modelos de contexto, HAC ++ los supera a través de estrategias de modelado de contexto y enmascaramiento adaptativo más complejos. Además, su río Bits contiene componentes cuidadosamente codificados, con atributos de anclaje codificados con la codificación aritmética, que representa el componente de almacenamiento primario.
En este documento, los investigadores introdujeron HAC ++, un enfoque novedoso para abordar el desafío crítico de los requisitos de almacenamiento en representaciones 3D de Splatting Gaussian. Al explorar la relación entre gaussianos desorganizados y dispersos y redes de hash estructuradas, HAC ++ introduce una metodología de compresión innovadora que utiliza información mutua para lograr un rendimiento de compresión de última generación. La validación experimental extensa destaca la efectividad de este método, lo que permite el despliegue de la chispa gaussiana 3D en representaciones de escenas a gran escala. Si bien reconoce limitaciones, como el aumento del tiempo de entrenamiento y el modelado de relaciones de anclaje indirecto, la investigación abre vías prometedoras para futuras investigaciones en eficiencia computacional y técnicas de compresión para tecnologías de representación neuronal.
Verificar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 70k+ ml de subreddit.
🚨 [Recommended Read] Nebius AI Studio se expande con modelos de visión, nuevos modelos de idiomas, incrustaciones y Lora (Promocionado)
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.