SLAM (Localización y mapeo simultáneos) es una de las técnicas importantes utilizadas en robótica y visión por computadora. Ayuda a las máquinas a comprender dónde están y crear un mapa de su entorno. Las imágenes borrosas por el movimiento enfrentan dificultades en los sistemas SLAM visuales densos por dos razones: 1) Estimación de pose inexacta durante el seguimiento: imagen densa y fotorrealista actual GOLPE Los algoritmos se basan en imágenes claras para estimar las posiciones de la cámara garantizando un brillo constante en todas las vistas. Esto afecta el proceso de mapeo y genera una geometría de múltiples vistas inconsistente. 2) Geometría de múltiples vistas inconsistente en el mapeo: la mala calidad de imagen de varias vistas puede generar características incorrectas, lo que causa errores en 3D geometría y una reconstrucción de baja calidad del 3D mapa. Combinando estos dos factores, los sistemas SLAM virtuales densos existentes normalmente tendrían un rendimiento deficiente al manejar imágenes borrosas por el movimiento.
Los métodos tradicionales SLAM dispersos utilizan nubes de puntos dispersas para la reconstrucción de mapas. Los sistemas SLAM densos basados en el aprendizaje recientes se centran en generar mapas densos importantes para tareas posteriores. Campos de radiación neuronal (NeRF) y Salpicadura gaussiana 3D (3DGS) Se han utilizado con sistemas SLAM para crear escenas 3D realistas, mejorando la calidad y la textura del mapa. Sin embargo, los métodos existentes dependen en gran medida de imágenes nítidas y de alta calidad. RGB-D yonputs, que plantean desafíos cuando se trata de cuadros borrosos por movimiento, que a menudo se encuentran en condiciones de poca luz o exposición prolongada, lo que resulta en una baja precisión y eficiencia de localización y mapeo en varios métodos.
Para resolver estos problemas, un grupo de investigadores de China realizó una investigación detallada y propuso MBA-SLAMun canal SLAM RGB-D denso y fotorrealista diseñado para manejar entradas de movimiento borroso de manera efectiva. Este enfoque integra el proceso de generación de imágenes de desenfoque de movimiento físico en las etapas de seguimiento y mapeo. El objetivo principal de este marco es reconstruir escenas 3D densas y de alta calidad y medir con precisión las trayectorias de movimiento de la cámara, lo que se logró mediante la integración de dos componentes clave: un rastreador de desenfoque de movimiento y un mapeador de desenfoque ajustado por paquete basado en NERF o Salpicadura gaussiana 3D.
El método utilizó un modelo de movimiento continuo para rastrear el movimiento de la cámara durante la exposición. El sistema consideró las posiciones inicial y final de la cámara para cada imagen borrosa por movimiento. En el seguimiento, se representó una imagen de referencia nítida, se difuminó para que coincidiera con la imagen actual y se comparó para mejorar la estimación del movimiento. Las trayectorias de la cámara y las escenas 3D se optimizaron en el mapeo para reducir los errores de coincidencia de imágenes. Se exploraron dos representaciones de escena: campos de radiación neuronal implícitos (NeRF) y salpicaduras gaussianas 3D explícitas (3D-GS). NERF logró velocidades de fotogramas más altas pero una calidad de renderizado más baja, mientras que 3D-GS ofrecía mejor calidad a costa de velocidades de fotogramas más bajas.
El método mostró una reducción medida en los errores de seguimiento, y el conjunto de datos ScanNet arrojó un ATE RMSE de 0.053superando ORB-SLAM3 (0,081) y LDS-SLAM (0,071). en el TUM RGB-D conjunto de datos, MBA-SLAM logró un ATE RMSE de 0.062mostrando su superior precisión de seguimiento. En reconstrucción de imágenes, MBA-SLAM destacó con un PSNR de 31,2 dB en el conjunto de datos de ArchViz y un SSIM de 0,96 en ScanNetsuperando a métodos como ORB-SLAM3 y DSO en términos de calidad. El LPIPS puntuación de MBA-SLAM también se informa que es 0,18lo que refleja una mejor calidad perceptiva. Los campos de radiación y las salpicaduras gaussianas mejoraron la calidad de la imagen, mientras CUDA La aceleración permitió el procesamiento en tiempo real, haciéndolo 5 veces más rápido que otros. MBA SLAM proporcionó una precisión mejorada en el seguimiento, mejor calidad de imagen y velocidad en comparación con otros, y parecía prometer una aplicación en escenarios SLAM con desenfoque de movimiento debido al dinamismo en el entorno.
En resumen, el marco propuesto MBA-SLAM aborda eficazmente los problemas en el GOLPE sistema. Con su modelo de formación de imágenes de desenfoque de movimiento físico, altamente CUDACon un rastreador optimizado que reconoce el desenfoque y un mapeador de desenfoque, el MBA-SLAM rastreó trayectorias precisas de movimiento de la cámara dentro del tiempo de exposición y reconstruyó un mapa nítido y fotorrealista para la entrada de secuencia de video dada. Funcionó mucho mejor que los métodos anteriores en conjuntos de datos existentes y del mundo real. ¡Este trabajo marca un desarrollo significativo en el campo de los sistemas SLAM y puede usarse como base para futuros avances e investigaciones!
Verificar el Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
Divyesh es pasante de consultoría en Marktechpost. Está cursando un BTech en Ingeniería Agrícola y Alimentaria en el Instituto Indio de Tecnología de Kharagpur. Es un entusiasta de la ciencia de datos y el aprendizaje automático que quiere integrar estas tecnologías líderes en el ámbito agrícola y resolver desafíos.