En el contexto de la conversión de texto a 3D, el desafío clave radica en llevar la difusión 2D a la generación 3D. Los métodos existentes enfrentan dificultades para crear geometría debido a la ausencia de un previo geométrico y la intrincada interacción de materiales e iluminación en imágenes naturales. Para abordar esto, un equipo de investigadores de Alibaba ha propuesto un modelo de difusión de profundidad normal llamado RichDreamer, diseñado para proporcionar una base geométrica sólida para la generación de geometría de texto a 3D de alta fidelidad.
Los métodos existentes se han mostrado prometedores al crear primero la geometría mediante muestreo de destilación de puntuación (SDS) aplicado a las normales de superficie renderizadas, seguido del modelado de apariencia. Sin embargo, confiar en un modelo de difusión RGB 2D para optimizar las normales de la superficie no es óptimo debido a la discrepancia en la distribución entre las imágenes naturales y los mapas de normales, lo que genera inestabilidad en la optimización. Este modelo propone aprender un modelo de difusión de profundidad normal generalizable para generación 3D.
Los desafíos de pasar del 2D al 3D se vuelven evidentes, incluidas las limitaciones de múltiples vistas y el acoplamiento inherente de la geometría de la superficie, la textura y la iluminación en imágenes naturales. El modelo de difusión de profundidad normal propuesto tiene como objetivo superar estos desafíos aprendiendo una distribución conjunta de información normal y de profundidad, describiendo efectivamente la geometría de la escena. El modelo se entrena en el extenso conjunto de datos LAION, lo que muestra notables capacidades de generalización. El equipo afina el modelo en un conjunto de datos sintéticos, demostrando su capacidad para aprender diversas distribuciones de normal y profundidad en escenas del mundo real.
Para abordar los efectos de iluminación mixta en los materiales generados, se introduce un modelo de difusión de albedo para imponer restricciones basadas en datos al componente de albedo. Esto mejora la separación de los efectos de reflectancia e iluminación, lo que contribuye a obtener resultados más precisos y detallados.
El proceso de generación de geometría implica el muestreo de destilación de puntaje (SDS) y la integración del modelo de difusión de profundidad normal propuesto en la tubería Fantasia3D. El equipo explora el uso del modelo para optimizar los campos de radiación neuronal (NeRF) y demuestra su eficacia para mejorar las reconstrucciones geométricas.
El aspecto del modelado de apariencia implica un modelo de material de Disney de representación física (PBR), y los investigadores introducen un modelo de difusión de albedo para mejorar la generación de material. La evaluación del método propuesto demuestra un rendimiento superior tanto en geometría como en generación de modelos texturizados en comparación con los enfoques de última generación.
En conclusión, el equipo de investigación presenta un enfoque pionero para la generación 3D mediante la introducción de un modelo de difusión de profundidad normal, abordando desafíos críticos en el modelado de texto a 3D. El método presenta mejoras significativas en el modelado de geometría y apariencia, estableciendo un nuevo estándar en este campo. Las direcciones futuras incluyen ampliar el enfoque a la generación de texto a escena y explorar aspectos adicionales del modelado de apariencia.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordia, LinkedIn Grarribay Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.