Los avances en los gráficos y la percepción 3D han quedado demostrados por los avances recientes en los campos de radiación neuronal (NeRF). Además, el marco 3D Gaussian Splatting (GS) de última generación ha mejorado estas mejoras. A pesar de varios éxitos, es necesario crear más aplicaciones para crear nuevas dinámicas. Si bien existen esfuerzos para producir poses novedosas para NeRF, el equipo de investigación se centra principalmente en trabajos de alteración de formas cuasiestáticas y con frecuencia necesita mallar o incrustar geometría visual en mallas proxy gruesas, como los tetraedros. Construir la geometría, prepararla para la simulación (a menudo usando cationes tetraédricos), modelarla usando la física y luego mostrar la escena han sido pasos laboriosos en el proceso de creación de contenido visual convencional basado en la física.
A pesar de su efectividad, esta secuencia contiene pasos intermedios que pueden causar disparidades entre la simulación y la visualización final. Se observa una tendencia similar incluso dentro del paradigma NeRF, donde una geometría de simulación se entrelaza con la geometría de renderizado. Esta separación se opone al mundo natural, donde las características físicas y la apariencia de los materiales están indisolublemente ligadas. Su teoría general pretende conciliar estos dos aspectos apoyando un modelo único de un material utilizado para la renderización y la simulación. Los avances en los gráficos y la percepción 3D han quedado demostrados por los avances recientes en los campos de radiación neuronal (NeRF). Además, el marco 3D Gaussian Splatting (GS) de última generación ha mejorado estas mejoras.
A pesar de varios éxitos, es necesario crear más aplicaciones para crear nuevas dinámicas. Si bien existen esfuerzos para producir poses novedosas para NeRF, el equipo de investigación se centra principalmente en trabajos de alteración de formas cuasiestáticas y con frecuencia necesita mallar o incrustar geometría visual en mallas proxy gruesas, como los tetraedros. Construir la geometría, prepararla para la simulación (a menudo usando cationes tetraédricos), modelarla usando la física y luego mostrar la escena han sido pasos laboriosos en el proceso de creación de contenido visual convencional basado en la física. A pesar de su efectividad, esta secuencia contiene pasos intermedios que pueden causar disparidades entre la simulación y la visualización final.
Se observa una tendencia similar incluso dentro del paradigma NeRF, donde una geometría de simulación se entrelaza con la geometría de renderizado. Esta separación se opone al mundo natural, donde las características físicas y la apariencia de los materiales están indisolublemente ligadas. Su teoría general pretende conciliar estos dos aspectos apoyando un modelo único de un material utilizado para la renderización y la simulación. Básicamente, su método promueve la idea de que “lo que ves es lo que simulas” (WS2) para lograr una combinación más auténtica y cohesiva de simulación, captura y renderizado. Investigadores de UCLA, la Universidad de Zhejiang y la Universidad de Utah proporcionan PhysGaussian, un gaussiano 3D integrado en física para dinámica generativa, para lograr este objetivo.
Con la ayuda de este método innovador, los gaussianos 3D ahora pueden capturar la dinámica newtoniana físicamente precisa, completa con comportamientos realistas y los efectos de inercia característicos de los materiales sólidos. Para ser más precisos, el equipo de investigación proporciona física del núcleo gaussiano en 3D otorgándoles cualidades mecánicas como energía elástica, tensión y plasticidad, así como características cinemáticas como velocidad y deformación. PhysGaussian, notable por su uso de un método de punto material (MPM) personalizado y conceptos de física continua, garantiza que los gaussianos 3D impulsan tanto la simulación física como la representación visual. Como resultado, ya no hay necesidad de ningún proceso de integración y se elimina cualquier disparidad o falta de coincidencia de resolución entre los datos mostrados y los simulados. El equipo de investigación demuestra cómo PhysGaussian puede crear dinámicas generativas en diversos materiales, incluidos metales, elementos elásticos, materiales viscoplásticos no newtonianos (como espuma o gel) y medios granulares (como arena o tierra).
En resumen, sus aportaciones consisten en
• Mecánica continua para cinemática gaussiana 3D: el equipo de investigación proporciona un método basado en mecánica continua diseñado específicamente para el crecimiento de núcleos gaussianos 3D y los armónicos esféricos que el equipo de investigación produce en campos de desplazamiento controlados por ecuaciones diferenciales parciales físicas (PDE).
• Proceso unificado de simulación y renderizado: utilizando una única representación gaussiana 3D, el equipo de investigación ofrece un proceso eficaz de simulación y renderizado. El procedimiento de creación de movimiento se vuelve mucho más sencillo al eliminar la necesidad de un mallado explícito de objetos.
• Pruebas comparativas y experimentos adaptables: el equipo de investigación lleva a cabo extensos experimentos y pruebas comparativas con diversos materiales. El equipo de investigación logró un rendimiento en tiempo real para escenarios dinámicos básicos con la ayuda de simulaciones MPM efectivas y renderizado GS en tiempo real.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos destinados a aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones en torno a él. Le encanta conectarse con personas y colaborar en proyectos interesantes.