La abstracción primitiva de forma, que descompone las formas 3D complejas en unidades geométricas simples e interpretables, es fundamental para la percepción visual humana y tiene implicaciones importantes para la visión y los gráficos por computadora. Si bien los métodos recientes en la generación 3D, que usan representaciones como mallas, nubes de puntos y campos neurales, han permitido la creación de contenido de alta fidelidad, a menudo carecen de la profundidad semántica y la interpretabilidad necesaria para tareas como la manipulación robótica o la comprensión de la escena. Tradicionalmente, la abstracción primitiva se ha abordado utilizando métodos basados en la optimización, que se ajustan a las primitivas geométricas a las formas, pero a menudo las exageran semánticamente, o métodos basados en el aprendizaje, que entrenan en pequeños conjuntos de datos específicos de categorías y, por lo tanto, carecen de generalización. Los primeros enfoques utilizaron primitivas básicas como cuboides y cilindros, luego evolucionando a formas más expresivas como los supercadros. Sin embargo, un desafío importante persiste en el diseño de métodos que pueden abstraer las formas de una manera que se alinee con la cognición humana al tiempo que generaliza en diversas categorías de objetos.
Inspirado en los avances recientes en la generación de contenido 3D utilizando grandes conjuntos de datos y transformadores automáticos, los autores proponen la abstracción de la forma de replanteación como una tarea generativa. En lugar de confiar en el ajuste geométrico o la regresión de parámetros directos, su enfoque construye secuencialmente ensamblajes primitivos para reflejar el razonamiento humano. Este diseño captura de manera más efectiva tanto la estructura semántica como la precisión geométrica. Los trabajos previos en el modelado auto-cresivo, como MeshGPT y Meshanything, han mostrado fuertes resultados en la generación de malla tratando formas 3D como secuencias, incorporando innovaciones como la tokenización compacta y el acondicionamiento de la forma.
Primitiveanything es un marco desarrollado por investigadores de Tencent AIPD y la Universidad de Tsinghua que redefine la abstracción de la forma como una tarea de generación de ensamblaje primitiva. Introduce un transformador de decodificador condicionado en características de forma para generar secuencias de primitivas de longitud variable. El marco emplea un esquema de parametrización unificado y sin ambigüedad que admite múltiples tipos primitivos al tiempo que mantiene una alta precisión geométrica y eficiencia de aprendizaje. Al aprender directamente de las abstracciones de forma diseñadas por humanos, el primitiveanhing captura efectivamente cómo las formas complejas se dividen en componentes más simples. Su diseño modular admite una fácil integración de nuevos tipos primitivos, y los experimentos muestran que produce abstracciones de alta calidad y perceptualmente alineadas en diversas formas 3D.
Primitiveanything es un marco que modela la abstracción de forma 3D como una tarea de generación secuencial. Utiliza una parametrización discreta y sin ambigüedad para representar el tipo, traducción, rotación y escala de cada primitivo. Estos se codifican y se alimentan en un transformador, que predice el siguiente primitivo basado en las características anteriores y de forma extraídas de las nubes puntuales. Un decodificador en cascada modela dependencias entre atributos, asegurando la generación coherente. El entrenamiento combina pérdidas de entropía cruzada, distancia del chaflán para la precisión de la reconstrucción y Gumbel-Softmax para un muestreo diferenciable. El proceso continúa de manera autorregresiva hasta la finalización del token de final de secuencia, lo que permite la descomposición flexible y similar a la humana de formas 3D complejas.
Los investigadores introducen un conjunto de datos humanos a gran escala que comprende 120k muestras 3D con conjuntos primitivos anotados manualmente. Su método se evalúa utilizando métricas como la distancia del chaflán, la distancia de la tierra de la tierra, la distancia de Hausdorff, los puntajes de voxel-iu y segmentación (RI, VOI, SC). En comparación con los métodos basados en optimización y aprendizaje existentes, muestra un rendimiento superior y una mejor alineación con los patrones de abstracción humana. Los estudios de ablación confirman la importancia de cada componente de diseño. Además, el marco admite la generación de contenido 3D de las entradas de texto o imagen. Ofrece edición fácil de usar, alta calidad de modelado y más de 95% de ahorro de almacenamiento, lo que lo hace bien adecuado para aplicaciones 3D eficientes e interactivas.
En conclusión, PrimitiveanyThing es un nuevo marco que se acerca a la abstracción de la forma 3D como una tarea de generación de secuencias. Al aprender de ensamblajes primitivos diseñados por humanos, el modelo captura efectivamente patrones de descomposición intuitivos. Logra resultados de alta calidad en varias categorías de objetos, destacando su fuerte capacidad de generalización. El método también admite la creación flexible de contenido 3D utilizando representaciones basadas en primitivas. Debido a su eficiencia y estructura liviana, Primitiveanything es adecuado para habilitar contenido generado por el usuario en aplicaciones como los juegos, donde tanto el rendimiento como la facilidad de manipulación son esenciales.
Verificar Papel, Manifestación y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 90k+ ml de subreddit.
Aquí hay una breve descripción de lo que estamos construyendo en MarkTechPost:
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.