Los modelos de inteligencia artificial generativa han dejado un impacto tan indeleble en la creación de contenido digital que cada vez es más difícil recordar cómo era Internet antes. Puedes recurrir a estas herramientas de inteligencia artificial para proyectos inteligentes como videos y fotografías, pero su talento para lo creativo aún no ha llegado al mundo físico.
Entonces, ¿por qué no hemos visto todavía objetos personalizados habilitados para IA generativa, como fundas de teléfonos y macetas, en lugares como hogares, oficinas y tiendas? Según los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT, una cuestión clave es la integridad mecánica del modelo 3D.
Si bien la IA puede ayudar a generar modelos 3D personalizados que usted puede fabricar, esos sistemas no suelen considerar las propiedades físicas del modelo 3D. Faraz Faruqi, estudiante de doctorado del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT e ingeniero de CSAIL, ha explorado esta compensación, creando sistemas generativos basados en IA que pueden realizar cambios estéticos en los diseños preservando la funcionalidad, y otro que modifica las estructuras con las propiedades táctiles deseadas que los usuarios quieren sentir.
Haciéndolo real
Junto con investigadores de Google, Stability AI y Northeastern University, Faruqi ha encontrado una manera de crear objetos del mundo real con IA, creando elementos que sean duraderos y exhiban la apariencia y textura deseadas por el usuario. Con el sistema “MechStyle” impulsado por IA, los usuarios simplemente cargan un modelo 3D o seleccionan un activo preestablecido de elementos como jarrones y ganchos, y solicitan a la herramienta que utilice imágenes o texto para crear una versión personalizada. Luego, un modelo generativo de IA modifica la geometría 3D, mientras que MechStyle simula cómo esos cambios afectarán partes particulares, asegurando que las áreas vulnerables permanezcan estructuralmente sólidas. Cuando esté satisfecho con este plano mejorado con IA, podrá imprimirlo en 3D y usarlo en el mundo real.
Podrías seleccionar un modelo de, por ejemplo, un gancho de pared y el material con el que lo imprimirás (por ejemplo, plásticos como el ácido poliláctico). Luego, puede pedirle al sistema que cree una versión personalizada, con instrucciones como “generar un gancho parecido a un cactus”. El modelo de IA funcionará en conjunto con el módulo de simulación y generará un modelo 3D que se asemejará a un cactus y al mismo tiempo tendrá las propiedades estructurales de un gancho. Este accesorio verde con estrías se puede utilizar para colgar tazas, abrigos y mochilas. Estas creaciones son posibles gracias, en parte, a un proceso de estilización, donde el sistema cambia la geometría de un modelo en función de su comprensión del mensaje de texto y trabajando con la retroalimentación recibida del módulo de simulación.
Según los investigadores del CSAIL, la estilización 3D solía tener consecuencias no deseadas. Su estudio formativo reveló que sólo alrededor del 26 por ciento de los modelos 3D seguían siendo estructuralmente viables después de ser modificados, lo que significa que el sistema de IA no entendía la física de los modelos que estaba modificando.
“Queremos utilizar la IA para crear modelos que realmente se puedan fabricar y utilizar en el mundo real”, afirma Faruqi, autor principal de un artículo que presenta el proyecto. “Así que MechStyle en realidad simula cómo los cambios basados en GenAI afectarán una estructura. Nuestro sistema le permite personalizar la experiencia táctil de su artículo, incorporando su estilo personal y garantizando que el objeto pueda soportar el uso diario”.
Esta minuciosidad computacional podría eventualmente ayudar a los usuarios a personalizar sus pertenencias, creando un par de gafas únicas con puntos moteados de azul y beige que se asemejan a escamas de pez, por ejemplo. También produjo un pastillero con una textura rocosa salpicada de manchas rosas y aguamarina. El potencial del sistema se extiende a la creación de decoraciones únicas para el hogar y la oficina, como una pantalla de lámpara que se asemeja al magma rojo. Incluso puede diseñar tecnología de asistencia que se ajuste a las especificaciones de los usuarios, como férulas para dedos para ayudar en lesiones de destreza y agarres de utensilios para ayudar con discapacidades motoras.
En el futuro, MechStyle también podría resultar útil para crear prototipos de accesorios y otros productos portátiles que podría vender en una juguetería, ferretería o boutique de manualidades. El objetivo, dicen los investigadores de CSAIL, es que tanto los diseñadores expertos como los novatos dediquen más tiempo a generar ideas y probar diferentes diseños 3D, en lugar de ensamblar y personalizar elementos a mano.
mantenerse fuerte
Para garantizar que las creaciones de MechStyle pudieran resistir el uso diario, los investigadores aumentaron su tecnología de IA generativa con un tipo de simulación física llamada análisis de elementos finitos (FEA). Puedes imaginar un modelo 3D de un artículo, como un par de gafas, con una especie de mapa de calor que indica qué regiones son estructuralmente viables bajo una cantidad de peso realista y cuáles no. A medida que la IA perfecciona este modelo, las simulaciones físicas resaltan qué partes del modelo se están debilitando y evitan cambios adicionales.
Faruqi añade que ejecutar estas simulaciones cada vez que se realiza un cambio ralentiza drásticamente el proceso de IA, por lo que MechStyle está diseñado para saber cuándo y dónde realizar análisis estructurales adicionales. “La estrategia de programación adaptativa de MechStyle realiza un seguimiento de los cambios que ocurren en puntos específicos del modelo. Cuando el sistema genAI realiza ajustes que ponen en peligro ciertas regiones del modelo, nuestro enfoque simula la física del diseño nuevamente. MechStyle realizará modificaciones posteriores para asegurarse de que el modelo no se rompa después de la fabricación”.
La combinación del proceso FEA con la programación adaptativa permitió a MechStyle generar objetos que eran estructuralmente viables hasta el 100 por ciento. Al probar 30 modelos 3D diferentes con estilos que se asemejan a cosas como ladrillos, piedras y cactus, el equipo descubrió que la forma más eficiente de crear objetos estructuralmente viables era identificar dinámicamente regiones débiles y modificar el proceso generativo de IA para mitigar su efecto. En estos escenarios, los investigadores descubrieron que podían detener la estilización por completo cuando se alcanzaba un umbral de estrés particular, o hacer pequeños refinamientos gradualmente para evitar que las áreas en riesgo se acercaran a esa marca.
El sistema también ofrece dos modos diferentes: una función de estilo libre que permite a la IA visualizar rápidamente diferentes estilos en su modelo 3D, y una función MechStyle que analiza cuidadosamente los impactos estructurales de sus ajustes. Puede explorar diferentes ideas y luego probar el modo MechStyle para ver cómo esos florecimientos artísticos afectarán la durabilidad de regiones particulares del modelo.
Los investigadores de CSAIL agregan que, si bien su modelo puede garantizar que su modelo permanezca estructuralmente sólido antes de ser impreso en 3D, aún no puede mejorar los modelos 3D que no eran viables para empezar. Si carga un archivo de este tipo en MechStyle, recibirá un mensaje de error, pero Faruqi y sus colegas tienen la intención de mejorar la durabilidad de esos modelos defectuosos en el futuro.
Es más, el equipo espera utilizar IA generativa para crear modelos 3D para los usuarios, en lugar de estilizar ajustes preestablecidos y diseños cargados por los usuarios. Esto haría que el sistema fuera aún más fácil de usar, de modo que aquellos que estén menos familiarizados con los modelos 3D o no puedan encontrar su diseño en línea, puedan simplemente generarlo desde cero. Digamos que desea fabricar un tipo único de cuenco y ese modelo 3D no está disponible en un repositorio; En su lugar, la IA podría crearlo por usted.
“Si bien la transferencia de estilo para imágenes 2D funciona increíblemente bien, no muchos trabajos han explorado cómo se transfiere esta transferencia a 3D”, dice el científico investigador de Google Fabian Manhardt, que no participó en el artículo. “Básicamente, el 3D es una tarea mucho más difícil, ya que los datos de entrenamiento son escasos y cambiar la geometría del objeto puede dañar su estructura, haciéndolo inutilizable en el mundo real. MechStyle ayuda a resolver este problema, permitiendo la estilización 3D sin romper la integridad estructural del objeto a través de la simulación. Esto da a las personas el poder de ser creativos y expresarse mejor a través de productos que se adaptan a ellos”.
Farqui escribió el artículo con la autora principal Stefanie Mueller, profesora asociada del MIT e investigadora principal de CSAIL, y otros dos colegas de CSAIL: la investigadora Leandra Tejedor SM ’24 y el postdoctorado Jiaji Li. Sus coautores son Amira Abdel-Rahman PhD ’25, ahora profesora asistente en la Universidad de Cornell, y Martin Nisser SM ’19, PhD ’24; el investigador de Google Vrushank Phadnis; Varun Jampani, vicepresidente de investigación de estabilidad AI; Neil Gershenfeld, profesor del MIT y director del Centro de Bits y Átomos; y la profesora asistente de la Universidad Northeastern, Megan Hofmann.
Su trabajo fue apoyado por el Programa MIT-Google para la Innovación en Computación. Se presentó en el Simposio sobre fabricación computacional de la Association for Computing Machinery en noviembre.