Mit Style2fab 01 Press.jpg

A medida que las impresoras 3D se han vuelto más baratas y más accesibles, una comunidad de fabricantes novatos en rápido crecimiento está fabricando sus propios objetos. Para hacer esto, muchos de estos artesanos aficionados acceden a repositorios gratuitos de código abierto de modelos 3D generados por usuarios que descargan y fabrican en su impresora 3D.

Pero agregar elementos de diseño personalizados a estos modelos plantea un gran desafío para muchos fabricantes, ya que requiere el uso de software de diseño asistido por computadora (CAD) complejo y costoso, y es especialmente difícil si la representación original del modelo no está disponible en línea. Además, incluso si un usuario puede agregar elementos personalizados a un objeto, garantizar que esas personalizaciones no perjudiquen la funcionalidad del objeto requiere un nivel adicional de experiencia en el dominio del que carecen muchos fabricantes novatos.

Para ayudar a los fabricantes a superar estos desafíos, los investigadores del MIT desarrollaron una herramienta impulsada por IA generativa que permite al usuario agregar elementos de diseño personalizados a modelos 3D sin comprometer la funcionalidad de los objetos fabricados. Un diseñador podría utilizar esta herramienta, llamada Estilo2Fab, para personalizar modelos 3D de objetos utilizando únicamente indicaciones de lenguaje natural para describir el diseño deseado. Luego, el usuario podría fabricar los objetos con una impresora 3D.

“Para alguien con menos experiencia, el problema esencial al que se ha enfrentado ha sido: ahora que ha descargado un modelo, en cuanto quiere realizarle algún cambio, se queda perdido y no sabe qué hacer. Style2Fab haría que fuera muy fácil estilizar e imprimir un modelo 3D, pero también experimentar y aprender mientras lo hace”, dice Faraz Faruqi, estudiante de posgrado en ciencias de la computación y autor principal de un artículo. papel presentando Style2Fab.

Style2Fab funciona con algoritmos de aprendizaje profundo que dividen automáticamente el modelo en segmentos estéticos y funcionales, agilizando el proceso de diseño.

Además de empoderar a los diseñadores novatos y hacer que la impresión 3D sea más accesible, Style2Fab también podría utilizarse en el área emergente de la fabricación médica. Las investigaciones han demostrado que considerar tanto las características estéticas como funcionales de un dispositivo de asistencia aumenta la probabilidad de que un paciente lo utilice, pero es posible que los médicos y los pacientes no tengan la experiencia para personalizar modelos imprimibles en 3D.

Con Style2Fab, un usuario puede personalizar la apariencia de una férula para el pulgar para que combine con su ropa sin alterar la funcionalidad del dispositivo médico, por ejemplo. Proporcionar una herramienta fácil de usar para el creciente área de tecnología de asistencia de bricolaje fue una de las principales motivaciones para este trabajo, añade Faruqi.

Escribió el artículo con su asesora, la coautora principal Stefanie Mueller, profesora asociada en los departamentos de Ingeniería Eléctrica y Ciencias de la Computación e Ingeniería Mecánica del MIT, y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) que dirige el HCI. Grupo de Ingeniería; la coautora principal Megan Hofmann, profesora asistente de la Facultad de Ciencias de la Computación Khoury de la Universidad Northeastern; así como otros integrantes y ex integrantes del grupo. La investigación se presentará en el Simposio ACM sobre software y tecnología de interfaz de usuario.

Centrándose en la funcionalidad

Repositorios en línea, como Thingiversopermite a las personas cargar archivos de diseño digital de código abierto y creados por usuarios de objetos que otros pueden descargar y fabricar con una impresora 3D.

Faruqi y sus colaboradores comenzaron este proyecto estudiando los objetos disponibles en estos enormes repositorios para comprender mejor las funcionalidades que existen dentro de varios modelos 3D. Esto les daría una mejor idea de cómo utilizar la IA para segmentar modelos en componentes funcionales y estéticos, afirma.

“Rápidamente vimos que el propósito de un modelo 3D depende mucho del contexto, como un jarrón que podría estar apoyado sobre una mesa o colgado del techo con una cuerda. Por lo tanto, no puede ser simplemente una IA la que decida qué parte del objeto es funcional. Necesitamos un ser humano al tanto”, dice.

Basándose en esa evaluación, definieron dos funcionalidades: la funcionalidad externa, que involucra partes del modelo que interactúan con el mundo exterior, y la funcionalidad interna, que involucra partes del modelo que deben unirse después de la fabricación.

Una herramienta de estilización necesitaría preservar la geometría de los segmentos funcionales externa e internamente y al mismo tiempo permitir la personalización de los segmentos estéticos no funcionales.

Pero para hacer esto, Style2Fab tiene que descubrir qué partes de un modelo 3D son funcionales. Utilizando el aprendizaje automático, el sistema analiza la topología del modelo para rastrear la frecuencia de los cambios en la geometría, como curvas o ángulos donde se conectan dos planos. En base a esto, divide el modelo en una determinada cantidad de segmentos.

Luego, Style2Fab compara esos segmentos con un conjunto de datos creado por los investigadores que contiene 294 modelos de objetos 3D, con los segmentos de cada modelo anotados con etiquetas funcionales o estéticas. Si un segmento coincide mucho con una de esas piezas, se marca como funcional.

“Pero es un problema realmente difícil clasificar segmentos basándose únicamente en la geometría, debido a las enormes variaciones en los modelos que se han compartido. Entonces estos segmentos son un conjunto inicial de recomendaciones que se muestran al usuario, quien muy fácilmente puede cambiar la clasificación de cualquier segmento a estético o funcional”, explica.

Humano en el circuito

Una vez que el usuario acepta la segmentación, ingresa un mensaje en lenguaje natural que describe los elementos de diseño que desea, como «una jardinera Chinoiserie multicolor y tosca» o una funda de teléfono «al estilo del arte marroquí». Luego, un sistema de inteligencia artificial, conocido como Text2Mesh, intenta descubrir cómo se vería un modelo 3D que cumpla con los criterios del usuario.

Manipula los segmentos estéticos del modelo en Style2Fab, agregando textura y color o ajustando la forma, para que se vea lo más similar posible. Pero los segmentos funcionales están prohibidos.

Los investigadores integraron todos estos elementos en el back-end de una interfaz de usuario que segmenta automáticamente y luego estiliza un modelo basándose en unos pocos clics y entradas del usuario.

Realizaron un estudio con creadores que tenían una amplia variedad de niveles de experiencia con el modelado 3D y descubrieron que Style2Fab era útil de diferentes maneras según la experiencia del creador. Los usuarios novatos pudieron comprender y utilizar la interfaz para estilizar diseños, pero también proporcionó un terreno fértil para la experimentación con una barrera de entrada baja.

Para los usuarios experimentados, Style2Fab ayudó a acelerar sus flujos de trabajo. Además, el uso de algunas de sus opciones avanzadas les dio un control más detallado sobre las estilizaciones.

En el futuro, Faruqi y sus colaboradores quieren ampliar Style2Fab para que el sistema ofrezca un control detallado sobre las propiedades físicas y la geometría. Por ejemplo, alterar la forma de un objeto puede cambiar la fuerza que puede soportar, lo que podría provocar que falle durante su fabricación. Además, quieren mejorar Style2Fab para que un usuario pueda generar sus propios modelos 3D personalizados desde cero dentro del sistema. Los investigadores también están colaborando con Google en un proyecto de seguimiento.

Esta investigación fue apoyada por el Programa MIT-Google para la Innovación en Computación y utilizó instalaciones proporcionadas por el Centro de Bits y Átomos del MIT.