El diseño asistido por computadora (CAD) es el método preferido para diseñar la mayoría de los productos físicos actuales. Los ingenieros utilizan CAD para convertir bocetos 2D en modelos 3D que luego pueden probar y perfeccionar antes de enviar una versión final a una línea de producción. Pero el software es notoriamente complicado de aprender, con miles de comandos para elegir. Ser verdaderamente competente en el software requiere una gran cantidad de tiempo y práctica.
Los ingenieros del MIT buscan facilitar la curva de aprendizaje de CAD con un modelo de IA que utiliza software CAD de forma muy parecida a como lo haría un humano. Dado un boceto 2D de un objeto, el modelo crea rápidamente una versión 3D haciendo clic en botones y opciones de archivo, de forma similar a como un ingeniero usaría el software.
El equipo del MIT ha creado un nuevo conjunto de datos llamado VideoCAD, que contiene más de 41.000 ejemplos de cómo se crean modelos 3D en software CAD. Al aprender de estos videos, que ilustran cómo se construyen paso a paso diferentes formas y objetos, el nuevo sistema de inteligencia artificial ahora puede operar el software CAD de manera muy similar a un usuario humano.
Con VideoCAD, el equipo está avanzando hacia un “copiloto de CAD” habilitado para IA. Imaginan que una herramienta de este tipo no sólo podría crear versiones 3D de un diseño, sino también trabajar con un usuario humano para sugerir los siguientes pasos o llevar a cabo automáticamente secuencias de construcción en las que, de otro modo, sería tedioso y consumiría mucho tiempo hacer clic manualmente.
“Existe una oportunidad para que la IA aumente la productividad de los ingenieros y haga que el CAD sea más accesible para más personas”, afirma Ghadi Nehme, estudiante de posgrado en el Departamento de Ingeniería Mecánica del MIT.
“Esto es importante porque reduce la barrera de entrada al diseño, ayudando a personas sin años de formación en CAD a crear modelos 3D más fácilmente y aprovechar su creatividad”, añade Faez Ahmed, profesor asociado de ingeniería mecánica en el MIT.
Ahmed y Nehme, junto con el estudiante de posgrado Brandon Man y el postdoctorado Ferdous Alam, presentarán su trabajo en la Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS) en diciembre.
Clic a clic
El nuevo trabajo del equipo amplía los desarrollos recientes en agentes de interfaz de usuario (UI) impulsados por IA: herramientas que están capacitadas para usar programas de software para realizar tareas, como recopilar automáticamente información en línea y organizarla en una hoja de cálculo de Excel. El grupo de Ahmed se preguntó si dichos agentes de interfaz de usuario podrían diseñarse para utilizar CAD, que abarca muchas más características y funciones e implica tareas mucho más complicadas de las que puede realizar un agente de interfaz de usuario promedio.
En su nuevo trabajo, el equipo tenía como objetivo diseñar un agente de interfaz de usuario impulsado por IA que toma las riendas del programa CAD para crear una versión 3D de un boceto 2D, clic a clic. Para hacerlo, el equipo primero analizó un conjunto de datos existente de objetos diseñados en CAD por humanos. Cada objeto del conjunto de datos incluye la secuencia de comandos de diseño de alto nivel, como “línea de croquis”, “círculo” y “extruir”, que se utilizaron para construir el objeto final.
Sin embargo, el equipo se dio cuenta de que estos comandos de alto nivel por sí solos no eran suficientes para capacitar a un agente de IA para que realmente utilizara el software CAD. Un verdadero agente también debe comprender los detalles detrás de cada acción. Por ejemplo: ¿Qué región del boceto debería seleccionar? ¿Cuándo debería acercarse? ¿Y qué parte de un boceto debería extruir? Para cerrar esta brecha, los investigadores desarrollaron un sistema para traducir comandos de alto nivel en interacciones de interfaz de usuario.
“Por ejemplo, digamos que dibujamos un boceto trazando una línea desde el punto 1 al punto 2”, dice Nehme. “Tradujimos esas acciones de alto nivel a acciones de interfaz de usuario, lo que significa que decimos: vaya desde esta ubicación de píxel, haga clic y luego muévase a una segunda ubicación de píxel y haga clic, mientras tenemos seleccionada la operación de ‘línea'”.
Al final, el equipo generó más de 41.000 vídeos de objetos CAD diseñados por humanos, cada uno de los cuales se describe en tiempo real en términos de clics específicos, arrastres del mouse y otras acciones del teclado que el humano realizó originalmente. Luego, introdujeron todos estos datos en un modelo que desarrollaron para aprender las conexiones entre las acciones de la interfaz de usuario y la generación de objetos CAD.
Una vez entrenado en este conjunto de datos, al que denominan VideoCAD, el nuevo modelo de IA podría tomar un boceto 2D como entrada y controlar directamente el software CAD, haciendo clic, arrastrando y seleccionando herramientas para construir la forma 3D completa. Los objetos variaban en complejidad, desde simples soportes hasta diseños de casas más complicados. El equipo está entrenando el modelo en formas más complejas y prevé que tanto el modelo como el conjunto de datos algún día podrían habilitar copilotos de CAD para diseñadores en una amplia gama de campos.
“VideoCAD es un primer paso valioso hacia los asistentes de IA que ayudan a incorporar nuevos usuarios y automatizar el trabajo de modelado repetitivo que sigue patrones familiares”, dice Mehdi Ataei, que no participó en el estudio y es investigador científico senior en Autodesk Research, que desarrolla nuevas herramientas de software de diseño. “Esta es una base temprana y me encantaría ver sucesores que abarquen múltiples sistemas CAD, operaciones más ricas como ensamblajes y restricciones, y flujos de trabajo humanos más realistas y desordenados”.