Los ingenieros suelen utilizar modelos de lenguaje visual para producir nuevos diseños, como componentes de aviones o automóviles. Para simular cómo se desempeñarán esos componentes en situaciones realistas, utilizarán software de diseño asistido por computadora (CAD) probado y verdadero para generar modelos 3D de esos diseños, que pueden someter a pruebas virtuales de choque o durabilidad.
Investigadores del MIT y de otros lugares han desarrollado un sistema que puede enseñar a un modelo de lenguaje visual a convertir automáticamente diseños 2D en programas CAD que son mucho más precisos y funcionales en comparación con otros enfoques, utilizando solo una fracción del cálculo.
Al mejorar el rendimiento y la eficiencia de la generación de CAD impulsada por IA, esta técnica podría agilizar el proceso de creación rápida de prototipos y reducir costos. También podría ayudar a los ingenieros a identificar opciones de diseño beneficiosas que de otro modo podrían pasar por alto.
El sistema genera nuevos datos basados en las capacidades del modelo mientras intenta convertir una imagen 2D en un programa CAD. El marco corrige las fallas del modelo y las incorpora a un conjunto de datos con sus soluciones exitosas.
Utiliza estos datos para enseñar al modelo cómo corregir errores específicos y abordar problemas complicados con los que tendría dificultades por sí solo.
“Queremos que los ingenieros puedan apuntar nuestro marco a un modelo CAD de bajo rendimiento, establecer un presupuesto de computación y dejar que el sistema se haga cargo, convirtiendo los propios errores del modelo en mejores datos de entrenamiento”, dice el autor principal Giorgio Giannone, investigador afiliado en el Laboratorio de Computación de Diseño e Ingeniería Digital (DeCoDE) del MIT y científico investigador principal del Equipo de Innovación de IA de Red Hat.
En el artículo lo acompañan Anna Claire Doris, estudiante de posgrado en ingeniería mecánica en el MIT; Amin Heyrani Nobari, postdoctorado del MIT; Kai Xu de RedHat; y los coautores principales Akash Srivastava, director de Core AI en IBM e investigador principal en el MIT-IBM Computing Research Lab; y Faez Ahmed, profesor asociado de ingeniería mecánica en el MIT, líder del Laboratorio DeCoDE e investigador principal del Laboratorio de Investigación en Computación del MIT-IBM. La investigación se presentó recientemente en la Conferencia Internacional sobre Aprendizaje Automático.
“Casi todos los productos físicos que nos rodean, desde aviones hasta electrodomésticos, comienzan su vida como un modelo CAD. Los equipos de la industria están ansiosos por una IA que pueda ayudar a acelerar la creación de estos diseños, pero los modelos actuales a menudo producen formas simples inadecuadas para la práctica. Lo que me entusiasma de este trabajo es que brinda a muchos modelos de imagen a código CAD una manera de mejorarse, aprendiendo de sus propios errores en lugar de esperar más datos creados por humanos, y eso acerca mucho las herramientas confiables de diseño de IA a la ingeniería cotidiana”, dice Ahmed.
Datos basados en modelos
Los investigadores están trabajando en la construcción de modelos de visión y lenguaje (VLM) para la generación CAD. Estos VLM toman una imagen 2D y algo de texto descriptivo, y generan código Python que se puede ejecutar en un programa de software CAD para generar un modelo 3D de un objeto físico.
Estudiaron los desafíos de implementar VLM existentes para esta tarea y determinaron que el principal cuello de botella que limita sus capacidades es la falta de conjuntos de datos CAD diversos y de alta calidad para entrenarlos.
Para remediar esto, buscaron crear nuevos datos para enseñarle a un modelo cómo realizar la generación CAD, utilizando un proceso conocido como aumento de datos.
En el aumento de datos, los científicos suelen crear nuevos datos modificando aleatoriamente los datos existentes para generar más muestras, a menudo ajustando el color, el tamaño y la forma de los objetos en las imágenes.
En cambio, los investigadores del MIT crearon un sistema de aumento de datos llamado GIFT (que significa Ajuste de retroalimentación de inferencia geométrica) que genera datos diseñados para mejorar el rendimiento de un VLM para una tarea específica.
GIFT desarrolla una comprensión de las fortalezas y debilidades del modelo al probarlo. Luego utiliza este conocimiento para generar datos que podrían mejorar el rendimiento del modelo en los problemas de generación de CAD que lucha por resolver.
“Queremos obtener un aumento de datos basado en el modelo mismo”, dice Giannone.
Aprendiendo de los errores
Para hacer esto, GIFT le pide al modelo que genere código que resuelva un problema de generación CAD varias veces en paralelo. Comprueba la exactitud de estas conjeturas para comprender qué tan bien el modelo puede resolver este problema.
“Para un modelo, generar código de consulta CAD que sea casi correcto no es tan difícil, pero generar código que sea perfectamente correcto y que pueda ejecutarse es mucho más desafiante para un VLM estándar”, dice Giannone.
Para las conjeturas que son casi correctas, GIFT las ajusta para convertirlas en soluciones exitosas. Guarda estos “casi accidentes” y soluciones exitosas en un nuevo conjunto de datos que puede enseñar al modelo cómo superar problemas que normalmente lo harían tropezar.
“Si probamos el modelo 10 veces y genera 10 respuestas correctas al mismo problema, entonces no hay mucho que aprender. Nos preocupamos por los casos intermedios, donde el modelo sólo puede resolver el problema el 50 por ciento de las veces”, afirma.
El uso de estos casos intermedios permite a GIFT generar aumentos de datos que tienen en cuenta el modelo y las tareas. Además, al incorporar múltiples soluciones correctas al mismo problema, los nuevos datos amplían el conocimiento general del modelo sobre la generación de códigos CAD.
Este sistema automático no requiere intervención humana para corregir los errores del modelo.
GIFT crea aumentos de datos a partir de un VLM previamente entrenado mediante un proceso conocido como escalado de tiempo de inferencia. Este proceso permite que un modelo estático, que ya ha sido entrenado, genere mejores resultados sin los altos costos computacionales de volver a entrenar todo el modelo.
Utilizando el escalado de tiempo de inferencia, el usuario puede determinar cuánto cálculo desea utilizar para GIFT, adaptándolo a sus limitaciones de tiempo y presupuesto.
GIFT superó varias técnicas de la competencia, generando programas CAD que eran más precisos y utilizaban sólo alrededor del 20 por ciento de computación. Los modelos CAD generados por VLM utilizando GIFT estaban mejor alineados con las formas de los modelos reales.
“Con GIFT, comenzamos con la geometría porque, en los problemas de ingeniería, si la geometría de una forma 3D no es correcta, nada más será correcto, pero hay muchos otros aspectos a considerar”, dice Giannone.
En el futuro, los investigadores quieren ampliar GIFT para que el marco pueda enseñar modelos a generar programas CAD que mejoren el rendimiento y la capacidad de fabricación de los modelos 3D. También quieren aplicar el sistema a modelos más grandes y tareas de generación CAD más diversas.
Esta investigación fue financiada, en parte, por el Laboratorio de Investigación en Computación del MIT-IBM.