ChatGPT y otros modelos generativos profundos están demostrando ser imitadores asombrosos. Estas supermodelos de IA pueden producir poemas, terminar sinfonías y crear nuevos videos e imágenes aprendiendo automáticamente de millones de ejemplos de trabajos anteriores. Estas herramientas enormemente poderosas y versátiles destacan por generar contenido nuevo que se parece a todo lo que han visto antes.
Pero como dicen los ingenieros del MIT en un nuevo estudio, la similitud no es suficiente si realmente se quiere innovar en tareas de ingeniería.
“Los modelos generativos profundos (DGM) son muy prometedores, pero también inherentemente defectuosos”, dice el autor del estudio Lyle Regenwetter, estudiante de posgrado en ingeniería mecánica en el MIT. “El objetivo de estos modelos es imitar un conjunto de datos. Pero como ingenieros y diseñadores, a menudo no queremos crear un diseño que ya existe”.
Él y sus colegas argumentan que si los ingenieros mecánicos quieren ayuda de la IA para generar ideas y diseños novedosos, primero tendrán que reorientar esos modelos más allá de la “similitud estadística”.
“El rendimiento de muchos de estos modelos está explícitamente ligado a cuán estadísticamente similar es una muestra generada a lo que el modelo ya ha visto”, dice el coautor Faez Ahmed, profesor asistente de ingeniería mecánica en el MIT. “Pero en diseño, ser diferente puede ser importante si quieres innovar”.
En su estudio, Ahmed y Regenwetter revelan los peligros de los modelos generativos profundos cuando se les asigna la tarea de resolver problemas de diseño de ingeniería. En un estudio de caso de diseño de cuadros de bicicletas, el equipo muestra que estos modelos terminan generando nuevos cuadros que imitan diseños anteriores pero fallan en el rendimiento y los requisitos de ingeniería.
Cuando los investigadores presentaron el mismo problema de cuadro de bicicleta a los DGM que diseñaron específicamente con objetivos centrados en la ingeniería, en lugar de solo similitud estadística, estos modelos produjeron cuadros más innovadores y de mayor rendimiento.
Los resultados del equipo muestran que los modelos de IA centrados en similitudes no se traducen del todo cuando se aplican a problemas de ingeniería. Pero, como también destacan los investigadores en su estudio, con una planificación cuidadosa de las métricas apropiadas para la tarea, los modelos de IA podrían ser un “copiloto” de diseño eficaz.
“Se trata de cómo la IA puede ayudar a los ingenieros a crear mejores y más rápidos productos innovadores”, afirma Ahmed. “Para hacer eso, primero tenemos que entender los requisitos. Este es un paso en esa dirección”.
el equipo es nuevo estudiar apareció recientemente en línea y estará en la edición impresa de diciembre de la revista Diseño asistido por ordenador. La investigación es una colaboración entre científicos informáticos del MIT-IBM Watson AI Lab e ingenieros mecánicos del DeCoDe Lab del MIT. Los coautores del estudio incluyen a Akash Srivastava y Dan Gutreund del MIT-IBM Watson AI Lab.
Enmarcando un problema
Como escriben Ahmed y Regenwetter, los MDE son “poderosos aprendices que cuentan con una capacidad incomparable” para procesar enormes cantidades de datos. DGM es un término amplio para cualquier modelo de aprendizaje automático que esté capacitado para aprender la distribución de datos y luego usarlos para generar contenido nuevo y estadísticamente similar. El enormemente popular ChatGPT es un tipo de modelo generativo profundo conocido como modelo de lenguaje grande, o LLM, que incorpora capacidades de procesamiento del lenguaje natural en el modelo para permitir que la aplicación genere imágenes y voz realistas en respuesta a consultas conversacionales. Otros modelos populares para la generación de imágenes incluyen DALL-E y Stable Diffusion.
Debido a su capacidad para aprender de los datos y generar muestras realistas, los DGM se han aplicado cada vez más en múltiples dominios de la ingeniería. Los diseñadores han utilizado modelos generativos profundos para diseñar nuevas estructuras de aviones, diseños de metamateriales y geometrías óptimas para puentes y automóviles. Pero en su mayor parte, los modelos han imitado diseños existentes, sin mejorar el rendimiento de los diseños existentes.
“A los diseñadores que trabajan con DGM les falta esta guinda, que es ajustar el objetivo de entrenamiento del modelo para centrarse en los requisitos de diseño”, dice Regenwetter. “Entonces, la gente termina generando diseños que son muy similares al conjunto de datos”.
En el nuevo estudio, describe los principales obstáculos al aplicar los DGM a tareas de ingeniería y muestra que el objetivo fundamental de los DGM estándar no tiene en cuenta requisitos de diseño específicos. Para ilustrar esto, el equipo invoca un caso simple de diseño de cuadros de bicicleta y demuestra que los problemas pueden surgir ya en la fase inicial de aprendizaje. A medida que un modelo aprende de miles de cuadros de bicicletas existentes de diversos tamaños y formas, podría considerar que dos cuadros de dimensiones similares tienen un rendimiento similar, cuando en realidad una pequeña desconexión en un cuadro es demasiado pequeña para registrarse como una diferencia significativa en la similitud estadística. métricas: hace que el marco sea mucho más débil que el otro marco visualmente similar.
Más allá de la “vainilla”
Crédito: Cortesía de los investigadores.
Los investigadores continuaron con el ejemplo de la bicicleta para ver qué diseños generaría realmente un DGM después de haber aprendido de los diseños existentes. Primero probaron una red generativa adversaria convencional “vainilla”, o GAN, un modelo que se ha utilizado ampliamente en la síntesis de imágenes y texto, y está sintonizado simplemente para generar contenido estadísticamente similar. Entrenaron el modelo en un conjunto de datos de miles de cuadros de bicicletas, incluidos diseños fabricados comercialmente y cuadros únicos menos convencionales diseñados por aficionados.
Una vez que el modelo aprendió de los datos, los investigadores le pidieron que generara cientos de nuevos cuadros de bicicleta. El modelo produjo diseños realistas que se parecían a marcos existentes. Pero ninguno de los diseños mostró una mejora significativa en el rendimiento, y algunos incluso eran un poco inferiores, con marcos más pesados y menos sólidos estructuralmente.
Luego, el equipo llevó a cabo la misma prueba con otros dos DGM diseñados específicamente para tareas de ingeniería. El primer modelo es uno que Ahmed desarrolló previamente para generar diseños de perfiles aerodinámicos de alto rendimiento. Construyó este modelo para priorizar la similitud estadística y el rendimiento funcional. Cuando se aplicó a la tarea del cuadro de bicicleta, este modelo generó diseños realistas que también eran más livianos y resistentes que los diseños existentes. Pero también produjo marcos físicamente “inválidos”, con componentes que no encajaban del todo o se superponían de maneras físicamente imposibles.
“Vimos diseños que eran significativamente mejores que el conjunto de datos, pero también diseños que eran geométricamente incompatibles porque el modelo no se centraba en cumplir las restricciones de diseño”, dice Regenwetter.
El último modelo que probó el equipo fue uno que construyó Regenwetter para generar nuevas estructuras geométricas. Este modelo fue diseñado con las mismas prioridades que los modelos anteriores, con el ingrediente añadido de las restricciones de diseño y priorizando marcos físicamente viables, por ejemplo, sin desconexiones ni barras superpuestas. Este último modelo produjo los diseños de mayor rendimiento, que también eran físicamente viables.
“Descubrimos que cuando un modelo va más allá de la similitud estadística, puede generar diseños mejores que los que ya existen”, dice Ahmed. “Es una prueba de lo que la IA puede hacer, si se la entrena explícitamente en una tarea de diseño”.
Por ejemplo, si los DGM se pueden construir teniendo en cuenta otras prioridades, como el rendimiento, las limitaciones de diseño y la novedad, Ahmed prevé que “numerosos campos de la ingeniería, como el diseño molecular y la infraestructura civil, se beneficiarían enormemente. Al arrojar luz sobre los posibles peligros de depender únicamente de la similitud estadística, esperamos inspirar nuevos caminos y estrategias en aplicaciones de IA generativa fuera de la multimedia”.