Muchos desafíos de ingeniería se reducen al mismo dolor de cabeza: demasiadas perillas que girar y muy pocas oportunidades para probarlas. Ya sea ajustando una red eléctrica o diseñando un vehículo más seguro, cada evaluación puede ser costosa y puede haber cientos de variables que podrían importar.
Considere el diseño de seguridad del automóvil. Los ingenieros deben integrar miles de piezas y muchas opciones de diseño pueden afectar el rendimiento de un vehículo en una colisión. Las herramientas de optimización clásicas podrían empezar a tener dificultades a la hora de buscar la mejor combinación.
Los investigadores del MIT desarrollaron un nuevo enfoque que replantea cómo se puede utilizar un método clásico, conocido como optimización bayesiana, para resolver problemas con cientos de variables. En pruebas realizadas con puntos de referencia realistas de estilo ingeniería, como la optimización del sistema de energía, el enfoque encontró soluciones óptimas entre 10 y 100 veces más rápido que los métodos más utilizados.
Su técnica aprovecha un modelo básico entrenado en datos tabulares que identifica automáticamente las variables más importantes para mejorar el rendimiento, repitiendo el proceso para concentrarse en soluciones cada vez mejores. Los modelos de base son enormes sistemas de inteligencia artificial entrenados en vastos conjuntos de datos generales. Esto les permite adaptarse a diferentes aplicaciones.
No es necesario volver a capacitar constantemente el modelo de base tabular de los investigadores mientras trabaja hacia una solución, lo que aumenta la eficiencia del proceso de optimización. La técnica también ofrece mayores aceleraciones para problemas más complicados, por lo que podría ser especialmente útil en aplicaciones exigentes como el desarrollo de materiales o el descubrimiento de fármacos.
“La IA moderna y los modelos de aprendizaje automático pueden cambiar fundamentalmente la forma en que los ingenieros y científicos crean sistemas complejos. Se nos ocurrió un algoritmo que no sólo puede resolver problemas de grandes dimensiones, sino que también es reutilizable, por lo que puede aplicarse a muchos problemas sin la necesidad de empezar todo desde cero”, afirma Rosen Yu, estudiante de posgrado en ciencia e ingeniería computacional y autor principal de un artículo sobre esta técnica.
A Yu se unen en el artículo Cyril Picard, ex postdoctorado y científico investigador del MIT, y Faez Ahmed, profesor asociado de ingeniería mecánica y miembro principal del Centro de Ciencia e Ingeniería Computacional del MIT. La investigación se presentará en la Conferencia Internacional sobre Representaciones del Aprendizaje.
Mejorando un método probado
Cuando los científicos buscan resolver un problema multifacético pero cuentan con métodos costosos para evaluar el éxito, como probar un automóvil para saber qué tan bueno es cada diseño, a menudo usan un método probado y verdadero llamado optimización bayesiana. Este método iterativo encuentra la mejor configuración para un sistema complicado mediante la construcción de un modelo sustituto que ayuda a estimar qué explorar a continuación teniendo en cuenta la incertidumbre de sus predicciones.
Pero el modelo sustituto debe volver a entrenarse después de cada iteración, lo que rápidamente puede volverse computacionalmente intratable cuando el espacio de soluciones potenciales es muy grande. Además, los científicos necesitan construir un nuevo modelo desde cero cada vez que quieran abordar un escenario diferente.
Para abordar ambas deficiencias, los investigadores del MIT utilizaron un sistema de inteligencia artificial generativo conocido como modelo de base tabular como modelo sustituto dentro de un algoritmo de optimización bayesiano.
“Un modelo básico tabular es como un ChatGPT para hojas de cálculo. La entrada y salida de estos modelos son datos tabulares, que en el ámbito de la ingeniería son mucho más comunes de ver y usar que el lenguaje”, afirma Yu.
Al igual que los modelos de lenguajes grandes como ChatGPT, Claude y Gemini, el modelo ha sido entrenado previamente con una enorme cantidad de datos tabulares. Esto lo hace bien equipado para abordar una variedad de problemas de predicción. Además, el modelo se puede implementar tal cual, sin necesidad de volver a capacitarlo.
Para hacer que su sistema sea más preciso y eficiente para la optimización, los investigadores emplearon un truco que permite al modelo identificar características del espacio de diseño que tendrán el mayor impacto en la solución.
“Un automóvil puede tener 300 criterios de diseño, pero no todos ellos son el principal impulsor del mejor diseño si se intenta aumentar algunos parámetros de seguridad. Nuestro algoritmo puede seleccionar inteligentemente las características más críticas en las que centrarse”, afirma Yu.
Para ello, utiliza un modelo de base tabular para estimar qué variables (o combinaciones de variables) influyen más en el resultado.
Luego centra la búsqueda en aquellas variables de alto impacto en lugar de perder el tiempo explorando todo por igual. Por ejemplo, si el tamaño de la zona de deformación delantera aumentó significativamente y la calificación de seguridad del automóvil mejoró, esa característica probablemente jugó un papel en la mejora.
Problemas más grandes, mejores soluciones
Uno de sus mayores desafíos fue encontrar el mejor modelo de base tabular para esta tarea, dice Yu. Luego tuvieron que conectarlo con un algoritmo de optimización bayesiano de tal manera que pudiera identificar las características de diseño más destacadas.
“Encontrar la dimensión más prominente es un problema bien conocido en matemáticas e informática, pero encontrar una manera que aprovechara las propiedades de un modelo de base tabular fue un verdadero desafío”, dice Yu.
Una vez implementado el marco algorítmico, los investigadores probaron su método comparándolo con cinco algoritmos de optimización de última generación.
En 60 problemas de referencia, incluidas situaciones realistas como el diseño de redes eléctricas y pruebas de accidentes automovilísticos, su método encontró consistentemente la mejor solución entre 10 y 100 veces más rápido que los otros algoritmos.
“Cuando un problema de optimización adquiere cada vez más dimensiones, nuestro algoritmo realmente brilla”, añadió Yu.
Pero su método no superó las líneas de base en todos los problemas, como la planificación robótica de rutas. Esto probablemente indica que el escenario no estaba bien definido en los datos de entrenamiento del modelo, afirma Yu.
En el futuro, los investigadores quieren estudiar métodos que puedan mejorar el rendimiento de los modelos de base tabular. También quieren aplicar su técnica a problemas con miles o incluso millones de dimensiones, como el diseño de un barco de guerra.
“A un nivel superior, este trabajo apunta a un cambio más amplio: utilizar modelos básicos no sólo para la percepción o el lenguaje, sino como motores algorítmicos dentro de herramientas científicas y de ingeniería, permitiendo que métodos clásicos como la optimización bayesiana se escale a regímenes que antes no eran prácticos”, dice Ahmed.
“El enfoque presentado en este trabajo, que utiliza un modelo básico previamente entrenado junto con una optimización bayesiana de alta dimensión, es una forma creativa y prometedora de reducir los grandes requisitos de datos del diseño basado en simulación. En general, este trabajo es un paso práctico y poderoso para hacer que la optimización avanzada del diseño sea más accesible y más fácil de aplicar en entornos del mundo real”, afirma Wei Chen, profesor Wilson-Cook de Diseño de Ingeniería y presidente del Departamento de Ingeniería Mecánica de la Universidad Northwestern, que no participó en esta investigación.