Un nuevo enfoque permite modelos de IA físicamente consistentes de sistemas caóticos | Noticias del MIT

La modelización de procesos complejos y caóticos, como los patrones meteorológicos y climáticos y los flujos turbulentos en la aviación o en las corrientes oceánicas, ha avanzado enormemente en los últimos años. Sin embargo, estos modelos todavía son propensos a derivar con el tiempo hacia predicciones físicamente imposibles.

Ahora, investigadores del Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT han encontrado una manera de introducir restricciones basadas en la física en los modelos de aprendizaje automático que pueden garantizar que dichos modelos nunca excedan límites realistas, basados ​​en lo que realmente es posible en el mundo real. Este nuevo enfoque, que utiliza información que el equipo ahora pone a disposición de forma gratuita, podría mejorar significativamente la utilidad y confiabilidad de dichos modelos, que además del clima y el tiempo también se utilizan en una amplia gama de procesos industriales, aeronáuticos e hidrología.

Los nuevos hallazgos se publican en las Actas de la Academia Nacional de Ciencias (PNAS) en un artículo del estudiante graduado del MIT Sunbochen Tang y los profesores del MIT Navid Azizan y Themistoklis Sapsis.

“La falta de garantías de una respuesta limitada siempre ha sido un obstáculo importante a la hora de formular modelos basados ​​en datos para sistemas no lineales complejos”, afirma Sapsis, profesor de ingeniería mecánica y afiliado a LIDS. El enfoque que ha desarrollado el equipo, afirma, “allana el camino para aplicar las arquitecturas de aprendizaje automático más avanzadas para la predicción y el control en una gran cantidad de problemas del mundo real, incluso aquellos caracterizados por inestabilidades intrínsecas”.

Desarrollar modelos confiables para sistemas dinámicos complejos es importante en muchos dominios. En dinámica de fluidos, los flujos turbulentos pueden perturbar los viajes aéreos, reducir la eficiencia de las turbinas eólicas y afectar la economía de combustible de los vehículos. De manera similar, en el pronóstico del tiempo, la naturaleza caótica de la dinámica atmosférica dificulta las predicciones precisas a largo plazo.

“Pequeñas diferencias en las condiciones iniciales pueden conducir a resultados dramáticamente diferentes en un sistema caótico”, dice Azizan. “Eso hace que predecir su comportamiento en el futuro sea extremadamente difícil”. Y, sin embargo, siempre existen limitaciones físicas sobre los tipos de cambios que son posibles en el mundo real.

“El caos no significa que pueda suceder algo. Estos sistemas a menudo permanecen limitados, y sus modelos también deberían hacerlo”. Pero cómo introducir esos límites en los modelos ha sido un problema espinoso, dice Azizan, profesor asociado de Hayes en el Departamento de Ingeniería Mecánica y el Instituto de Datos, Sistemas y Sociedad, e investigador principal de LIDS.

“Un modelo puede coincidir con los datos en un período corto y aun así fallar cuando se deja funcionar durante mucho tiempo”, afirma. “Se pueden acumular pequeños errores hasta que la simulación produzca valores que crezcan sin límite”, generando predicciones que en realidad nunca podrían ocurrir en sistemas reales.

“Es un problema fundamental con muchos de los modelos de aprendizaje automático existentes”, afirma. “Es una pregunta que surge con frecuencia en diferentes ámbitos: ¿cómo podemos incorporar restricciones físicas en estos modelos de una manera que preserve su flexibilidad, pero garantice resultados físicamente significativos?”

“Queremos preservar el caos sin el comportamiento descontrolado artificial que el sistema real no tiene”, afirma. “Nuestro enfoque le da al modelo espacio para aprender dinámicas complejas y al mismo tiempo garantiza que sus trayectorias permanezcan limitadas”. Este es el primer trabajo que establece tales garantías formales para los modelos de caos de aprendizaje automático.

Los intentos anteriores de evitar resultados poco realistas de tales modelos se han basado a menudo en “imponer sanciones o incentivos durante el entrenamiento”, dice Tang, estudiante de doctorado en el Departamento de Aeronáutica y Astronáutica y LIDS, utilizando funciones que a menudo están diseñadas en base a información privilegiada sobre el sistema. Pero como estos sólo se aplican durante el proceso de entrenamiento del modelo, “no hay garantía de que el modelo satisfaga las restricciones subyacentes previstas por tales incentivos en el momento de la prueba” una vez que se enfrenta a nuevos insumos cuando realmente se utiliza. “El modelo aún podría producir predicciones ilimitadas”, afirma.

Para ilustrar por qué simplemente imponer límites arbitrarios no sería una solución satisfactoria al problema de la estabilidad de la predicción, Tang explica: “se pueden limitar las predicciones, por ejemplo, estableciendo un límite arbitrario en cantidades físicas, como 100 grados para la temperatura. Ésa es una forma posible de mantener las predicciones limitadas, pero podría impedir que el modelo represente características complejas y no triviales que deberían aprenderse directamente de los datos”.

Dice que “lo que distingue nuestro enfoque es que formulamos restricciones basadas en la energía. Dejamos que el modelo aprenda una función similar a la energía”, basada en sistemas caóticos del mundo real, donde la disipación de energía ayuda a mantener las trayectorias limitadas a pesar de sus comportamientos complejos. “Específicamente, el modelo aprende una función similar a la energía, junto con un límite al que debe limitarse su comportamiento caótico. Luego agregamos una capa de proyección, un componente que ajusta cómo el modelo predice que evolucionará el sistema, para imponer la disipación de energía como una restricción estricta. Fuera de este límite, la cantidad similar a la energía debe disminuir, por lo que el sistema simulado se atrae hacia la región limitada. De esa manera, podemos establecer garantías teóricas de que la predicción del modelo permanece limitada a ventanas de pronóstico arbitrariamente largas”.

El equipo probó su enfoque en una variedad de diferentes sistemas físicos conocidos, desde simples casos de libros de texto hasta sistemas multidimensionales altamente complejos, y descubrió que su enfoque coincidía estrechamente con los resultados reales, mientras que los enfoques convencionales pronto se desviaron hacia predicciones imposibles.

Azizan añade que “la diferencia fundamental entre nuestro enfoque y los enfoques existentes es lo que llamamos restricción dura versus restricción suave”. Si bien muchos de los enfoques actuales “intentan incentivar al modelo para que satisfaga las restricciones, no se tratan como restricciones estrictas. Nuestro enfoque se basa en el concepto de redes neuronales con restricciones estrictas”, de modo que lo que resulta “siempre es físicamente consistente, incluso si es un caso completamente nuevo que el modelo no ha visto”.

“Los modelos de IA brillan en escenarios donde hay una gran cantidad de datos disponibles”, dice Azizan, por ejemplo con imágenes o texto, los cuales están disponibles en abundancia en Internet. Sin embargo, afirma, “para muchos sistemas físicos, los datos no son tan abundantes”. Para los casos en los que los datos son limitados, afirma, “estos enfoques restringidos por la física pueden ser de gran ayuda, porque la física del problema es otra fuente de información”.

El nuevo enfoque es ampliamente útil para cualquier sistema caótico. “Esto es fácilmente aplicable a una amplia gama de arquitecturas de redes neuronales”, afirma Tang. Planean continuar probándolo en sistemas cada vez más grandes. “Estamos tratando de ver qué tan bien funcionaría esto en modelos basados ​​en datos de sistemas meteorológicos realistas”.

“La capa de proyección es modular: es independiente del modelo y puede funcionar con diferentes arquitecturas de redes neuronales”, afirma Azizan. “Esperamos que otros investigadores y profesionales se basen en él y lo prueben en problemas más grandes e incluso más complejos”. El documento, junto con el código fuente abierto, ahora está disponible en línea en PNAS.

Un trabajo de seguimiento de este año realizado por miembros del equipo se presentó en la conferencia Learning for Dynamics and Control. El artículo ganó el premio al mejor artículo de la conferencia.

“Una IA confiable y confiable necesita algo más que evidencia de que un modelo generalmente funciona”, dice Azizan. “Para aplicaciones de alto riesgo, se necesitan garantías sobre las propiedades que siempre deben cumplirse. En este trabajo, establecimos una de esas garantías: la limitación. Nuestro objetivo más amplio es hacer que los principios formen parte de cómo se construyen los modelos de IA, no solo de cómo se prueban”.