El control predictivo de modelos (MPC) se ha convertido en una tecnología clave en varios campos, incluidos los sistemas de energía, la robótica, el transporte y el control de procesos. MPC basado en muestreo ha demostrado eficacia en aplicaciones como planificación y control de rutas, y es útil como subrutina en el aprendizaje por refuerzo basado en modelos (MBRL), todo debido a su versatilidad y paralelización.
A pesar de su sólido desempeño en la práctica, falta un conocimiento teórico profundo, particularmente con respecto a características como el análisis de convergencia y el ajuste de hiperparámetros. En una investigación reciente, un equipo de investigadores de la Universidad Carnegie Mellon ofreció una descripción detallada de las características de convergencia de una popular técnica MPC basada en muestreo llamada Model Predictive Path Integral Control (MPPI).
Comprender el comportamiento de convergencia de MPPI es el objetivo principal del análisis, especialmente en situaciones donde la optimización es cuadrática. Esto incluye casos como los sistemas de regulador cuadrático lineal variable en el tiempo (LQR). El estudio ha demostrado que, en determinadas circunstancias, el IPPM muestra tasas de convergencia al menos lineales. Sobre la base de esta base, el estudio se ha ampliado para incluir sistemas no lineales que están definidos de manera más amplia.
El estudio de convergencia de CMU ha llevado teóricamente a la creación de un nuevo método de corrección de máxima probabilidad basado en muestreo llamado CoVariance-Optimal MPC (CoVO-MPC). CoVO-MPC es único en la programación óptima de la covarianza de muestreo para maximizar la tasa de convergencia. Este método, impulsado por los resultados teóricos de las cualidades de convergencia, constituye una divergencia sustancial con respecto al MPPI convencional.
La investigación ha presentado datos empíricos de simulaciones y desafíos de control ágil de cuadrotores del mundo real para validar la eficiencia de CoVO-MPC. Se observó una mejora significativa al comparar el rendimiento de CoVO-MPC con el MPPI normal. CoVO-MPC demostró su eficiencia práctica al superar al MPPI normal en un 43-54% tanto en entornos simulados como en tareas reales de control de cuadrotor.
El equipo ha resumido sus principales contribuciones de la siguiente manera.
- Análisis de convergencia MPPI: el estudio ha introducido el análisis de convergencia del control integral de ruta predictiva del modelo (MPPI). En particular, el equipo ha demostrado que el MPPI se reduce hacia la secuencia de control ideal cuando el coste total es cuadrático con respecto a la secuencia de control.
- Se ha establecido la relación exacta entre la tasa de contracción y parámetros importantes, como la covarianza de muestreo (Σ), la temperatura (λ) y las características del sistema. Más allá del contexto cuadrático, en la investigación se han cubierto escenarios como el costo total fuertemente convexo, sistemas lineales con residuos no lineales y sistemas generales.
- CoVO-MPC, o Covariance-Optimal MPC: el estudio ha presentado un algoritmo MPC único basado en muestreo llamado CoVariance-Optimal MPC (CoVO-MPC), que se basa en las conclusiones teóricas. Con el uso de aproximaciones fuera de línea o cálculo en tiempo real de la covarianza ideal Σ, este enfoque pretende maximizar la tasa de convergencia.
- Evaluación empírica de CoVO-MPC: el método CoVO-MPC sugerido se ha probado exhaustivamente en una variedad de sistemas robóticos, desde situaciones del mundo real hasta simulaciones de la dinámica de Cartpole y cuadrotor. Una comparación con el algoritmo MPPI típico ha mostrado una mejora significativa en el rendimiento, que oscila entre el 43% y el 54% en varios trabajos.
En conclusión, este estudio avanza el conocimiento teórico del MPC basado en muestreo, particularmente MPPI, y presenta una técnica única que muestra ganancias notables en aplicaciones del mundo real.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.