Los investigadores del MIT han desarrollado un enfoque impulsado por inteligencia artificial generativa para planificar tareas visuales a largo plazo, como la navegación de robots, que es aproximadamente dos veces más efectivo que algunas técnicas existentes.
Su método utiliza un modelo especializado de visión y lenguaje para percibir el escenario en una imagen y simular las acciones necesarias para alcanzar una meta. Luego, un segundo modelo traduce esas simulaciones a un lenguaje de programación estándar para problemas de planificación y refina la solución.
Al final, el sistema genera automáticamente un conjunto de archivos que pueden introducirse en un software de planificación clásico, que calcula un plan para lograr el objetivo. Este sistema de dos pasos generó planes con una tasa de éxito promedio de alrededor del 70 por ciento, superando a los mejores métodos de referencia que solo podían alcanzar alrededor del 30 por ciento.
Es importante destacar que el sistema puede resolver nuevos problemas que no había encontrado antes, lo que lo hace muy adecuado para entornos reales donde las condiciones pueden cambiar en cualquier momento.
“Nuestro marco combina las ventajas de los modelos de visión y lenguaje, como su capacidad para comprender imágenes, con las sólidas capacidades de planificación de un solucionador formal”, afirma Yilun Hao, estudiante graduado en aeronáutica y astronáutica (AeroAstro) en el MIT y autor principal de un artículo de acceso abierto sobre esta técnica. “Puede tomar una sola imagen y pasarla a través de una simulación y luego a un plan confiable a largo plazo que podría ser útil en muchas aplicaciones de la vida real”.
En el artículo la acompañan Yongchao Chen, estudiante de posgrado en el Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT; Chuchu Fan, profesor asociado de AeroAstro e investigador principal de LIDS; y Yang Zhang, científico investigador del Laboratorio de IA Watson del MIT-IBM. El artículo se presentará en la Conferencia Internacional sobre Representaciones del Aprendizaje.
Abordar tareas visuales
Durante los últimos años, Fan y sus colegas han estudiado el uso de modelos generativos de IA para realizar razonamientos y planificación complejos, empleando a menudo modelos de lenguaje grande (LLM) para procesar entradas de texto.
Muchos problemas de planificación del mundo real, como el ensamblaje de robots y la conducción autónoma, tienen información visual que un LLM no puede manejar bien por sí solo. Los investigadores buscaron expandirse al dominio visual utilizando modelos de visión y lenguaje (VLM), potentes sistemas de inteligencia artificial que pueden procesar imágenes y texto.
Pero los VLM tienen dificultades para comprender las relaciones espaciales entre los objetos de una escena y, a menudo, no logran razonar correctamente en muchos pasos. Esto dificulta el uso de VLM para la planificación a largo plazo.
Por otro lado, los científicos han desarrollado planificadores formales y sólidos que pueden generar planes eficaces a largo plazo para situaciones complejas. Sin embargo, estos sistemas de software no pueden procesar entradas visuales y requieren conocimiento experto para codificar un problema en un lenguaje que el solucionador pueda entender.
Fan y su equipo crearon un sistema de planificación automática que aprovecha lo mejor de ambos métodos. El sistema, llamado planificación formal guiada por VLM (VLMFP), utiliza dos VLM especializados que trabajan juntos para convertir problemas de planificación visual en archivos listos para usar para software de planificación formal.
Los investigadores primero entrenaron cuidadosamente un pequeño modelo al que llamaron SimVLM para especializarse en describir el escenario en una imagen usando lenguaje natural y simular una secuencia de acciones en ese escenario. Luego, un modelo mucho más grande, al que llaman GenVLM, utiliza la descripción de SimVLM para generar un conjunto de archivos iniciales en un lenguaje de planificación formal conocido como Lenguaje de definición de dominio de planificación (PDDL).
Los archivos están listos para ser introducidos en un solucionador PDDL clásico, que calcula un plan paso a paso para resolver la tarea. GenVLM compara los resultados del solucionador con los del simulador y refina iterativamente los archivos PDDL.
“El generador y el simulador trabajan juntos para poder alcanzar exactamente el mismo resultado, que es una simulación de acción que logra el objetivo”, dice Hao.
Debido a que GenVLM es un gran modelo de IA generativa, ha visto muchos ejemplos de PDDL durante el entrenamiento y ha aprendido cómo este lenguaje formal puede resolver una amplia gama de problemas. Este conocimiento existente permite que el modelo genere archivos PDDL precisos.
Un enfoque flexible
VLMFP genera dos archivos PDDL separados. El primero es un archivo de dominio que define el entorno, las acciones válidas y las reglas de dominio. También produce un archivo de problema que define los estados iniciales y el objetivo de un problema particular en cuestión.
“Una ventaja de PDDL es que el archivo de dominio es el mismo para todas las instancias en ese entorno. Esto hace que nuestro marco sea bueno para generalizar a instancias invisibles bajo el mismo dominio”, explica Hao.
Para permitir que el sistema se generalizara de manera efectiva, los investigadores necesitaban diseñar cuidadosamente los datos de entrenamiento suficientes para SimVLM para que el modelo aprendiera a comprender el problema y el objetivo sin memorizar patrones en el escenario. Cuando se probó, SimVLM describió con éxito el escenario, simuló acciones y detectó si se alcanzó el objetivo en aproximadamente el 85 por ciento de los experimentos.
En general, el marco VLMFP logró una tasa de éxito de aproximadamente el 60 por ciento en seis tareas de planificación 2D y más del 80 por ciento en dos tareas 3D, incluida la colaboración multirobot y el ensamblaje robótico. También generó planes válidos para más del 50 por ciento de escenarios que no había visto antes, superando con creces los métodos básicos.
“Nuestro marco puede generalizarse cuando las reglas cambian en diferentes situaciones. Esto le da a nuestro sistema la flexibilidad para resolver muchos tipos de problemas de planificación basados en imágenes”, añade Fan.
En el futuro, los investigadores quieren permitir que VLMFP maneje escenarios más complejos y explore métodos para identificar y mitigar las alucinaciones de los VLM.
“A largo plazo, los modelos de IA generativa podrían actuar como agentes y utilizar las herramientas adecuadas para resolver problemas mucho más complicados. Pero, ¿qué significa tener las herramientas adecuadas y cómo incorporamos esas herramientas? Todavía queda un largo camino por recorrer, pero al incorporar la planificación basada en imágenes, este trabajo es una pieza importante del rompecabezas”, afirma Fan.
Este trabajo fue financiado, en parte, por el MIT-IBM Watson AI Lab.