Desde limpiar derrames hasta servir comida, se está enseñando a los robots a realizar tareas domésticas cada vez más complicadas. Muchos de estos aprendices de robots domésticos están aprendiendo por imitación; están programados para copiar los movimientos por los que un humano los guía físicamente.
Resulta que los robots son excelentes imitadores. Pero a menos que los ingenieros también los programen para adaptarse a cada posible golpe y empujón, los robots no necesariamente saben cómo manejar estas situaciones, a menos que comiencen su tarea desde arriba.
Ahora los ingenieros del MIT pretenden dar a los robots un poco de sentido común cuando se enfrentan a situaciones que los desvían de su camino entrenado. Han desarrollado un método que conecta los datos de movimiento del robot con el “conocimiento de sentido común” de los modelos de lenguaje grandes o LLM.
Su enfoque permite a un robot dividir lógicamente muchas tareas domésticas determinadas en subtareas y adaptarse físicamente a las interrupciones dentro de una subtarea para que el robot pueda seguir adelante sin tener que volver atrás y comenzar una tarea desde cero, y sin que los ingenieros tengan que programar explícitamente. soluciones para cada posible falla en el camino.
“El aprendizaje por imitación es un enfoque generalizado que permite la creación de robots domésticos. Pero si un robot imita ciegamente las trayectorias de movimiento de un ser humano, se pueden acumular pequeños errores y eventualmente descarrilar el resto de la ejecución”, dice Yanwei Wang, estudiante de posgrado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT. “Con nuestro método, un robot puede autocorregir errores de ejecución y mejorar el éxito general de la tarea”.
Wang y sus colegas detallan su nuevo enfoque en un estudio que presentarán en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) en mayo. Los coautores del estudio incluyen a los estudiantes graduados de EECS Tsun-Hsuan Wang y Jiayuan Mao, Michael Hagenow, un postdoctorado en el Departamento de Aeronáutica y Astronáutica del MIT (AeroAstro), y Julie Shah, profesora HN Slater de Aeronáutica y Astronáutica en el MIT.
Tarea de idioma
Los investigadores ilustran su nuevo enfoque con una tarea sencilla: sacar canicas de un cuenco y verterlas en otro. Para realizar esta tarea, los ingenieros normalmente mueven un robot mediante movimientos de recoger y verter, todo en una trayectoria fluida. Podrían hacer esto varias veces para darle al robot una serie de demostraciones humanas que imitar.
“Pero la demostración humana es una trayectoria larga y continua”, dice Wang.
El equipo se dio cuenta de que, si bien un humano puede demostrar una sola tarea de una sola vez, esa tarea depende de una secuencia de subtareas o trayectorias. Por ejemplo, el robot primero tiene que meter la mano en un cuenco antes de poder sacar, y debe recoger canicas antes de pasar al cuenco vacío, y así sucesivamente. Si un robot es empujado o empujado a cometer un error durante cualquiera de estas subtareas, su único recurso es detenerse y comenzar desde el principio, a menos que los ingenieros etiqueten explícitamente cada subtarea y programen o recopilen nuevas demostraciones para que el robot se recupere del error. dicho fallo, para permitir que un robot se autocorrija en el momento.
“Ese nivel de planificación es muy tedioso”, afirma Wang.
En cambio, él y sus colegas descubrieron que parte de este trabajo lo podían realizar automáticamente los LLM. Estos modelos de aprendizaje profundo procesan inmensas bibliotecas de texto, que utilizan para establecer conexiones entre palabras, oraciones y párrafos. A través de estas conexiones, un LLM puede generar nuevas oraciones basadas en lo que ha aprendido sobre el tipo de palabra que probablemente seguirá a la última.
Por su parte, los investigadores descubrieron que, además de oraciones y párrafos, a un LLM se le puede pedir que produzca una lista lógica de subtareas que estarían involucradas en una tarea determinada. Por ejemplo, si se le pide que enumere las acciones involucradas al sacar canicas de un cuenco a otro, un LLM podría producir una secuencia de verbos como “alcanzar”, “sacar”, “transportar” y “verter”.
“Los LLM tienen una manera de indicarle cómo realizar cada paso de una tarea, en lenguaje natural. La demostración continua de un ser humano es la encarnación de esos pasos, en el espacio físico”, dice Wang. “Y queríamos conectar los dos, de modo que un robot supiera automáticamente en qué etapa se encuentra en una tarea y pudiera replanificar y recuperarse por sí solo”.
Mapeo de canicas
Para su nuevo enfoque, el equipo desarrolló un algoritmo para conectar automáticamente la etiqueta de lenguaje natural de un LLM para una subtarea particular con la posición de un robot en el espacio físico o una imagen que codifica el estado del robot. Mapear las coordenadas físicas de un robot, o una imagen del estado del robot, a una etiqueta de lenguaje natural se conoce como “conexión a tierra”. El nuevo algoritmo del equipo está diseñado para aprender un “clasificador” básico, lo que significa que aprende a identificar automáticamente en qué subtarea semántica se encuentra un robot (por ejemplo, “alcanzar” frente a “recoger”), dadas sus coordenadas físicas o una vista de imagen.
“El clasificador de conexión a tierra facilita este diálogo entre lo que el robot está haciendo en el espacio físico y lo que el LLM sabe sobre las subtareas, y las limitaciones a las que hay que prestar atención dentro de cada subtarea”, explica Wang.
El equipo demostró este enfoque en experimentos con un brazo robótico que entrenaron en una tarea de extracción de canicas. Los experimentadores entrenaron al robot guiándolo físicamente a través de la tarea de primero alcanzar un recipiente, recoger canicas, transportarlas sobre un recipiente vacío y verterlas. Después de algunas demostraciones, el equipo utilizó un LLM previamente entrenado y le preguntó al modelo. Enumerar los pasos necesarios para sacar canicas de un cuenco a otro. Luego, los investigadores utilizaron su nuevo algoritmo para conectar las subtareas definidas del LLM con los datos de la trayectoria de movimiento del robot. El algoritmo aprendió automáticamente a asignar las coordenadas físicas del robot en las trayectorias y la vista de imagen correspondiente a una subtarea determinada.
Luego, el equipo dejó que el robot realizara la tarea de extracción por sí solo, utilizando los clasificadores de conexión a tierra recién aprendidos. A medida que el robot avanzaba por los pasos de la tarea, los experimentadores empujaron y apartaron al robot de su camino y tiraron canicas de su cuchara en varios puntos. En lugar de detenerse y comenzar desde el principio nuevamente, o continuar a ciegas sin canicas en su cuchara, el robot pudo autocorregirse y completó cada subtarea antes de pasar a la siguiente. (Por ejemplo, se aseguraría de recoger canicas con éxito antes de transportarlas al recipiente vacío).
“Con nuestro método, cuando el robot comete errores, no necesitamos pedirle a los humanos que programen o que den demostraciones adicionales de cómo recuperarse de fallas”, dice Wang. “Eso es muy emocionante porque ahora hay un gran esfuerzo para entrenar robots domésticos con datos recopilados en sistemas de teleoperación. Nuestro algoritmo ahora puede convertir esos datos de entrenamiento en un comportamiento de robot robusto que puede realizar tareas complejas, a pesar de las perturbaciones externas”.