Los humanos somos intuitivos por naturaleza. Podemos sentir significado más allá de las palabras literales que encontramos. Ahora, una nueva plataforma de aprendizaje asistida por inteligencia artificial desarrollada por ingenieros del MIT está permitiendo a los robots leer un significado más amplio en los comandos del lenguaje natural de un ser humano.
En un estudio que se presentará en la Conferencia anual sobre Aprendizaje de Robots este mes, investigadores del MIT y la Universidad de Nueva York presentan FLEX, un sistema flexible de edición de funciones para la planificación del movimiento de robots.
Con FLEX, los humanos pueden interactuar con un robot dándole instrucciones en un lenguaje conversacional natural. El robot no sólo puede seguir las instrucciones literalmente, sino también leer las palabras para extraer generalizaciones más amplias que le ayuden a mejorar su tarea de planificación de movimientos.
El equipo demostró FLEX en varios escenarios simulados, incluido uno en el que un robot sirve una taza de café. En estos escenarios virtuales, una persona interactúa con un brazo robótico escribiendo comandos en lenguaje natural. Mientras el robot mueve la taza de café sobre una mesa desordenada, la persona podría escribir “¡No derrames sobre la computadora portátil!” En respuesta, el robot razonará sobre por qué debería evitar la computadora portátil. Para ello, FLEX incorpora un modelo de lenguaje grande (LLM), un tipo de sistema de inteligencia artificial que se entrena en enormes bibliotecas de texto, incluidas publicaciones en redes sociales, transcripciones de videos y contenido web, que el LLM utiliza para identificar tendencias, patrones y generalizaciones más importantes.
“Los LLM han visto muchísimos textos de Internet”, dice el autor del estudio Nathan Dennler, postdoctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT. “La gente podría haber escrito sobre: ’Oh, mi teléfono se cayó al agua y ahora no funciona’ o ‘Derramé café en mi computadora y ahora no funciona’. Por eso, los LLM captan la idea de que los líquidos más dispositivos hacen que las cosas no funcionen”.
A través del LLM, el robot razona que también debería evitar chocar con todos los componentes electrónicos. En su camino actualizado, el robot se ajusta para evitar tanto la computadora portátil como un teléfono cercano, sin que la persona tenga que deletrearlo explícitamente.
“La idea es que hay una intención de nivel superior detrás de las palabras que dices”, dice Dennler. “La gente entiende esto de forma natural. Pero hay que explicárselo cuidadosamente a un robot, lo que requiere tiempo y esfuerzo. FLEX te ofrece una interfaz de comunicación con un robot para decir: ‘Cuando la gente dice esto, quiere decir aquello'”.
El estudio fue dirigido por Andreea Bobu, profesora asistente de aeronáutica y astronáutica en el MIT. Los coautores son Audrey Lee SM ’26 e Ilia Sucholutsky de la Universidad de Nueva York.
Más allá de lo que decimos
En el MIT, Bobu dirige el Laboratorio de Investigación de Autonomía y Aprendizaje Colaborativo (CLEAR), donde su grupo desarrolla agentes autónomos que aprenden a trabajar para, con y alrededor de las personas. Se centra en el desarrollo de robots domésticos y de asistencia que puedan realizar tareas físicas, razonar y adaptarse en tiempo real, en respuesta a las órdenes conversacionales naturales de una persona.
“Los robots utilizan las matemáticas para planificar su trayectoria. Pero no podemos esperar que un consumidor aprenda a hacer estas matemáticas para decirle a un robot qué hacer”, dice Dennler, miembro del CLEAR Lab. “En lugar de tener que hacer que la gente aprenda a utilizar un robot de una manera específica, el objetivo es interactuar con el robot a través del lenguaje natural”.
Existe un gran esfuerzo en la comunidad de la robótica para incorporar el lenguaje natural en los procesos de aprendizaje de la robótica. Varias estrategias incluyen el uso del lenguaje para aclarar el objetivo de una tarea, redirigir la trayectoria de un robot y actualizar su comprensión sobre cuál es un camino seguro a seguir. Estos métodos existentes utilizan lenguaje natural para indicarle al robot cómo realizar físicamente una tarea. Pero un robot podría aprender mucho más de lo que le decimos.
Bobu y sus colegas están ampliando lo que los robots pueden aprender a partir de comandos de lenguaje natural. En su nuevo estudio, se centraron en permitir que un robot interprete la preferencia subyacente y no especificada de una persona a partir de comandos limitados del lenguaje natural.
Absorbiendo el sentido común
La nueva plataforma de aprendizaje de robots del equipo, FLEX, es un proceso de tres pasos que ayuda a un robot a leer más en un comando de lenguaje natural, más allá de lo que se le dice explícitamente que haga.
El primer paso, “Agregar”, le indica a un robot que agregue una característica a su lista de cosas en su entorno que son importantes para la tarea en cuestión, basándose en el comando en lenguaje natural del usuario. Por ejemplo, mientras un robot mueve una bola de boliche de un lugar a otro, una persona podría interrumpir diciendo: “¡No la dejes caer en mi taza!”. Luego, el robot agregaría la taza a una lista de cosas que debía evitar en su camino. Este primer paso es cómo han funcionado los métodos anteriores. Cada vez que una persona realiza una corrección, el robot agrega características a su lista y actualiza su trayectoria para evitar esas características.
“El problema ocurre cuando la lista de características se vuelve muy larga y algunas ya no son relevantes porque su entorno puede haber cambiado”, dice Dennler, quien señala que este enfoque puede volverse tedioso si una persona tiene que especificar cada característica específica que desea evitar.
El segundo paso, “Generalizar”, es la nueva solución que ofrece FLEX. Este paso incorpora un LLM (en este caso, GPT-4o) que considera la taza, junto con cualquier otra característica que la persona haya especificado evitar hasta ahora. El LLM busca automáticamente en su vasto caché de datos patrones y conexiones entre estas características, para finalmente hacer una generalización de que debe evitar objetos que sean frágiles, incluso cuando la persona no lo haya dicho explícitamente.
“Los LLM han visto muchísimos textos de Internet, de todo tipo de personas y lugares”, dice Dennler. “Debido a que se han capacitado tanto en esas cosas, parte de ese sentido común se absorbe en el LLM”.
En el tercer paso, “Máscara”, el sistema de visión por computadora estándar del robot evalúa su entorno para determinar qué objetos ya no están presentes y luego los elimina de su lista de características. Todo este proceso de tres pasos dura unos cinco segundos.
El equipo probó FLEX en simulaciones de un brazo robótico que realizaba tres tareas diferentes: servir una taza de café, mover una vela y transportar una bola de boliche. En los tres escenarios, los voluntarios interactuaron con el robot virtual escribiendo comandos en lenguaje natural, como “No derrames en mi computadora portátil”, “Manténgase alejado de la pila de papeles” y “No deje caer en la taza”. Con FLEX, el robot siguió los tres comandos literalmente y también razonó a un nivel superior para no derramar productos electrónicos, mantenerse alejado de objetos inflamables y no dejar caer su carga sobre objetos frágiles.
“Los hogares de cada persona son diferentes y cada uno se preocupa por cosas diferentes, por lo que ningún robot sale de la caja sabiendo lo que le importa”, dice Bobu. “Lo que me entusiasma de FLEX es que puede captar eso de una oración o dos en lugar de pedirte que expliques cada regla, y esa es la diferencia entre un robot que la gente tolera y uno que realmente quieren tener en su hogar”.
Este trabajo fue apoyado en parte por el MIT Generative AI Impact Consortium y el programa de Responsabilidades Sociales y Éticas de la Computación del MIT Schwarzman College of Computing.