Imitando la inteligencia interactiva

Deben responderse dos preguntas al comienzo de cualquier investigación sobre inteligencia artificial. ¿Qué queremos que hagan los sistemas de IA? ¿Y cómo evaluaremos cuándo estamos avanzando hacia este objetivo? Alan Turing, en su artículo fundamental que describe la prueba de Turing, a la que llamó más modestamente juego de imitación, argumentó que para cierto tipo de IA, estas preguntas pueden ser la misma. En términos generales, si el comportamiento de una IA se parece a la inteligencia humana cuando una persona interactúa con ella, entonces la IA ha pasado la prueba y puede considerarse inteligente. Una IA diseñada para interactuar con humanos debe probarse mediante la interacción con humanos.

Al mismo tiempo, la interacción no es sólo una prueba de inteligencia, sino también el objetivo. Para que los agentes de IA sean útiles en general, deben ayudarnos en diversas actividades y comunicarse con nosotros de forma natural. En la ciencia ficción, la visión de robots con los que podemos hablar es algo común. Y los agentes digitales inteligentes que puedan ayudar a realizar un gran número de tareas serían eminentemente útiles. Por lo tanto, para hacer realidad estos dispositivos, debemos estudiar el problema de cómo crear agentes que puedan interactuar con los humanos y producir acciones en un mundo rico.

Crear agentes que puedan interactuar con los humanos y el mundo plantea una serie de desafíos importantes. ¿Cómo podemos proporcionar señales de aprendizaje apropiadas para enseñar tales habilidades a los agentes artificiales? ¿Cómo podemos evaluar el desempeño de los agentes que desarrollamos, cuando el lenguaje en sí es ambiguo y abstracto? Como el túnel de viento es para el diseño del avión, hemos creado un entorno virtual para investigar cómo hacer agentes que interactúen.

Primero creamos un entorno simulado, Playroom, en el que los robots virtuales pueden participar en una variedad de interacciones interesantes moviéndose, manipulando objetos y hablando entre sí. Las dimensiones de la sala de juegos pueden ser aleatorias, al igual que la asignación de estantes, muebles, puntos de referencia como ventanas y puertas, y una variedad de juguetes para niños y objetos domésticos. La diversidad del entorno permite interacciones que implican razonamiento sobre el espacio y las relaciones objetales, ambigüedad de referencias, contención, construcción, soporte, oclusión, observabilidad parcial. Incorporamos dos agentes en Playroom para proporcionar una dimensión social para estudiar la intencionalidad conjunta, la cooperación, la comunicación de conocimiento privado, etc.

Agentes interactuando en el Playroom. El agente azul le indica al agente amarillo que “ponga el helicóptero en la caja”.
La configuración de Playroom es aleatoria para crear diversidad en la recopilación de datos.

Aprovechamos una variedad de paradigmas de aprendizaje para construir agentes que puedan interactuar con los humanos, incluido el aprendizaje por imitación, el aprendizaje por refuerzo, el aprendizaje supervisado y no supervisado. Como Turing pudo haber anticipado al denominar “el juego de la imitación”, quizás la ruta más directa para crear agentes que puedan interactuar con los humanos sea a través de la imitación del comportamiento humano. Grandes conjuntos de datos sobre el comportamiento humano, junto con algoritmos para el aprendizaje por imitación a partir de esos datos, han sido fundamentales para crear agentes que puedan interactuar con el lenguaje textual o jugar. Para las interacciones lingüísticas fundamentadas, no tenemos una fuente de datos de comportamiento preexistente y fácilmente disponible, por lo que creamos un sistema para obtener interacciones de los participantes humanos que interactúan entre sí. Estas interacciones se provocaron principalmente al incitar a uno de los jugadores con una señal a improvisar una instrucción sobre, por ejemplo, “Pídele al otro jugador que posicione algo en relación con otra cosa”. Algunas de las indicaciones de interacción incluyen preguntas e instrucciones, como “Pídele al otro jugador que describa dónde está algo”. En total, recopilamos más de un año de interacciones humanas en tiempo real en este entorno.

Cada uno de nuestros agentes consume imágenes y lenguaje como entradas y produce acciones físicas y acciones lingüísticas como salidas. Construimos modelos de recompensa con las mismas especificaciones de entrada.
Izquierda: en el transcurso de una interacción de 2 minutos, los dos jugadores (preparador y solucionador) se mueven, miran a su alrededor, agarran y sueltan objetos y hablan. Derecha: Al colocador se le pide que “Pida al otro jugador que levante algo”. El colocador le indica al agente solucionador que “levante el avión que está frente a la mesa del comedor”. El agente solucionador encuentra el objeto correcto y completa la tarea.

El aprendizaje por imitación, el aprendizaje por refuerzo y el aprendizaje auxiliar (que consiste en aprendizaje de representación supervisado y no supervisado) se integran en una forma de autojuego interactivo que es crucial para crear nuestros mejores agentes. Estos agentes pueden seguir órdenes y responder preguntas. A estos agentes los llamamos “solucionadores”. Pero nuestros agentes también pueden proporcionar comandos y hacer preguntas. A estos agentes los llamamos “configuradores”. Los establecedores plantean problemas de forma interactiva a los solucionadores para producir mejores solucionadores. Sin embargo, una vez que los agentes están capacitados, los humanos pueden jugar como configuradores e interactuar con los agentes solucionadores.

A partir de demostraciones humanas, entrenamos políticas utilizando una combinación de aprendizaje supervisado (clonación conductual), RL inversa para inferir modelos de recompensa y RL directa para optimizar políticas utilizando el modelo de recompensa inferida. Utilizamos tareas auxiliares semisupervisadas para ayudar a dar forma a las representaciones de los modelos de política y recompensa.
El agente colocador le pide al agente solucionador que “tome el robot blanco y lo coloque en la cama”. El agente solucionador encuentra el robot y realiza la tarea. La función de recompensa aprendida en las demostraciones captura aspectos clave de la tarea (azul) y otorga menos recompensa (gris) cuando las mismas observaciones se combinan con la instrucción contrafactual: “Toma el robot rojo y colócalo en la cama”.

Nuestras interacciones no pueden evaluarse de la misma manera que la mayoría de los problemas simples de aprendizaje por refuerzo. Por ejemplo, no existe la noción de ganar o perder. De hecho, comunicarse con el lenguaje mientras se comparte un entorno físico introduce una sorprendente cantidad de nociones abstractas y ambiguas. Por ejemplo, si un configurador le pide a un solucionador que coloque algo cerca de otra cosa, ¿qué es exactamente “cerca”? Pero la evaluación precisa de modelos entrenados en entornos estandarizados es un eje del aprendizaje automático y la inteligencia artificial modernos. Para hacer frente a esta situación, hemos desarrollado una variedad de métodos de evaluación para ayudar a diagnosticar problemas y calificar a los agentes, incluido simplemente hacer que humanos interactúen con agentes en ensayos grandes.

Los humanos evaluaron el desempeño de los agentes y otros humanos al completar instrucciones en la sala de juegos, tanto en tareas de seguimiento de instrucciones como de respuesta a preguntas. Los agentes inicializados aleatoriamente tuvieron éxito en aproximadamente el 0 % de las veces. Un agente entrenado solo con clonación conductual supervisada (B) tuvo un desempeño algo mejor, aproximadamente entre el 10% y el 20% del tiempo. Los agentes entrenados con tareas auxiliares semi-supervisadas también (B·A) obtuvieron mejores resultados. Se consideró que aquellos entrenados con aprendizaje supervisado, semisupervisado y reforzado utilizando el juego interactivo fueron los que obtuvieron mejores resultados (BG·A y BGR·A).

Una clara ventaja de nuestro entorno es que los operadores humanos pueden establecer un conjunto prácticamente infinito de nuevas tareas a través del lenguaje y comprender rápidamente las competencias de nuestros agentes. Hay muchas tareas que no pueden afrontar, pero nuestro enfoque para crear IA ofrece un camino claro para mejorar en un conjunto cada vez mayor de competencias. Nuestros métodos son generales y se pueden aplicar dondequiera que necesitemos agentes que interactúen con entornos y personas complejos.