E2uu4a Zcz9b Ozye Xqieazpdbjpcmw99 Qvyvxs81upjknbzto4o81rwapiqifoar39wsfmo336eksh4 Z25bhidamvwtqeklsteg260fzhcwjw1200 H630 N Nu.jpeg

Investigación

Publicado
Autores

Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar y Nando de Freitas

Inspirados por el progreso en el modelado del lenguaje a gran escala, aplicamos un enfoque similar para construir un agente generalista único más allá del ámbito de la producción de texto. El agente, al que nos referimos como Gato, funciona como una política generalista multimodal, multitarea y multiencarnación. La misma red con los mismos pesos puede reproducir Atari, subtitular imágenes, chatear, apilar bloques con un brazo robótico real y mucho más, decidiendo en función de su contexto si generar texto, pares de articulaciones, presionar botones u otros tokens.

Durante la fase de entrenamiento de Gato, los datos de diferentes tareas y modalidades se serializan en una secuencia plana de tokens, se agrupan y procesan mediante una red neuronal transformadora similar a un modelo de lenguaje grande. La pérdida se enmascara para que Gato solo prediga objetivos de acción y texto.

Al implementar Gato, se tokeniza un mensaje, como una demostración, formando la secuencia inicial. A continuación, el entorno genera la primera observación, que también se tokeniza y se adjunta a la secuencia. Gato toma muestras del vector de acción de forma autorregresiva, un token a la vez.

Una vez que se han muestreado todos los tokens que componen el vector de acción (determinado por la especificación de acción del entorno), la acción se decodifica y se envía al entorno, que avanza y produce una nueva observación. Luego se repite el procedimiento. El modelo siempre ve todas las observaciones y acciones anteriores dentro de su ventana de contexto de 1024 tokens.

Gato está capacitado en una gran cantidad de conjuntos de datos que comprenden la experiencia del agente en entornos tanto simulados como del mundo real, además de una variedad de conjuntos de datos de imágenes y lenguaje natural. Aquí se muestra el número de tareas en las que el rendimiento del modelo Gato previamente entrenado está por encima de un porcentaje de la puntuación de expertos, agrupadas por dominio.

Las siguientes imágenes también muestran cómo el modelo Gato previamente entrenado con los mismos pesos puede subtitular imágenes, participar en un diálogo interactivo y controlar un brazo robótico, entre muchas otras tareas.