Investigación
Inspirados por el progreso en el modelado del lenguaje a gran escala, aplicamos un enfoque similar para construir un agente generalista único más allá del ámbito de la producción de texto. El agente, al que nos referimos como Gato, funciona como una política generalista multimodal, multitarea y multiencarnación. La misma red con los mismos pesos puede reproducir Atari, subtitular imágenes, chatear, apilar bloques con un brazo robótico real y mucho más, decidiendo en función de su contexto si generar texto, pares de articulaciones, presionar botones u otros tokens.
Durante la fase de entrenamiento de Gato, los datos de diferentes tareas y modalidades se serializan en una secuencia plana de tokens, se agrupan y procesan mediante una red neuronal transformadora similar a un modelo de lenguaje grande. La pérdida se enmascara para que Gato solo prediga objetivos de acción y texto.
Al implementar Gato, se tokeniza un mensaje, como una demostración, formando la secuencia inicial. A continuación, el entorno genera la primera observación, que también se tokeniza y se adjunta a la secuencia. Gato toma muestras del vector de acción de forma autorregresiva, un token a la vez.
Una vez que se han muestreado todos los tokens que componen el vector de acción (determinado por la especificación de acción del entorno), la acción se decodifica y se envía al entorno, que avanza y produce una nueva observación. Luego se repite el procedimiento. El modelo siempre ve todas las observaciones y acciones anteriores dentro de su ventana de contexto de 1024 tokens.
Gato está capacitado en una gran cantidad de conjuntos de datos que comprenden la experiencia del agente en entornos tanto simulados como del mundo real, además de una variedad de conjuntos de datos de imágenes y lenguaje natural. Aquí se muestra el número de tareas en las que el rendimiento del modelo Gato previamente entrenado está por encima de un porcentaje de la puntuación de expertos, agrupadas por dominio.
Las siguientes imágenes también muestran cómo el modelo Gato previamente entrenado con los mismos pesos puede subtitular imágenes, participar en un diálogo interactivo y controlar un brazo robótico, entre muchas otras tareas.