En los últimos años, los agentes de inteligencia artificial han tenido éxito en una variedad de entornos de juego complejos. Por ejemplo, alfacero vence a los programas de campeones mundiales de ajedrez, shogi y Go después de comenzar sin saber más que las reglas básicas de cómo jugar. A través de aprendizaje reforzado (RL), este sistema único aprendió jugando ronda tras ronda de juegos mediante un proceso repetitivo de prueba y error. Pero AlphaZero aún entrenaba por separado en cada juego, incapaz de simplemente aprender otro juego o tarea sin repetir el proceso de RL desde cero. Lo mismo ocurre con otros éxitos de RL, como Atari, Captura la bandera, Starcraft II, dota 2y Al escondite. La misión de DeepMind de resolver inteligencia para hacer avanzar la ciencia y la humanidad nos llevó a explorar cómo podríamos superar esta limitación para crear agentes de IA con un comportamiento más general y adaptativo. En lugar de aprender un juego a la vez, estos agentes podrían reaccionar ante condiciones completamente nuevas y jugar todo un universo de juegos y tareas, incluidos algunos nunca antes vistos.
Hoy publicamos “El aprendizaje abierto conduce a agentes generalmente capaces“, una preimpresión que detalla nuestros primeros pasos para entrenar a un agente capaz de jugar muchos juegos diferentes sin necesidad de datos de interacción humana. Creamos un vasto entorno de juego al que llamamos XLand, que incluye muchos juegos multijugador dentro de mundos 3D consistentes y con los que los humanos pueden identificarse. Este entorno hace posible formular nuevos algoritmos de aprendizaje, que controlan dinámicamente cómo entrena un agente y los juegos en los que entrena. Las capacidades del agente mejoran de forma iterativa como respuesta a los desafíos que surgen en el entrenamiento, con el proceso de aprendizaje refinando continuamente las tareas de entrenamiento para que El agente nunca deja de aprender. El resultado es un agente con la capacidad de tener éxito en un amplio espectro de tareas, desde simples problemas de búsqueda de objetos hasta juegos complejos como el escondite y la captura de la bandera, que no se encontraron durante el entrenamiento. el agente exhibe comportamientos heurísticos generales, como la experimentación, comportamientos que son ampliamente aplicables a muchas tareas en lugar de especializarse en una tarea individual. Este nuevo enfoque marca un paso importante hacia la creación de agentes más generales con la flexibilidad de adaptarse rápidamente en entornos en constante cambio.
Un universo de tareas formativas
La falta de datos de entrenamiento, donde los puntos de “datos” son tareas diferentes, ha sido uno de los principales factores que limitan que el comportamiento de los agentes entrenados en RL sea lo suficientemente general como para aplicarse en todos los juegos. Al no poder capacitar a los agentes en un conjunto de tareas suficientemente amplio, los agentes entrenados con RL no han podido adaptar sus comportamientos aprendidos a nuevas tareas. Pero al diseñar un espacio simulado que permita tareas generadas procedimentalmente, nuestro equipo creó una forma de capacitarse y generar experiencia a partir de tareas que se crean mediante programación. Esto nos permite incluir miles de millones de tareas en XLand, en diversos juegos, mundos y jugadores.
Nuestros agentes de IA habitan avatares 3D en primera persona en un entorno multijugador destinado a simular el mundo físico. Los jugadores perciben su entorno observando imágenes RGB y reciben una descripción de texto de su objetivo, y entrenan en una variedad de juegos. Estos juegos son tan simples como los juegos cooperativos para encontrar objetos y navegar por mundos, donde el objetivo de un jugador podría ser “estar cerca del cubo morado”. Los juegos más complejos pueden basarse en elegir entre múltiples opciones de recompensa, como “estar cerca del cubo morado o poner la esfera amarilla en el suelo rojo”, y los juegos más competitivos incluyen jugar contra compañeros, como el escondite simétrico donde Cada jugador tiene el objetivo de “ver al oponente y hacer que el oponente no me vea”. Cada juego define las recompensas para los jugadores y el objetivo final de cada jugador es maximizar las recompensas.
Debido a que XLand se puede especificar mediante programación, el espacio del juego permite que los datos se generen de forma automatizada y algorítmica. Y debido a que las tareas en XLand involucran a varios jugadores, el comportamiento de los compañeros influye en gran medida en los desafíos que enfrenta el agente de IA. Estas interacciones complejas y no lineales crean una fuente ideal de datos para entrenar, ya que a veces incluso pequeños cambios en los componentes del entorno pueden resultar en grandes cambios en los desafíos para los agentes.
Métodos de entrenamiento
Un elemento central de nuestra investigación es el papel de vida real profunda en el entrenamiento de las redes neuronales de nuestros agentes. La arquitectura de red neuronal que utilizamos proporciona un mecanismo de atención sobre el estado recurrente interno del agente, lo que ayuda a guiar la atención del agente con estimaciones de subobjetivos exclusivos del juego que está jugando. Hemos descubierto que este agente atento a objetivos (GOAT) aprende políticas más capaces en general.
También exploramos la pregunta: ¿qué distribución de tareas de capacitación producirá el mejor agente posible, especialmente en un entorno tan vasto? La generación dinámica de tareas que utilizamos permite cambios continuos en la distribución de las tareas de capacitación del agente: cada tarea se genera para que no sea ni demasiado difícil ni demasiado fácil, sino adecuada para la capacitación. Luego usamos formación basada en la población (PBT) para ajustar los parámetros de la generación dinámica de tareas en función de un fitness que tiene como objetivo mejorar la capacidad general de los agentes. Y finalmente, encadenamos varias ejecuciones de capacitación para que cada generación de agentes pueda iniciar la generación anterior.
Esto conduce a un proceso de capacitación final con RL profundo como núcleo, actualizando las redes neuronales de los agentes con cada paso de la experiencia:
- los pasos de la experiencia provienen de tareas de capacitación que se generan dinámicamente en respuesta al comportamiento de los agentes,
- Las funciones generadoras de tareas de los agentes mutan en respuesta al desempeño relativo y la solidez de los agentes.
- En el bucle más externo, las generaciones de agentes se inician entre sí, proporcionan jugadores cada vez más ricos al entorno multijugador y redefinen la medida de la progresión en sí.
El proceso de capacitación comienza desde cero y va generando complejidad de forma iterativa, cambiando constantemente el problema de aprendizaje para que el agente siga aprendiendo. La naturaleza iterativa del sistema de aprendizaje combinado, que no optimiza una métrica de rendimiento limitada sino más bien el espectro de capacidad general definido iterativamente, conduce a un proceso de aprendizaje potencialmente abierto para los agentes, limitado sólo por la expresividad del entorno, el espacio y el agente. red neuronal.
Medir el progreso
Para medir el desempeño de los agentes dentro de este vasto universo, creamos un conjunto de tareas de evaluación utilizando juegos y mundos que permanecen separados de los datos utilizados para el entrenamiento. Estas tareas “retenidas” incluyen tareas específicamente diseñadas por humanos como las escondidas y capturar la bandera.
Debido al tamaño de XLand, comprender y caracterizar el desempeño de nuestros agentes puede ser un desafío. Cada tarea implica diferentes niveles de complejidad, diferentes escalas de recompensas alcanzables y diferentes capacidades del agente, por lo que simplemente promediar la recompensa de las tareas realizadas ocultaría las diferencias reales en complejidad y recompensas, y efectivamente trataría todas las tareas como igualmente interesantes. lo cual no es necesariamente cierto en el caso de entornos generados procedimentalmente.
Para superar estas limitaciones, adoptamos un enfoque diferente. En primer lugar, normalizamos las puntuaciones por tarea utilizando el valor de equilibrio de Nash calculado con nuestro conjunto actual de jugadores entrenados. En segundo lugar, tomamos en cuenta la distribución completa de las puntuaciones normalizadas (en lugar de observar las puntuaciones normalizadas promedio, observamos los diferentes percentiles de las puntuaciones normalizadas), así como el porcentaje de tareas en las que el agente obtiene al menos un paso de recompensa: participación. Esto significa que un agente se considera mejor que otro sólo si supera el rendimiento en todos los percentiles. Este enfoque de medición nos brinda una forma significativa de evaluar el desempeño y la solidez de nuestros agentes.
Agentes más generalmente capaces
Después de capacitar a nuestros agentes durante cinco generaciones, vimos mejoras constantes en el aprendizaje y el desempeño en todo nuestro espacio de evaluación disponible. Al jugar aproximadamente 700.000 juegos únicos en 4.000 mundos únicos dentro de XLand, cada agente de la última generación experimentó 200 mil millones de pasos de entrenamiento como resultado de 3,4 millones de tareas únicas. En este momento, nuestros agentes han podido participar en todas las tareas de evaluación generadas por procedimientos, excepto en unas pocas que eran imposibles incluso para un humano. Y los resultados que estamos viendo muestran claramente un comportamiento general de cero en todo el espacio de tareas, con la frontera de los percentiles de puntuación normalizados mejorando continuamente.
Al observar cualitativamente a nuestros agentes, a menudo vemos surgir comportamientos heurísticos generales, en lugar de comportamientos específicos altamente optimizados para tareas individuales. En lugar de que los agentes sepan exactamente “qué es lo mejor” que pueden hacer en una nueva situación, vemos evidencia de agentes que experimentan y cambian el estado del mundo hasta alcanzar un estado gratificante. También vemos que los agentes dependen del uso de otras herramientas, incluidos objetos para obstruir la visibilidad, crear rampas y recuperar otros objetos. Debido a que el entorno es multijugador, podemos examinar la progresión de los comportamientos de los agentes mientras entrenamos en los que se resisten. dilemas socialescomo en un juego de “pollo”. A medida que avanza el entrenamiento, nuestros agentes parecen mostrar un comportamiento más cooperativo cuando juegan con una copia de sí mismos. Dada la naturaleza del entorno, es difícil identificar la intencionalidad: los comportamientos que vemos a menudo parecen ser accidentales, pero aun así vemos que ocurren de manera consistente.
Al analizar las representaciones internas del agente, podemos decir que al adoptar este enfoque de aprendizaje por refuerzo en un vasto espacio de tareas, nuestros agentes son conscientes de los conceptos básicos de sus cuerpos y del paso del tiempo y comprenden la estructura de alto nivel de los juegos. se encuentran. Quizás lo más interesante sea que reconocen claramente los estados de recompensa de su entorno. Esta generalidad y diversidad de comportamiento en nuevas tareas apunta al potencial de ajustar estos agentes en tareas posteriores. Por ejemplo, mostramos en el documento técnico que con solo 30 minutos de capacitación enfocada en una tarea compleja recién presentada, los agentes pueden adaptarse rápidamente, mientras que los agentes entrenados con RL desde cero no pueden aprender estas tareas en absoluto.
Al desarrollar un entorno como XLand y nuevos algoritmos de entrenamiento que respaldan la creación abierta de complejidad, hemos visto señales claras de una generalización de tiro cero por parte de los agentes de RL. Si bien estos agentes están comenzando a ser generalmente capaces dentro de este espacio de tareas, esperamos continuar nuestra investigación y desarrollo para mejorar aún más su desempeño y crear agentes cada vez más adaptables.
Para más detalles, consulte el preimpresión de nuestro artículo técnico – y vídeos de los resultados hemos visto. Esperamos que esto pueda ayudar a otros investigadores a ver un nuevo camino hacia la creación de agentes de IA más adaptables y generalmente capaces. Si está entusiasmado con estos avances, considere uniéndose a nuestro equipo.