Sb3, la navaja suiza de la RL aplicada |  por James Koh, PhD |  octubre de 2023

Tu elección de modelo, con cualquier ambiente.

Imagen creada por DALL·E 3 basada en el mensaje “Crea una imagen realista de una navaja suiza abierta”.

Stablebaseline3 (sb3) es como una navaja suiza. Es una herramienta multifunción que se puede utilizar para muchos propósitos. Y, así como una navaja suiza puede salvarle la vida si está varado en la jungla, sb3 puede salvarle la vida en la oficina, cuando tiene plazos aparentemente imposibles que cumplir.

Esta guía utiliza gimnasio=0.28.1 y líneas de base estables=2.1.0. Si utiliza versiones diferentes, o tal vez incluso consulta otras guías antiguas, es posible que no obtenga los resultados siguientes. Pero no se preocupe, aquí también se proporciona una guía de instalación. Te garantizo que puedes obtener los resultados si sigues mis instrucciones.

Stablebaseline3 es fácil de usar. También está bien documentado y puedes seguir los tutoriales por tu cuenta. Pero…

  • ¿Ha consultado guías más antiguas (quizás aquellas que usan gym), sólo para encontrar errores en su máquina?
  • ¿Puedes garantizar siempre la compatibilidad?
  • ¿Qué pasa si quieres usar? gymnasium¿El entorno y modificar quizás las recompensas?
  • ¿Sabe cómo envolver sus propias tareas, de modo que los modelos SOTA se puedan aplicar en unas pocas líneas?

¡Ese es el objetivo de este artículo! Después de leer esta demostración guiada, usted…

  1. Resuelva entornos clásicos con modelos sb3, visualice los resultados y guarde (o cargue) el modelo entrenado en unas pocas líneas de código. [Section 3.1]
  2. Comprenda cómo verificar la compatibilidad del espacio de acción y el espacio de observación. [Section 3.2]
  3. Aprende a envolver gymnasiumentornos para que se pueda utilizar cualquier modelo sb3, sin restricciones de box o discrete. [Section 4.1]
  4. Aprende a envolver gymnasiumentornos para la configuración de recompensas. [Section 4.2]
  5. Aprenda cómo ajustar sus propios entornos personalizados para que sean compatibles con sb3, con cambios mínimos en su código original que puede seguir una estructura diferente. [Section 5]

Cree un entorno virtual y configure las dependencias relevantes. Atiendo a la mayoría: aquí la guía se crea usando Windows…