Habiendo pasado los últimos años estudiando el arte de AWS Deepracer en el mundo físico, el autor fue a AWS re: Invent 2024. ¿Cómo fue?
En AWS Deepracer: ¿Cómo dominar las carreras físicas?Escribí en detalle sobre algunos aspectos relevantes para las carreras AWS DeepRacer en el mundo físico. Observamos las diferencias entre el mundo virtual y el físico y cómo podríamos adaptar el simulador y el enfoque de entrenamiento para superar las diferencias. La publicación anterior se dejó abierta, con una última final del campeonato restante, era demasiado temprano para compartir todos mis secretos.
Ahora que AWS re: Invent ha terminado, es hora de compartir mi estrategia, cómo me preparé y cómo fue al final.
Estrategia
Al entrar en la temporada 2024, estaba reflexionando sobre mi desempeño desde 2022 y 2023. En 2022, tenía modelos inestables que no pudieron hacer vueltas rápidas sobre la nueva pista del campeonato Invent 2022, ni siquiera haciendo los últimos 32. En 2023, las cosas fueron ligeramente mejor, pero estaba claro que había potencial para mejorar.
Específicamente, quería un modelo que:
- Va recto en las rectas y las esquinas con precisión
- Tiene un instinto de supervivencia y evita salir de la pista incluso en un lugar apretado
- Puede ignorar el ruido visual que se ve en la pista
Combine eso con la capacidad de probar los modelos antes de aparecer en la exposición, ¡y el éxito parecía posible!
Implementación
En esta sección, explicaré mi pensamiento sobre por qué las carreras físicas son tan diferentes a las carreras virtuales, así como también describiré mi enfoque para entrenar un modelo que supera esas diferencias.
¿Qué tan difícil puede ser ir recto?
Si ha visto a DeepRacer a lo largo de los años, probablemente haya visto que la mayoría de los modelos luchan por ir directamente en las rectas y terminar oscilando a la izquierda y a la derecha. La pregunta siempre ha sido: ¿por qué es así? Este comportamiento causa dos problemas: el aumento de la distancia (resultado: tiempo de vuelta más lento) y el automóvil potencialmente ingresa al siguiente giro de una manera que no puede manejar (resultado: fuera de ruta).
Surgieron algunas teorías:
- Problemas de Sim-to Real – La respuesta de la dirección no coincide con el simulador, tanto con respecto a la geometría y la latencia de la dirección (tiempo desde la imagen hasta el comando del servo, así como el tiempo que lleva al servo actuar realmente). Por lo tanto, cuando el automóvil intenta ajustar la dirección en la recta, no recibe la respuesta que espera.
- Problemas de modelos – Una combinación del modelo que en realidad no usa la acción recta, y no tiene acceso a los ángulos necesarios para amortiguar las oscilaciones (2.5–5.0 grados).
- Problemas de calibración -Si el automóvil no se calibra para ir recto cuando se le da una acción de 0 grados, y los valores máximos de izquierda/derecha son demasiado altos (tendencia a sobrevivirse) o demasiado bajo (tendencia al subvestaje), es probable que obtenga problemas de control y un comportamiento inestable.
Mi enfoque:
- Use la geometría de dirección de Ackermann parche. Con él, el automóvil se comportará de manera más realista, y el radio de giro disminuirá para un ángulo determinado. Como resultado, el espacio de acción se puede limitar a ángulos de hasta aproximadamente 20 grados. Esto coincide aproximadamente con el ángulo de dirección del automóvil real.
- Incluya estabilizar los ángulos de dirección (2.5 y 5.0) en el espacio de acción, lo que permite correcciones menores en las rectas.
- Use velocidades relativamente lentas (0.8–1.3 m/s) para evitar deslizarse en el simulador. Mi teoría es que el simulador de 15 fps y el automóvil de 30 fps en realidad traducen 1.2 MP en el simulador en efectivamente 2.4 MP en el mundo real.
- Al tener un espacio de acción de Chevron invertido que da velocidades más altas para las rectas, empuje el automóvil para usar las acciones rectas, en lugar de oscilar acciones izquierda-derecha.
- Pruebe modelos físicos V3, V4 y V5: prueba en una pista real para ver qué funciona mejor.
- De lo contrario, la función de recompensa era la misma función de recompensa basada en el progreso que también uso en las carreras virtuales.
La siguiente figura ilustra la vista de las pruebas en el garaje, yendo recto al menos un cuadro.
Ser flexible
La carrera virtual es (casi) determinista, y con el tiempo, el modelo convergerá y el automóvil tomará un camino estrecho, reduciendo la variedad en las situaciones que ve. Al principio del entrenamiento, frecuentemente estará en posiciones extrañas, casi se va a salir, y recuerda cómo salir de estas situaciones. A medida que converge, la frecuencia a la que debe manejar estos se reduce, y la teoría es que la memoria se desvanece, y en algún momento, olvida cómo salir de una situación difícil.
Mi enfoque:
- Diversifique la capacitación para enseñar al automóvil a manejar una variedad de esquinas, en ambas direcciones:
- Los modelos de entrena constantemente que van en sentido horario y en sentido antihorario.
- Use pistas, principalmente la pista de campeonato 2022, que son significativamente más complejas que la Raceway para siempre.
- Haga la optimización final en Forever Raceway, nuevamente en ambas direcciones.
- Tome varias instantáneas durante el entrenamiento; No vayas por debajo de 0.5 en entropía.
- Prueba en las pistas que el auto nunca ha visto. El simulador tiene muchas pistas adecuadas y estrechas: el sello distintivo de un modelo generalizado es uno que puede manejar pistas que nunca ha visto durante el entrenamiento.
Mantente enfocado en la pista
En mi última publicación, observé las diferencias visuales entre los mundos virtuales y reales. La pregunta es qué hacer al respecto. El objetivo es engañar al modelo para que ignore el ruido y centrarse en lo que es importante: la pista.
Mi enfoque:
- Entrena en un entorno con un ruido visual significativamente más. Las pistas en el repositorio de pistas personalizadas Han agregado ruido a través de luces adicionales, edificios y diferentes paredes (y algunas incluso vienen con sombras).
- Altere el entorno durante el entrenamiento para evitar el sobreajuste al ruido adicional. Las pistas personalizadas se hicieron de tal manera que se pudieran hacer diferentes objetos (edificios, paredes y líneas) invisibles en tiempo de ejecución. Tenía un trabajo cron al azar el entorno cada 5 minutos.
La siguiente figura ilustra el variado entorno de entrenamiento.
Lo que no consideré este año fue simular el desenfoque durante el entrenamiento. Intenté esto anteriormente promediando el marco de la cámara actual con el anterior antes de inferencias. No parecía ayudar.
La distorsión de la lente es un tema que he observado, pero que no está completamente investigado. La cámara original tiene una distorsión de ojos de pescado distinta, y el cenador podría ser capaz de replíquelopero requeriría un trabajo para determinar realmente los coeficientes. Igualmente, nunca he intentado replicar los movimientos de rodadura del auto real.
Pruebas
Las pruebas tuvieron lugar en el garaje en la pista estrecha del trapezoide. La pista es obviamente básica, pero con dos rectas y dos giros de 180 grados con diferentes radios, tuvo que hacer el trabajo. La pista de garaje también tenía suficiente ruido visual para ver si los modelos eran lo suficientemente robustos.
El método era sencillo: pruebe todos los modelos en sentido horario y antihorario. Usando los registros capturados por el pila de autos personalizadosPasé la noche mirando a través del video de cada carrera para determinar qué modelo me gustó más: aspecto de estabilidad, manejo (rectas en rectas más curvas de precisión) y velocidad.
Re: inventar 2024
La pista para Re: Invent 2024 fue la Raceway para siempre. La forma de la pista no es nueva; Comparte la línea central con el 2022 Summit Speedway, pero con solo 76 cm de ancho (el original era de 1,07 cm), los turnos se vuelven más pronunciados, lo que lo convierte en una pista significativamente más difícil.
El medio ambiente
El entorno es clásico re: Invent: una pista suave con muy poco brillo combinado con paredes suaves y bastante altas que rodean la pista. El fondo es lo que a menudo causa problemas: este año, una gran pantalla iluminada colgada debajo del techo en el otro extremo de la pista, y como muestra la siguiente figura, estaba atrayendo bastante atención del GradCam.
Del mismo modo, la jaula de la tripulación de boxes, donde se mantienen los automóviles, atrajo la atención.
Los resultados
Entonces, ¿dónde terminé y por qué? En la ronda 1, terminé en el lugar 14, con un mejor promedio de 10.072 segundos, y un mejor tiempo de vuelta de 9.335 segundos. No es genial, pero tampoco está mal, casi 1 segundo fuera del top 8.
Usando la cámara superior proporcionada por AWS a través de la transmisión de Twitch, es posible crear una vista gráfica que muestre la ruta que tomó el automóvil, como se muestra en la siguiente figura.
Si comparamos esto con cómo al mismo modelo le gustaba conducir en el entrenamiento, vemos una diferencia.
Lo que se vuelve obvio bastante rápido es que, aunque logré ir directamente sobre la (superior) recta, el automóvil no se arrestó tan bien como durante el entrenamiento, lo que hace que la mitad inferior de la pista sea un desastre. Sin embargo, el automóvil demostró el instinto de supervivencia deseado y permaneció en el camino incluso cuando se enfrentó a esquinas inesperadamente afiladas.
¿Por qué sucedió esto?
- 20 grados de giro usando la dirección de Ackermann es demasiado; El verdadero auto no es capaz de hacerlo en el mundo real
- El radio de giro está aumentando a medida que aumenta la velocidad debido al deslizamiento, causado tanto por baja fricción como por falta de agarre debido a la rodadura
- El tiempo de reacción juega más un papel a medida que aumenta la velocidad, y mi modelo actuó demasiado tarde, sobrepasando en la esquina
El radio de giro combinado y el efecto de tiempo de reacción también causaron problemas al comienzo. Si el auto va lentamente, se vuelve mucho más rápido, y termina saliendo de la casa en el interior, que causan problemas para mí y para otros.
Mis conclusiones:
- En general, el enfoque de entrenamiento parecía funcionar bien. Los autos bien calibrados fueron directamente en las rectas, y el ruido de fondo no parecía molestar mucho a mis modelos.
- Necesito acercarme a las características de manejo reales del automóvil a velocidad durante el entrenamiento aumentando la velocidad máxima y reduciendo el ángulo máximo en el espacio de acción.
- Las carreras físicas aún no se entienden bien, y se trata mucho de auto-autos-autos. Algunos modelos prosperan en autos objetivamente perfectamente calibrados, mientras que otros funcionan muy bien cuando se combinan con uno particular.
- La pista es el rey, aquel que tenía acceso a la pista, ya sea a través de su empleador o haber construido uno en casa, tuvieron una gran ventaja, incluso si casi todos dijeron que estaban sorprendidos por qué modelo funcionó al final.
Ahora disfrute de la vista interior de un automóvil en Re: Invent, y vea si puede detectar alguno de los problemas que he discutido. El video fue grabado después de haber sido eliminado de la competencia usando un automóvil con el software de coche personalizado.
Tiempo de cierre: ¿a dónde vamos desde aquí?
Esta sección se disfruta mejor con el tiempo de cierre de Semisonic como banda sonora.
Mientras todos terminamos en la Expo después de una intensa semana de carreras, re: inventar literalmente ser desmantelado a nuestro alrededor, la pregunta era: ¿Qué viene después?
Este fue el último campeonato de Deepracer, pero el sentimiento general fue que, mientras que nadie realmente extrañará carreras virtuales, es un problema resuelto, las carreras físicas siguen siendo muy divertidas, y la comunidad aún no está lista para seguir adelante. Dado que re: inventar varias iniciativas han ganado tracción con un objetivo común para hacer que DeepRacer sea más accesible:
- Inscribiendo autos con el Coche personalizado de DeepRacer Pila de software en Deepracer Event Manager Puede capturar registros de automóviles y generar los videos de análisis, como se muestra en este artículo, ¡directamente durante su evento!
- Combine los componentes listos para usar con una placa de circuito personalizado para construir la escala 1:28 DeepRacer Pi Mini ambas opciones son compatibles con modelos ya capacitados, incluida la integración con DeepRacer Event Manager.
Consola personalizada de DeepRacer será un reemplazo de la interfaz de usuario actual con una hermosa interfaz de usuario diseñada en Nubesalineando el diseño con Drem y la consola AWS.
Prototype DeepRacer Pi Mini – Escala de 1: 28
Palabras de cierre
Deepracer es una forma fantástica de enseñar IA de una manera muy física y visual, y es adecuada para niños mayores, estudiantes y adultos en el entorno corporativo por igual. Será interesante ver cómo AWS, sus socios corporativos y la comunidad continuarán el viaje en los próximos años.
Un gran agradecimiento para todos los que han estado involucrados en DeepRacer desde su inicio hasta hoy, muchos de los que se nombrarán, ha sido una experiencia maravillosa. ¡Una gran felicitación para los ganadores de este año!
Hora de cierre, cada nuevo comienzo proviene del final de otro comienzo …
Sobre el autor
Lars Lorentz Ludvigsen es un entusiasta de la tecnología que fue presentado a AWS Deepracer a fines de 2019 y se enganchó al instante. Lars trabaja como director gerente en Accenture, donde ayuda a los clientes a construir la próxima generación de productos con conexión inteligente. Además de su papel en Accenture, es un constructor de la comunidad de AWS que se enfoca en desarrollar y mantener las soluciones de software de la comunidad de AWS Deepracer.