Implementamos 100 autos controlados por aprendizaje de refuerzo (RL) en el tráfico de carreteras de la hora pico para suavizar la congestión y reducir el consumo de combustible para todos. Nuestro objetivo es abordar ondas “parar y ir”esas desaceleraciones y aceleraciones frustrantes que generalmente no tienen una causa clara pero conducen a congestión y desperdicios de energía significativos. Para entrenar controladores eficientes de suavización de flujo, construimos simulaciones rápidas e impulsadas por datos con las que los agentes de RL interactúan, aprendiendo a maximizar la eficiencia energética mientras mantenemos el rendimiento y operan de manera segura alrededor de los conductores humanos.
En general, una pequeña proporción de vehículos autónomos (AV) bien controlados es suficiente para mejorar significativamente el flujo de tráfico y la eficiencia de combustible para todos los conductores en la carretera. Además, los controladores capacitados están diseñados para ser desplegables en la mayoría de los vehículos modernos, operando de manera descentralizada y dependiendo de los sensores de radar estándar. En nuestro último periódicoexploramos los desafíos de implementar controladores RL en una gran escala, desde la simulación hasta el campo, durante este experimento de 100 autos.
Los desafíos de las mermeladas fantasmas
Una ola de parar y llevar hacia atrás a través del tráfico de carreteras.
Si conduce, seguramente ha experimentado la frustración de las ondas de parada y van, esas desaceleraciones de tráfico aparentemente inexplicables que aparecen de la nada y de repente se aclaran. Estas ondas a menudo son causadas por pequeñas fluctuaciones en nuestro comportamiento de conducción que se amplifican a través del flujo del tráfico. Naturalmente, ajustamos nuestra velocidad en función del vehículo frente a nosotros. Si se abre la brecha, aceleramos para mantenernos al día. Si frenan, también disminuimos la velocidad. Pero debido a nuestro tiempo de reacción distinto de cero, podríamos frenar un poco más duro que el vehículo en el frente. El siguiente conductor detrás de nosotros hace lo mismo, y esto sigue amplificando. Con el tiempo, lo que comenzó como una desaceleración insignificante se convierte en una parada completa más atrás en el tráfico. Estas ondas avanzan hacia atrás a través de la corriente de tráfico, lo que lleva a caídas significativas en la eficiencia energética debido a las aceleraciones frecuentes, acompañadas de un aumento de CO2 emisiones y riesgos de accidentes.
¡Y este no es un fenómeno aislado! Estas olas son ubicuas en las carreteras ocupadas cuando la densidad de tráfico excede un umbral crítico. Entonces, ¿cómo podemos abordar este problema? Los enfoques tradicionales como la medición de rampas y los límites de velocidad variables intentan administrar el flujo de tráfico, pero a menudo requieren infraestructura costosa y coordinación centralizada. Un enfoque más escalable es usar AVS, que puede ajustar dinámicamente su comportamiento de conducción en tiempo real. Sin embargo, simplemente insertar AVS entre los conductores humanos no es suficiente: también deben conducir de una manera más inteligente que haga que el tráfico sea mejor para todos, que es donde entra RL.
Diagrama fundamental del flujo de tráfico. El número de automóviles en la carretera (densidad) afecta cuánto tráfico avanza (flujo). A baja densidad, agregar más autos aumenta el flujo porque pueden pasar más vehículos. Pero más allá de un umbral crítico, los automóviles comienzan a bloquearse entre sí, lo que lleva a la congestión, donde agregar más autos realmente ralentiza el movimiento general.
Aprendizaje de refuerzo para AV con suavización de olas
RL es un poderoso enfoque de control donde un agente aprende a maximizar una señal de recompensa a través de interacciones con un entorno. El agente recopila experiencia a través de prueba y error, aprende de sus errores y mejora con el tiempo. En nuestro caso, el medio ambiente es un escenario de tráfico de autonomía mixta, donde los AVS aprenden estrategias de conducción para amortiguar las olas de parada y van y reducir el consumo de combustible tanto para ellos como para vehículos impulsados por los humanos cercanos.
Entrenamiento de estos agentes RL requiere simulaciones rápidas con una dinámica de tráfico realista que puede replicar el comportamiento de parada y salida de la carretera. Para lograr esto, aprovechamos los datos experimentales recopilados en la Interestatal 24 (I-24) cerca de Nashville, Tennessee, y los usamos para construir simulaciones donde los vehículos reproducen trayectorias de carreteras, creando un tráfico inestable que los AV que conducen detrás de ellos aprenden a suavizar.
La simulación reproduce una trayectoria de la carretera que exhibe varias ondas de detención y marcha.
Diseñamos los AV con el despliegue en mente, asegurando que puedan operar utilizando solo información básica del sensor sobre ellos y el vehículo en el frente. Las observaciones consisten en la velocidad del AV, la velocidad del vehículo líder y la brecha espacial entre ellas. Dadas estas entradas, el agente RL prescribe una aceleración instantánea o una velocidad deseada para el AV. La ventaja clave de usar solo estas mediciones locales es que los controladores RL se pueden implementar en la mayoría de los vehículos modernos de manera descentralizada, sin requerir infraestructura adicional.
Diseño de recompensas
La parte más desafiante es diseñar una función de recompensa que, cuando se maximice, se alinee con los diferentes objetivos que deseamos que logre los AV:
- Suavizado de ondas: Reduzca las oscilaciones de detener y llevar.
- Eficiencia energética: Un consumo de combustible más bajo para todos los vehículos, no solo los AV.
- Seguridad: Asegure las siguientes distancias razonables y evite el frenado abrupto.
- Comodidad de conducción: Evite aceleraciones y desaceleraciones agresivas.
- Adherencia a las normas de conducción humana: Asegúrese de que un comportamiento de conducción “normal” que no se incomoda a los conductores circundantes.
Equilibrar estos objetivos juntos es difícil, ya que se deben encontrar coeficientes adecuados para cada término. Por ejemplo, si minimizar el consumo de combustible domina la recompensa, RL AVS aprende a detenerse en el medio de la carretera porque eso es óptimo. Para evitar esto, introdujimos los umbrales de brecha mínimo y máximo dinámicos para garantizar un comportamiento seguro y razonable al tiempo que optimizamos la eficiencia del combustible. También penalizamos el consumo de combustible de vehículos impulsados por humanos detrás del AV para desalentarlo de aprender un comportamiento egoísta que optimiza el ahorro de energía para el AV a expensas del tráfico circundante. En general, nuestro objetivo es lograr un equilibrio entre el ahorro de energía y tener un comportamiento de conducción razonable y seguro.
Resultados de simulación
Ilustración de los umbrales de brecha mínimo dinámico y máximo, dentro de los cuales el AV puede operar libremente para suavizar el tráfico de la manera más eficiente posible.
El comportamiento típico aprendido por los AVS es mantener brechas ligeramente más grandes que los conductores humanos, lo que les permite absorber la próxima desaceleración del tráfico, posiblemente abrupta, de manera más efectiva. En la simulación, este enfoque resultó en un ahorro significativo de combustible de hasta el 20% en todos los usuarios de la carretera en los escenarios más congestionados, con menos del 5% de los AV en la carretera. ¡Y estos AV no tienen que ser vehículos especiales! Simplemente pueden ser autos de consumo estándar equipados con un control de crucero adaptativo inteligente (ACC), que es lo que probamos a escala.
Comportamiento de suavizado de RL AV. Rojo: una trayectoria humana del conjunto de datos. Azul: AV sucesivos en el pelotón, donde AV 1 es el más cercano detrás de la trayectoria humana. Típicamente hay entre 20 y 25 vehículos humanos entre AV. Cada AV no se ralentiza tanto o se acelera tan rápido como su líder, lo que lleva a disminuir la amplitud de las olas con el tiempo y, por lo tanto, ahorros de energía.
100 prueba de campo AV: implementar RL a escala
Nuestros 100 autos estacionados en nuestro centro operativo durante la semana del experimento.
Dados los prometedores resultados de la simulación, el siguiente paso natural fue cerrar la brecha de la simulación a la carretera. Tomamos los controladores RL capacitados y los desplegamos en 100 vehículos en el I-24 durante las horas pico de tráfico durante varios días. Este experimento a gran escala, que llamamos Megavandertest, es el experimento de suavización de tráfico de autonomía mixta más grande jamás realizado.
Antes de implementar controladores RL en el campo, los entrenamos y evaluamos ampliamente en simulación y los validamos en el hardware. En general, los pasos hacia el despliegue involucrado:
- Capacitación en simulaciones basadas en datos: Utilizamos datos de tráfico de carreteras de la I-24 para crear un entorno de capacitación con dinámica de olas realista, luego validar el rendimiento y la robustez del agente capacitado en una variedad de nuevos escenarios de tráfico.
- Implementación en hardware: Después de ser validado en el software de robótica, el controlador capacitado se carga en el automóvil y puede controlar la velocidad establecida del vehículo. Operamos a través del control de crucero a bordo del vehículo, que actúa como un controlador de seguridad de nivel inferior.
- Marco de control modular: Un desafío clave durante la prueba fue no tener acceso a los principales sensores de información del vehículo. Para superar esto, el controlador RL se integró en un sistema jerárquico, el Megacontroller, que combina una guía de planificador de velocidad que explica las condiciones de tráfico posterior, con el controlador RL como el tomador de decisiones final.
- Validación en hardware: Los agentes de RL fueron diseñados para operar en un entorno donde la mayoría de los vehículos fueron impulsados por los humanos, lo que requería políticas sólidas que se adapten al comportamiento impredecible. Verificamos esto conduciendo los vehículos controlados por RL en la carretera bajo una cuidadosa supervisión humana, haciendo cambios en el control basado en la retroalimentación.
Cada uno de los 100 autos está conectado a una Raspberry Pi, en la que se implementa el controlador RL (una pequeña red neuronal).
El controlador RL controla directamente el sistema de control de crucero adaptativo (ACC) a bordo, estableciendo su velocidad y deseada después de la distancia.
Una vez validados, los controladores RL se desplegaron en 100 autos y conducían en la I-24 durante la hora pico de la mañana. El tráfico circundante desconocía el experimento, asegurando el comportamiento imparcial del conductor. Los datos se recopilaron durante el experimento de docenas de cámaras superiores colocadas a lo largo de la carretera, lo que condujo a la extracción de millones de trayectorias de vehículos individuales a través de una tubería de visión por computadora. Las métricas calculadas en estas trayectorias indican una tendencia de un consumo de combustible reducido alrededor de los AV, como se esperaba de los resultados de la simulación y las implementaciones de validación más pequeñas anteriores. Por ejemplo, podemos observar que cuanto más cercanas conducen detrás de nuestros AV, menos combustible parecen consumir en promedio (que se calcula utilizando un modelo de energía calibrado):
Consumo promedio de combustible en función de la distancia detrás del AV controlado por RL comprometido más cercano en el tráfico posterior. A medida que los conductores humanos se alejan más detrás de los AV, su consumo promedio de combustible aumenta.
Otra forma de medir el impacto es medir la varianza de las velocidades y aceleraciones: cuanto menor sea la varianza, menos amplitud deben tener las ondas, que es lo que observamos a los datos de la prueba de campo. En general, aunque obtener mediciones precisas de una gran cantidad de datos de video de la cámara es complicada, observamos una tendencia del 15 al 20% de los ahorros de energía alrededor de nuestros automóviles controlados.
Puntos de datos de todos los vehículos en la carretera durante un solo día del experimento, trazado en el espacio de aceleración de velocidad. El clúster a la izquierda de la línea roja representa la congestión, mientras que el de la derecha corresponde al flujo libre. Observamos que el clúster de congestión es más pequeño cuando están presentes los AV, según lo medido calculando el área de una envoltura convexa suave o ajustando un núcleo gaussiano.
Pensamientos finales
La prueba operativa de campo de 100 autos fue descentralizada, sin cooperación o comunicación explícita entre los AV, un reflejo del despliegue de autonomía actual y nos acercó un paso más cerca de carreteras más suaves y eficientes en energía. Sin embargo, todavía existe un gran potencial de mejora. La ampliación de las simulaciones para ser más rápidas y más precisas con mejores modelos de conducción humana es crucial para cerrar la brecha de simulación a realidad. Equipar AVS con datos de tráfico adicionales, ya sea a través de sensores avanzados o planificación centralizada, podría mejorar aún más el rendimiento de los controladores. Por ejemplo, si bien RL de múltiples agentes es prometedor para mejorar las estrategias de control cooperativo, sigue siendo una pregunta abierta cómo habilitar la comunicación explícita entre las AVS a través de las redes 5G podría mejorar aún más la estabilidad y mitigar aún más las ondas de detención y marcha. De manera crucial, nuestros controladores se integran perfectamente con los sistemas de control de crucero adaptativo (ACC) existentes, lo que hace que la implementación de campo sea factible a escala. Cuantos más vehículos equipados con control inteligente de suavización de tráfico, ¡menos olas veremos en nuestras carreteras, lo que significa menos contaminación y ahorro de combustible para todos!
¡Muchos contribuyentes participaron en hacer que el Megavandertest suceda! La lista completa está disponible en el Proyecto de círculos página, junto con más detalles sobre el proyecto.
Leer más: [paper]