Los vehículos autónomos suelen estar controlados por modelos de aprendizaje profundo que a veces fallan en situaciones inesperadas. Por ejemplo, el coche podría frenar inexplicablemente y bloquear el paso de un vehículo de emergencia que se aproxima. Es posible que un conductor o pasajero humano deba reaccionar rápidamente para evitar una colisión.
Para ayudar a los humanos a anticipar mejor los errores de un vehículo, investigadores del MIT y la empresa de tecnología de vehículos autónomos Motional desarrollaron un nuevo método que proporciona explicaciones claras de las decisiones del modelo subyacente.
Normalmente, el proceso de razonamiento interno de un modelo de aprendizaje profundo es opaco y difícil de entender. Pero el nuevo método, llamado Concept-Wrapper Network (CW-Net), traduce ese proceso de razonamiento en conceptos que describen fielmente las decisiones del vehículo autónomo sin alterar su desempeño de conducción.
CW-Net explica las decisiones de los planificadores basados en el aprendizaje automático utilizando conceptos comprensibles, como “acercándose a un vehículo detenido” o “cerca de un ciclista”. Estas explicaciones pueden corregir ideas erróneas que los conductores y pasajeros tienen sobre el comportamiento del vehículo y mejorar su conciencia situacional.
En pruebas de carretera en una pista privada, las explicaciones de CW-Net ayudaron a los conductores de seguridad a predecir con mayor precisión el comportamiento del vehículo; un estudio de simulación más amplio con usuarios no expertos arrojó resultados similares. Estos experimentos muestran cómo CW-Net puede proporcionar información importante a los ingenieros mientras solucionan problemas en los sistemas de inteligencia artificial de los vehículos. A largo plazo, esta técnica podría aumentar la seguridad y la transparencia de los vehículos autónomos, al tiempo que generaría la confianza adecuada en conductores y pasajeros.
“Este trabajo muestra cómo las explicaciones apoyan el modelo mental humano y la comprensión del comportamiento de un sistema, y cómo podrían usarse en ingeniería y desarrollo para mejorar la tecnología”, dice Julie Shah, profesora de aeronáutica y astronáutica del MIT, directora del Grupo de Robótica Interactiva en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) y coautora principal del artículo sobre CW-Net. “A menos que construyamos estas tecnologías de una manera en la que podamos confiar y predecir su comportamiento, entonces la base para su uso será inestable e insegura”.
En el artículo se une a ella el autor principal, Eoin Kenny, un ex postdoctorado del MIT que ahora es investigador senior de IA en JP Morgan Chase; el coautor principal Momchil Tomov, científico investigador del personal de Motional; así como los miembros del equipo de Motional Akshay Dharmavaram, Sang Uk Lee, Tung Phan-Minh, Shreyas Rajesh, Yunqing Hu y Laura Major, presidenta y directora ejecutiva de Motional. La investigación aparece hoy en Nature.
Explicaciones fieles
Los planificadores basados en el aprendizaje automático actúan como el “cerebro” de un vehículo autónomo. Estas poderosas arquitecturas de aprendizaje profundo procesan datos de las cámaras y sensores lidar del vehículo, generan un resumen de alto nivel del entorno del vehículo, deciden qué debe hacer el automóvil a continuación y generan una trayectoria a seguir.
Los planificadores suelen ser modelos de caja negra, lo que significa que su proceso interno de toma de decisiones es tan complejo que resulta difícil de entender. Esto puede dejar a los científicos y conductores de seguridad sin saber por qué un vehículo autónomo tomó una decisión inesperada, como el frenado fantasma.
Los investigadores diseñaron CW-Net para explicar las decisiones de un vehículo utilizando conceptos comprensibles, garantizando al mismo tiempo que esas explicaciones reflejen con precisión las verdaderas razones detrás de su comportamiento.
“Especialmente en escenarios de alto riesgo como los autos sin conductor, es importante que las explicaciones no sean potencialmente engañosas. Debido a que CW-Net es causalmente fiel en la forma en que toma decisiones, eso proporciona ciertas garantías en torno a las explicaciones”, dice Kenny.
CW-Net es un “clasificador de conceptos”, un algoritmo de inteligencia artificial que ha sido entrenado para predecir los conceptos de alto nivel que existen dentro de los datos de entrada. Los investigadores conectan el módulo CW-Net en medio de la arquitectura de planificación de aprendizaje automático existente de un vehículo autónomo.
Traduce el proceso de razonamiento interno del modelo en conceptos comprensibles, como “acercándose a un vehículo detenido” o “cerca de un ciclista”. Luego obliga a la pieza final de la arquitectura del modelo de planificación a utilizar esos conceptos cuando decide qué debe hacer el vehículo a continuación. De esta forma, CW-Net garantiza que los conceptos expliquen fielmente las acciones del vehículo.
Al mismo tiempo, CW-Net utiliza los conceptos que clasificó para generar explicaciones claras que se generan junto con la trayectoria del vehículo, en tiempo real.
“En lugar de simplemente preguntarse por qué se detuvo el automóvil, tener datos en tiempo real proporciona retroalimentación que le permite probar el sistema durante la implementación. También puede brindar esos datos a un ingeniero para mejorar potencialmente el sistema”, dice Kenny.
Los investigadores entrenaron a CW-Net para predecir conceptos utilizando un conjunto de datos de 130 millones de ejemplos de escenas de vehículos autónomos, con múltiples conceptos etiquetados en cada escena. El uso de un conjunto de datos etiquetados tan grande le permite identificar conceptos con precisión en una amplia gama de entornos.
También diseñaron CW-Net para imitar las decisiones de conducción de los planificadores basados en aprendizaje automático, de modo que el módulo no afectara negativamente el rendimiento del vehículo.
Al final, CW-Net genera explicaciones precisas y comprensibles sin alterar el modelo de aprendizaje profundo original.
Mejorar la conciencia situacional
Para probar CW-Net, los investigadores implementaron el módulo en un vehículo de prueba de conducción autónoma real (un robotaxi Motional) en una pista privada con un conductor de seguridad. Descubrieron que CW-Net ayudaba al conductor seguro a predecir mejor cómo se comportaría el vehículo en situaciones sorprendentes.
Por ejemplo, el vehículo se detenía constantemente cuando se acercaba a un ciclista y el conductor de seguridad suponía que lo hacía porque detectaba a ese ciclista. Pero las explicaciones de CW-Net revelaron que el modelo no estaba configurado adecuadamente para detectar al ciclista y eligió una trayectoria que habría causado una colisión. En cambio, se detuvo porque su procedimiento de frenado de emergencia se activó cuando se acercó demasiado.
Armado con esta información sobre el error del modelo, el conductor de seguridad podría reducir la velocidad o activar el modo de conducción manual antes en situaciones similares. Esto también podría ayudar a los ingenieros a arreglar el modelo para evitar este fallo en el futuro.
En estudios de simulación en línea más amplios que utilizaron situaciones de conducción reales capturadas en las carreteras de Las Vegas, los investigadores obtuvieron resultados similares. Las explicaciones de CW-Net mejoraron significativamente la capacidad de los participantes para predecir cómo se comportará un vehículo autónomo.
En el futuro, los investigadores podrían ampliar CW-Net para que el módulo pueda cubrir más conceptos y explorar diferentes técnicas de capacitación y diseño que podrían aumentar el rendimiento y mejorar la interpretabilidad.
“Nuestro estudio muestra cuán crucial puede ser la interpretabilidad en estos entornos de alto riesgo, y cómo debería estar en la mente de las personas cuando estén creando IA en el futuro, para vehículos autónomos u otros entornos críticos para la seguridad”, dice Kenny.