Los modelos de lenguaje grande (LLM) han mejorado el campo de la conducción autónoma en términos de interpretabilidad, capacidad de razonamiento y eficiencia general de los vehículos autónomos (AV). Se han construido sistemas de conducción autónoma cognitiva sobre LLM que pueden comunicarse en lenguaje natural con software de navegación o pasajeros humanos.
Los dos métodos principales que se utilizan en los sistemas de conducción autónoma son el enfoque modular, que divide el sistema en módulos más pequeños como percepción, predicción y planificación, y el enfoque de extremo a extremo, que utiliza redes neuronales para traducir la información de los sensores directamente en señales de control.
Aunque las tecnologías de conducción autónoma han avanzado significativamente, todavía presentan problemas y pueden provocar accidentes catastróficos en situaciones complejas o circunstancias imprevistas. La incapacidad del vehículo para comprender la información lingüística y comunicarse con las personas se ve obstaculizada por su dependencia de entradas de formato limitado, como datos de sensores y puntos de navegación. Ambos métodos declarados tienen inconvenientes a pesar de sus innovaciones, ya que se basan en entradas de formato fijo, lo que limita la capacidad del agente para comprender datos multimodales e interactuar con el entorno.
Para abordar estos desafíos, un equipo de investigadores ha introducido LMDrive, un marco para la conducción autónoma de circuito cerrado, de extremo a extremo y guiada por lenguaje. LMDrive ha sido diseñado específicamente para analizar y combinar comandos de lenguaje natural con datos de sensores multimodales. Esta integración ha hecho posible la interacción fluida entre el vehículo autónomo y el software de navegación en entornos de aprendizaje auténticos.
La idea principal detrás de la introducción de LMDrive es mejorar la eficiencia general y la seguridad de los sistemas de conducción autónomos mediante la utilización de los extraordinarios poderes de razonamiento de los LLM. El equipo también ha publicado un conjunto de datos que consta de alrededor de 64.000 clips de datos que siguen instrucciones, lo que lo convierte en una herramienta útil para futuros estudios sobre la conducción autónoma de circuito cerrado basada en el lenguaje.
El equipo también ha publicado el benchmark LangAuto, que evalúa la capacidad del sistema para gestionar comandos complejos y situaciones de conducción exigentes. La originalidad de esta técnica ha sido resaltada por la afirmación del artículo de ser el primero en utilizar LLM para la conducción autónoma de circuito cerrado de un extremo a otro. El equipo ha resumido sus principales contribuciones de la siguiente manera.
- Se ha presentado LMDrive, que es un marco de conducción autónoma de circuito cerrado, de extremo a extremo y basado en un lenguaje único. Con este marco, se pueden utilizar comandos de lenguaje natural y datos de sensores multimodales y de múltiples vistas para interactuar con el entorno dinámico.
- Se ha publicado un conjunto de datos con más de 64.000 clips de datos. En cada clip se han incluido una instrucción de navegación, varias instrucciones de notificación, una serie de datos de sensores multimodales y de múltiples vistas y señales de control. La duración del clip varía de 2 a 20 segundos.
- Se ha presentado el LangAuto Benchmark, que es un punto de referencia para evaluar agentes autónomos que utilizan comandos lingüísticos como entradas para la navegación. Tiene componentes difíciles, incluidas direcciones complicadas o engañosas y situaciones de conducción hostiles.
- Para evaluar la eficiencia de la arquitectura LMDrive, el equipo ha llevado a cabo una serie de pruebas exhaustivas de circuito cerrado, que abren la puerta a más estudios en esta área al arrojar luz sobre la funcionalidad de varios componentes de LMDrive.
En conclusión, este enfoque incorpora la comprensión del lenguaje natural para superar los inconvenientes de las técnicas de conducción autónoma existentes.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.