Un equipo de investigadores del Laboratorio de Inteligencia Artificial de Shanghai, GigaAI, la Universidad Normal del Este de China, la Universidad China de Hong Kong, WeRide.ai evalúa la aplicabilidad de GPT-4V(ision), un modelo de lenguaje visual, en escenarios de conducción autónoma. GPT-4V demuestra un rendimiento superior en la comprensión de escenas y el razonamiento causal, mostrando potencial en el manejo de diversos escenarios y el reconocimiento de intenciones. Persisten desafíos en el discernimiento de la dirección y el reconocimiento de los semáforos, lo que enfatiza la necesidad de más investigación y desarrollo. El estudio revela las capacidades prometedoras del GPT-4V en contextos de conducción reales al tiempo que identifica áreas específicas de mejora.
La investigación evalúa GPT-4V(ision) en contextos de conducción autónoma, examinando su comprensión de la escena, su toma de decisiones y sus capacidades de conducción. Las pruebas exhaustivas demuestran el rendimiento superior del GPT-4V en la comprensión de la escena y el razonamiento causal en comparación con los sistemas existentes. A pesar de las fortalezas, persisten desafíos en tareas como el discernimiento de la dirección y el reconocimiento de semáforos, lo que exige más investigación y desarrollo para mejorar las capacidades de conducción autónoma. Los hallazgos subrayan el potencial de GPT-4V y al mismo tiempo enfatizan la necesidad de abordar limitaciones específicas mediante esfuerzos continuos de exploración y mejora.
Los enfoques tradicionales de los vehículos autónomos enfrentan desafíos a la hora de percibir objetos con precisión y comprender las intenciones de otros participantes del tráfico. Los LLM son prometedores para abordar estos problemas, pero su aplicación en la conducción autónoma está limitada por su incapacidad para procesar datos visuales. La aparición de GPT-4V presenta una oportunidad para mejorar la comprensión de la escena y el razonamiento causal en la conducción autónoma. El estudio tiene como objetivo evaluar exhaustivamente las capacidades de GPT-4V para reconocer diversas condiciones y tomar decisiones en situaciones de conducción reales, proporcionando conocimientos fundamentales para futuras investigaciones sobre conducción autónoma.
El enfoque proporciona una evaluación exhaustiva del GPT-4V(ision) en el contexto de escenarios de conducción autónoma. Pruebas exhaustivas evalúan las capacidades del GPT-4V para comprender escenas de conducción, tomar decisiones y actuar como conductores. Las tareas incluyen reconocimiento básico de escenas, razonamiento causal complejo y toma de decisiones en tiempo real en diversas condiciones. La evaluación emplea una selección curada de imágenes y videos de conjuntos de datos de código abierto, simulación CARLA e Internet.
GPT-4V logra una mejor comprensión de la escena y razonamiento causal que los sistemas autónomos actuales, lo que demuestra su potencial para manejar escenarios fuera de distribución, reconocer intenciones y tomar decisiones informadas en contextos de conducción reales. A pesar de estas fortalezas, persisten desafíos en el discernimiento de la dirección, el reconocimiento de semáforos, la base de la visión y el razonamiento espacial. La evaluación sugiere que las capacidades del GPT-4V superan las de los sistemas existentes, proporcionando conocimientos fundamentales para futuras investigaciones sobre conducción autónoma.
El estudio evalúa exhaustivamente GPT-4V(ision) en escenarios de conducción autónoma, revelando su rendimiento superior en comprensión de la escena y razonamiento causal en comparación con los sistemas existentes. GPT-4V demuestra potencial para manejar procedimientos fuera de distribución, reconocer intenciones y tomar decisiones informadas en contextos de conducción reales. A pesar de estas fortalezas, persisten desafíos en el discernimiento de la dirección, el reconocimiento de semáforos, la base de la visión y el razonamiento espacial.
La investigación reconoce la necesidad de investigación y desarrollo adicionales, específicamente para abordar los desafíos relacionados con el discernimiento de la dirección, el reconocimiento de semáforos, la conexión a tierra de la visión y las tareas de razonamiento espacial. Señala que la versión más reciente de GPT-4V puede producir respuestas diferentes en comparación con los resultados de las pruebas presentados en el estudio actual.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
también estamos en Telegrama y WhatsApp.
Hola, mi nombre es Adnan Hassan. Soy pasante de consultoría en Marktechpost y pronto seré aprendiz de gestión en American Express. Actualmente estoy cursando una doble titulación en el Instituto Indio de Tecnología, Kharagpur. Me apasiona la tecnología y quiero crear nuevos productos que marquen la diferencia.