Un equipo de investigadores de la Universidad de Illinois Urbana-Champaign, la Universidad Carnegie Mellon, el Instituto de Tecnología de Georgia, la Universidad de California Berkeley, Meta AI Research y Mistral AI han desarrollado un sistema de navegación universal llamado GO To Any Thing (GOAT). Este sistema está diseñado para un funcionamiento autónomo prolongado en entornos domésticos y de almacén. GOAT es un sistema multimodal que puede interpretar objetivos a partir de etiquetas de categorías, imágenes de objetivos y descripciones de idiomas. Es un sistema de por vida que se beneficia de las experiencias pasadas. GOAT es independiente de la plataforma y adaptable a varias realizaciones de robots.

GOAT, un sistema de navegación versátil para robots móviles, es experto en la navegación autónoma en diversos entornos utilizando etiquetas de categorías, imágenes de destino y descripciones de idiomas. GOAT emplea estimaciones de profundidad y segmentación semántica para crear un mapa de voxel semántico 3D para una detección precisa de instancias de objetos y almacenamiento de memoria. El mapa semántico facilita la representación espacial, el seguimiento de instancias de objetos, obstáculos y áreas exploradas.

GOAT es un sistema de robot móvil inspirado en conocimientos de navegación de animales y humanos. GOAT, un sistema de navegación universal, opera de forma autónoma en diversos entornos, ejecutando tareas basadas en la intervención humana. GOAT, multimodal, permanente y independiente de la plataforma, utiliza etiquetas de categorías, imágenes de destino y descripciones de idioma para especificar los objetivos. El estudio evalúa el rendimiento de GOAT para alcanzar instancias de objetos multimodales invisibles y destaca su superioridad, aprovechando la coincidencia de puntos clave de imagen basada en SuperGLUE sobre la coincidencia de funciones CLIP en métodos anteriores.

GOAT, un sistema de navegación universal, emplea un diseño modular y una memoria semántica consciente de instancias para una navegación multimodal basada en imágenes y descripciones de idiomas. El plan, independiente de la plataforma y capaz de aprendizaje permanente, demuestra sus capacidades a través de experimentos del mundo real a gran escala en hogares. Utilizando métricas como el éxito ponderado por la longitud de la ruta, el rendimiento de GOAT se evalúa sin mapas precalculados. El agente emplea políticas globales y locales, utilizando el método de marcha rápida para la planificación de rutas y controladores de navegación de puntos para alcanzar puntos de referencia a lo largo de la ruta.

En pruebas experimentales en nueve hogares, GOAT, un sistema de navegación universal, logró una tasa de éxito del 83%, superando los métodos anteriores en un 32%. Su tasa de éxito mejoró del 60 % en el primer objetivo al 90 % después de la exploración, lo que demuestra su adaptabilidad. GOAT manejó a la perfección tareas posteriores como elegir y colocar y navegación social. Los experimentos cualitativos demostraron el despliegue de GOAT en los robots Boston Dynamics Spot y Hello Robot Stretch. Los experimentos cuantitativos a gran escala con Spot en hogares del mundo real mostraron el rendimiento superior de GOAT en comparación con tres líneas de base, superando el rendimiento en instancias coincidentes y navegación eficiente.

Un excelente diseño multimodal e independiente de la plataforma permite la especificación de objetivos a través de diversos medios, incluidas etiquetas de categorías, imágenes de destino y descripciones de idioma. La arquitectura modular y la memoria semántica con reconocimiento de instancias distinguen entre instancias de la misma categoría para una navegación efectiva. Evaluado en experimentos a gran escala sin mapas precalculados, GOAT muestra versatilidad, ampliando sus capacidades a tareas como elegir y colocar y navegación social.

La trayectoria futura de GOAT implica una exploración integral de su desempeño en diversos entornos y escenarios para evaluar su generalización y solidez. Las investigaciones se centrarán en mejorar el umbral de coincidencia para abordar los desafíos durante la prospección. Se explorarán más a fondo las instancias de submuestreo basadas en la categoría de objetivos para mejorar el rendimiento. El desarrollo continuo de GOAT incluye perfeccionar las políticas globales y locales y potencialmente integrar técnicas adicionales para una navegación más eficiente. Una evaluación exhaustiva del mundo real abarcará diferentes robots y tareas para validar la versatilidad de GOAT. Una mayor exploración puede ampliar la aplicabilidad de GOAT más allá de la navegación a dominios como el reconocimiento, la manipulación y la interacción de objetos.

Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.

Si te gusta nuestro trabajo, te encantará nuestra newsletter.