Los investigadores también emplearon una técnica especial para agilizar este proceso de modo que un robot móvil pueda actualizar continuamente entradas de memoria inciertas en tiempo real.
En comparación con los métodos básicos, UQ-DAAAM aumentó la confianza del robot y mejoró la precisión de sus respuestas a preguntas sobre objetos, sus ubicaciones y cuándo los vio.
“A diferencia de ChatGPT, cuando pensamos en la IA física, no basta con simplemente poner un descargo de responsabilidad advirtiendo que a veces el robot puede estar equivocado. Permitir que un robot sepa lo que no sabe será esencial para que esta tecnología se implemente de forma segura y tenga un impacto positivo en la sociedad”, afirma Luca Carlone, profesor asociado en el Departamento de Aeronáutica y Astronáutica del MIT (AeroAstro), investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS), director del MIT. SPARK Laboratory y autor principal del artículo que presenta UQ-DAAAM.
En el artículo se unen a él los coautores principales y estudiantes graduados del MIT, Harry Zhang y Nicolas Gorlo. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Memoria modificatoria
Este nuevo método se basa en el trabajo anterior de los investigadores, DAAAM, un sistema de memoria de robot que utiliza un modelo de visión y lenguaje (VLM) para describir detalladamente objetos en escenas que un robot captura con sus cámaras integradas. Estas descripciones se almacenan como subtítulos detallados en una representación basada en mapas 3D del entorno del robot a la que puede recurrir más tarde para responder preguntas.
Pero a veces el robot ve objetos sólo parcialmente o desde lejos, o su cámara puede capturar imágenes borrosas o mal iluminadas. En estos casos, DAAAM podría describir estos objetos incorrectamente, por ejemplo, confundiendo una chimenea gris con una ardilla posada en un tejado.
“Sin forma de corregirse, esta memoria errónea persistiría mientras el robot avanza en su entorno, lo que podría afectar a las aplicaciones posteriores”, afirma Zhang.
UQ-DAAAM integra la cuantificación de la incertidumbre en el marco DAAAM. Permite al robot medir su confianza en la precisión de las descripciones de los objetos y corregir leyendas incorrectas mientras viaja por un entorno.
Mientras está en movimiento, el robot recopila y almacena constantemente imágenes del mundo que lo rodea. Muchas de estas imágenes muestran los mismos objetos capturados desde diferentes ángulos. UQ-DAAAM utiliza estos puntos de vista adicionales para identificar y corregir descripciones poco confiables.
Primero, calcula el nivel de confianza del VLM en las palabras que generó para describir un objeto potencialmente mal etiquetado. Luego, mide la coherencia comparando esta descripción con leyendas de imágenes que describen el mismo objeto desde diferentes puntos de vista.
“Fusionamos ambas fuentes de incertidumbre en un solo número que captura qué tan seguro está el VLM en su comprensión general del objeto”, explica Carlone.
Si ese número excede un cierto umbral, la incertidumbre es demasiado alta y UQ-DAAAM refinará el título utilizando imágenes adicionales del objeto.
Lo hace utilizando una regla heurística o simple que determina qué puntos de vista adicionales reducirán la incertidumbre del robot sobre el objeto. Por ejemplo, podría elegir una imagen capturada unos fotogramas más tarde que muestre claramente el humo que emana de la chimenea.
Los investigadores demostraron matemáticamente que esta heurística puede identificar los mejores fotogramas para seleccionar sin volver a ejecutar el VLM, lo que reduce drásticamente la cantidad de cálculo.
“El desafío clave que Nico y Harry tuvieron que superar es cómo combinar VLM con cuantificación de incertidumbre en algo que se ejecute en una fracción de segundo en un robot en movimiento”, dice Carlone.
Recordando con confianza
Una vez que ha identificado leyendas adicionales que reducirán su incertidumbre sobre el objeto, el sistema utiliza un LLM para fusionarlas en una única descripción de objeto. Para aumentar la precisión, el LLM otorga más importancia a los subtítulos nuevos y a aquellos con menos ambigüedad.
Este paso de refinamiento es capaz de resolver ambigüedades para aproximadamente el 92 por ciento de los objetos en el entorno del robot, mientras que solo requiere dos leyendas adicionales por objeto. Aumentó la precisión de las descripciones de objetos en un 5 por ciento en comparación con el estado de la técnica.
UQ-DAAAM también proporcionó respuestas más precisas a preguntas sobre los objetos que observó, dónde los vio y cuándo los encontró por última vez que los métodos de referencia.
“Realizar este procedimiento de cuantificación de la incertidumbre en todo el mapa que genera el robot le permite mejorar su comprensión de lo que ha observado”, afirma Gorlo.
A continuación, los investigadores quieren utilizar UQ-DAAAM para guiar diferentes tipos de robots, como manipuladores robóticos móviles, y aplicar sus técnicas de cuantificación de incertidumbre a otros dominios.
Además, están estudiando el uso de UQ-DAAAM para identificar áreas de alta incertidumbre que el robot podría volver a visitar para mejorar su comprensión del entorno. También están explorando la cuantificación de la incertidumbre en sistemas que predicen el estado futuro del entorno de un robot.
Esta investigación cuenta con el apoyo, en parte, del Laboratorio de Investigación del Ejército de EE. UU. y la Oficina de Investigación Naval de EE. UU. Carlone se encuentra actualmente en un año sabático como Amazon Scholar; Este artículo describe el trabajo realizado en el MIT y no está asociado con Amazon.