El equipo de investigadores de NYU y Meta se propuso abordar el desafío del aprendizaje de la manipulación robótica en entornos domésticos mediante la introducción de DobbE, un sistema altamente adaptable capaz de aprender y adaptarse a partir de demostraciones de usuarios. Los experimentos demostraron la eficiencia del sistema y al mismo tiempo resaltaron los desafíos únicos en entornos del mundo real.
El estudio reconoce los avances recientes en la acumulación de extensos conjuntos de datos sobre robótica, enfatizando la singularidad de su conjunto de datos centrado en interacciones robóticas domésticas y en primera persona. Aprovechando las capacidades del iPhone, el conjunto de datos proporciona acción de alta calidad e información poco profunda. En comparación con los modelos de representación automatizados centrados en la manipulación existentes, se destaca el entrenamiento previo en el dominio para representaciones generalizables. Sugieren aumentar su conjunto de datos con información fuera del dominio de videos domésticos que no sean de robots para lograr mejoras adicionales, reconociendo el potencial de tales mejoras en su investigación.
El prólogo aborda los desafíos que plantea la creación de un asistente doméstico integral y aboga por un cambio de entornos controlados a hogares reales. Se enfatiza la eficiencia, la seguridad y la comodidad del usuario, presentando DobbE como un marco que incorpora estos principios. Utiliza datos a gran escala y aprendizaje automático moderno para lograr eficiencia, demostraciones humanas para seguridad y una herramienta ergonómica para la comodidad del usuario. DobbE integra hardware, modelos y algoritmos en torno a Hello Robot Stretch. También se analiza el conjunto de datos Homes of New York, con diversas demostraciones de 22 hogares, y técnicas de aprendizaje autosupervisado para modelos de visión.
La investigación emplea un marco de clonación de comportamiento, un subconjunto del aprendizaje por imitación, para entrenar a DobbE en la imitación de comportamientos humanos o de agentes expertos. Una configuración de hardware diseñada facilita la recopilación y transferencia de demostraciones a la encarnación del robot, utilizando diversos datos del hogar, incluida la odometría del iPhone. Los modelos fundamentales están previamente entrenados con estos datos. Los modelos entrenados se prueban en hogares reales, con experimentos de ablación que evalúan la representación visual, las demostraciones requeridas, la percepción de profundidad, la experiencia del demostrador y la necesidad de una política paramétrica en el sistema.
DobbE demostró una tasa de éxito del 81 % en entornos domésticos desconocidos después de recibir solo cinco minutos de demostraciones y 15 minutos de adaptación del modelo de Representaciones Preentrenadas en el Hogar. A lo largo de 30 días en 10 hogares diferentes, DobbE aprendió con éxito 102 de 109 tareas, demostrando la efectividad de métodos simples como la clonación de comportamiento con un modelo ResNet para representación visual y una red neuronal de dos capas para predicción de acciones. El tiempo de finalización y la dificultad de las tareas se analizaron mediante análisis de regresión, mientras que los experimentos de ablación evaluaron diferentes componentes del sistema, incluida la representación gráfica y la experiencia del demostrador.
En conclusión, DobbE es un sistema de manipulación robótica versátil y rentable probado en diversos entornos domésticos con una impresionante tasa de éxito del 81 %. El equipo de DobbE ha abierto generosamente la pila de software, los modelos, los datos y los diseños de hardware del sistema para avanzar en la investigación de robots domésticos y promover la adopción generalizada de mayordomos robóticos. El éxito de DobbE se puede atribuir a sus métodos potentes pero simples, incluida la clonación de comportamiento y una red neuronal de dos capas para la predicción de acciones. Los experimentos también proporcionaron información sobre los desafíos que plantean las condiciones de iluminación y las sombras que afectan la ejecución de las tareas.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.