Diseño Aprendizaje de imitación (IL) Las políticas implican muchas opciones, como seleccionar características, arquitectura y representación de políticas. El campo avanza rápidamente, introduciendo muchas técnicas nuevas y aumentando la complejidad, lo que dificulta explorar todos los diseños posibles y comprender su impacto. IL permite a los agentes aprender a través de demostraciones en lugar de enfoques basados en recompensas. El creciente número de avances de aprendizaje automático en varios dominios hace que su evaluación e integración en IL desafíe. El espacio del diseño de IL no se aplica, lo que hace que la creación de políticas de IL efectivas y robustas sea desafiante.
Actualmente, el aprendizaje de imitación se basa en métodos basados en el estado y basados en imágenes, pero ambos tienen limitaciones en el uso práctico. Los métodos estatales son inexactos; Los métodos basados en imágenes no pueden representar estructuras 3D y tener una vaga representación de objetivos. Se ha agregado un lenguaje natural para mejorar la flexibilidad, pero es difícil incorporarlo adecuadamente. Modelos de secuencia como Rnns Sufre de gradientes de desaparición, lo que hace que la capacitación sea ineficiente, mientras que los transformadores ofrecen una mejor escalabilidad. Sin embargo, SSMS Demuestre una mayor eficiencia pero permanece subutilizada. Existente Illinois Las bibliotecas no admiten técnicas modernas como los modelos de difusión, y las herramientas como CleanDiffuser están restringidas a tareas simples, lo que limita el progreso general en el aprendizaje de imitación.
Para mitigar estos problemas, los investigadores del Instituto de Tecnología de Karlsruhe, Meta y la Universidad de Liverpool, propusieron X-ILun marco de código abierto para el aprendizaje de imitación que permite una experimentación flexible con técnicas modernas. A diferencia de los métodos existentes que luchan por integrar nuevas arquitecturas, X-IL divide sistemáticamente el proceso de IL en cuatro Módulos clave: representaciones de observación, columna vertebral, arquitecturasy representaciones de políticas. Esta arquitectura basada en módulos facilita el intercambio de componentes sin esfuerzo, con la posibilidad de probar estrategias alternativas de aprendizaje. A diferencia de los marcos IL convencionales que se basan completamente en estrategias estatales o basadas en imágenes, X-IL puede incorporar el aprendizaje multimodal, utilizando imágenes RGB, nubes puntuales y lenguaje para un aprendizaje de representación más completo. También integra técnicas de modelado de secuencia avanzada como Mamba y XLSTM, que mejoran la eficiencia sobre los transformadores y los RNN.
El marco consiste en módulos intercambiables que permiten la personalización en cada etapa de la Il Tipeline. El módulo de observación admite múltiples modalidades de entrada, mientras que el módulo de la columna vertebral proporciona diferentes enfoques de modelado de secuencia. Las arquitecturas consisten en modelos de decodificador y de decodificador con flexibilidad de diseño de políticas. X-IL también optimiza el aprendizaje de políticas mediante la adopción de modelos basados en difusión y basados en el flujo, facilitando una mejor generalización. Al ser capaz de avances recientes y habilitar una evaluación sistemática, X-IL es un enfoque escalable para la construcción efectiva del modelo IL.
Los investigadores evaluaron las arquitecturas de aprendizaje de imitación para tareas robóticas utilizando el Liberación y Robocasa puntos de referencia. En Libero, los modelos fueron entrenados en cuatro suites de tareas con 10 y 50 trayectorias, donde XLSTM logró las tasas de éxito más altas de 74.5% con 20% de los datos y 92.3% con datos completos, lo que indica su efectividad en el aprendizaje de demostraciones limitadas. Robocasa presentó más desafíos debido a diversos entornos, donde XLSTM superó a BC-transformer con una tasa de éxito del 53.6%, lo que demuestra su adaptabilidad. Los resultados indicaron que combinar RGB y las entradas de nubes de puntos mejoraron el rendimiento, con XLSTM logrando un 60.9% tasa de éxito. Las arquitecturas del decodificador de codificadores superaron a los modelos de decodificadores solo de decodificadores, y los codificadores de resnet sintonizados tuvieron un rendimiento mejor que los modelos de clip congelados, resaltando la importancia de una fuerte extracción de características. Los métodos de coincidencia de flujo como Beso y RF demostraron una eficiencia de inferencia comparable a Ddpm.
En resumen, el marco propuesto proporciona un enfoque modular para explorar las políticas de aprendizaje de imitación entre arquitecturas, representaciones de políticas y modalidades. Apoyar a los codificadores de vanguardia y modelos secuenciales eficientes mejora la eficiencia de los datos y el aprendizaje de representación, logrando un fuerte rendimiento en Libero y Robocasa. Este marco puede ser una línea de base de investigación futura, permitiendo las comparaciones de diseño de políticas y avanzar en el aprendizaje de imitación escalable. El trabajo futuro puede refinar codificadores, integrar estrategias de aprendizaje adaptativo y mejorar la generalización del mundo real para diversas tareas robóticas.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Divyesh es un pasante de consultoría en MarktechPost. Está buscando un BTech en ingeniería agrícola y alimentaria del Instituto Indio de Tecnología, Kharagpur. Es un entusiasta de la ciencia de datos y el aprendizaje automático que quiere integrar estas tecnologías líderes en el dominio agrícola y resolver desafíos.