En el ámbito de la toma de decisiones secuencial, especialmente en robótica, los agentes suelen enfrentarse a espacios de acción continuos y observaciones de alta dimensión. Estas dificultades son consecuencia de la toma de decisiones en una amplia gama de acciones potenciales, como espacios de acción complejos y continuos, y de la evaluación de enormes volúmenes de datos. Se necesitan procedimientos avanzados para procesar la información en estos escenarios y actuar en consecuencia de manera eficiente y eficaz.
En una investigación reciente, un equipo de investigadores de la Universidad de Maryland, College Park y Microsoft Research ha presentado un nuevo punto de vista que formula el problema de la compresión de secuencias en términos de creación de abstracciones de acciones temporales. Los canales de entrenamiento de los modelos de lenguaje grandes (LLM) son la fuente de inspiración para este método en el campo del procesamiento del lenguaje natural (NLP). La tokenización de la entrada es una parte crucial del entrenamiento de LLM y se logra comúnmente mediante la codificación de pares de bytes (BPE). Esta investigación sugiere adaptar la BPE, que se utiliza comúnmente en NLP, a la tarea de aprender capacidades de intervalo de tiempo variable en dominios de control continuo.
La codificación de secuencias primitivas (PRISE) es un nuevo enfoque que se ha introducido en la investigación para poner en práctica esta teoría. PRISE produce abstracciones de acciones eficientes mediante la fusión de la cuantificación de acciones continuas y la codificación de secuencias primitivas. Para facilitar el procesamiento y el análisis, las actividades continuas se cuantifican convirtiéndolas en códigos discretos. Estas secuencias de códigos discretos se comprimen luego utilizando la técnica de compresión de secuencias BPE para revelar primitivas de acciones significativas y recurrentes.
Los estudios empíricos utilizan tareas de manipulación robótica para demostrar la eficacia de PRISE. El estudio ha demostrado que las habilidades de alto nivel identificadas mejoran el rendimiento de clonación de conductas (BC) en tareas posteriores mediante el uso de PRISE en una serie de demostraciones de manipulación robótica de múltiples tareas. Las primitivas de acción compactas y significativas producidas por PRISE son útiles para la clonación de conductas, un enfoque en el que los agentes aprenden de ejemplos de expertos.
El equipo ha resumido sus principales contribuciones de la siguiente manera.
- La principal contribución de este trabajo es la codificación de secuencias primitivas (PRISE), un método único para aprender abstracciones de acciones temporales multitarea utilizando enfoques de PNL.
- Para simplificar la representación de las acciones, PRISE convierte el espacio de acción continua del agente en códigos discretos. Estos códigos de acción distintos se organizan en una secuencia basada en trayectorias de preentrenamiento. PRISE utiliza estas secuencias de acciones para extraer habilidades con distintos intervalos de tiempo.
- PRISE mejora considerablemente la eficiencia del aprendizaje con respecto a bases sólidas como ACT, al aprender políticas sobre las habilidades aprendidas y decodificándolas en secuencias de acciones simples durante las tareas posteriores.
- La investigación implica una investigación en profundidad para comprender cómo los diferentes parámetros afectan el desempeño de PRISE, demostrando la función vital que desempeña BPE en el éxito del proyecto.
En conclusión, las abstracciones de acciones temporales presentan un medio potente para mejorar la toma de decisiones secuencial cuando se las considera como un problema de compresión de secuencias. A través de la integración efectiva de los enfoques de PNL, en particular la BPE, en el dominio del control continuo, PRISE puede aprender y codificar habilidades de alto nivel. Estas capacidades muestran la promesa de los enfoques interdisciplinarios para aumentar la robótica y la inteligencia artificial, además de mejorar la eficacia de técnicas como la clonación de conductas.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Más de 47 000 suscriptores de ML en Reddit
Encuentra lo próximo Seminarios web sobre IA aquí
Tanya Malhotra es una estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, que cursa BTech en Ingeniería Informática con una especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la ciencia de datos con un buen pensamiento analítico y crítico, junto con un gran interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.
