El futuro de la robótica ha avanzado significativamente. Durante muchos años, ha habido expectativas de robots similares a los humanos que pueden navegar nuestros entornos, realizar tareas complejas y trabajar junto a los humanos. Los ejemplos incluyen robots que realizan procedimientos quirúrgicos precisos, construyen estructuras intrincadas, asisten en respuesta a desastres y cooperan eficientemente con humanos en diversos entornos, como fábricas, oficinas y hogares. Sin embargo, el progreso real ha sido históricamente limitado.
Investigadores de Nvidia, la Universidad Carnegie Mellon, UC Berkeley, UT Austin y UC San Diego introdujeron FLOTARun controlador neuronal unificado destinado a mejorar las capacidades de robot humanoides. Esta investigación propone un marco de destilación de políticas de modo múltiple, integrando diferentes estrategias de control en una política cohesiva, haciendo un avance notable en la robótica humanoide.
El talón de Aquiles de la robótica humanoide: el enigma de control
Imagine un robot que puede ejecutar un retroceso perfecto pero luego lucha por comprender un pomo de la puerta.
El problema? Especialización.
Los robots humanoides son plataformas increíblemente versátiles, capaces de soportar una amplia gama de tareas, incluida la manipulación bimanual, la locomoción bípedos y el complejo control de todo el cuerpo. Sin embargo, a pesar de los impresionantes avances en estas áreas, los investigadores generalmente han empleado diferentes formulaciones de control diseñadas para escenarios específicos.
- Algunos controladores se destacan en la locomoción, utilizando el “seguimiento de la velocidad de la raíz” para guiar el movimiento. Este enfoque se centra en controlar el movimiento general del robot a través del espacio.
- Otros priorizan la manipulación, confiando en el “seguimiento de ángulo de la articulación” para movimientos precisos. Este enfoque permite el control de grano fino de las extremidades del robot.
- Aún otros usan el “seguimiento cinemático” de los puntos clave para la teleperación. Este método permite que un operador humano controle el robot rastreando sus propios movimientos.
Cada uno habla un lenguaje de control diferente, creando un paisaje fragmentado donde los robots son maestros de una tarea e ineptos en otros. El cambio entre tareas ha sido torpe, ineficiente y a menudo imposible. Esta especialización crea limitaciones prácticas. Por ejemplo, un robot diseñado para una locomoción bípedora en terreno desigual utilizando el seguimiento de la velocidad de la raíz lucharía para hacer la transición suavemente a tareas precisas de manipulación bimanual que requieren un rastreo de ángulo articular o efector final.
Además de eso, muchas políticas de manipulación previamente entrenada funcionan en diferentes espacios de configuración, como ángulos de unión y posiciones de efector final. Estas restricciones destacan la necesidad de un controlador humanoide de bajo nivel unificado capaz de adaptarse a diversos modos de control.
Hover: la teoría de campo unificada del control robótico
FLOTAR es un cambio de paradigma. Es una “política generalista”, una red neuronal única que armoniza diversos modos de control, lo que permite transiciones perfectas y versatilidad sin precedentes. FLOTAR Admite diversos modos de control, incluidas más de 15 configuraciones útiles para aplicaciones del mundo real en un robot humanoide de 19-dof. Este espacio de comando versátil abarca la mayoría de los modos utilizados en investigaciones anteriores.
- Aprendiendo de los maestros: imitación de movimiento humano
La brillantez radica en su base: aprender del movimiento humano mismo. Al entrenar un “imitador de movimiento de Oracle” en un conjunto de datos masivo de datos de captura de movimiento humano (MOCAP), el floso absorbe los principios fundamentales del equilibrio, la coordinación y el movimiento eficiente. Este enfoque utiliza la adaptabilidad y la eficiencia natural de los movimientos humanos, proporcionando a la política a los ricos principios de motor que pueden reutilizarse en múltiples modos de control.
Los investigadores fundamentan el proceso de capacitación en movimiento humano, lo que permite que la política desarrolle una comprensión más profunda del equilibrio, la coordinación y el control de movimiento, elementos cruciales para un comportamiento humanoide de todo el cuerpo.
- De Oracle a Prodigy: Destilación de políticas
La magia realmente ocurre a través de la “destilación de políticas”. La política de Oracle, el IMITADOR MAESTRO, enseña una “política estudiantil” (flota) sus habilidades. A través de un proceso que involucra enmascaramiento de comandos y un marco de daga, FLOTAR Aprende a dominar diversos modos de control, desde el seguimiento de la posición cinemática hasta el control del ángulo de la articulación y el seguimiento de la raíz. Esto crea un “generalista” capaz de manejar cualquier escenario de control.
A través de la destilación de políticas, estas habilidades motoras se transfieren de la política de Oracle a una sola “política generalista” capaz de manejar múltiples modos de control. La política de modo múltiple resultante respalda diversas entradas de control y supera a las políticas capacitadas individualmente para cada modo. Los investigadores plantean la hipótesis de este rendimiento superior proviene de la política utilizando el conocimiento físico compartido en todos los modos, como mantener el equilibrio, el movimiento similar a los humanos y el control preciso de las extremidades. Estas habilidades compartidas mejoran la generalización, lo que lleva a un mejor rendimiento en todos los modos, mientras que las políticas de modo único a menudo sobrepiten estructuras de recompensas específicas y entornos de entrenamiento.
FLOTARLa implementación de la implementación implica capacitar una política de Oracle seguida de la destilación de conocimiento para crear un controlador versátil. La política de Oracle procesa información propioceptiva, incluida la posición, la orientación, las velocidades y las acciones anteriores junto con las poses de referencia, para generar movimientos óptimos. El Oracle logra una sólida imitación de movimiento utilizando un sistema de recompensas cuidadosamente diseñado con penalización, regularización y componentes de tareas. La política estudiantil luego aprende de este oráculo a través de un marco de daga, incorporando técnicas de enmascaramiento basadas en modelos y basadas en escasez que permiten el seguimiento selectivo de diferentes partes del cuerpo. Este proceso de destilación minimiza la diferencia de acción entre el maestro y el alumno, creando un controlador unificado capaz de manejar diversos escenarios de control.
Los investigadores formulan el control humanoide como una tarea de aprendizaje de refuerzo condicionada por objetivos donde la política está capacitada para rastrear el movimiento humano en tiempo real. El estado incluye el robot propiocepción y un estado de objetivo objetivo unificado. Usando estas entradas, definen una función de recompensa para la optimización de políticas. Las acciones representan posiciones articulares objetivo que se alimentan a un controlador PD. El sistema emplea la optimización de política proximal (PPO) para maximizar las recompensas con descuento acumulativo, esencialmente capacitando al humanoide para seguir los comandos objetivo en cada paso de tiempo.
La metodología de investigación utiliza técnicas de reorientación de movimiento para crear movimientos humanoides factibles a partir de conjuntos de datos de movimiento humano. Este proceso de tres pasos comienza con calcular las posiciones de punto clave a través de la cinemática hacia adelante, ajustar el modelo SMPL para alinearse con estos puntos clave y reorientar el conjunto de datos AMASS haciendo coincidir los puntos correspondientes entre modelos que usan descenso de gradiente. El procedimiento “Sim-t-Data” convierte el conjunto de datos de movimiento humano a gran escala en movimientos humanoides factibles, estableciendo una base sólida para capacitar al controlador.
El equipo de investigación diseñó un espacio de comando integral para el control humanoide que supera las limitaciones de los enfoques anteriores. Su marco unificado acomoda múltiples modos de control simultáneamente, incluido el seguimiento de la posición cinemática, el seguimiento del ángulo de la junta y el seguimiento de la raíz. Este diseño satisface los criterios clave de generalidad (que admite varios dispositivos de entrada) y atomicidad (que permite combinaciones arbitrarias de opciones de control).
Hover Unleashed: rendimiento que redefine la robótica
FLOTARLas capacidades de ‘las capacidades están probadas mediante pruebas rigurosas:
- Dominando a los especialistas:
Superenta a los controladores especializados en todos los ámbitos. El equipo de investigación evaluó a Hover contra políticas especializadas y enfoques alternativos de capacitación en modo múltiple a través de pruebas integrales tanto en la simulación de Isaacgym como en las implementaciones del mundo real utilizando el robot Unitree H1.
Para abordar si FLOTAR Podrían superar las políticas especializadas, lo compararon con varios especialistas, incluidos Exbody, HumanPlus, H2O y OmniH2O, cada uno diseñado para diferentes objetivos de seguimiento, como ángulos de articulación, velocidad de raíz o puntos clave específicos.
En evaluaciones utilizando el conjunto de datos de AMASS reorientado, FLOTAR demostró consistentemente una generalización superior, superando a los especialistas en al menos 7 de las 12 métricas en cada modo de comando. FLOTAR realizó mejor que los especialistas entrenados para modos de control útiles específicos como la mano izquierda, la derecha, las dos manos y el seguimiento de la cabeza.
- Dominio de modo múltiple: un barrido limpioEn comparación con otros métodos de capacitación en modo múltiple, implementaron una línea de base que utilizó el mismo proceso de enmascaramiento pero capacitado desde cero con aprendizaje de refuerzo. Los gráficos de radar visualizan los errores de seguimiento en ocho modos de control distintos mostraron que el flotador logró constantemente errores más bajos en las 32 métricas y modos. FLOTAR logró errores de seguimiento consistentemente más bajos en las 32 métricas y 8 modos de control distintos. Esta victoria decisiva subraya el poder del enfoque de destilación de Hover. Esta ventaja integral de rendimiento subraya la efectividad de la destilación del conocimiento de una política de Oracle que rastrea la cinemática de cuerpo completo en lugar de entrenar con el aprendizaje de refuerzo desde cero.
- De la simulación a la realidad: validación del mundo real La destreza no se limita al mundo digital. La configuración experimental incluyó evaluaciones de seguimiento de movimiento utilizando el conjunto de datos AMASS retargetado en simulación y 20 secuencias de movimiento permanente para las pruebas del mundo real en la plataforma Unitree H1 de 19-dOF, con un peso de 51.5 kg y una altura de 1,8 m de altura. Los experimentos se estructuraron para responder tres preguntas clave sobre la generalización de Hover, el rendimiento comparativo y la transferibilidad del mundo real.
En el robot Unitree H1, un humanoide de 19 dof que pesaba 51.5 kg y de 1,8 m de altura, rastreó perfectamente movimientos de pie complejos, movimientos dinámicos de carrera y transición suavemente entre los modos de control durante la locomoción y la teleperación. Los experimentos realizados tanto en la simulación como en un robot humanoide físico muestran que FLOTAR logra transiciones perfectas entre los modos de control y ofrece un control múltiple superior en comparación con los enfoques de referencia.
Hover: El futuro del potencial humanoide
FLOTARDesbloquea el vasto potencial de los robots humanoides. La política generalista de modo múltiple también permite transiciones perfectas entre modos, lo que la hace robusta y versátil.
Imagina un futuro donde los humanoides:
- Realice una cirugía intrincada con una precisión incomparable.
- Construya estructuras complejas con destreza humana.
- Responda a los desastres con agilidad y resistencia.
- Colabora a la perfección con humanos en fábricas, oficinas y casas.
La era de los humanoides verdaderamente versátiles, capaces e inteligentes está en el horizonte, y el floso está liderando el camino. Sus evaluaciones ilustran colectivamente FLOTARLa capacidad de manejar diversos modos de control del mundo real, ofreciendo un rendimiento superior en comparación con las políticas especializadas.
Fuentes:
Gracias al equipo de NVIDIA por el liderazgo/ recursos de pensamiento para este artículo. El equipo de NVIDIA ha apoyado y patrocinado este contenido/artículo.
Jean-Marc es un exitoso ejecutivo de negocios de IA. Dirige y acelera el crecimiento de las soluciones de IA y comenzó una compañía de visión por computadora en 2006. Es un orador reconocido en AI Conferences y tiene un MBA de Stanford.