La próxima vez que desplaces tu teléfono, tómate un momento para apreciar la hazaña: este acto aparentemente mundano es posible gracias a la coordinación de 34 músculos, 27 articulaciones y más de 100 tendones y ligamentos en tu mano. De hecho, nuestras manos son las partes más ágiles de nuestro cuerpo. Imitar sus numerosos gestos matizados ha sido un desafío de larga data en robótica y realidad virtual.
Ahora, los ingenieros del MIT han diseñado una pulsera de ultrasonido que rastrea con precisión los movimientos de la mano del usuario en tiempo real. La pulsera produce imágenes de ultrasonido de los músculos, tendones y ligamentos de la muñeca a medida que se mueve la mano, y está emparejada con un algoritmo de inteligencia artificial que traduce continuamente las imágenes a las posiciones correspondientes de los cinco dedos y la palma.
Los investigadores pueden entrenar la pulsera para que aprenda los movimientos de la mano del usuario, que el dispositivo puede comunicar en tiempo real a un robot o a un entorno virtual.
En demostraciones, el equipo ha demostrado que una persona que lleve la pulsera puede controlar de forma inalámbrica una mano robótica. Cuando la persona hace un gesto o señala, el robot hace lo mismo. En una especie de interacción de marioneta inalámbrica, el usuario puede manipular el robot para tocar una melodía simple en el piano y lanzar una pequeña pelota de baloncesto a un aro de escritorio. Con la misma pulsera, el usuario también puede manipular objetos en la pantalla de una computadora, por ejemplo, juntando los dedos para ampliar y minimizar un objeto virtual.
El equipo está utilizando la pulsera para recopilar datos sobre el movimiento de las manos de muchos más usuarios con diferentes tamaños de manos, formas de dedos y gestos. Imaginan construir un gran conjunto de datos de movimientos de las manos que puedan utilizarse, por ejemplo, para entrenar robots humanoides en tareas de destreza, como realizar ciertos procedimientos quirúrgicos. La banda de ultrasonido también podría usarse para agarrar, manipular e interactuar con objetos en videojuegos, aplicaciones de diseño u otros entornos virtuales.
“Creemos que este trabajo tiene un impacto inmediato al reemplazar potencialmente las técnicas de seguimiento manual con bandas de ultrasonido portátiles en realidad virtual y aumentada”, dice Xuanhe Zhao, profesor de Ingeniería Mecánica Uncas y Helen Whitaker en el MIT. “También podría proporcionar enormes cantidades de datos de entrenamiento para diestros robots humanoides”.
Zhao, Gengxi Lu y sus colegas presentan el nuevo diseño de la pulsera en un artículo que aparece hoy en Nature Electronics. Sus coautores del MIT son los ex postdoctorados Xiaoyu Chen, Shucong Li y Bolei Deng; los estudiantes de posgrado SeongHyeon Kim y Dian Li; los postdoctorados Shu Wang y Runze Li; y Anantha Chandrakasan, rectora del MIT y profesora Vannevar Bush de Ingeniería Eléctrica e Informática. Otros coautores son los estudiantes de posgrado Yushun Zheng y Junhang Zhang, Baoqiang Liu, Chen Gong y el profesor Qifa Zhou de la Universidad del Sur de California.
viendo cuerdas
Actualmente existen varios enfoques para capturar e imitar la destreza de la mano humana en robots. Algunos enfoques utilizan cámaras para registrar los movimientos de las manos de una persona mientras manipula objetos o realiza tareas. Otros implican que una persona use un guante con sensores, que registra los movimientos de la mano de la persona y transmite los datos a un robot receptor. Pero montar un sistema de cámara complejo para diferentes aplicaciones no es práctico y tiende a generar obstáculos visuales. Y los guantes cargados de sensores podrían limitar los movimientos y sensaciones naturales de las manos de una persona.
Un tercer enfoque utiliza las señales eléctricas de los músculos de la muñeca o el antebrazo que luego los científicos correlacionan con movimientos específicos de la mano. Los investigadores han logrado avances significativos en este enfoque; sin embargo, estas señales se ven fácilmente afectadas por el ruido ambiental. Tampoco son lo suficientemente sensibles para distinguir cambios sutiles en los movimientos. Por ejemplo, pueden discernir si el pulgar y el índice están juntos o separados, pero no gran parte del camino intermedio.
El equipo de Zhao se preguntó si las imágenes por ultrasonido podrían capturar movimientos de la mano más diestros y continuos. Su grupo ha estado desarrollando varias formas de pegatinas de ultrasonido: versiones miniaturizadas de los transductores utilizados en los consultorios médicos que se combinan con material de hidrogel que se puede adherir de forma segura a la piel.
En su nuevo estudio, el equipo incorporó el diseño de la etiqueta de ultrasonido en una pulsera portátil para obtener imágenes continuas de los músculos y tendones de la muñeca.
“Los tendones y músculos de la muñeca son como hilos que tiran de marionetas, que son los dedos”, dice Lu. “Entonces la idea es: cada vez que tomes una fotografía del estado de las cuerdas, sabrás el estado de la mano”.
Manipulación de mapas
El equipo diseñó una pulsera con una pegatina de ultrasonido del tamaño de un reloj inteligente y añadió componentes electrónicos a bordo que son tan pequeños como un teléfono móvil. Colocaron la pulsera en la muñeca de un voluntario y confirmaron que el dispositivo producía imágenes claras y continuas de la muñeca cuando el voluntario movía los dedos en varios gestos.
El desafío entonces fue relacionar las imágenes ecográficas en blanco y negro de la muñeca con posiciones específicas de la mano. Resulta que los dedos y el pulgar son capaces de tener 22 grados de libertad, o diferentes formas de extenderse o inclinarse. Los investigadores descubrieron que podían identificar regiones específicas en sus imágenes ecográficas de la muñeca que se correlacionaban con cada uno de estos 22 grados de libertad. Por ejemplo, los cambios en una región se relacionan con la extensión del pulgar, mientras que los cambios en otra región se correlacionan con los movimientos del dedo índice.
Para establecer estas conexiones, un voluntario que llevaba la pulsera movía la mano en varias posiciones mientras los investigadores grababan los gestos con múltiples cámaras que rodeaban al voluntario. Al hacer coincidir los cambios en ciertas regiones de las imágenes de ultrasonido con las posiciones de las manos registradas por las cámaras, el equipo pudo etiquetar las regiones de las imágenes de la muñeca con el correspondiente grado de libertad en la mano. Pero hacer esta traducción de forma continua y en tiempo real sería una tarea imposible para los humanos.
Entonces, el equipo recurrió a la inteligencia artificial. Utilizaron un algoritmo de IA que puede entrenarse para reconocer patrones de imágenes y correlacionarlos con etiquetas específicas y, en este caso, con los distintos grados de libertad de la mano. Los investigadores entrenaron el algoritmo con imágenes de ultrasonido que etiquetaron meticulosamente, anotando las regiones de la imagen asociadas con un grado de libertad específico. Probaron el algoritmo en un nuevo conjunto de imágenes de ultrasonido y descubrieron que predecía correctamente los gestos de las manos correspondientes.
Una vez que los investigadores emparejaron con éxito el algoritmo de IA con la pulsera, probaron el dispositivo en más voluntarios. Para el nuevo estudio, ocho voluntarios con diferentes tamaños de manos y muñecas usaron la pulsera mientras realizaban varios gestos y agarres con las manos, incluidas las señas de las 26 letras del lenguaje de señas americano. También sostenían objetos como una pelota de tenis, una botella de plástico, unas tijeras y un lápiz. En cada caso, la pulsera siguió y predijo con precisión la posición de la mano.
Para demostrar aplicaciones potenciales, el equipo desarrolló un programa informático simple que emparejaron de forma inalámbrica con la pulsera. Cuando el usuario realizaba los movimientos de pellizcar y agarrar, los gestos correspondían a acercar y alejar un objeto en la pantalla de la computadora, y virtualmente moverlo y manipularlo de una manera suave y continua.
Los investigadores también probaron la pulsera como controlador inalámbrico de una simple mano robótica comercial. Mientras llevaba la pulsera, un voluntario realizó los movimientos de tocar un teclado. El robot, a su vez, imitó los movimientos en tiempo real para tocar una melodía sencilla en un piano. El mismo robot también pudo imitar los toques de los dedos de una persona para jugar un juego de baloncesto de escritorio.
Zhao planea miniaturizar aún más el hardware de la pulsera, así como entrenar el software de inteligencia artificial en muchos más gestos y movimientos de voluntarios con tamaños y formas de manos más amplios. En última instancia, el equipo está desarrollando un rastreador manual portátil que cualquier persona puede usar para manipular de forma inalámbrica robots humanoides u objetos virtuales con gran destreza.
“Creemos que esta es la forma más avanzada de rastrear el movimiento diestro de la mano, a través de imágenes portátiles de la muñeca”, dice Zhao. “Creemos que estas bandas de ultrasonido portátiles pueden proporcionar controles intuitivos y versátiles para la realidad virtual y las manos robóticas”.
Esta investigación fue apoyada, en parte, por el MIT, los Institutos Nacionales de Salud de EE. UU., la Fundación Nacional de Ciencias de EE. UU., el Departamento de Defensa de EE. UU. y la Fundación Nacional de Investigación de Singapur a través de la Alianza Singapur-MIT para Investigación y Tecnología.