La búsqueda de una interacción fluida y con manos libres en el campo de la tecnología portátil en rápido desarrollo ha producido descubrimientos innovadores. TongueTap, una tecnología que sincroniza múltiples flujos de datos para permitir el reconocimiento de gestos de la lengua para controlar dispositivos que se llevan en la cabeza, es un desarrollo prometedor. Este método permite a los usuarios interactuar en silencio, sin usar las manos ni los ojos, y sin necesidad de interfaces especialmente diseñadas que normalmente se colocan dentro o cerca de la boca.
En colaboración con Microsoft Research, Redmond, Washington, EE.UU., investigadores del Instituto de Tecnología de Georgia han creado una interfaz de gestos con la lengua (TongueTap) combinando sensores en dos auriculares comerciales disponibles en el mercado. Ambos auriculares contenían IMU y sensores de fotopletismografía (PPG). Uno de los auriculares incluye sensores de EEG (electroencefalografía), seguimiento ocular y seguimiento de la cabeza. Los datos de los dos auriculares, los dispositivos Muse 2 y Reverb G2 OE, se sincronizaron mediante Lab Streaming Layer (LSL), un sistema de sincronización horaria comúnmente utilizado para interfaces multimodales cerebro-computadora.
El equipo preprocesó la tubería usando un filtro de paso bajo de 128 Hz usando SciPy y Análisis de Componentes Independientes (ICA) en las señales de EEG mientras aplicaba Análisis de Componentes Principales (PCA) a los otros sensores, cada sensor por separado de los demás. Para el reconocimiento de gestos, utilizaron una máquina de vectores de soporte (SVM) en Scikit-Learn utilizando un núcleo de función de base radial (RBF) con hiperparámetros C = 100 y gamma = 1 para realizar una clasificación binaria y determinar si una ventana de datos en movimiento contenía un gesto. o si fue un no gesto.
Recolectaron un gran conjunto de datos para evaluar el reconocimiento de gestos con la lengua con la ayuda de 16 participantes. El resultado más interesante del estudio fue qué sensores eran más eficaces para clasificar los gestos de la lengua. La IMU del Muse fue el sensor más eficaz y alcanzó el 80% por sí sola. Las combinaciones multimodales, incluida Muse IMU, fueron aún más eficientes, con una variedad de sensores PPG que lograron una precisión del 94 %.
Basándose en los sensores con mayor precisión, se observó que la IMU detrás de la oreja es un método de bajo costo para detectar gestos con la lengua con una posición que permite combinarlo con enfoques anteriores de detección bucal. Otro paso fundamental para hacer que los gestos con la lengua sean viables para los productos es un modelo de clasificación confiable e independiente del usuario. Es necesario un diseño de estudio más ecológicamente válido con múltiples sesiones y movilidad entre entornos para que los gestos se traduzcan en entornos más realistas.
TongueTap representa un gran paso adelante en la dirección de una interacción fluida e intuitiva con dispositivos portátiles. Su capacidad para identificar y categorizar los gestos de la lengua utilizando tecnología disponible comercialmente allana el camino para una época en la que sea concebible un control de dispositivos que se llevan en la cabeza de forma discreta, precisa y fácil de usar. La aplicación más prometedora para las interacciones con la lengua es el control de interfaces AR. Los investigadores planean estudiar más a fondo esta interacción de múltiples órganos experimentando con su uso en auriculares AR y comparándola con otras interacciones basadas en la mirada.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Arshad es pasante en MarktechPost. Actualmente cursa su carrera internacional. Maestría en Física del Instituto Indio de Tecnología Kharagpur. Comprender las cosas hasta el nivel fundamental conduce a nuevos descubrimientos que conducen al avance de la tecnología. Le apasiona comprender la naturaleza fundamentalmente con la ayuda de herramientas como modelos matemáticos, modelos de aprendizaje automático e inteligencia artificial.