Los agentes de dispositivos móviles que utilizan modelos de lenguaje grande multimodal (MLLM) han ganado popularidad debido a los rápidos avances en los MLLM, mostrando notables capacidades de comprensión visual. Este progreso ha hecho que los agentes basados en MLLM sean viables para diversas aplicaciones. La aparición de agentes para dispositivos móviles representa una aplicación novedosa, que requiere que estos agentes operen dispositivos según el contenido de la pantalla y las instrucciones del usuario.
El trabajo existente destaca las capacidades de los agentes basados en Large Language Model (LLM) en la planificación de tareas. Sin embargo, persisten los desafíos, particularmente en el dominio de los agentes para dispositivos móviles. Si bien los MLLM son prometedores, incluido el GPT-4V, carecen de percepción visual suficiente para realizar operaciones efectivas con dispositivos móviles. Intentos anteriores utilizaron archivos de diseño de interfaz para la localización, pero enfrentaron limitaciones en la accesibilidad de los archivos, lo que obstaculizó su efectividad.
Los investigadores de la Universidad Jiaotong de Beijing y del Grupo Alibaba han presentado Agente móvil, un agente autónomo de dispositivos móviles multimodal. Su enfoque utiliza herramientas de percepción visual para identificar y localizar con precisión elementos visuales y textuales dentro de la interfaz frontal de una aplicación. Aprovechando el contexto de la visión percibida, Agente móvil Planifica y descompone de forma autónoma tareas operativas complejas, navegando a través de aplicaciones móviles paso a paso. Agente móvil se diferencia de las soluciones anteriores al eliminar la dependencia de archivos XML o metadatos del sistema móvil, ofreciendo una adaptabilidad mejorada en diversos entornos operativos móviles a través de un enfoque centrado en la visión.
Agente móvil Emplea herramientas OCR para texto y CLIP para localización de iconos. El marco define ocho operaciones, lo que permite al agente realizar tareas como abrir aplicaciones, hacer clic en texto o íconos, escribir y navegar. El Agente móvil exhibe autoplanificación y autorreflexión iterativas, mejorando la finalización de tareas a través de instrucciones del usuario y análisis de pantalla en tiempo real. El agente móvil Completa cada paso de la operación de forma iterativa. Antes de que comience la iteración, el usuario debe ingresar una instrucción. Durante la iteración, el agente puede encontrar errores que impidan completar la instrucción. Para mejorar la tasa de éxito de la instrucción, existe un método de autorreflexión.
Los investigadores presentaron Mobile-Eval, un punto de referencia de 10 aplicaciones móviles populares con tres instrucciones cada una para evaluar Mobile-Agent de forma integral.. El marco logró tasas de finalización del 91 %, 82 % y 82 % en todas las instrucciones, con una puntuación de proceso alta de alrededor del 80 %. Eficiencia relativa demostrada Agentes Móviles 80% de capacidad en comparación con los pasos operados por humanos. Los resultados resaltan la efectividad de Mobile-Agent, mostrando sus capacidades autorreflexivas para corregir errores durante la ejecución de instrucciones, lo que contribuye a su sólido desempeño como asistente de dispositivo móvil.
En resumen, los investigadores de la Universidad Jiaotong de Beijing y del Grupo Alibaba han presentado Agente móvil, un agente multimodal autónomo competente en operar diversas aplicaciones móviles a través de un marco de percepción visual unificado. Al identificar y ubicar con precisión elementos visuales y textuales dentro de las interfaces de la aplicación, Agente móvil Planifica y ejecuta tareas de forma autónoma. Su enfoque centrado en la visión mejora la adaptabilidad en entornos operativos móviles, eliminando la necesidad de personalizaciones específicas del sistema. El estudio demuestra la eficacia y eficiencia de Mobile-Agent a través de experimentos, destacando su potencial como una solución versátil y adaptable para la interacción independiente del idioma con aplicaciones móviles.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.