Alibaba Tongyi Lab ha lanzado MAI-UI, una familia de agentes GUI básicos. Integra de forma nativa el uso de herramientas MCP, la interacción entre el agente y el usuario, la colaboración entre dispositivos y la nube y la RL en línea, estableciendo resultados de última generación en conexión a tierra de GUI general y navegación de GUI móvil, superando a Gemini-2.5-Pro, Seed1.8 y UI-Tars-2 en AndroidWorld. El sistema apunta a tres brechas específicas que los primeros agentes GUI a menudo ignoran: la interacción del usuario con el agente nativo, la integración de herramientas MCP y una arquitectura de colaboración en la nube del dispositivo que mantiene el trabajo sensible a la privacidad en el dispositivo y al mismo tiempo utiliza modelos de nube grandes cuando es necesario.
¿Qué es MAI-UI?
MAI-UI es una familia de agentes GUI multimodales construidos en Qwen3 VL, con tamaños de modelo 2B, 8B, 32B y 235B A22B. Estos modelos toman instrucciones en lenguaje natural y capturas de pantalla de la interfaz de usuario como entrada, y luego generan acciones estructuradas para un entorno Android en vivo.
El espacio de acción cubre operaciones estándar como hacer clic en elementos, deslizar el dedo, ingresar texto y presionar botones del sistema. Además de eso, MAI-UI introduce acciones explícitas para responder las preguntas de los usuarios, pedirle aclaraciones cuando el objetivo es ambiguo e invocar herramientas externas a través de llamadas a herramientas MCP. Esto hace que el agente sea capaz de combinar pasos de GUI, respuestas de lenguaje directas y operaciones a nivel de API en una sola trayectoria.
Desde una perspectiva de modelado, MAI UI unifica tres componentes: un canal de datos de navegación que evoluciona automáticamente y que incluye la interacción del usuario y casos de MCP, un marco de RL en línea que escala a cientos de instancias paralelas de Android y contextos largos, y un sistema de colaboración en la nube de dispositivo nativo que enruta la ejecución según el estado de la tarea y las restricciones de privacidad.
Conexión a tierra de GUI con razonamiento de instrucciones
Un requisito fundamental para cualquier agente GUI es la conexión a tierra y la asignación de un lenguaje de formato libre como “abrir configuración de facturación mensual” al control correcto en pantalla. MAI-UI adopta una estrategia de base de UI inspirada en el trabajo anterior de UI-Ins en descripciones de instrucciones de múltiples perspectivas.
Para cada elemento de la interfaz de usuario, el proceso de capacitación no se basa en un solo título. En cambio, genera varias vistas del mismo elemento, por ejemplo, apariencia, función, ubicación espacial e intención del usuario. Estas múltiples instrucciones se tratan como evidencia de razonamiento para el modelo, que debe seleccionar un punto dentro del cuadro delimitador correcto. Esto reduce el impacto de instrucciones defectuosas o poco especificadas, un problema que UI Ins cuantificó en conjuntos de datos existentes.
Los cuadros de verdad sobre el terreno se recopilan a partir de una combinación de conjuntos de datos de GUI seleccionados y exploración a gran escala de sistemas operativos virtualizados en entornos en contenedores. Se utilizan árboles de accesibilidad o analizadores basados en OCR para alinear los metadatos textuales con las ubicaciones de los píxeles. El objetivo de entrenamiento combina un ajuste fino supervisado con una señal de refuerzo simple que recompensa las predicciones puntuales correctas y el formato de salida válido.
En los puntos de referencia públicos de conexión a tierra de GUI, los modelos MAI-UI resultantes alcanzan una precisión del 73,5 por ciento en ScreenSpot Pro con zoom adaptativo, el 91,3 por ciento en MMBench GUI L2, el 70,9 por ciento en OSWorld G y el 49,2 por ciento en UI Vision. Estos números superan a Gemini 3 Pro y Seed1.8 en ScreenSpot Pro, y superan significativamente a los modelos abiertos anteriores en UI Vision.
Datos de navegación autoevolutivos y MobileWorld
La navegación es más difícil que la conexión a tierra porque el agente debe mantener el contexto en muchos pasos, posiblemente entre aplicaciones, mientras interactúa con el usuario y las herramientas. Para crear un comportamiento de navegación sólido, Tongyi Lab utiliza un canal de datos que evoluciona automáticamente.
Las tareas iniciales provienen de manuales de aplicaciones, escenarios diseñados a mano y datos públicos filtrados. Parámetros como fechas, límites y valores de filtro se modifican para ampliar la cobertura y se aplican sustituciones a nivel de objeto mientras se permanece dentro del mismo caso de uso. Múltiples agentes, junto con anotadores humanos, ejecutan estas tareas en entornos Android para producir trayectorias. Luego, un modelo de juez evalúa estas trayectorias, mantiene los prefijos correctos más largos y filtra los segmentos de baja calidad. La próxima ronda de capacitación supervisada utiliza la combinación de rastros humanos nuevos y lanzamientos de modelos de alta calidad, por lo que la distribución de datos sigue gradualmente la política actual.
MAI UI se evalúa en MobileWorld, un punto de referencia del mismo equipo que incluye 201 tareas en 20 aplicaciones. MobileWorld combina explícitamente tres categorías: tareas de GUI puras, tareas de interacción del usuario con el agente que requieren un lenguaje natural de ida y vuelta con el usuario y tareas aumentadas de MCP que requieren llamadas a herramientas.
En MobileWorld, MAI UI alcanza un 41,7 por ciento de éxito general, una ganancia de alrededor de 20,8 puntos sobre las líneas base de GUI de extremo a extremo más sólidas y competitiva con marcos agentes que utilizan planificadores propietarios más grandes, como Gemini 3 Pro.
RL en línea en entornos Android en contenedores
Los datos estáticos no son suficientes para la solidez de las aplicaciones móviles dinámicas. Por lo tanto, MAI-UI utiliza un marco de RL en línea donde el agente interactúa directamente con dispositivos virtuales Android en contenedores. La pila de entornos empaqueta imágenes AVD rooteadas y servicios backend en contenedores Docker, expone operaciones de restablecimiento y pasos estándar sobre una capa de servicio y admite más de 35 aplicaciones autohospedadas de categorías de comercio electrónico, redes sociales, productividad y empresas.
La configuración de RL utiliza un método de política asíncrono, GRPO, implementado sobre verl. Combina paralelismo de tensor, canalización y contexto, similar al entrenamiento estilo Megatron, de modo que el modelo puede aprender de trayectorias con hasta 50 pasos y secuencias de tokens muy largas. Las recompensas provienen de verificadores basados en reglas o jueces modelo que detectan la finalización de la tarea, junto con penalizaciones por comportamientos de bucle obvios. Sólo las trayectorias exitosas recientes se mantienen en reservas específicas de tareas para estabilizar el aprendizaje.
Ampliar este entorno de RL es importante en la práctica. El equipo de investigación muestra que aumentar el número de entornos GUI paralelos de 32 a 512 produce una mejora de aproximadamente 5,2 puntos porcentuales en el éxito de la navegación, y aumentar los pasos de entorno permitidos de 15 a 50 agrega aproximadamente 4,3 puntos.
En el punto de referencia AndroidWorld, que evalúa la navegación en línea en un conjunto de aplicaciones estándar de Android, la variante más grande de MAI UI alcanza un 76,7 por ciento de éxito, superando a UI-Tars-2, Gemini 2.5 Pro y Seed1.8.
Conclusiones clave
Familia de agentes GUI unificada para dispositivos móviles: MAI-UI es una familia de agentes GUI basada en Qwen3 VL de 2B a 235B A22B, diseñada específicamente para la implementación móvil en el mundo real con interacción de usuario de agente nativo, llamadas a herramientas MCP y enrutamiento de dispositivos en la nube, en lugar de solo puntos de referencia estáticos. Conexión a tierra y navegación de GUI de última generación: los modelos alcanzan el 73,5 por ciento en ScreenSpot Pro, el 91,3 por ciento en MMBench GUI L2, el 70,9 por ciento en OSWorld G y el 49,2 por ciento en UI Vision, y establecen un nuevo SOTA del 76,7 por ciento en la navegación móvil de AndroidWorld, superando a UI Tars 2, Gemini 2.5 Pro y Seed1.8. Rendimiento realista de MobileWorld con interacción y herramientas: en el punto de referencia de MobileWorld con 201 tareas en 20 aplicaciones, MAI UI 235B A22B alcanza un 41,7 por ciento de éxito general, con un 39,7 por ciento en tareas de GUI pura, un 51,1 por ciento en tareas de interacción de usuario-agente y un 37,5 por ciento en tareas aumentadas de MCP, superando la mejor base de GUI de extremo a extremo Doubao 1.5 UI TARS con un 20,9 por ciento. RL en línea escalable en Android en contenedores: MAI-UI utiliza un marco de RL en línea basado en GRPO sobre entornos de Android en contenedores, donde escalar de 32 a 512 entornos paralelos proporciona aproximadamente más 5,2 puntos en el éxito de la navegación y aumentar el presupuesto de pasos del entorno de 15 a 50 proporciona otros 4,3 puntos más.
Consulte el repositorio de Paper y GitHub. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.