Bytedance ha lanzado UI-TARS-1.5, una versión actualizada de su marco de agente multimodal centrado en la interacción gráfica de interfaz de usuario (GUI) y entornos de juego. Diseñado como un modelo en idioma de visión capaz de percibir el contenido de la pantalla y realizar tareas interactivas, UI-TARS-1.5 ofrece mejoras consistentes en una gama de puntos de referencia de automatización de GUI y razonamiento del juego. En particular, supera a varios modelos líderes, incluidos el operador de OpenAI y el Claude 3.7 de Anthrope, tanto en precisión como en la finalización de la tarea en múltiples entornos.
El lanzamiento continúa la dirección de investigación de Bytedance de construir modelos de agentes nativos, con el objetivo de unificar la percepción, la cognición y la acción a través de una arquitectura integrada que respalda la participación directa con la GUI y el contenido visual.
Un enfoque de agente nativo para la interacción GUI
A diferencia de las LLM acuáticas o arquitecturas de llamas de funciones, UI-TARS-1.5 está entrenado de extremo a extremo para percibir la entrada visual (capturas de pantalla) y generar acciones de control nativas de tipo humano, como el movimiento del mouse y la entrada del teclado. Esto posiciona el modelo más cerca de cómo los usuarios humanos interactúan con los sistemas digitales.
UI-TARS-1.5 se basa en su predecesor al introducir varias mejoras arquitectónicas y de capacitación:
- Integración de percepción e razonamiento: El modelo codifica conjuntamente imágenes de pantalla e instrucciones textuales, admitiendo la comprensión compleja de tareas y la conexión a tierra visual. El razonamiento se admite a través de un mecanismo de “pensamiento y actuación” de varios pasos, que separa la planificación de alto nivel de la ejecución de bajo nivel.
- Espacio de acción unificado: La representación de la acción está diseñada para ser de la plataforma, lo que permite una interfaz consistente en entornos de escritorio, móviles y juegos.
- Autoevolución a través de trazas de repetición: La tubería de capacitación incorpora datos reflectantes de trazas en línea. Esto permite que el modelo refine iterativamente su comportamiento mediante el análisis de interacciones anteriores, lo que reduce la dependencia de las demostraciones curadas.
Estas mejoras permiten colectivamente la UI-TARS-1.5 para admitir la interacción del horizonte largo, la recuperación de errores y la planificación de tareas de composición, capacidades importantes para la navegación y control de la interfaz de usuario realistas.
Benchmarking and Evaluation
El modelo ha sido evaluado en varias suites de referencia que evalúan el comportamiento del agente tanto en la GUI como en las tareas basadas en juegos. Estos puntos de referencia ofrecen una forma estándar de evaluar el rendimiento del modelo a través del razonamiento, la base y la ejecución de Horizon Long.
Tareas de agente de GUI
- Osworld (100 pasos): UI-TARS-1.5 logra una tasa de éxito del 42.5%, superando al operador OpenAI (36.4%) y Claude 3.7 (28%). El punto de referencia evalúa las tareas de GUI de contexto largo en un entorno de SG sintético.
- Windows Agent Arena (50 pasos): Calificación del 42.1%, el modelo mejora significativamente sobre las líneas de base anteriores (por ejemplo, 29.8%), lo que demuestra un manejo robusto de entornos de escritorio.
- Mundo de Android: El modelo alcanza una tasa de éxito del 64.2%, lo que sugiere la generalización a los sistemas operativos móviles.
Visual conectación a tierra y comprensión de la pantalla
- ScreensPot-V2: El modelo logra una precisión del 94.2%en la ubicación de elementos GUI, operador superior (87.9%) y Claude 3.7 (87.6%).
- ScreensPotPro: En un punto de referencia de conexión a tierra más complejo, UI-TARS-1.5 puntajes 61.6%, considerablemente por delante del operador (23.4%) y Claude 3.7 (27.7%).
Estos resultados muestran mejoras consistentes en la comprensión de la pantalla y la base de la acción, que son críticos para los agentes de la GUI del mundo real.
Entornos de juego
- Juegos Poki: UI-TARS-1.5 logra una tasa de finalización de tareas del 100% en 14 minijuegos. Estos juegos varían en mecánica y contexto, lo que requiere que los modelos se generalicen a través de la dinámica interactiva.
- Minecraft (Minerl): El modelo logra el 42% de éxito en las tareas mineras y el 31% en las tareas de matar a la mafia cuando se usa el módulo “Pensar y Acto”, lo que sugiere que puede admitir la planificación de alto nivel en entornos abiertos.
Accesibilidad y herramientas
UI-TARS-1.5 es de código abierto bajo la licencia Apache 2.0 y está disponible a través de varias opciones de implementación:
Además del modelo, el proyecto ofrece documentación detallada, datos de reproducción y herramientas de evaluación para facilitar la experimentación y la reproducibilidad.
Conclusión
UI-TARS-1.5 es una progresión técnicamente sólida en el campo de los agentes de IA multimodales, particularmente aquellos centrados en el control de la GUI y el razonamiento visual fundamentado. A través de una combinación de integración en idioma de visión, mecanismos de memoria y planificación de acción estructurada, el modelo demuestra un rendimiento fuerte en un conjunto diverso de entornos interactivos.
En lugar de perseguir la generalidad universal, el modelo está sintonizado para el razonamiento multimodal orientado a tareas, dirigiendo el desafío del mundo real de interactuar con el software a través de la comprensión visual. Su lanzamiento de código abierto proporciona un marco práctico para investigadores y desarrolladores interesados en explorar interfaces de agentes nativos o automatizar sistemas interactivos a través del lenguaje y la visión.
Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 90k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.
