Conozca COACT-1: un nuevo sistema múltiple de agente que combina sinérgicamente el control basado en GUI con ejecución programática directa

Un equipo de investigadores de USC, Salesforce AI y la Universidad de Washington han introducido COACT-1, un agente pionero de uso informático de múltiples agentes (CUA) que marca un salto significativo en la operación de computadora autónoma. Al elevar codificación A una acción de primera clase, a la par de la manipulación de la GUI tradicional, Coact-1 supera los desafíos de larga data de eficiencia y confiabilidad en tareas complejas de computadoras de larga duración. En el exigente punto de referencia de Osworld, COACT-1 establece un nuevo estándar de oro, logrando un Tasa de éxito de vanguardia (SOTA) del 60,76%convirtiéndolo en el primer agente de CUA en superar la marca del 60%.

¿Por qué coact-1? Pinchar la brecha de eficiencia en los agentes que usan computadora

Los agentes de CUA convencionales dependen únicamente de la interacción GUI basada en píxeles, emulando a los usuarios humanos haciendo clic, escribiendo y navegando en interfaces. Si bien este enfoque imita los flujos de trabajo del usuario, resulta frágil e ineficiente para tareas intrincadas y de varios pasos, especialmente aquellos que involucran diseños densos de interfaz de usuario, tuberías múltiples o operaciones complejas de SG. Los errores individuales, como un mal clic, pueden descarrilar flujos de trabajo completos y longitudes de secuencia a medida que las tareas aumentan en la complejidad.

Los esfuerzos para mitigar estos problemas han incluido el aumento de los agentes de la GUI con planificadores de alto nivel, como se ve en sistemas como GTA-1 y marcos modulares de agentes múltiples. Sin embargo, estos métodos no pueden escapar del cuello de botella de los espacios de acción centrados en la GUI, lo que en última instancia limita tanto la eficiencia como la robustez.

COACT-1: Arquitectura híbrida con codificación como acción

COACT-1 adopta un enfoque fundamentalmente diferente al integrar tres agentes especializados:

  • Orquestador: El planificador de alto nivel que descompone tareas complejas y delega dinámicamente cada subtarea al programador o al operador GUI en función de los requisitos de la tarea.
  • Programador: Ejecuta operaciones de backend (gestión de archivos, procesamiento de datos, configuración del entorno) directamente a través de Python o Bash Scripts, evitando secuencias de acción de GUI engorrosas.
  • Operador de GUI: Utiliza un modelo de lenguaje de visión para interactuar con interfaces visuales cuando la navegación de UI similar a la UI es indispensable.

Este modelo híbrido Permite que COACT-1 sustituya estratégicamente las operaciones de teclado de mouse frágiles y largas con ejecución de código conciso y confiable, al tiempo que aprovecha las interacciones de la GUI cuando sea necesario.

Evaluación en Osworld: rendimiento de establecimiento de registros

OSWorld, un punto de referencia líder con 369 tareas que abarcan la productividad de la oficina, IDES, navegadores, administradores de archivos y flujos de trabajo de múltiples aplicaciones, proporciona una prueba exigente para sistemas de agente. Cada tarea refleja los objetivos del idioma del mundo real y se evalúa mediante un sistema de puntuación basado en reglas granulares.

Resultados

  • Tasa de éxito general de SOTA: Coact-1 logra 60.76% en la categoría de más de 100 pasos—El primer agente de CUA en cruzar el umbral de 60 puntos. Esto supera GTA-1 (53.10%), OpenAi CuA 4O (31.40%), UI-TARS-1.5 (29.60%) y otros marcos principales.
  • Rendimiento de subsidio escalonado: Con un presupuesto de 100 pasos, COACT-1 obtiene un 59.93%, nuevamente liderando a todos los competidores.
  • Eficiencia: Completa las tareas con un promedio de 10.15 pasos por tarea exitosaen comparación con 15.22 para GTA-1, 14.90 para UI-TARS, y con mucho mayor éxito que Operai CuA 4O, que, a pesar de menos pasos (6.14), logra solo el 31.40% de éxito.

Descomponer

Coact-1 domina a través de los tipos de tareas, con ganancias especialmente grandes en los flujos de trabajo que se benefician de la ejecución del código:

  • Múltiple: 47.88% (vs. GTA-1 38.34%)
  • Tareas del sistema operativo: 75.00%
  • VLC: 66.07%
  • En dominios de productividad e IDE (LibreOffice Calc, Writer, VScode), conduce o se vincula consistentemente con el SOTA.

Insights clave: ¿Qué impulsa las ganancias de COACT-1?

  • Las acciones de codificación reemplazan las secuencias de GUI redundantes: Para operaciones como el cambio de tamaño de la imagen por lotes o las manipulaciones de archivos avanzados, los scripts únicos reemplazan docenas de clics propensos a errores, reduciendo los pasos y el riesgo de falla.
  • Delegación dinámica: La asignación de tareas flexible del orquestador garantiza un uso óptimo de las acciones de codificación versus GUI.
  • Mejora con columnas más fuertes: La mejor configuración utiliza OpenAI CuA 4O para el operador GUI, OpenAI O3 para el orquestador y O4-Mini para el programador, alcanzando el puntaje superior del 60.76%. Los sistemas que utilizan solo la puntuación más pequeña o menos capaz de obtener una puntuación significativamente más baja.
  • La eficiencia se correlaciona con la fiabilidad: Menos pasos reducen directamente las oportunidades de error: el predictor más fuerte de la finalización exitosa.

Conclusión: un salto adelante en la automatización de computadoras generalizadas

Haciendo que la codificación sea acción del sistema de primera clase Junto con la manipulación de la GUI, COACT-1 ofrece un salto cuántico en el éxito y la eficiencia, e ilustra el camino práctico hacia adelante para los agentes informáticos autónomos escalables y confiables. Su arquitectura híbrida y lógica de ejecución dinámica establecen una nueva marca de agua alta para el campo CUA, anunciando avances robustos en la automatización de computadoras del mundo real.


Mira el Papel y Detalle técnico. No dude en ver nuestro Página de Github para tutoriales, códigos y cuadernos. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.


Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.