TL;DR: Los agentes de uso informático son agentes de interfaz de usuario basados en VLM que actúan como usuarios en software no modificado. Las líneas de base en OSWorld comenzaron en 12,24% (humanos 72,36%); Claude Sonnet 4.5 registra ahora un 61,4%. Gemini 2.5 Computer Use lidera varias pruebas web (Online-Mind2Web 69,0%, WebVoyager 88,9%) pero aún no está optimizado para el sistema operativo. Los próximos pasos se centran en la solidez a nivel del sistema operativo, ciclos de acción de menos de un segundo y políticas de seguridad reforzadas, con recetas transparentes de capacitación/evaluación que surjan de la comunidad abierta.
Definición
Los agentes de uso informático (también conocidos como agentes GUI) son modelos de lenguaje visual que observan la pantalla, fijan elementos de la interfaz de usuario y ejecutan acciones de interfaz de usuario limitadas (hacer clic, escribir, desplazarse, combinaciones de teclas) para completar tareas en aplicaciones y navegadores no modificados. Las implementaciones públicas incluyen el uso de computadoras de Anthropic, el uso de computadoras Gemini 2.5 de Google y el operador que impulsa el agente de uso de computadoras de OpenAI.
Bucle de control
Bucle de tiempo de ejecución típico: (1) capturar captura de pantalla + estado, (2) planificar la siguiente acción con base espacial/semántica, (3) actuar a través de un esquema de acción restringido, (4) verificar y volver a intentar en caso de falla. Los proveedores documentan conjuntos de acciones y barreras de seguridad estandarizadas; Los arneses auditados normalizan las comparaciones.
Panorama de referencia
OSWorld (HKU, abril de 2024): 369 tareas reales de escritorio/web que abarcan E/S de archivos del sistema operativo y flujos de trabajo de múltiples aplicaciones. En el momento del lanzamiento, humano 72,36%, mejor modelo 12,24%. Estado de la situación (2025): Anthropic Claude Sonnet 4.5 reporta un 61,4% en OSWorld (infrahumano pero un gran salto desde el 42,2%). Puntos de referencia de Web en vivo: Gemini 2.5 de Google Computer Use reporta 69,0% en Online-Mind2Web (clasificación oficial), 88,9% en WebVoyager, 69,7% en AndroidWorld; el modelo actual está optimizado para el navegador y aún no está optimizado para el control a nivel del sistema operativo. Especificaciones Online-Mind2Web: 300 tareas en 136 sitios web activos; resultados verificados por Princeton/HAL y un espacio público de HF.
Componentes de arquitectura
Percepción y conexión a tierra: capturas de pantalla periódicas, extracción de texto/OCR, localización de elementos, inferencia de coordenadas. Planificación: política de varios pasos con recuperación; a menudo post-entrenado/sintonizado RL para el control de la interfaz de usuario. Esquema de acción: verbos acotados (click_at, type, key_combo, open_app), exclusiones específicas de puntos de referencia para evitar accesos directos a herramientas. Arnés de evaluación: entornos sandbox en vivo web/VM con auditoría de terceros y scripts de ejecución reproducibles.
Instantánea empresarial
Antrópico: API de uso informático; Soneto 4,5 con 61,4% OSWorld; Los documentos enfatizan la conexión a tierra, los reintentos y las confirmaciones de seguridad con precisión de píxeles. Google DeepMind: computadora Gemini 2.5 utiliza API + tarjeta modelo con Online-Mind2Web 69,0 %, WebVoyager 88,9 %, AndroidWorld 69,7 %, mediciones de latencia y mitigaciones de seguridad. OpenAI: vista previa de la investigación de operadores para usuarios profesionales de EE. UU., impulsada por un agente que utiliza una computadora; tarjeta de sistema separada y superficie de desarrollador a través de la API de Respuestas; la disponibilidad es limitada/vista previa.
Hacia dónde se dirigen: Web → SO
Clonación de flujos de trabajo de una o pocas tomas: la dirección a corto plazo es una imitación sólida de la tarea a partir de una única demostración (captura de pantalla + narración). Trátelo como una afirmación de investigación activa, no como una característica del producto completamente resuelta. Presupuestos de latencia para la colaboración: para preservar la manipulación directa, las acciones deben realizarse dentro de umbrales de HCI de 0,1 a 1 s; Las pilas actuales a menudo superan esto debido a los gastos generales de visión y planificación. Espere ingeniería en visión incremental (cuadros diferenciales), OCR con reconocimiento de caché y procesamiento por lotes de acciones. Amplitud a nivel de sistema operativo: los diálogos de archivos, el enfoque en ventanas múltiples, las IU que no son DOM y las políticas del sistema agregan modos de falla ausentes en los agentes exclusivos del navegador. El estado actual de Gemini “optimizado para el navegador, no para el sistema operativo” subraya este próximo paso. Seguridad: inyección rápida de contenido web, acciones peligrosas y exfiltración de datos. Las tarjetas modelo describen listas de permitido/denegado, confirmaciones y dominios bloqueados; espere contratos de acción tipificados y “puertas de consentimiento” para pasos irreversibles.
Notas prácticas de construcción
Comience con un agente basado en el navegador utilizando un esquema de acción documentado y un método verificado (por ejemplo, Online-Mind2Web). Agregue capacidad de recuperación: condiciones posteriores explícitas, verificación en pantalla y planes de reversión para flujos de trabajo prolongados. Trate las métricas con escepticismo: prefiera tablas de clasificación auditadas o herramientas de terceros a guiones autoinformados; OSWorld utiliza una evaluación basada en ejecución para lograr reproducibilidad.
Investigación y herramientas abiertas
Smol2Operator de Hugging Face proporciona una receta abierta posterior a la capacitación que convierte un VLM pequeño en un operador basado en GUI, útil para laboratorios y empresas emergentes que priorizan la capacitación reproducible sobre los registros de la tabla de clasificación.
Conclusiones clave
Los agentes de uso informático (GUI) son sistemas impulsados por VLM que perciben pantallas y emiten acciones de UI limitadas (hacer clic/escribir/desplazarse) para operar aplicaciones no modificadas; Las implementaciones públicas actuales incluyen el uso de computadoras antrópicas, el uso de computadoras Google Gemini 2.5 y el agente de uso de computadoras de OpenAI. OSWorld (HKU) compara 369 tareas reales de escritorio/web con evaluación basada en ejecución; en el lanzamiento, los humanos lograron el 72,36%, mientras que el mejor modelo alcanzó el 12,24%, destacando las lagunas en los procedimientos y en la conexión a tierra. Anthropic Claude Sonnet 4.5 reporta un 61,4% en OSWorld: subhumano pero un gran salto con respecto a los resultados anteriores de Sonnet 4. Gemini 2.5 Computer Use lidera varios puntos de referencia web en vivo (Online-Mind2Web 69,0%, WebVoyager 88,9%, AndroidWorld 69,7%) y está optimizado explícitamente para navegadores, aún no para control a nivel de sistema operativo. OpenAI Operador es una vista previa de la investigación impulsada por el modelo Computer-Using Agent (CUA) que utiliza capturas de pantalla para interactuar con las GUI; la disponibilidad sigue siendo limitada. Trayectoria de código abierto: Smol2Operator de Hugging Face proporciona una canalización posterior al entrenamiento reproducible que convierte un pequeño VLM en un operador basado en GUI, estandarizando esquemas de acción y conjuntos de datos.
Referencias:
Puntos de referencia (OSWorld y Online-Mind2Web)
Antrópico (Uso de Computadora y Sonnet 4.5)
Google DeepMind (uso de computadora Gemini 2.5)
OpenAI (Operador / CUA)
Código abierto: Hugging Face Smol2Operator
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.