¿Cuál de los flujos de trabajo de su navegador delegaría hoy si un agente pudiera planificar y ejecutar acciones de UI predefinidas? Google AI presenta Gemini 2.5 Computer Use, una variante especializada de Gemini 2.5 que planifica y ejecuta acciones reales de la interfaz de usuario en un navegador en vivo a través de una API de acción restringida. Está disponible en versión preliminar pública a través de Google AI Studio y Vertex AI. El modelo apunta a la automatización web y las pruebas de UI, con ganancias documentadas y juzgadas por humanos en puntos de referencia de control web/móvil estándar y una capa de seguridad que puede requerir confirmación humana para pasos riesgosos.
¿Qué envía realmente el modelo?
Los desarrolladores llaman a una nueva herramienta de uso de computadora que devuelve llamadas a funciones como click_at, type_text_at o drag_and_drop. El código del cliente ejecuta la acción (por ejemplo, Playwright/Browserbase), captura una captura de pantalla/URL nueva y se repite hasta que la tarea finaliza o una regla de seguridad la bloquea. El espacio de acción admitido consta de 13 acciones de interfaz de usuario predefinidas: abrir_web_browser, esperar_5_segundos, retroceder, avanzar, buscar, navegar, hacer clic en, pasar el mouse, escribir texto en, combinación de teclas, desplazar_documento, desplazarse_en, arrastrar y soltar, y se puede ampliar con funciones personalizadas (por ejemplo, open_app, long_press_at, go_home). para superficies sin navegador.
¿Cuál es el alcance y las limitaciones?
El modelo está optimizado para navegadores web. Google afirma que aún no está optimizado para el control a nivel del sistema operativo de escritorio; Los escenarios móviles funcionan intercambiando acciones personalizadas bajo el mismo bucle. Un monitor de seguridad incorporado puede bloquear acciones prohibidas o requerir la confirmación del usuario antes de operaciones de “alto riesgo” (pagos, envío de mensajes, acceso a registros confidenciales).
Rendimiento medido
Online-Mind2Web (oficial): 69,0% aprobado@1 (juicios humanos con voto mayoritario), validado por organizadores de referencia. Arnés coincidente de Browserbase: lidera las API de uso de computadoras de la competencia tanto en precisión como en latencia en Online-Mind2Web y WebVoyager bajo restricciones idénticas de tiempo, paso y entorno. La tarjeta modelo de Google enumera el 65,7% (OM2W) y el 79,9% (WebVoyager) en ejecuciones de Browserbase. Compensación entre latencia y calidad (cifra de Google): ~70 %+ de precisión con una latencia media de ~225 s en el arnés Browserbase OM2W. Trátelo como lo informa Google, con evaluación humana. AndroidWorld (generalización móvil): 69,7% medido por Google; logrado a través del mismo bucle API con acciones móviles personalizadas y acciones de navegador excluidas.
Señales tempranas de producción
Reparación de pruebas de IU automatizadas: el equipo de la plataforma de pagos de Google informa que el modelo rehabilita >60% de las ejecuciones de pruebas de IU automatizadas que previamente fallaron. Esto se atribuye (y debería citarse) a los informes públicos y no a la publicación principal del blog. Velocidad operativa: Poke.com (primer evaluador externo) informa que los flujos de trabajo a menudo son aproximadamente un 50 % más rápidos que su siguiente mejor alternativa.
Gemini 2.5 Computer Use está en versión preliminar pública a través de Google AI Studio y Vertex AI; Expone una API restringida con 13 acciones de UI documentadas y requiere un ejecutor del lado del cliente. Los materiales de Google y la tarjeta modelo informan resultados de última generación en pruebas comparativas de control web/móvil, y el arnés combinado de Browserbase muestra ~65,7 % de aprobación@1 en Online-Mind2Web con una latencia líder bajo restricciones idénticas. El alcance es el navegador primero con seguridad/confirmación por paso. Estos puntos de datos justifican una evaluación mesurada en las pruebas de interfaz de usuario y las operaciones web.
Consulte la página de GitHub y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.