A principios de este año, mencionamos que brindaríamos capacidades de uso de computadoras a los desarrolladores a través de la API de Gemini. Hoy lanzamos el modelo Gemini 2.5 Computer Use, nuestro nuevo modelo especializado basado en las capacidades de razonamiento y comprensión visual de Gemini 2.5 Pro que potencia a los agentes capaces de interactuar con interfaces de usuario (UI). Supera a las principales alternativas en múltiples pruebas comparativas de control web y móvil, todas con menor latencia. Los desarrolladores pueden acceder a estas capacidades a través de la API Gemini en Google AI Studio y Vertex AI.
Si bien los modelos de IA pueden interactuar con el software a través de API estructuradas, muchas tareas digitales aún requieren interacción directa con interfaces gráficas de usuario, por ejemplo, completar y enviar formularios. Para completar estas tareas, los agentes deben navegar por páginas web y aplicaciones tal como lo hacen los humanos: haciendo clic, escribiendo y desplazándose. La capacidad de completar formularios de forma nativa, manipular elementos interactivos como menús desplegables y filtros, y operar detrás de inicios de sesión es el siguiente paso crucial en la creación de agentes potentes y de uso general.
como funciona
Las capacidades principales del modelo se exponen a través de la nueva herramienta `computer_use` en la API de Gemini y deben operarse dentro de un bucle. Las entradas a la herramienta son la solicitud del usuario, una captura de pantalla del entorno y un historial de acciones recientes. La entrada también puede especificar si se excluyen funciones de la lista completa de acciones de UI admitidas o si se especifican funciones personalizadas adicionales para incluir.