El diseño de agentes GUI que realizan tareas similares a las humanas en interfaces gráficas de usuario enfrenta un obstáculo crítico: recopilar datos de trayectoria de alta calidad para el entrenamiento. Los métodos existentes dependen de una supervisión humana costosa y que requiere mucho tiempo o de la generación de datos sintéticos, que difícilmente pueden reflejar la diversidad y la dinámica del mundo real. Esas limitaciones limitan significativamente la escalabilidad y eficacia de los agentes GUI y les impiden actuar de forma autónoma y adaptarse a entornos diversos y dinámicos.
La adquisición de datos tradicional para agentes GUI se basa generalmente en métodos orientados a tareas. La anotación humana es un proceso que requiere mucha mano de obra y que implica diseñar tareas y anotar trayectorias. Aunque los datos sintéticos reducen la dependencia de los humanos, dependen de tareas predefinidas de alto nivel, que limitan el alcance y la escala de los datos. La presencia de errores en los pasos intermedios u objetivos contradictorios en la tarea da como resultado trayectorias incoherentes y, por lo tanto, disminuye la calidad de los datos de entrenamiento. Como se mencionó anteriormente, estas restricciones limitan la capacidad de generalización de los agentes para trabajar eficazmente en entornos dinámicos o desconocidos.
Investigadores del Laboratorio de IA de Shanghai, la Universidad de Hong Kong, la Universidad Johns Hopkins, la Universidad Jiao Tong de Shanghai, la Universidad de Oxford y la Universidad de Ciencia y Tecnología de Hong Kong proponen OS-Genesis, una estrategia innovadora para abordar estos desafíos a través de la interacción. Síntesis de tareas inversas. A diferencia de las tareas predeterminadas, el modo exploratorio de los agentes de la GUI implica la interacción mediante clics, desplazamiento y escritura sobre elementos de la GUI para los entornos. En un análisis retrospectivo, estas interacciones se transforman en instrucciones de bajo nivel y se contextualizan como tareas de alto nivel. Mantiene la calidad de los datos a través de un TRM, puntuando trayectorias sintetizadas según dimensiones de coherencia, flujo lógico e integridad. Incluso se pueden entrenar datos parciales pero significativos con este enfoque. Al cerrar la brecha entre las instrucciones abstractas y la naturaleza dinámica de las GUI, este marco mejora significativamente la calidad y diversidad de los datos de capacitación al tiempo que elimina la necesidad de supervisión humana.
El proceso OS-Genesis consta de varios componentes integrales. Primero, el sistema explora de forma autónoma elementos dinámicos de la GUI, registrando transiciones entre estados previos y posteriores a la acción para recopilar datos fundamentales para la síntesis de tareas. Luego, estas transiciones se transforman en instrucciones detalladas de bajo nivel con la ayuda de modelos como GPT-4o. Esas instrucciones se incorporan a objetivos integrales de alto nivel relacionados con la intención general de los usuarios, logrando así profundidad semántica. Las rutas sintetizadas luego se evalúan a través del Modelo de Recompensa de Trayectoria, que utiliza un marco de puntuación estratificado que se centra más en aspectos de coherencia lógica, así como en la finalización efectiva de tareas. Esto garantiza la diversidad y la alta calidad de los datos, proporcionando así una base sólida para la formación.
Se llevaron a cabo extensos experimentos utilizando puntos de referencia como AndroidWorld y WebArena, que imitan entornos complejos y dinámicos. Los modelos visión-lenguaje, concretamente Qwen2-VL e InternVL2, se utilizaron como marco base para el proceso de formación. La capacitación se centró en mejorar tanto la planificación de tareas sofisticada como la ejecución precisa de acciones de bajo nivel para permitir un aprendizaje profundo de habilidades para los agentes de GUI.
OS-Genesis fue validado con éxito en una variedad de puntos de referencia. En AndroidWorld, las tasas de éxito casi duplicaron las de los métodos basados en tareas con respecto a la capacidad de mejorar la planificación y ejecución de tareas. En AndroidControl, el método funcionó muy bien en el alto nivel de planificación autónoma pero también en el bajo nivel de ejecución paso a paso, incluidos ejemplos fuera de distribución; esto demuestra robustez. En WebArena, el enfoque superó consistentemente las líneas de base tradicionales, ganando así terreno en el manejo de entornos complejos e interactivos. En resumen, estos resultados demuestran la capacidad de OS-Genesis para generar trayectorias de alta calidad de todo tipo, mejorando así en gran medida la efectividad general de los agentes GUI en situaciones generales.
OS-Genesis es un paso revolucionario en la formación de agentes GUI, ya que supera las limitaciones de los métodos actuales de recopilación de datos. Su metodología basada en la interacción y su evaluación basada en recompensas garantizan datos de entrenamiento diversos y de alta calidad que cierran la brecha entre las instrucciones de tareas abstractas y los entornos GUI dinámicos. Este enfoque abre el camino para un progreso significativo en la automatización digital y la investigación de la IA al permitir que los agentes GUI aprendan y se adapten de forma autónoma.
Verificar el Papel, GitHub y Página del proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
🚨 PRÓXIMO SEMINARIO WEB GRATUITO SOBRE IA (15 DE ENERO DE 2025): Aumente la precisión del LLM con datos sintéticos e inteligencia de evaluación–Únase a este seminario web para obtener información práctica para mejorar el rendimiento y la precisión del modelo LLM y, al mismo tiempo, proteger la privacidad de los datos..
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología, Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.