La navegación web se centra en las máquinas de enseñanza sobre cómo interactuar con los sitios web para realizar tareas como buscar información, compras o servicios de reserva. Creación de un agente de navegación web capaz es una tarea compleja porque requiere comprender la estructura de los sitios web, interpretar los objetivos del usuario y tomar una serie de decisiones en múltiples pasos. Estas tareas se complican aún más por la necesidad de que los agentes se adapten en entornos web dinámicos, donde el contenido puede cambiar con frecuencia y donde la información multimodal, como el texto y las imágenes, deben entenderse juntos.
Un problema clave en la navegación web es la ausencia de modelos de recompensa confiables y detallados que pueden guiar a los agentes en tiempo real. Los métodos existentes dependen principalmente de modelos de lenguaje grande multimodal (MLLMS) como GPT-4O y GPT-4O-Mini como evaluadores, que son caros, lentos y a menudo inexactos, especialmente cuando manejan largas secuencias de acciones en tareas de múltiples pasos. Estos modelos utilizan la evaluación basada en la solicitud o la retroalimentación de éxito/falla binaria, pero no pueden proporcionar una guía a nivel de paso, a menudo conduciendo a errores como acciones repetidas o pasos críticos faltantes como hacer clic en botones específicos o completar campos de formulario. Esta limitación reduce la practicidad de desplegar agentes web en escenarios del mundo real, donde la eficiencia, la precisión y la rentabilidad son cruciales.
El equipo de investigación de la Universidad de Yonsei y la Universidad Carnegie Mellon introdujeron Web-Shepherd, un modelo de recompensa de proceso diseñado específicamente para tareas de navegación web. Web-Shepherd es el primer modelo que evalúa los agentes de navegación web a nivel de paso, utilizando listas de verificación estructuradas para guiar las evaluaciones. Los investigadores también desarrollaron la colección WebPRM, un conjunto de datos de 40,000 tareas de navegación web anotada a nivel de paso y el punto de referencia de WebRewardbench para evaluar las PRM. Estos recursos fueron diseñados para permitir que Web-Shepherd proporcione comentarios detallados al desglosar tareas complejas en subggoals más pequeños y medibles.
Web-Shepherd funciona generando una lista de verificación para cada tarea basada en las instrucciones del usuario, como “Buscar en el producto” o “Haga clic en la página del producto” y evalúa el progreso del agente contra estos subgusos. El modelo utiliza la predicción de la siguiente token para generar comentarios y asigna recompensas basadas en la finalización de la lista de verificación. Este proceso permite a Web-Shepherd evaluar la corrección de cada paso con un juicio de grano fino. El modelo estima la recompensa por cada paso combinando las probabilidades de “sí”, “no” y “en progreso” y promedia las tokens en la lista de verificación. Este sistema de puntuación detallado permite a los agentes recibir comentarios específicos sobre su progreso, mejorando su capacidad para navegar en sitios web complejos.
Los investigadores demostraron que el pastor web supera significativamente los modelos existentes. En el punto de referencia de Webrewardbench, Web Shepherd logró un puntaje medio de rango recíproco (MRR) del 87.6% y una precisión trayectoria del 55% en el entorno de solo texto, en comparación con la precisión de MRR 47.5% de GPT-4O-Mini y el 0% de la precisión de la trayectoria sin listas de verificación. Cuando se probó en Webarena-Lite utilizando GPT-4O-Mini como modelo de política, Web-Shepherd logró una tasa de éxito del 34.55%, que es 10.9 puntos más alta que el uso de GPT-4O-Mini como evaluador, al tiempo que es diez veces más rentable. En los estudios de ablación, los investigadores observaron que el rendimiento de Web-Shepherd disminuyó significativamente cuando se eliminaron las listas de verificación o la retroalimentación, lo que demuestra su importancia para las tareas de recompensa precisas. También mostraron que la entrada multimodal, sorprendentemente, no siempre mejoró el rendimiento y, a veces, introdujo el ruido.
Esta investigación destaca el papel crítico de las recompensas detalladas del nivel de proceso en la creación de agentes web confiables. El trabajo del equipo aborda el desafío central de la navegación web, evaluando acciones complejas y de varios pasos, y ofrece una solución que es escalable y rentable. Con Web-Shepherd, los agentes ahora pueden recibir comentarios precisos durante la navegación, lo que les permite tomar mejores decisiones y completar las tareas de manera más efectiva.
Mira el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.