def parse_click_coords(action_str): “”” Extrae coordenadas normalizadas (x, y) de una cadena de acción de clic. Por ejemplo, ‘click(0.45, 0.32)’ -> (0.45, 0.32) Devuelve Ninguno si la acción no es un clic. “”” match = re.search(r”click\(\s*([\d.]+)\s*,\s*([\d.]+)\s*\)”, action_str) if match: return float(match.group(1)), float(match.group(2)) return Ninguno def parse_action_details(action_str): “”” Analiza una cadena de acción de MolmoWeb en un dictado estructurado. Devuelve: {“type”: “click”, “x”: 0.45, “y”: 0.32} {“type”: “goto”, “url”: “https://…”} {“type”: “type”, “text”: “query text”} {“type”: “scroll”, “direction”: “down”} {“type”: “press”, “key”: “Enter”} {“type”: “send_msg”, “message”: “La respuesta es …”} {“type”: “desconocido”, “raw”: “…”} “”” action_str = action_str.strip() m = re.match(r’click\(\s*([\d.]+)\s*,\s*([\d.]+)\s*\)’, action_str) si m: return {“type”: “click”, “x”: float(m.group(1)), “y”: float(m.group(2))} m = re.match(r’goto\(\s*[“\’](.+?)[“\’]\s*\)’, action_str) si m: return {“type”: “goto”, “url”: m.group(1)} m = re.match(r’type\(\s*[“\’](.+?)[“\’]\s*\)’, action_str) si m: return {“type”: “type”, “text”: m.group(1)} m = re.match(r’scroll\(\s*[“\’]?(arriba|abajo)[“\’]?\s*\)’, action_str) si m: return {“type”: “scroll”, “direction”: m.group(1)} m = re.match(r’press\(\s*[“\’](.+?)[“\’]\s*\)’, action_str) si m: return {“type”: “press”, “key”: m.group(1)} m = re.match(r’send_msg\(\s*[“\’](.+?)[“\’]\s*\)’, action_str, re.DOTALL) if m: return {“type”: “send_msg”, “message”: m.group(1)} m = re.match(r'(new_tab|go_back|switch_tab)\(\s*(\d*)\s*\)’, action_str) if m: resultado = {“type”: m.group(1)} if m.group(2): resultado[“tab”] = int(m.group(2)) return resultado return {“type”: “unknown”, “raw”: action_str} def visualise_click(image, action_str, title=”MolmoWeb Prediction”): “”” Dibuje la ubicación del clic prevista en la captura de pantalla y muéstrela. Las coordenadas están normalizadas (0-1); las convertimos al espacio en píxeles. “”” coords = parse_click_coords(action_str) fig, ax = plt.subplots(1, 1, figsize=(12, 7)) ax.imshow(image) ax.set_title(title, fontsize=14) if coords: x_norm, y_norm = coords w, h = image.size x_px, y_px = x_norm * w, y_norm * h círculo = patches.Circle( (x_px, y_px), radio=18, ancho de línea = 3, color de borde = “rojo”, color de cara = “ninguno” ) ax.add_patch (círculo) ax.plot (x_px, y_px, “r+”, tamaño de marcador = 20, ancho de borde de marcador = 3) ax.annotate ( f “click ({x_norm:.3f}, {y_norm:.3f})”, (x_px, y_px), xytext = (x_px + 25, y_px – 25), fontsize=11, color=”white”, bbox=dict(boxstyle=”round,pad=0.3″, facecolor=”red”, alpha=0.8), arrowprops=dict(arrowstyle=”->”, color=”red”, lw=2), ) else: ax.text( 0.5, 0.02, f”Action: {action_str}”, transform=ax.transAxes, fontsize=12, ha=”center”, color=”white”, bbox=dict(boxstyle=”round,pad=0.4″, facecolor=”blue”, alpha=0.8), ) ax.axis(“off”) plt.tight_layout() plt.show() def download_image(url, size=(1280, 720)): “””Descargue una imagen desde una URL y cambie el tamaño a las dimensiones de la ventana gráfica del navegador.””” respuesta = request.get(url, timeout=15) img = Image.open(BytesIO(response.content)).convert(“RGB”) img = img.resize(size, Image.LANCZOS) return img def create_synthetic_webpage(title=”Página de ejemplo”, elementos=Ninguno): “”” Cree una captura de pantalla de una página web sintética para realizar pruebas. ‘elementos’ es una lista de dictados: {“tipo”: “botón”|”entrada”|”texto”|”enlace”, “texto”: str, “pos”: (x, y)} “”” img = Image.new(“RGB”, (1280, 720), color=(255, 255, 255)) draw = ImageDraw.Draw(img) draw.rectangle([0, 0, 1280, 50]llenar=(240, 240, 240)) dibujar.rectángulo([180, 10, 900, 40]contorno=(200, 200, 200), ancho=1, relleno=”blanco”) draw.text((200, 16), f”https://www.example.com”, relleno=(100, 100, 100)) para cx en [30, 60, 90]: dibujar.elipse([cx – 8, 17, cx + 8, 33]fill=(200, 200, 200)) draw.text((50, 70), title, fill=”black”) si elementos: para el en elementos: x, y = el[“pos”]
si el[“type”] == “botón”: dibujar.rectángulo([x, y, x + 150, y + 35]llenar=(66, 133, 244)) dibujar.texto((x + 10, y + 8), el[“text”]fill=”blanco”) elif el[“type”] == “entrada”: dibujar.rectángulo([x, y, x + 300, y + 35]contorno=(180, 180, 180), ancho=2) draw.text((x + 10, y + 8), el[“text”]llenar=(150, 150, 150)) elif el[“type”] == “texto”: dibujar.texto((x, y), el[“text”]fill=”negro”) elif el[“type”] == “enlace”: dibujar.text((x, y), el[“text”]fill=(66, 133, 244)) return img print(“Funciones auxiliares definidas correctamente.”) print(“\n” + “=” * 70) print(“SECCIÓN 5: Inferencia de un solo paso – página en blanco (inicio en frío)”) print(“=” * 70) print(“El agente comienza aproximadamente en: blanco y debe decidir su primera acción.\n”) imagen_en blanco = Imagen.new(“RGB”, (1280, 720), color=”white”) task = “Vaya a arxiv.org y busque el artículo más reciente sobre Molmo de Ai2″ Prompt = build_prompt( task_description=task, page_url=”about:blank”, page_index=0, ) print(f”Tarea: {task}”) print(“Captura de pantalla: imagen en blanco en blanco (about:blank)”) print(“Ejecutando inferencia…\n”) raw_output = run_inference(prompt, imagen_en blanco) print(f”Salida del modelo sin formato:\n{salida_sin formato}\n”) analizado = parse_thinkt_and_action(salida_sin formato) print(f”Pensamiento: {analizado[‘thought’]}”) print(f”Acción: {analizado[‘action’]}”) detalles_acción = parse_detalles_acción(analizado[“action”]) print(f”Analizado: {action_details}”)
si el[“type”] == “botón”: dibujar.rectángulo([x, y, x + 150, y + 35]llenar=(66, 133, 244)) dibujar.texto((x + 10, y + 8), el[“text”]fill=”blanco”) elif el[“type”] == “entrada”: dibujar.rectángulo([x, y, x + 300, y + 35]contorno=(180, 180, 180), ancho=2) draw.text((x + 10, y + 8), el[“text”]llenar=(150, 150, 150)) elif el[“type”] == “texto”: dibujar.texto((x, y), el[“text”]fill=”negro”) elif el[“type”] == “enlace”: dibujar.text((x, y), el[“text”]fill=(66, 133, 244)) return img print(“Funciones auxiliares definidas correctamente.”) print(“\n” + “=” * 70) print(“SECCIÓN 5: Inferencia de un solo paso – página en blanco (inicio en frío)”) print(“=” * 70) print(“El agente comienza aproximadamente en: blanco y debe decidir su primera acción.\n”) imagen_en blanco = Imagen.new(“RGB”, (1280, 720), color=”white”) task = “Vaya a arxiv.org y busque el artículo más reciente sobre Molmo de Ai2″ Prompt = build_prompt( task_description=task, page_url=”about:blank”, page_index=0, ) print(f”Tarea: {task}”) print(“Captura de pantalla: imagen en blanco en blanco (about:blank)”) print(“Ejecutando inferencia…\n”) raw_output = run_inference(prompt, imagen_en blanco) print(f”Salida del modelo sin formato:\n{salida_sin formato}\n”) analizado = parse_thinkt_and_action(salida_sin formato) print(f”Pensamiento: {analizado[‘thought’]}”) print(f”Acción: {analizado[‘action’]}”) detalles_acción = parse_detalles_acción(analizado[“action”]) print(f”Analizado: {action_details}”)