Los agentes de investigación ya manejan hoy en día trabajos de conocimiento real. Los equipos les delegan el mapeo competitivo, la diligencia debida y la revisión de la literatura. Sin embargo, la mayoría de los puntos de referencia prueban una única respuesta, no grandes colecciones respaldadas por evidencia. La perplejidad apunta a esa brecha con un nuevo punto de referencia abierto.
Perplexity lanzó WANDR (Wide ANd Deep Research). Es un instrumento de evaluación y referencia abierto. Está construido alrededor de 500 tareas de recopilación de datos realistas y desafiantes para el trabajo del conocimiento. WANDR es el hermano mayor del punto de referencia DRACO de Perplexity para investigación profunda. DRACO pregunta si un agente produce un informe extenso, objetivo y preciso. En cambio, WANDR pregunta si puede crear una gran colección de pruebas.
¿Qué es WANDR?
En esencia, WANDR prueba dos demandas juntas. Amplio significa descubrir un conjunto grande, a menudo abierto, de entidades calificadas. Profundo significa investigar cada entidad lo suficiente como para respaldar cada afirmación con evidencia. La combinación de ambos cambia el problema para los agentes. Unos pocos ejemplos convincentes no son suficientes aquí. Una narrativa pulida basada en una investigación incompleta también se queda corta.
Para capturar esto, WANDR utiliza una jerarquía de claves de calificación componibles. Una tarea podría solicitar empresa(n) -> empleado(m) -> url(k). Esto significa n empresas calificadas, m empleados cada una y k páginas de respaldo cada una. Cada ruta completa a través del árbol se valida de forma independiente. La misma estructura puede representar una lista plana, una búsqueda anidada o una matriz.
Un ejemplo de tarea concreta
Para fundamentar esa jerarquía, considere la tarea ceo_cfo_appointments publicada. Solicita al menos 70 empresas con sede en Estados Unidos. Cada uno debe tener un nombramiento de director ejecutivo o director financiero anunciado por primera vez entre el 1 de marzo y el 30 de abril de 2026. Para cada uno, el agente proporciona una página de nombramiento autorizada. Una subtarea agrega una página de autoridad de listado por empresa. En conjunto, la tarea requiere 140 registros respaldados en fuentes.
Concretamente, las dos jerarquías y un registro enviado se ven así:
Tareas realistas, generadas a escala
Más allá de ejemplos individuales, WANDR construye sus tareas a partir del uso real. Parte de patrones no identificados que se ven en la producción, no de indicaciones sintéticas. Luego, un proceso semiautomatizado convierte esos patrones en tareas. El proceso consta de cuatro etapas: inicialización, creación, admisión y curación. Utiliza un bucle autor-crítico intercalado con pelusa mecánica.
Como resultado, la tarea mediana requiere 50 miembros y 245 registros en total. En las 500 tareas, WANDR requiere 170.495 registros respaldados en origen. Las tareas se dividen en 167 de dificultad inferior, 166 de dificultad media y 167 de dificultad superior. La dificultad depende del trabajo por registro, no solo de la escala.
Cómo WANDR califica a los agentes
A diferencia de las claves de respuestas fijas, WANDR califica cada afirmación según la evidencia citada. Cada registro contiene un elemento, una URL, extractos seleccionados y una respuesta. El calificador vuelve a buscar la página durante la evaluación. Comprueba si la página es utilizable y está dentro de su alcance. Luego verifica que los extractos realmente aparezcan y respalden todos los requisitos.
Estos veredictos de registros binarios luego se acumulan en la jerarquía. La precisión mide la calidad de lo que presentó un sistema. El retiro mide la finalización ajustada por calidad, llenando cualquier déficit con ceros. Las puntuaciones suaves otorgan crédito parcial a los miembros incompletos. Las puntuaciones estrictas cuentan sólo los miembros cuyo subárbol completo es correcto.
Los resultados de referencia
Utilizando ese método, Perplexity ejecutó seis sistemas de producción en las 500 tareas. Su propio sistema de Búsqueda como Código (SaC) lidera. Aún así, ningún sistema se acerca a resolver el punto de referencia.
Con más esfuerzo, Perplexity alcanza 0,447 F1 suave en la configuración xhigh. El costo en todos los entornos abarca más de cuatro órdenes de magnitud. Va desde $0,03 por tarea hasta $324,83 por tarea.
Más allá de la clasificación, destacan cuatro hallazgos. En primer lugar, el progreso parcial es común, pero la cobertura completa no. Cada sistema muestra una recuperación suave por debajo de la precisión suave. En segundo lugar, la escala agrava marcadamente el problema. Las jerarquías más profundas son las que más duelen, ya que cada rama añade un punto de falla. En tercer lugar, el descubrimiento es el primer cuello de botella estructural. La finalización del descubrimiento de nivel superior oscila entre 0,611 y 0,951 en todos los sistemas. La entrega insuficiente, no la fusión duplicada, explica la mayor parte del volumen faltante. En cuarto lugar, encontrar una página utilizable suele ser fácil. Convertirlo en evidencia completa es la parte difícil. En Perplexity, el 41,4% de las páginas no cumplen con un requisito sustancial. Además, el 57,5% de los extractos no respaldan la afirmación completa. Su F1 suave cae de 0,531 bajo una verificación de solo recuperación a 0,363 bajo el veredicto completo.
En particular, Buscar como código se adapta bien a esta forma de tarea. Un agente puede expresar lógica de recuperación, filtrado, distribución, uniones, deduplicación y detención como un programa. Luego, el cálculo determinista maneja operaciones repetidas fuera del contexto del modelo.