Los LLM agentes a menudo fracasan de la misma manera, una y otra vez. Un equipo de investigación de Stanford atribuyó esto a capacidades reutilizables faltantes. Su sistema, TRACE, diagnostica esas brechas y las capacita directamente.
TRACE significa Convertir fallas recurrentes de agentes en entornos de capacitación dirigidos a capacidades. Fue lanzado de código abierto bajo una licencia del MIT.
¿Qué problema resuelve TRACE?
Para comprender el diseño, primero considere por qué fallan los agentes. Carecen de las habilidades específicas que exigen las tareas, como recuperar el registro correcto o verificar una condición previa.
Dos soluciones principales gastan la computación de manera deficiente. Direct RL o SFT ofrece recompensas escasas que nunca dicen qué habilidad faltaba. Los datos sintéticos amplios no están focalizados, por lo que el presupuesto fluye hacia las habilidades que el modelo ya tiene.
Sin embargo, TRACE observa que los fallos no son aleatorios. Un pequeño conjunto de déficits explica la mayoría de las trayectorias fallidas. Por tanto, cada déficit recurrente puede convertirse en su propia señal de entrenamiento densa y verificable.
¿Cómo funciona TRACE?
Teniendo en cuenta estos hallazgos, TRACE ejecuta un proceso automatizado de cuatro pasos. Cada paso es dirigido por un agente de LLM siguiendo un mensaje de reducción.
Paso 1: análisis de capacidad contrastante
El agente base genera implementaciones en el entorno de destino. Un agente de análisis los divide en conjuntos exitosos y fallidos. Luego etiqueta cada par trayectoria-capacidad como NA, PRESENTE o FALTANTE.
Una capacidad se conserva sólo cuando es contrastiva y de alta cobertura. Específicamente, su brecha contrastiva debe eliminar δ = 0,20 y la cobertura debe eliminar ρ = 0,10. En consecuencia, el pipeline mantiene habilidades cuya ausencia se concentra en fracasos.
Paso 2: síntesis del entorno objetivo
A continuación, un agente de generación construye un entorno sintético por cada capacidad retenida. Cada entorno aísla una capacidad única al tiempo que preserva los esquemas y el formato de la herramienta de destino.
Las instancias de tareas se generan procesalmente a partir de semillas aleatorias. Debido a que la generación y la verificación son algorítmicas, las recompensas no necesitan etiquetas humanas ni jueces de LLM.
Paso 3: Capacitación del adaptador de capacidades
Luego, cada capacidad obtiene un adaptador LoRA (adaptación de bajo rango), entrenado en su entorno sintético. El algoritmo de entrenamiento es GRPO (Optimización de políticas relativas al grupo). El modelo base permanece congelado en todo momento.
GRPO agrupa las implementaciones por semilla compartida, por lo que los escenarios son idénticos dentro de un grupo. Luego, las recompensas se normalizan dentro de cada grupo para aislar la contribución de la política.
Paso 4: composición de MoE con enrutamiento a nivel de token
Finalmente, TRACE compone los adaptadores en un modelo de Mezcla de Expertos (MoE). La columna vertebral y los adaptadores permanecen congelados y solo se entrenan puertas livianas a nivel de token.
Por inferencia, cada token se enruta primero a un único adaptador de capacidad. Esto permite que el modelo cambie de experto a mitad de trayectoria.
Cómo funciona TRACE: explicación interactiva
Explicador interactivo
TRACE diagnostica las capacidades de las que carece un agente, crea un entorno verificable por brecha, capacita a un experto en LoRA para cada uno y luego enruta tokens entre expertos. Recorra el proceso a continuación.
1 · Análisis de capacidad contrastante
Divida los lanzamientos en aprobados/fallidos, luego mantenga los espacios que los separan.
Se mantiene si Δ ≥ 0,20 y Cov ≥ 0,10
2 · Síntesis del entorno objetivo
Se genera un entorno inicializado y autoverificable por capacidad.
3 · Capacitación sobre adaptadores de capacidad (GRPO)
Los lanzamientos comparten una semilla; Las recompensas se normalizan dentro del grupo.
🔒 Modelo base congelado · solo actualizaciones de Δc
4 · Composición del MoE · Enrutamiento a nivel de token
Una puerta aprendida dirige cada token top-1 a un único experto en capacidades.
Elija una tarea de arriba para enrutar sus tokens.
▶ Reproducir paso Siguiente paso →
Resultado · Tasa de aprobación general del banco τ² (Qwen3-30B-A3B)
La capacitación dirigida y la composición del MoE superaron la optimización rápida y las líneas base de un solo adaptador.
¿Qué capacidades encontró?
En la práctica, en τ²-Bench, el análisis contrastivo recuperó cuatro déficits. Estos fueron razonamiento de datos estructurados, finalización de tareas de varios pasos, verificación de condiciones previas y precisión de llamada de herramientas.
En particular, estos hallazgos se mantuvieron estables en diez ensayos independientes. El razonamiento de datos estructurados por sí solo cubrió la mayor parte de las tareas fallidas. Le siguió de cerca la finalización de tareas de varios pasos.
Casos de uso con ejemplos
Para fundamentar estas capacidades, consideremos tres tareas concretas. Cada uno se asigna a un modo de falla distinto al que apunta TRACE.
En primer lugar, recurra a un agente de atención al cliente de una aerolínea. Un usuario solicita cancelar un vuelo en clase económica básica reservado hace 14 días. La verificación de condiciones previas verifica la elegibilidad de la póliza antes de llamar a cancel_reservation. A continuación, considere una solicitud minorista compuesta. Un usuario solicita cancelar dos reservas y modificar una tercera. La finalización de la tarea de varios pasos impide que el agente salga después de la primera subtarea. Finalmente, considere un agente de codificación en SWE-bench Verified. Localizar correctamente la función o archivo relevante es una capacidad. Es necesario para corregir un error o actualizar una llamada API.
¿Cómo se comparan los resultados?
Una vez entrenadas esas capacidades, TRACE se probó en dos redes troncales y dos puntos de referencia. τ²-Bench mide la tasa de aprobación del servicio al cliente en 50 aerolíneas y 114 tareas minoristas. SWE-bench Verified mide Pass@1 en 500 problemas reales de GitHub.
En Qwen3-30B-A3B, TRACE mejoró τ²-Bench en +15,3 puntos y SWE-bench Verified en +15 puntos Pass@1. Superó a las líneas de base externas más fuertes, GEPA y SWE-RL, por +8,6 y +8,4 puntos.
Además, TRACE es eficiente en el muestreo. Utilizando menos de una cuarta parte de las implementaciones, superó las puntuaciones finales de GRPO y GEPA. Su precisión final fue de +10,4 y +8,6 puntos más en τ²-Bench. Además, un tercer punto de referencia, ToolSandBox, mostró el mismo patrón.
En Qwen3.6-27B, TRACE alcanzó el 73,2% Pass@1 en SWE-bench Verified. Ese modelo de peso abierto 27B superó a GPT-5.2-Codex (72,8%), GLM 5 y Claude 4.5 Sonnet en la clasificación pública.
Implementación
Para los profesionales de la IA, el proceso es independiente de los puntos de referencia y está impulsado por indicaciones de rebajas. Una vez generados los entornos, cada adaptador de capacidad se entrena con un servidor vLLM en ejecución.
Cada adaptador LoRA agrega ~1,600 millones de parámetros entrenables, o el 5,3 % de la red troncal. La puerta MoE entrenada añade sólo 491.760 parámetros en total. Los umbrales predeterminados son ρ = 0,10, δ = 0,20 y una consistencia cruzada de 8 de 10.
Conclusiones clave
El contraste de fallas es procesable. La comparación de trayectorias exitosas y fallidas revela déficits entrenables, no etiquetas de error genéricas. Los entornos específicos son eficientes en cuanto a muestras. Cada entorno verificable recompensa una capacidad, por lo que cada implementación transmite una señal densa. La composición vence al colapso. Los expertos independientes con enrutamiento a nivel de token superaron a la mejor alternativa de un solo adaptador por más de siete puntos. El entrenamiento es mejor que el estímulo. Los adaptadores capacitados escalan de manera monótona, mientras que la optimización de solo aviso se estabiliza después de cuatro capacidades. Un modelo 27B encabezó la clasificación. Qwen3.6-27B alcanzó un 73,2 % de aprobación@1 en SWE-bench Verified, por encima de GPT-5.2-Codex.