El aprendizaje por refuerzo para los agentes lingüísticos es cada vez más complejo. Los agentes ahora administran el uso de herramientas en múltiples turnos, contextos de larga duración y orquestación de múltiples agentes. El principal desafío de ingeniería es conectar el software de agente existente con los canales de capacitación sin alterar el funcionamiento de esas herramientas.
El equipo de investigación de NVIDIA presentó Polar, un marco de implementación que permite a los investigadores ejecutar el aprendizaje por refuerzo sobre cualquier arnés de agente sin modificar ese arnés.
El problema central que resuelve Polar
Un 'arnés de agente' es una herramienta como Codex CLI, Claude Code, Qwen Code o Pi. Estos arneses gestionan las indicaciones del sistema, el formateo de herramientas, la ingeniería de contexto y cómo el agente envía parches. Estos detalles afectan directamente el comportamiento del agente en el momento de la evaluación.
La infraestructura RL tradicional requiere que la lógica del aprovechamiento se reescriba detrás de una API de entorno propiedad del marco, generalmente env.init(), env.step(), env.reset() en el estilo OpenAI Gym. Cada nuevo arnés requiere un nuevo código de integración. Esa integración también puede perder detalles de ejecución específicos de la ruta del arnés nativo.
La observación clave de Polar es que cada agente basado en LLM debe llamar a un modelo. Ese límite de API modelo es una interfaz común fuera del propio agente. En lugar de integrarse dentro del arnés, Polar coloca un proxy en ese límite.
Cómo funciona el proxy
Para cada solicitud de modelo entrante, el proxy de puerta de enlace realiza cuatro pasos:
Detecta la API del proveedor: utilizando la ruta de solicitud y los encabezados, distingue mensajes antrópicos, finalizaciones de chat OpenAI, respuestas OpenAI y llamadas de estilo Google generateContent. Normalice la solicitud: convierte roles, partes de contenido, definiciones de herramientas y parámetros de generación en la forma de finalización de chat de OpenAI utilizada por el servidor de inferencia local. Capture datos a nivel de token: almacena mensajes de solicitud, mensajes de respuesta, ID de tokens de solicitud, ID de tokens de respuesta de muestra, motivo de finalización y probabilidades de registro. Devolver la forma del proveedor: transforma la respuesta nuevamente al esquema que espera el arnés.
Para las solicitudes de transmisión, Polar obtiene una respuesta ascendente sin transmisión y emite una transmisión sintética en forma de proveedor. Esto preserva la compatibilidad con arneses que esperan eventos enviados por el servidor y, al mismo tiempo, garantiza la captura completa de tokens.
El único cambio necesario en un arnés existente es señalar la URL base del modelo a la puerta de enlace.
Arquitectura: servidor de implementación y nodos de puerta de enlace
Polar tiene dos componentes principales:
El servidor de implementación acepta una TaskRequest y la expande en num_samples sesiones independientes. Cada sesión lleva un ID de sesión, un ID de tarea, un presupuesto de tiempo de espera, una especificación de tiempo de ejecución, una especificación de agente, un generador de trayectoria, un evaluador y una URL de devolución de llamada. El servidor envía sesiones a los nodos de puerta de enlace y acepta devoluciones de llamada cuando se completan las sesiones.
Los nodos de puerta de enlace son propietarios del ciclo de vida de cada sesión: iniciar el tiempo de ejecución, ejecutar el arnés, crear trayectorias, evaluar el resultado y desmantelar. La puerta de enlace también aloja el extremo proxy para las llamadas al modelo de esa sesión, manteniendo la captura completa vinculada al registro de la sesión.
Dentro de cada puerta de enlace, grupos de trabajadores aislados manejan las etapas INIT, RUNNING y POSTRUN. Un búfer READY limitado contiene tiempos de ejecución inicializados hasta que haya una ranura de ejecución disponible. La preparación del tiempo de ejecución con uso intensivo de CPU y el precalentamiento del evaluador se salen de la ruta crítica, sin bloquear la ejecución activa del agente vinculado a la GPU. Si el tiempo de espera de un arnés se agota después de que se hayan capturado las llamadas al modelo, la puerta de enlace aún ingresa a POSTRUN para que se puedan recuperar los seguimientos parciales.
Los evaluadores integrados incluyen una recompensa por completar la sesión, un evaluador de prueba de rendimiento configurable y un evaluador de arnés SWE-Bench/SWE-Gym. Se pueden agregar evaluadores personalizados a través de una interfaz de registro.
Actualmente, Polar admite los tiempos de ejecución de Docker y Apptainer sin raíz. Los atajos de arnés integrados incluyen codex, claude_code, gemini_cli, qwen_code, opencode y pi.
Reconstrucción de trayectoria: por solicitud frente a fusión de prefijos
Una vez completada una sesión, Polar reconstruye trayectorias entrenables a partir de llamadas de modelos capturadas.
Hay dos estrategias disponibles:
El constructor per_request trata cada llamada al modelo como un seguimiento independiente. No tiene pérdidas por llamada individual, pero fragmenta sesiones de varios turnos. Un único problema de codificación puede producir cientos de seguimientos por solicitud, lo que aumenta la carga para los formadores posteriores.
El constructor prefix_merging reconstruye seguimientos más largos donde la sesión de aprovechamiento conserva historiales de conversaciones de solo anexar. Divide las terminaciones en cadenas ordenadas verificando una relación estricta de prefijo de token entre terminaciones adyacentes. Los subagentes, los límites de compactación del contexto y las ramas de agentes paralelas forman naturalmente cadenas separadas. Dentro de cada rastro combinado, solo los tokens de asistente de muestra están marcados como entrenables. Los tokens intersticiales canónicos reciben una máscara de pérdida de cero.
Resultados de la ablación
El equipo de investigación compara ambas estrategias en el mismo modelo, hardware y topología en tres pasos de capacitación.
Resultados verificados de SWE-Bench
La capacitación utiliza GRPO estándar en el modelo base Qwen3.5-4B. El conjunto de datos es SkyRL-v0-293-data SWE-Gym (293 tareas, 1 época, tamaño de lote de implementación 4, 16 muestras por mensaje) con el entrenador Slime. Todos los experimentos utilizan prefix_merging para la construcción de trayectorias.
Progreso de la recompensa del lanzamiento del entrenamiento (pass@1)
Puntajes finales verificados por SWE-Bench
El mayor beneficio se produce en el marco del Codex. Codex presenta un protocolo de acción y un estilo de envío de parches desconocidos para un modelo Qwen que no estaba entrenado originalmente con ese arnés. Polar adjunta la señal de recompensa a los tokens muestreados reales que fluyen a través de la ruta de ejecución del Codex, por lo que GRPO optimiza el comportamiento que utiliza el modelo en el momento de la evaluación. Bajo el arnés nativo del Código Qwen, donde el modelo base ya está bien alineado, Polar aún ofrece una ganancia de 0,6 puntos.
Generación de datos SFT sin conexión
Polar también puede servir como un servicio distribuido de generación de datos fuera de línea sin cambios en el tiempo de ejecución. El equipo de investigación demuestra esto utilizando Qwen3.5-122B-A10B en un servidor 8×H100 (TP=8, max_model_len=32,768) con el arnés pi frente a 1,638 instancias de siete repositorios de SWE-Gym.
Se acepta una trayectoria en el corpus SFT solo si el arnés de evaluación de SWE-Bench confirma que el parche del agente resuelve cada prueba FAIL_TO_PASS y deja cada prueba PASS_TO_PASS en verde.
La ejecución costó aproximadamente 64 horas de GPU. Las trayectorias aceptadas promedian 104 mensajes por sesión y 51 turnos de asistente.
Comparación de marcos
Polar es el único sistema en esta comparación con soporte de primera clase en las cuatro propiedades.
Fortalezas y limitaciones
Fortalezas
No se requieren cambios en el código de arnés: el proxy intercepta en el límite de la API del modelo. Independiente del proveedor: admite formatos Anthropic, OpenAI Chat, OpenAI Responses y Google API de forma nativa. prefix_merging reduce las actualizaciones del entrenador de 1185 a 218 y reduce el tiempo de reloj de pared 5,39 × Funciona para la generación de datos RL en línea y SFT fuera de línea con el mismo tiempo de ejecución. El RL nativo de arnés ofrece grandes ganancias para rutas de ejecución desconocidas. 22,6 puntos en el Codex. Los rastros parciales se recuperan cuando el tiempo de espera de un arnés se agota a mitad de la sesión. Publicado como código abierto bajo NeMo Gym.
Limitaciones
El diseño de recompensas, la calidad del evaluador y el cambio de distribución siguen siendo responsabilidad del investigador. Requiere que el arnés admita una URL base de modelo configurable. La captura a nivel de token depende de que la pila de servicio proporcione ID de token confiables y probabilidades de registro por estrategia de solicitud producida por piratería de recompensas en experimentos debido a una asignación de crédito ruidosa a nivel de sesión; la normalización de sesiones y la asignación de créditos estilo PRM están en la hoja de ruta
Explicador visual de Marktechpost
Polar de investigación de NVIDIA : marco de trabajo RL agente
arXiv:2605.24220
Conclusiones clave
Polar entrena a los agentes de LLM a través de un proxy API modelo: no se requieren cambios en el código de arnés. Admite mensajes antrópicos, finalización de chat OpenAI, respuestas OpenAI y API de Google generateContent. Utilizando GRPO en Qwen3.5-4B, Polar mejora SWE-Bench Verified en hasta 22,6 puntos en cuatro arneses de codificación, la reconstrucción de trayectoria prefix_merging ofrece una aceleración de reloj de pared de 5,39 × por solicitud generada 504 aceptó trayectorias SFT de 1.638 intentos (30,8%) a ~64 horas de GPU; lanzado bajo Apache-2.0 Rewrites ProRL Agent; registrado como entorno NeMo Gym
Consulte el repositorio de Paper y GitHub. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros