Prime Intellect lanzó los verificadores 0.2.0. Muestra una vista previa de un núcleo reescrito, enviado bajo el nuevo espacio de nombres verifiers.v1. Las evaluaciones modernas ahora ejecutan agentes de codificación con herramientas, compactación y subagentes. En consecuencia, la versión 1 reconstruye entornos para ejecutar estas cargas de trabajo agentes a escala.
¿Qué son los verificadores v1?
Primero, considere qué son los verificadores: la pila de entornos de Prime Intellect para evaluaciones y aprendizaje por refuerzo agente. Anteriormente, un entorno agrupaba sus datos, lógica de agente e infraestructura. Por el contrario, la v1 divide ese paquete en tres partes componibles.
Un conjunto de tareas define el trabajo: los datos, las herramientas y la puntuación. Un arnés resuelve la tarea y produce un despliegue. Ese arnés puede ser un bucle ReAct, un agente CLI o el suyo propio. Luego, la implementación se ejecuta dentro de un tiempo de ejecución, ya sea local o en un entorno limitado. Debido a que las piezas se desacoplan, cualquier conjunto de tareas se ejecuta bajo cualquier arnés compatible.
¿Cómo funciona la arquitectura?
Una vez definidas esas piezas, la siguiente pregunta es cómo se comunican. La pieza central es el servidor de interceptación gestionado por los verificadores. Se encuentra entre el tiempo de ejecución del agente y el servidor de inferencia. Específicamente, representa solicitudes y respuestas de la inferencia. Mientras tanto, registra el seguimiento, establece parámetros de muestreo y puede reescribir las respuestas de la herramienta. Esa reescritura ayuda a mitigar los ataques de recompensa durante el entrenamiento.
Para escalar, cada servidor multiplexa un número constante de implementaciones, por defecto 32. Luego, un grupo escala elásticamente con la simultaneidad observada. El servidor también posee un cliente que transmite esas solicitudes. Durante la evaluación, un EvalClient actúa como un proxy HTTP ciego. Durante el entrenamiento, TrainClient envuelve los renderizadores para un entrenamiento fiel de token-in RL.
Debido a que los arneses hablan diferentes dialectos, los verificadores admiten tres a partir de ahora. Estas son finalizaciones de chat de OpenAI, respuestas de OpenAI y mensajes antrópicos. Un adaptador de dialecto normaliza cada formato de cable en tipos vf.canónicos. En consecuencia, su lógica de puntuación sigue siendo independiente del agente evaluado.
v0 vs v1: una comparación rápida
Estos cambios separan la v1 de la v0.
Casos de uso con ejemplos
Con la arquitectura clara, considere cómo la usan los equipos. Por ejemplo, puede ejecutar Nemotron 3 Ultra en Terminal-Bench 2 en Codex.
De manera similar, los equipos pueden reutilizar los conjuntos de datos de Harbour sin reescribir la lógica de recompensa. Prime Intellect transfirió Terminal Bench 2 a v1 con solo una clase pequeña. En sus pruebas internas, los verificadores igualaron el desempeño de Harbor en las mismas tareas. Harbor es el primer formato de terceros totalmente compatible; NeMo Gym y OpenEnv tienen soporte alfa.
En el lado del entrenamiento, los mismos entornos se conectan directamente a prime-rl. En una ablación con penalización de longitud, GLM-4.5-Air entrenó en ScaleSWE en seis nodos H200. Esa ejecución tomó dos días y se evaluó en SWE-Bench-Verified, mostrando un entrenamiento agente estable.
Un conjunto de tareas y un lanzamiento mínimos
Cada ejecución comienza a partir de un conjunto de tareas que define los datos y la puntuación, independientemente de cualquier arnés:
AdditionTask(
AdditionData(idx=i, prompt=f”What is {i} + {i}?”, answer=2 * i),
self.config.task,
)
for i in range(100)
]
__todos__ = [“AdditionTaskset”]
Luego, cualquier conjunto de tareas se ejecuta bajo un arnés elegido a través de TOML y la CLI:
[taskset]
id = “primeintellect/terminal-bench-2”
[harness]
id = “códice” versión = “0.116.0”
Conclusiones clave
Los verificadores v1 dividen un entorno en un conjunto de tareas (qué), un arnés (cómo) y un tiempo de ejecución (dónde). Un servidor de interceptación gestionado por verificadores aprovecha las solicitudes de inferencia y registra los rastros sobre la marcha. Un seguimiento lineal de mensaje-gráfico reemplaza los pares cuadráticos de finalización de mensajes de v0, lo que permite un entrenamiento a largo plazo. Se entrega con soporte completo de capacitación Prime-rl; la ruta del código heredado ahora está congelada. Los conjuntos de datos portuarios y los arneses como Codex y Terminus 2 funcionan de inmediato.
Consulta los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.