¿Cómo se ve una pila de extremo a extremo para agentes terminales cuando se combinan kits de herramientas estructurados, entornos de RL sintéticos y evaluación alineada con puntos de referencia? Un equipo de investigadores de CAMEL AI, Eigent AI y otros colaboradores han lanzado SETA, un conjunto de herramientas y una pila de entornos que se centra en el aprendizaje reforzado para agentes terminales. El proyecto está dirigido a agentes que operan dentro de un shell estilo Unix y deben completar tareas verificables bajo un arnés de referencia como Terminal Bench.
Tres contribuciones principales:
Un agente de terminal de última generación en Terminal Bench: logran un rendimiento de última generación con un agente basado en Claude Sonnet 4.5 en Terminal Bench 2.0 y con un agente basado en GPT 4.1 en Terminal Bench 1.0. La comparación está restringida a agentes que utilizan el mismo modelo base. Entrenamiento de RL escalable con entornos de terminales sintéticos: el equipo de investigación publica un conjunto de datos sintéticos inicial con 400 tareas de terminales que cubren una variedad de niveles de dificultad. De estas, 260 tareas se utilizan para el ajuste fino de RLVR de un modelo Qwen3-8B. Un diseño de agente limpio que se generaliza en todos los marcos de capacitación y evaluación: se utiliza la misma implementación de agente tanto para las ejecuciones de tareas locales como para el arnés de evaluación oficial de Terminal Bench.
Kit de herramientas de terminal y estructura de registro
El repositorio de código SETA muestra un kit de herramientas de terminal que convierte un modelo de lenguaje en un agente de terminal ejecutable. Para cada ejecución de tarea, el marco crea un directorio de registro estructurado en evaluación/terminal_bench_run. La página README muestra un diseño concreto para una tarea llamada play-zork.
Los archivos clave incluyen:
chatagent.log que registra el historial completo de mensajes de agentes y llamadas de herramientas, incluidos los resultados de las pruebas. Un directorio de sesiones con session_logs que capturan las interacciones del terminal desde el kit de herramientas. Dentro de session_logs, archivos como blocking_commands.log, session_run_zork_1_correct_path.log, session_zork-1.log y session_zork_start.log almacenan la salida de comandos para diferentes sesiones y modos. tests.log y tests.log.strip que registran el resultado de la ejecución de prueba, y este último elimina los caracteres de control del terminal.
Esta estructura proporciona una forma concreta de depurar un agente. Puede rastrear desde decisiones de chat de alto nivel en chatagent.log hasta comandos de shell individuales en los registros de sesión y confirmar el éxito o el fracaso en los registros de prueba.
Para la evaluación oficial de Terminal Bench, el repositorio de GitHub proporciona un punto de entrada independiente en evaluación/terminal_bench_eval. Un desarrollador ingresa a ese directorio y ejecuta run_eval.sh para Terminal Bench 1.0 y run_tb2.sh para Terminal Bench 2.0.
Los resultados se escriben en evaluación/terminal_bench_eval/run/{run_id}/results.json. Los registros de sesión específicos de la tarea se colocan en evaluación/terminal_bench_eval/logs/camel_logs/{task_id}. La clase de agente que vincula el agente CAMEL al punto de referencia se implementa en tbench_camel_agent.py.
Nota Tomar Toolkit como memoria persistente
El equipo de investigación también presenta un kit de herramientas para tomar notas descrito como memoria persistente para tareas de largo plazo. Muestran ejemplos de llamadas a herramientas para tomar notas en las que el agente escribe y lee notas de forma estructurada mientras resuelve tareas de terminal. El material público actual se centra en la existencia de este conjunto de herramientas y los ejemplos de uso. Aún no describe un objetivo de capacitación completo para el uso de notas.
El punto importante es que el agente tiene un canal explícito donde puede externalizar resultados y sugerencias intermedios, separados del búfer del terminal sin procesar.
Entendiendo el desempeño
El equipo de agentes de SETA logra resultados líderes en Terminal Bench. Con Claude Sonnet-4.5 como columna vertebral, el agente terminal CAMEL alcanza una precisión del 46,5 % en Terminal Bench 2.0 en 89 tareas del mundo real, ubicándose en primer lugar y superando al segundo sistema en 3 puntos porcentuales, con resultados especialmente sólidos en flujos de trabajo de git, automatización de DevOps y tareas de seguridad de código. En Terminal Bench 1.0, un agente basado en GPT 4.1 alcanza una precisión del 35%, lo que supone 4,7 puntos porcentuales por encima de la siguiente entrada, nuevamente dentro de la misma familia de modelos. En comparación, una línea base Qwen3 8B supervisada alcanza el 3,4% en Terminal Bench 2.0, y el agente terminal Qwen3 8B capacitado con el oleoducto SETA RL mejora esta línea base en los entornos sintéticos seleccionados.
Conclusiones clave
SETA es un proyecto comunitario conjunto que proporciona kits de herramientas para agentes y entornos de RL sintéticos específicamente para agentes terminales, alineados con el formato de evaluación de Terminal Bench. El marco informa el rendimiento de última generación para los agentes terminales CAMEL en Terminal Bench 1.0 y 2.0 cuando se utilizan Claude Sonnet 4.5 y GPT 4.1 como modelos base, evaluados con agentes creados en las mismas familias de modelos. El conjunto de datos SETA RL en Hugging Face contiene 400 tareas de terminal sintéticas, cada una empaquetada como task.yaml, Dockerfile y run-tests.sh, con 260 tareas utilizadas para el ajuste fino de RLVR de un agente basado en Qwen3-8B. El código base de código abierto de SETA expone un kit de herramientas de Terminal con registro estructurado y un kit de herramientas para tomar notas para memoria de largo horizonte, y se integra directamente con scripts de evaluación de Terminal Bench y rutas de registro en el repositorio seta GitHub. El diseño general demuestra un camino limpio desde entornos RL sintéticos hasta agentes verificados de referencia, brindando a los desarrolladores una pila reproducible para entrenar, depurar y evaluar agentes terminales en lugar de depender de ejemplos de llamadas de herramientas ad hoc.
Consulte el blog, los detalles técnicos, el repositorio de GitHub y los pesos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Consulte nuestra última versión de ai2025.dev, una plataforma de análisis centrada en 2025 que convierte los lanzamientos de modelos, los puntos de referencia y la actividad del ecosistema en un conjunto de datos estructurado que puede filtrar, comparar y exportar.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.