¿Hasta dónde puede llegar un modelo de lenguaje de tamaño mediano si la verdadera innovación pasa de la columna vertebral al andamio del agente y la pila de herramientas? Los investigadores de Meta y Harvard han lanzado Confucius Code Agent, un ingeniero de software de inteligencia artificial de código abierto construido sobre el SDK de Confucius que está diseñado para repositorios de software a escala industrial y sesiones de larga duración. El sistema se enfoca en proyectos reales de GitHub, cadenas de herramientas de prueba complejas en el momento de la evaluación y resultados reproducibles en puntos de referencia como SWE Bench Pro y SWE Bench Verified, al tiempo que expone el andamiaje completo para los desarrolladores.
SDK de Confucio, andamiaje alrededor del modelo
El SDK de Confucius es una plataforma de desarrollo de agentes que trata el andamiaje como un problema de diseño principal en lugar de una envoltura delgada alrededor de un modelo de lenguaje. Está organizado en torno a 3 ejes, Experiencia del Agente, Experiencia del Usuario y Experiencia del Desarrollador.
Agent Experience controla lo que ve el modelo, incluido el diseño del contexto, la memoria de trabajo y los resultados de las herramientas. La experiencia del usuario se centra en seguimientos legibles, diferencias de código y salvaguardias para ingenieros humanos. La experiencia del desarrollador se centra en la observabilidad, configuración y depuración del propio agente.
El SDK presenta tres mecanismos centrales: un orquestador unificado con memoria de trabajo jerárquica, un sistema de toma de notas persistente y una interfaz de extensión modular para herramientas. Luego, un metaagente automatiza la síntesis y el refinamiento de las configuraciones del agente a través de un ciclo de creación, prueba y mejora. El Agente de Código Confucio es una instancia concreta de este andamio para la ingeniería de software.
Memoria de trabajo jerárquica para codificación de largo horizonte
Las tareas de software reales en SWE Bench Pro a menudo requieren razonamiento sobre docenas de archivos y muchos pasos de interacción. El orquestador en Confucius SDK mantiene una memoria de trabajo jerárquica, que divide una trayectoria en alcances, resume los pasos pasados y mantiene el contexto comprimido para turnos posteriores.
Este diseño ayuda a mantener las indicaciones dentro de los límites del contexto del modelo y al mismo tiempo preserva artefactos importantes como parches, registros de errores y decisiones de diseño. El punto clave es que los agentes de codificación basados en herramientas eficaces necesitan una arquitectura de memoria explícita, no sólo una ventana deslizante de mensajes anteriores.
Toma de notas persistente para el aprendizaje entre sesiones
El segundo mecanismo es un sistema de toma de notas que utiliza un agente dedicado para escribir notas estructuradas de Markdown a partir de seguimientos de ejecución. Estas notas capturan estrategias específicas de tareas, convenciones de repositorio y modos de falla comunes, y se almacenan como memoria a largo plazo que se puede reutilizar en todas las sesiones.
El equipo de investigación ejecutó Confucius Code Agent dos veces en 151 instancias de SWE Bench Pro con Claude 4.5 Sonnet. En la primera ejecución, el agente resuelve tareas desde cero y genera notas. En la segunda ejecución, el agente lee estas notas. En esta configuración, los turnos promedio caen de 64 a 61, el uso de tokens cae de aproximadamente 104k a 93k y Resolve@1 mejora de 53,0 a 54,4. Esto muestra que las notas no son sólo registros, sino que funcionan como una memoria eficaz entre sesiones.
Extensiones modulares y sofisticación en el uso de herramientas.
Confucius SDK expone herramientas como extensiones, por ejemplo, edición de archivos, ejecución de comandos, ejecutores de pruebas y búsqueda de código. Cada extensión puede mantener su propio estado y cableado rápido.
El equipo de investigación estudia el impacto de la sofisticación del uso de herramientas mediante una ablación en un subconjunto de 100 ejemplos de SWE Bench Pro. Con Claude 4 Sonnet, pasar de una configuración sin funciones de contexto avanzadas a una con contexto avanzado aumenta Resolve@1 de 42,0 a 48,6. Con Claude 4.5 Sonnet, una configuración de uso de herramientas simple alcanza 44.0, mientras que el manejo de herramientas más rico alcanza 51.6, con 51.0 para una variante intermedia. Estos números indican que la forma en que el agente elige y secuencia las herramientas es casi tan importante como la elección del modelo principal.
Metaagente para el diseño automático de agentes.
Además de estos mecanismos, el SDK de Confucius incluye un metaagente que toma una especificación de lenguaje natural de un agente y propone de forma iterativa configuraciones, indicaciones y conjuntos de extensiones. Luego ejecuta el agente candidato en tareas, inspecciona seguimientos y métricas y edita la configuración en un ciclo de compilación, prueba y mejora.
El Agente del Código Confucio que evalúa el equipo de investigación se produce con la ayuda de este metaagente, en lugar de solo ajustarse manualmente. Este enfoque convierte parte del proceso de ingeniería del agente en un problema de optimización guiado por LLM.
Resultados en SWE Bench Pro y SWE Bench Verified
La evaluación principal utiliza SWE Bench Pro, que tiene 731 problemas de GitHub que requieren modificar repositorios reales hasta que pasen las pruebas. Todos los sistemas comparados comparten los mismos repositorios, entorno de herramientas y arnés de evaluación, por lo que las diferencias provienen de los andamios y modelos.
En SWE Bench Pro, las puntuaciones Resolve@1 informadas son
Claude 4 Soneto con Agente SWE, 42.7 Claude 4 Soneto con Agente Código Confucio, 45.5 Soneto Claude 4.5 con Agente SWE, 43.6 Soneto Claude 4.5 con Agente SWE Vivo, 45.8 Soneto Claude 4.5 con Agente Código Confucio, 52.7 Claude 4.5 Opus con andamio de tarjetas del sistema antrópico, 52.0 Claude 4.5 Opus con el Agente del Código de Confucio, 54.3
Estos resultados muestran que un andamio fuerte con un modelo de nivel medio, Claude 4.5 Sonnet con Confucius Code Agent en 52.7, puede superar a un modelo más fuerte con un andamio más débil, Claude 4.5 Opus con 52.0.
En SWE Bench Verified, Confucius Code Agent con Claude 4 Sonnet alcanza Resolve@1 74,6, en comparación con 66,6 para SWE Agent y 72,8 para OpenHands. Una variante mini SWE Agent con Claude 4.5 Sonnet alcanza 70.6, que también está por debajo de Confucius Code Agent con Claude 4 Sonnet.
El equipo de investigación también informa el rendimiento en función del recuento de archivos editados. Para tareas de edición de 1 a 2 archivos, Confucius Code Agent alcanza 57,8 Resolve@1, para 3 a 4 archivos alcanza 49,2, para 5 a 6 archivos alcanza 44,1, para 7 a 10 archivos alcanza 52,6 y para más de 10 archivos alcanza 44,4. Esto indica un comportamiento estable en cambios de varios archivos en bases de código grandes.
Conclusiones clave
El andamiaje puede superar el tamaño del modelo: Confucius Code Agent muestra que con un andamiaje fuerte, Claude 4.5 Sonnet alcanza 52.7 Resolve@1 en SWE-Bench-Pro, superando a Claude 4.5 Opus con un andamio más débil de 52.0. La memoria de trabajo jerárquica es esencial para la codificación de horizontes largos: el orquestador del SDK de Confucius utiliza la memoria de trabajo jerárquica y la compresión de contexto para gestionar trayectorias largas en repositorios grandes, en lugar de depender de un simple historial continuo. Las notas persistentes actúan como una memoria efectiva entre sesiones: en 151 tareas de SWE-Bench-Pro con Claude 4.5 Sonnet, la reutilización de notas estructuradas reduce los turnos de 64 a 61, el uso de tokens de aproximadamente 104k a 93k y aumenta Resolve@1 de 53,0 a 54,4. La configuración de la herramienta impacta materialmente las tasas de éxito: en un subconjunto de 100 tareas SWE-Bench-Pro, pasar de un manejo de herramientas simple a un manejo más rico con Claude 4.5 Sonnet aumenta Resolve@1 de 44,0 a 51,6, lo que indica que las estrategias de recuperación y enrutamiento de herramientas aprendidas son una importante palanca de rendimiento, no solo un detalle de implementación. El metaagente automatiza el diseño y ajuste del agente: un metaagente propone iterativamente indicaciones, conjuntos de herramientas y configuraciones, luego los evalúa y edita en un ciclo de compilación, prueba y mejora, y la producción del Agente de Código Confucio se genera con este proceso en lugar de solo un ajuste manual.
Consulte el DOCUMENTO AQUÍ. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Consulte nuestra última versión de ai2025.dev, una plataforma de análisis centrada en 2025 que convierte los lanzamientos de modelos, los puntos de referencia y la actividad del ecosistema en un conjunto de datos estructurado que puede filtrar, comparar y exportar.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.