Cognition, la empresa detrás del agente de codificación Devin, ha lanzado SWE-2, su modelo de codificación más capaz hasta la fecha. SWE-2 está post-entrenado con aprendizaje por refuerzo de Kimi K3, el modelo abierto de parámetros 2.8T de Moonshot AI. Cognition reporta una puntuación del 50,0 % en FrontierCode 1.1 Main, a 1 punto de Fable 5.1 con un costo un 64 % menor. También es el primer modelo de Cognition con niveles de esfuerzo de razonamiento seleccionables, todos entrenados en una sola ejecución de RL.
¿Es desplegable? No en su propia infraestructura. SWE-2 no tiene pesos abiertos ni API independiente. Actualmente solo se ejecuta dentro de Devin: Desktop y CLI, con Devin Web y Fusion implementándose.
¿Qué es SWE-2?
SWE-2 se basa en la infraestructura y la receta detrás de SWE-1.7, que fue entrenado posteriormente por Kimi K2.7. Esta vez, Cognition escaló RL al régimen de varios billones de parámetros, utilizando un modelo base con casi 3 veces los parámetros. Cognition dice que su RL todavía encuentra un margen de maniobra sustancial por encima del K3, sumando de 5 a 6 puntos en muchos puntos de referencia.
El cambio principal es un algoritmo RL que entrena los 3 niveles de esfuerzo en una sola ejecución. Cada nivel conlleva su propia penalización de costos, por lo que toda la frontera de costo y desempeño se mueve al mismo tiempo.
Resultados de referencia
Cognition publicó la siguiente tabla. Los resultados públicos se utilizan cuando están disponibles; de lo contrario, cada modelo funciona con su arnés nativo en el mejor de los casos.
SWE-2 lidera en Terminal-Bench 2.1 y supera su base K3 en cada fila. Cognition dice que está a unos pocos puntos del GPT-6 Astra a una cuarta parte del costo. El claro punto débil es Terminal-Bench 4, donde SWE-2 está detrás de Fable 5.1 y GPT-6 Astra por aproximadamente 30 puntos. FrontierCode es el punto de referencia propio de Cognition, y todos los números rivales provienen de la evaluación de Cognition.
Comportamiento modelo: menos desvíos
SWE-1.7 tendía a explorar demasiado en tareas simples. SWE-2 aborda esto a través de lo que Cognition llama exploración enfocada. En FrontierCode 1.1 Main, SWE-2 medio obtiene puntuaciones más altas que SWE-1.7, toma un 58 % menos de turnos y cuesta un 81 % menos. Los pasos medios por carrera caen de 127 (SWE-1.7) a 53 (medio), 80 (alto) y 98 (máximo). El medio SWE-2 realiza su primera edición real después de una media de 18 pasos, frente a los 48 de SWE-1.7.
El equipo de cognición también informa tres patrones de comportamiento: mayor cobertura de pruebas de un extremo a otro, ingenio cuando se bloquea una herramienta y disciplina de verificación. Cuando se cuestiona, el modelo vuelve a derivar conclusiones en lugar de reafirmarlas.
Cómo fue entrenado
Penalizaciones de costos basadas en Pareto: la recompensa es R = S menos lambda por C, donde S es el éxito binario y C combina el costo de inferencia en USD con el tiempo de implementación. La cognición demuestra que sólo una penalización lineal hace que el objetivo de RL dependa puramente del coste medio y la tasa de resolución. La lambda de cada nivel de esfuerzo se establece en la pendiente local de la curva de Pareto del modelo base. Eso hace que la línea iso-recompensa sea tangente a la frontera, por lo que la recompensa sólo puede aumentar empujando la frontera hacia arriba.
Línea base de recompensa ponderada por longitud: la cognición comparte una línea base utilizada desde SWE-1.6. La magnitud del gradiente se correlaciona fuertemente con la duración del lanzamiento, por lo que la línea base del grupo se pondera mediante tokens: suma (R x L) dividida por suma (L). En las ablaciones, esto mantuvo baja la divergencia KL entre la inferencia y el entrenamiento y estabilizó el entrenamiento sin cálculo adicional.
Distribución de servicios y números: un retardador de precarga agrupa las solicitudes cercanas, lo que aumenta el TPM por GPU y el TPS por solicitud entre un 10 y un 20 %. La decodificación especulativa de DSpark acelera las implementaciones, con un modelo borrador reentrenado a través de SpecForge para longitudes de aceptación un 15% más largas y luego entrenado en línea junto con la política. Los núcleos NVFP4 y FP8 con entrenamiento con reconocimiento de cuantificación mantienen bajo el uso de la memoria y la inferencia de entrenamiento por debajo de los niveles SWE-1.7.
Datos: Cognition triplicó sus entornos RL, agregó superposiciones de seguimiento de instrucciones y construyó un volante que utiliza puntos de control SWE-2 anteriores para parchear falsos positivos y negativos en los verificadores.
Comprobaciones de confiabilidad
Cognition volvió a realizar dos evaluaciones de su estudio de confiabilidad de código abierto. En 145 preguntas políticamente sensibles sobre China, SWE-2 aprobó el 98,0% en general: 99,8% en inglés, 95,2% en chino simplificado y 99,1% en chino tradicional. En una prueba de vulnerabilidad dependiente del contexto entre marcos de clientes, ningún marco produjo un cambio estadísticamente significativo para ningún modelo.