Los agentes con horizontes a largo plazo han convertido el servicio de LLM en una carga de trabajo que requiere muchos aportes. Los prerrellenos repetidos y los contextos de millones de tokens dejan cachés KV que sobrecargan la capacidad de HBM, SSD y el ancho de banda. DeepSeek AI creó su versión más reciente en torno a ese cuello de botella exacto. DeepSeek-V4.1-Flash es un modelo multimodal de mezcla de expertos con 552 B de parámetros de red troncal, 196 B de parámetros de Engram adicionales y una ventana de contexto de 1 M de token. Activa 8B de parámetros por token durante el precarga y 16B durante la decodificación. El número principal es una huella de caché KV global de 890 bytes por token, aproximadamente 1/4 de DeepSeek-V4-Flash y aproximadamente 437 veces más pequeña que DeepSeek-V1.
¿Es desplegable? Sí. Los pesos abiertos se envían bajo una licencia del MIT con rutas vLLM, SGLang y Transformers en Hugging Face, y el equipo de investigación describe una API pública con niveles de razonamiento bajo, alto y máximo.
Codificador-decodificador causal: la mitad del precarga
La columna vertebral de 40 capas se divide en un codificador causal de 20 capas y un decodificador de 20 capas. Inspirado en YOCO, el decodificador no calcula su propio KV global. En cambio, los pesos de proyección por capa los derivan del estado oculto del codificador final. Por lo tanto, los tokens de aviso se detienen en el codificador, lo que casi reduce a la mitad el cálculo previo al llenado. La atención de ventana deslizante (SWA) con una ventana de 128 tokens aún se ejecuta en cada capa, por lo que los estados SWA del decodificador se reconstruyen reproduciendo solo los últimos 128 tokens de aviso. El equipo de investigación llama a esto Decoder SWA Bounded Replay.
Atención escasa comprimida 2 (CSA2)
DeepSeek-V4 combinó CSA con atención muy comprimida. V4.1-Flash utiliza CSA2 puro y ataca el tamaño de la caché a lo largo del eje de la capa. A cada capa CSA2 se le asigna estáticamente uno de 3 modos:
Completo: calcula su propio KV principal, proyecta el indexador K a partir de él y selecciona nuevos índices Top-512. Reindexar: reutiliza el KV principal y el indexador K de la última capa completa, pero los vuelve a puntuar con su propio indexador Q. Reutilizar: reutiliza tanto el KV principal como los índices Top-K más recientes, omitiendo el indexador por completo.
Cada capa mantiene su propio Q y SWA KV principal. Las 18 capas del codificador CSA2 utilizan una relación de compresión de 2 en 3 grupos de 6 (1 completa, 5 reutilizadas). Las 20 capas decodificadoras utilizan la proporción 1 en 5 grupos de 4: la primera es Completa más 3 Reutilización, el resto Reindexada más 3 Reutilización. Un indexador jerárquico disperso en el decodificador permite que la capa completa cree un grupo de candidatos de hasta 16 384 posiciones (2048 bloques de 8), por lo que las capas reindexadas posteriores puntúan un conjunto acotado en lugar de todo el contexto.
FP4 KV, repetición limitada y otras extensiones
La caché KV principal está cuantificada en E2M1 con una escala E4M3 por 16 canales, siguiendo a NVFP4 sin su escala global. Esto se introduce a través de una capacitación consciente de la cuantificación en la etapa posterior a la capacitación y casi reduce a la mitad el almacenamiento en comparación con la caché FP8 de V4.
En el nivel de implementación, SWA KV ya no persiste en SSD. Vive en un grupo distribuido creado a partir del 10 % de la DRAM del host con un TTL de minutos, mientras que el KV global mantiene una vida útil garantizada de 72 horas. En caso de error, Encoder SWA Bounded Replay vuelve a calcular solo 128 tokens en lugar de capas de ventana de tiempos.
Otros cambios incluyen Single-Pass mHC, que cambia los coeficientes de mezcla de entrada en un bloque para que un núcleo Mega-mHC fusionado pueda reducir a la mitad el tráfico de memoria de activación, el módulo de memoria condicional Engram en las capas 1 y 14, la decodificación especulativa DSpark entrenada después del pre-entrenamiento con la columna vertebral congelada y Muon en la cabeza. Los FLOP de decodificación de un solo token aumentan solo 1/4 cuando el contexto crece de 4K a 1M.
Entrenamiento y Resultados
La capacitación previa cubre tokens multimodales de 45T en una proporción de texto a multimodal de 7:1. La atención escasa se entrena desde cero con una longitud de secuencia de 64K sin un calentamiento denso, y el contexto se extiende a 1 millón con 34T de tokens. El modelo base coincide con DeepSeek-V4-Pro-Base en conocimiento y codificación mundial mientras utiliza 1/3 del total y 1/4 de los parámetros activados.
El post-entrenamiento no introduce nuevos algoritmos. Las ganancias provienen de la síntesis a gran escala de tareas de agentes verificables, RL en andamios heterogéneos (Claude Code, Codex, OpenCode, Pi, mini-SWE, DeepSeek Harness) y la destilación de políticas de más de 40 profesores. Resultados de esfuerzo máximo seleccionados: