Moonshot AI acaba de lanzar Kimi K3. Es un modelo de 2,8 billones de parámetros con visión nativa y una ventana de contexto de 1 millón de tokens. Moonshot lo llama el primer modelo abierto de clase 3T del mundo.
¿Qué es Kimi K3?
Kimi K3 es un modelo disperso de mezcla de expertos (MoE) construido sobre dos actualizaciones arquitectónicas. Esos son Kimi Delta Atención (KDA) y Atención Residuales (AttnRes). Ambos cambian la forma en que la información fluye a lo largo de la longitud de la secuencia y la profundidad del modelo. K3 apunta a la codificación, el trabajo del conocimiento y el razonamiento a largo plazo.
El equipo de Moonshot afirma que el K3 es el primer modelo abierto que alcanza 2,8 billones de parámetros. Durante nueve de los últimos doce meses, los modelos Kimi establecieron el límite superior de tallas de modelos abiertos.
Moonshot también es directo sobre dónde se encuentra K3. El rendimiento general aún está por detrás de los modelos propietarios más potentes, Claude Fable 5 y GPT 5.6 Sol. En todo el conjunto de evaluaciones de Moonshot, el K3 superó consistentemente a otros modelos probados.
La arquitectura debajo
Kimi Delta Attention (KDA) es un mecanismo de atención lineal híbrido. Moonshot afirma que permite una decodificación hasta 6,3 veces más rápida en contextos de millones de tokens.
AttnRes trabaja a lo largo del otro eje, que es la profundidad. Recupera selectivamente representaciones en profundidad en lugar de acumularlas de manera uniforme. Moonshot afirma que AttnRes ofrece aproximadamente un 25 % más de eficiencia en la capacitación con un costo adicional de menos del 2 %.
La escasez es la tercera palanca. K3 utiliza Stable LatentMoE, activando efectivamente a 16 de 896 expertos. Ante esa escasez, el enrutamiento y la optimización se convierten en desafíos de primer orden. Quantile Balancing deriva la asignación de expertos directamente de los cuantiles de puntuación del enrutador. Eso elimina las actualizaciones heurísticas y un hiperparámetro de equilibrio sensible. Per-Head Muon amplía Muon optimizando la atención de las cabezas de forma independiente. La Unidad Sigmoid Tanh (SiTU) y Gated MLA mejoran el control de activación y la selectividad de la atención, respectivamente.
Estos cambios estructurales van acompañados de recetas refinadas de capacitación y datos. Juntos producen aproximadamente 2,5 veces mejor eficiencia de escalado general que Kimi K2.
Esas elecciones se trasladan al servicio. K3 aplica entrenamiento consciente de la cuantificación desde la etapa SFT en adelante. Utiliza pesos MXFP4 con activaciones MXFP8 para una amplia compatibilidad de hardware. El equipo de Moonshot recomienda configuraciones de supernodo con 64 o más aceleradores. Debido a que KDA plantea nuevos desafíos para el almacenamiento en caché de prefijos, Moonshot contribuyó con una implementación de vLLM.