y su tarjeta de sistema. Las decisiones que lo hicieron bueno se quedan internas: cómo se entrenó, contra qué se enfrentaba su aprendizaje por refuerzo, cómo lo consiguieron lo suficientemente barato para funcionar. Ése es el trato normal con un laboratorio de vanguardia, y la mayor parte de los escritos externos sobre estos sistemas tienen que trabajar únicamente a partir de los resultados.
Kimi K3 es la excepción que vale la pena leer. Es abierto, se encuentra cerca de los mejores modelos cerrados en la mayoría de los puntos de referencia, y Moonshot publicó un informe técnico de cuarenta y siete que analiza las partes que otros laboratorios mantienen privadas. Lo leí durante una tarde. Lo que me quedó grabado es la pequeña parte del trabajo que representa el modelo en sí.
Una advertencia desde el principio. Todo lo específico a continuación es de Moonshot. Supongo que los laboratorios cerrados hacen sus propias versiones de las mismas categorías de trabajo, pero lo infiero desde el exterior, así que lea las afirmaciones más amplias de "así es como se ve la frontera" como una suposición.
La arquitectura es una pila de pequeños cambios.
La arquitectura es el lugar obvio para comenzar y es la que tiene menos sorpresas. K3 es un modelo de mezcla de expertos de 2,8 billones de parámetros, y lo que lo eleva con respecto al último Kimi son tres cambios de ingeniería bastante comunes apilados juntos.
La atención mantiene un estado de ejecución de tamaño fijo en lugar de un caché que crece con la entrada, que es lo que hace que un contexto de un millón de tokens sea asequible; la mayoría de las capas usan esa versión barata y una de cada cuatro pone toda su atención. Las posiciones no están codificadas explícitamente, por lo que la recurrencia debe incluirlas, lo que permite que el modelo se extienda a un millón de tokens sin los habituales trucos de reescalado. Cada capa también puede mirar hacia atrás a cada capa debajo de ella, no solo a la que está directamente debajo, por lo que la señal temprana no se desvanece en el camino hacia arriba. Y cada token se envía a 16 de 896 expertos, menos que antes, lo que requiere mucho cuidado para mantenerse estable.
Moonshot informa una ganancia de 2,5 veces en la eficiencia de escalado con respecto a Kimi K2, aproximadamente la misma calidad para menos de la mitad del cálculo de entrenamiento. Acredita la arquitectura junto con datos refinados y recetas de entrenamiento, sin repartir la ganancia entre ellos, así que no lea el 2.5× como tres cambios de arquitectura que se multiplican. Cada pieza es una idea ordinaria y bien probada, más que un único avance.
Los tres cambios en inglés sencillo.
Cada uno de los tres es fácil de retener en tu cabeza una vez que abandonas la notación, y la versión simple es donde vive la intuición.
La atención es una tabla de búsqueda y es por eso que el contexto largo es costoso. Un transformador maneja cada token revisando cada token anterior y obteniendo una combinación ponderada de ellos, una búsqueda suave. Para hacerlo, mantiene un pequeño registro de clave y valor para cada token hasta el momento, el caché KV. Piense en un archivador que nunca tira una tarjeta: cada nueva palabra archiva una tarjeta y luego hojea todas las tarjetas que ya están en el cajón para decidir a qué atender. Bien con unos pocos miles de palabras. Con un millón, el cajón es enorme y cada nueva palabra revuelve todo el asunto, por lo que el costo aumenta con el cuadrado de la longitud.
La atención principal de K3 cambia el gabinete por un resumen único, un bloc de notas de tamaño fijo sobre el que escribe a medida que avanza. El bloc de notas nunca crece, y ese tamaño fijo es lo que hace que un contexto de un millón de tokens sea asequible. A lo que se renuncia es a que un resumen no puede conservarlo todo, por lo que tiene que olvidarse, y K3 le entrega un dial por función para ver qué tan rápido se desvanecen los viejos detalles. Un resumen tampoco puede recuperar un token anterior exacto bajo demanda, por lo que K3 mantiene una capa de gabinete verdadera por cada tres capas de bloc de notas y compra la recuperación precisa donde cuenta.
Las capas de estado fijo ya rastrean el orden a medida que se actualizan, lo que permite a K3 eliminar por completo las codificaciones posicionales explícitas. La mayoría de los modelos fijan la posición en la atención con algo como RoPE, y ampliar la ventana de contexto más tarde significa reescalar esas frecuencias o interpolarlas, lo cual es complicado y genera pérdidas. La recurrencia de K3 lleva la posición de forma gratuita, por lo que los mismos pesos corren a 8K durante el entrenamiento inicial y a 1M después de la etapa de contexto largo sin cirugía posicional en el medio.
El mismo truco de búsqueda, un nivel más arriba. Apila muchas capas y cada una normalmente agrega su salida a un total acumulado compartido que fluye por la red. Imagínese ese total cuando un bloc de notas pasó a una fila de personas, cada una de las cuales garabateó una línea. En la parte superior, las primeras líneas quedan enterradas y la red quema capacidad simplemente para mantener viva la información inicial. Los residuos de atención permiten que una capa retroceda y lea directamente las salidas de las capas anteriores, ponderándolas con un softmax, la misma maquinaria de búsqueda suave que la atención, pero apuntando a través de la profundidad en lugar de a través de la secuencia. Una capa extrae una mezcla de la fuente en lugar de reproducir el teléfono en la pila. El costo es memoria en lugar de nueva maquinaria: la salida de cada capa tiene que permanecer activa para las que están por encima de ella, por lo que K3 atiende a un puñado de resúmenes de bloques en lugar de todas sus noventa y pico de capas para mantener esa factura baja.
Una combinación de expertos envía cada token a un puñado de especialistas. En lugar de enviar cada token a través de una red gigante de retroalimentación, K3 mantiene 896 redes expertas más pequeñas y un enrutador que entrega cada token a solo 16 de ellas. Imagínese un hospital con 896 especialistas y un servicio de clasificación. Ningún paciente ve a todos; el escritorio elige a los pocos que encajan. Así es como el modelo puede contener 2,8 billones de parámetros y aún así ejecutar sólo 104 mil millones por cada token determinado. La capacidad y el costo por token son independientes, por lo que puedes agregar expertos para ampliar la gama del modelo sin tener que pagar para ejecutarlos todos. El ahorro se produce en el cálculo, no en la memoria: los 2,8 billones de parámetros todavía tienen que permanecer en una memoria rápida para que sean accesibles, lo que explica en parte por qué servir un modelo de este tamaño es un problema de clúster. El problema es que los enrutadores tienen favoritos. Déjelo en paz y aprenderá a canalizar la mayoría de las fichas hacia un puñado de expertos estrella, que se atascan mientras el resto permanece inactivo y sin entrenamiento. Por lo tanto, un Ministerio de Educación en funcionamiento tiene que forzar la carga para que quede plana, de la misma manera que un maître distribuye los comensales entre todos los camareros en lugar de sentar cada mesa en una sección. K3 utiliza una regla que empuja a cada experto hacia una parte igual, y luchar con ese equilibrio es una buena parte de por qué los modelos grandes y dispersos están nerviosos al entrenar.
Todo se reduce a tres ideas: búsqueda suave, que aparece sobre tokens y nuevamente sobre capas; un estado de ejecución de tamaño fijo que reemplaza esa búsqueda siempre que se vuelva demasiado costosa; y escasez, que permite que el modelo crezca ampliamente sin aumentar su costo por token.
Ejecutar una recurrencia en serie en hardware paralelo
El estado de ejecución que hace que Kimi Delta Attention (KDA) sea barato crea su propio problema, y cómo lo maneja Moonshot es una de las partes más interesantes del informe. Una recurrencia es serial por naturaleza: el estado después del token t depende del estado después del token t-1, por lo que la implementación ingenua recorre la secuencia un token a la vez. Una GPU es el tipo opuesto de máquina, diseñada para ejecutar miles de operaciones a la vez, y un estricto bucle de izquierda a derecha deja casi todo inactivo.
La salida es una formulación fragmentaria. Divida la secuencia en trozos de unos cientos de fichas. Dentro de un fragmento, la recurrencia se puede reescribir como un par de multiplicaciones de matrices densas, que es exactamente en lo que son rápidos los núcleos tensores de la GPU, por lo que todo dentro de un fragmento se ejecuta en paralelo. Sólo el estado pequeño y de tamaño fijo tiene que pasar de un fragmento al siguiente, y esa transferencia es el único paso en serie que queda. Luego, el núcleo de Moonshot superpone la transferencia con el trabajo de matriz del siguiente fragmento, por lo que los núcleos rara vez se detienen esperando. Casi todo el costo se convierte en matmul paralelo y la parte en serie se reduce a una fracción del tiempo de ejecución.
Para distribuir una única secuencia muy larga en varias GPU se necesita una idea más. La atención ordinaria debe enviar un bloque creciente de claves y valores entre GPU a medida que el contexto se alarga; La atención lineal solo pasa por su estado de tamaño fijo, que es mucho más barato. La complicación es que la actualización cerrada de KDA no le permitirá simplemente sumar el estado calculado localmente de cada GPU, porque su regla delta multiplica el estado entrante por una matriz dependiente del token, por lo que lo que hace un segmento depende del estado en el que entró. La respuesta de Moonshot divide cada segmento en dos cosas que una GPU puede calcular por sí sola, ciega al estado entrante: una matriz de transición que captura lo que hace el segmento en cualquier estado alimentado y un estado separado construido como si hubiera comenzado desde cero. Esas piezas se combinan en orden, por lo que el verdadero estado inicial de cada GPU se reconstruye con un único intercambio de tamaño fijo y un escaneo de las filas. El lado de la atención de un paso de entrenamiento de un millón de tokens sólo necesita ese pequeño intercambio fijo por fragmento, no el tráfico que crece con la secuencia. Los expertos todavía pagan su habitual distribución aleatoria por token entre GPU, pero esa nunca fue la parte que mejoró con el contexto; esto arregla la parte que lo hizo.
La mayor parte del trabajo consiste en construir entornos.
Los laboratorios cerrados resumen esta etapa en una sola línea. "Lo entrenamos con aprendizaje reforzado en tareas de agencia". Moonshot dedica veinte páginas a lo que eso implica, y es la visión más clara que he tenido al respecto.
Casi todo el aprendizaje por refuerzo de K3 se ejecuta en entornos que el equipo tuvo que construir a mano, cada uno capaz de comprobar sus propias respuestas. Para la codificación, hay una suite de kernel de GPU que califica una solución en corrección y velocidad frente a una versión experta, conectada con un detector de piratería que acopla el modelo para fingir la victoria mediante trucos como la reproducción de gráficos CUDA o la precisión de caída. Para el trabajo de asistente, existen simulacros de Gmail, Notion, Slack y Canvas que mantienen el estado durante días simulados, donde una tarea puede ejecutar miles de llamadas a herramientas.
Una pareja merece una mirada más cercana.
Las tareas de ejecución autónoma son las más difíciles del conjunto. Cada uno entrega al agente un estado de partida, una meta, un conjunto de herramientas, un presupuesto y un verificador, y nada más, ninguna solución de referencia ni ningún procedimiento que copiar. El agente tiene que descomponer el problema, planificar, actuar, recuperarse de sus propios errores y decidir cuándo está hecho, y sólo puntúa por lo que el verificador encuentra en el estado final, no por su propia afirmación de haber terminado. Los ejemplos del informe incluyen la reconstrucción de un sistema oculto a partir de consultas de caja negra, el descubrimiento de factores cuantitativos y la auditoría fiscal. Para evitar que el modelo juegue con el evaluador, dividieron el verificador en dos. Uno público proporciona información de diagnóstico de la que el agente puede aprender; uno oculto puntúa casos ocultos que el agente nunca ve.
La suite de optimización del kernel sigue la misma carrera armamentista. Las recompensas allí combinan corrección y velocidad frente a una implementación experta, por lo que un modelo perezoso busca un atajo, reproduciendo un gráfico CUDA almacenado en caché, almacenando en caché entradas y perdiendo silenciosamente la precisión numérica. Cada uno de ellos obtiene buenos resultados sin hacer el trabajo, y cada uno tuvo que ser detectado y penalizado, con nuevos guardias agregados a medida que el modelo encontraba nuevas trampas durante el entrenamiento. Ese ir y venir, una niveladora y un modelo sondeándolo en busca de agujeros, es la mayor parte de lo que implica la construcción de un entorno.
De dónde provienen las tareas formativas
Un entorno sólo ayuda si puedes alimentarlo con suficientes tareas buenas y, a esta escala, nadie las escribe a mano. Moonshot los construye a partir de un gráfico de conocimiento que los propios agentes desarrollan. Comienza con un puñado de temas generales; un agente toma cada nodo, busca en la web para comprender el concepto y agrega subconceptos más detallados debajo de él, verificando lo que ya existe para reutilizar los nodos en lugar de duplicarlos. Una rama deja de crecer una vez que su concepto es lo suficientemente específico como para ser atómico. Lo que se obtiene al final es una jerarquía que va desde dominios amplios hasta rincones estrechos y especializados.
Luego, las tareas se extraen de ese gráfico muestreando nodos, a veces un solo concepto fino, a veces un grupo de conceptos relacionados, y combinando sus palabras clave junto con el contexto de sus nodos principales en consultas web. Los artículos, códigos y documentos reales que devuelven esas consultas se entregan a un agente de síntesis que escribe la tarea real. Un muestreo más profundo o menos profundo determina qué tan especializada es la tarea; el muestreo entre diferentes ramas establece la cobertura. Eso le da al equipo un control sobre la distribución del entrenamiento, para que puedan apuntar a puntos débiles en lugar de generar más de lo que el modelo ya maneja.
Un segundo truco apunta a un fallo más sutil. Un agente entrenado dentro de un arnés fijo, con un esquema de herramienta y una forma de gestionar el contexto, aprende tanto ese arnés como la tarea subyacente. Entonces Moonshot hace que el arnés sea configurable, un kit de piezas intercambiables para herramientas, indicaciones, memoria y subagentes, y lo ensambla en configuraciones convencionales como Claude Code, Codex y su propio Kimi Code, o en otras nuevas. A lo largo del entrenamiento, el modelo cumple con muchas de estas disposiciones, por lo que generaliza entre andamios en lugar de memorizar uno.
De nueve expertos en un solo modelo
El oleoducto se desarrolla en tres etapas. Un pase de ajuste supervisado le da al modelo una política de arranque competente. Luego, aprendizaje por refuerzo, y no como una sola ejecución. Moonshot se entrena en tres amplios dominios (tareas generales, agentes generales y agentes de codificación) en tres niveles separados de esfuerzo de razonamiento: bajo, alto y máximo. Tres dominios multiplicados por tres niveles de esfuerzo dan nueve modelos especializados, cada uno bueno en su propia porción. Capacitarlos por separado probablemente evita la interferencia que se produce cuando una política tiene que cumplir con la codificación, el trabajo general y tres regímenes de esfuerzo a la vez; cada especialista asciende más rápido en su propia porción, y los conflictos se dejan para que se destilen para reconciliarlos. La tercera etapa, la destilación de políticas de varios maestros, reúne los nueve en un único modelo que usted descarga, en el que cada especialista enseña al estudiante lo que mejor sabe.
La parte del esfuerzo de razonamiento también es instructiva. Durante RL, cada problema recibe un presupuesto simbólico estimado a partir del modelo de arranque en frío, y cualquier trayectoria que supere un múltiplo de ese presupuesto tiene su recompensa sobrescrita con una penalización. Caminatas de entrenamiento que se multiplican por etapas, desde un presupuesto máximo generoso hasta configuraciones estrictas de bajo esfuerzo, que es como terminas con un modelo al que se le puede decir que piense mucho o que piense con poco dinero y que realmente respete la diferencia. La misma idea presupuestaria reaparece en el lado de la recompensa: para tareas sin verificador automático, un modelo de recompensa generativo califica a los candidatos según una rúbrica que escribe en el momento, y un candidato que se ejecuta demasiado tiempo pierde automáticamente, por lo que el modelo no puede ganar rellenando su respuesta.
Tomadas una a la vez, estas son técnicas estándar. Lo que destaca es que la configuración ocurre en el circuito de entrenamiento y el diseño de recompensa, no en la red.
Un modelo de frontera es también un gran proyecto de sistemas.
Si esperaba principalmente aprendizaje automático, la gran cantidad de sistemas simples que funcionan es una sacudida. La mayor parte de la ingeniería consiste en lograr que tres cosas incómodas funcionen juntas: un modelo de atención lineal, una red dispersa de 2,8 billones de parámetros y despliegues que se extienden hasta un millón de tokens.
Algo de ello es vívido. Ejecutaron un entorno limitado de microVM en Firecracker que realiza puntos de control en 133 ms y se reanuda en 49 ms, y generaron 51 millones de entornos limitados durante el proyecto. Una parte de la arquitectura también está determinada por cómo se servirá el modelo. Entrenan con los pesos expertos cuantificados a 4 bits en el paso hacia adelante, no solo al final, de modo que el modelo aprende a vivir con la precisión con la que se implementará, sin que la inferencia del tren coincida más tarde. También entrenan el borrador del modelo de decodificación especulativa a partir de una pequeña capa de predicción integrada en la red y lo optimizan directamente para la tasa de aceptación que rige la aceleración, en lugar de un proxy. Ambas son opciones de arquitectura impulsadas por el costo del servicio, no por la precisión.
Algunos estudios de caso lo demuestran. K3 ajustó sus propios núcleos de atención y Moonshot dice que un punto de control temprano ya estaba manejando la mayor parte del trabajo del núcleo del equipo al final del proyecto. Escribió un compilador tipo Triton de extremo a extremo y, en una ejecución autónoma separada, dispuso un pequeño chip de inferencia que cierra el tiempo a 100 MHz. En un estudio de caso de investigación, reprodujo una serie de resultados de astrofísica, cotejando más de veinte artículos y miles de líneas de su propio código, en un par de horas frente a una estimación humana de una o dos semanas. Toma los números específicos con tanta sal como quieras. El informe plantea que los sistemas funcionan como un esfuerzo humano de élite, y el modelo ya está haciendo una buena parte de ello.
Las lecciones de servicio que se transfieren por debajo de la escala fronteriza
Eso fue construir el modelo. La última parte del informe trata sobre su ejecución, y es lo que le entregaría primero a un ingeniero en activo, porque la mayor parte se aplica mucho antes de servir algo con 3 billones de parámetros.
La economía estableció el resto. El costo de servicio de K3 es bajo por diseño, y la mayoría de las palancas detrás de él son infraestructura ordinaria, giradas en torno a un hecho inusual sobre los modelos de lenguaje. Cada solicitud conlleva un estado grande, reutilizable y costoso de reconstruir, y el diseño de servicio trata ese estado como un recurso escaso.
La más barata de esas palancas es el almacenamiento en caché de prefijos. En una larga sesión de codificación, una solicitud típica es un prefijo de 400.000 tokens que contiene solo 4.000 tokens de trabajo genuinamente nuevo. Vuelva a ejecutar el prefijo completo en cada paso y pagará por todo en cada paso; cachéelo y un acierto cuesta aproximadamente una centésima parte de un error. Cualquier agente que recorra un contexto en crecimiento paga este costo una y otra vez, lo que hace que la tasa de aciertos de caché sea el número alrededor del cual diseñar. K3 tiene su propio problema aquí: un caché KV en crecimiento se puede reutilizar hasta cualquier punto que desee, pero un estado de ejecución de tamaño fijo solo existe cuando guardó una copia, por lo que sus capas de atención lineal tienen que verificar su estado a intervalos para una solicitud posterior para tener algo para reutilizar.
Una vez que se almacena en caché un prefijo, la solicitud es mucho más barata en la máquina que contiene ese caché que en una fría, porque el envío del caché es lento, por lo que Moonshot fija cada sesión al clúster que posee su prefijo y le proporciona un clúster de respaldo a través de un hash consistente en caso de que el primario muera.
El problema más sutil es mezclar los tamaños de las solicitudes. El tráfico real varía desde solicitudes de 2.000 tokens hasta solicitudes de 1 millón de tokens, por lo que el costo por solicitud abarca tres órdenes de magnitud, y una ráfaga de las grandes se comerá la caja y dejará solicitudes cortas en cola hasta que la latencia colapse para todos. La solución de Moonshot es darle a cada clase de tamaño su propio presupuesto, por lo que una avalancha de solicitudes largas solo puede morir de hambre. Dos ideas más pequeñas lo completan: organizar el caché en niveles, de modo que los prefijos inactivos se envíen desde la memoria de la GPU a la RAM de la CPU y se retiren antes de su reutilización; y establecer la concurrencia a partir de señales en vivo, como la presión de la caché y la profundidad de la cola, en lugar de una suposición fija que es demasiado tímida al principio y sobrecargada al final.
Todas las piezas son estándar: almacenamiento en caché, enrutamiento, control de admisión y contrapresión, el conjunto de herramientas de cualquier servicio ocupado. El único inconveniente es una carga de trabajo en la que el estado por solicitud es enorme.
Lo que dicen los números independientes
Una receta sólo es interesante si el resultado es bueno y los números independientes importan más que los del laboratorio. En sus propios puntos de referencia, K3 está detrás de Claude Fable 5 y GPT-5.6 Sol y supera al resto del campo, que es más o menos la historia que también cuentan las evaluaciones externas. Artificial Analysis lo ubica en tercer lugar entre las familias de modelos en su índice de inteligencia, solo detrás de Claude Fable 5 y GPT-5.6 Sol; Ocupa el cuarto lugar de 580 entradas sin procesar, porque dos de las configuraciones de esfuerzo de GPT-5.6 Sol se encuentran encima como filas separadas. En el WebDev Arena, votado por la multitud, ocupa el primer lugar de todos los modelos, el primer modelo abierto en encabezar ese tablero, aunque una arena mide qué resultados prefieren los humanos en una familia de tareas, una pregunta más limitada que un índice compuesto; es el único tablero en el que K3 lidera claramente. La suite ponderada por industria de Vals AI ocupa el segundo lugar entre treinta y nueve. No es el mejor modelo disponible, pero entre los modelos abiertos es claramente el más fuerte y la brecha con la frontera es pequeña.
El panorama de costos debería interesar a cualquiera que pague una factura de inferencia, aunque ambas cifras aquí son análisis del propio Moonshot. En BrowseComp, obtiene la puntuación más alta con alrededor de dos dólares por tarea, aproximadamente la mitad del precio del modelo cerrado más cercano con el máximo esfuerzo y un orden de magnitud por debajo del más caro. En un punto de referencia de codificación interna, su configuración de alto esfuerzo coincide con la puntuación de esfuerzo máximo de un modelo cerrado fuerte a aproximadamente un tercio del precio. Estos son precios de API en lugar de costos de computación, y los modelos abiertos son alojados por proveedores competidores que ofrecen sus márgenes a la baja, por lo que parte de la brecha es la estructura del mercado, no la ingeniería. Aun así, se sitúa en la frontera precio-eficiencia o cerca de ella.
Los resultados de seguridad son lo más específico del informe. Al descubrir vulnerabilidades, el modelo reveló errores genuinos en el software actual y ampliamente implementado, y de los hallazgos que pasaron a revisión humana, alrededor del 70% se confirmó como reales, incluidas dieciséis vulnerabilidades previamente desconocidas en seis proyectos. Dos estaban en el kernel de Linux: una escritura fuera de límites activable de forma remota y un error de escalada de privilegios en el subsistema RDMA donde una solución anterior había eliminado una verificación de permisos. En cuanto a la escritura de exploits de extremo a extremo, resolvió 14 de 36 tareas contra 8 del rival abierto más fuerte, GLM, aunque se detuvo en los objetivos del kernel reforzados. La propia suite de Moonshot deja aquí los modelos cerrados de frontera, porque rechazan este tipo de tareas a través de sus API públicas. Una evaluación separada realizada por el Instituto de Seguridad de IA del Reino Unido y el CAISI de EE. UU., que puede probar los modelos cerrados con acceso privilegiado, aterrizó prácticamente en el mismo lugar: K3 por encima de la competencia abierta, por debajo de los modelos cibernéticos de frontera e incapaz de terminar las cadenas de explotación más difíciles.
¿Por qué los laboratorios cerrados mantienen esto en secreto?
La razón por la que la receta permanece adentro no es una conspiración. La arquitectura es un montón de ideas publicadas que cualquiera con conocimientos de computación podría copiar. Los entornos, la maquinaria de recompensa, la infraestructura y los canales de datos son las partes costosas y difíciles de conseguir, y esas son la ventaja que realmente es defendible. La obtención abierta de pesas entrega lo menos protegido que posee un laboratorio. Publicar el informe, como lo hizo Moonshot, es más de lo que la mayoría haría, e incluso frena la combinación exacta de datos y muchos de los controles.
También dice algo sobre dónde reside ahora la ventaja. El foso solía ser el modelo mismo; ahora son los aparatos que lo rodean, los entornos que pueden calificar una tarea, los modelos de recompensa que son difíciles de jugar, la pila de servicios que mantiene barato un buen modelo. Se necesitan años para construirlos y ninguno se queda con las pesas. Un modelo abierto se combina o se destila en unos meses; las herramientas detrás de él no se mueven tan rápido.
Pesos abiertos y herramientas ofensivas.
Toda esta apertura tiene un costo. El mismo K3 que encuentra vulnerabilidades reales y escribe exploits funcionales se puede descargar gratis y, una vez que está en su propio hardware, responde sin ninguno de los rechazos o registros que una API alojada puede imponer. El propio informe muestra esa división: los modelos de frontera cerrada reducen el trabajo cibernético en la API pública, mientras que los abiertos lo llevan a cabo.
Sin embargo, esa “descarga gratuita” merece una advertencia. Los pesos son abiertos, pero la licencia no es del tipo permisivo. Moonshot mantiene las condiciones comerciales: un negocio de modelo como servicio que supera los veinte millones de dólares al año tiene que negociar un acuerdo por separado, y las implementaciones más grandes tienen que mostrar el nombre Kimi K3 en su interfaz. El uso interno ordinario dentro de una empresa no tiene restricciones, por lo que la mayoría de las empresas no tecnológicas pueden ejecutarlo sin pensarlo dos veces. Para la cuestión del uso indebido, nada de eso importa, ya que un atacante que escribe malware no respetará una cláusula de atribución. Lo que sí eleva el listón es el tamaño: con alrededor de 1,5 terabytes, los pesos requieren hardware serio, lo que descarta el uso local casual incluso cuando un operador determinado, o un clúster alquilado, lo elimina sin muchos problemas.
Un análisis reciente del GLM, otro fuerte modelo abierto, agudiza el panorama a corto plazo. Su argumento es que los modelos de esta clase ahora pueden producir los componentes básicos rutinarios de las herramientas ofensivas a partir de indicaciones bastante ligeras, el texto estándar que solía consumir la tarde de un operador. No agrega capacidad; elimina el esfuerzo de ensamblar herramientas que los operadores ya sabían construir. Las partes que siempre fueron difíciles (mapear una red desconocida, superar las defensas actuales de los terminales, evitar la atribución) todavía necesitan un ser humano capacitado. Por lo tanto, el efecto a corto plazo es principalmente volumen, muchas más muestras baratas y casi idénticas, lo que es suficiente por sí solo para mitigar la detección basada en firmas y empujar a los defensores hacia métodos conductuales.
Dónde enfocarte si construyes con estos modelos
Si construye con estos modelos en lugar de entrenarlos, el informe es una pista bastante directa sobre dónde dirigir su atención.
La señal más clara es que la evaluación y el diseño ambiental son ahora verdaderas disciplinas de ingeniería. La mayor parte del esfuerzo en todo el informe es crear tareas que una máquina pueda calificar y cerrar las formas en que un modelo las juega, que es la misma habilidad que se necesita para enviar un agente en el que puede confiar en la producción. Aprender a escribir un buen verificador y a pensar de manera adversa sobre cómo un modelo lo engañará se transfiere directamente del bucle RL de Moonshot a su propio arnés de evaluación, y es una habilidad que casi no depende de ningún proveedor.
La ingeniería a largo plazo le sigue de cerca. K3 está diseñado para ejecuciones de cientos a miles de llamadas de herramientas sobre un millón de tokens de contexto, y el trabajo que hace que esas ejecuciones se mantengan unidas (administración de contexto, diseño de arnés, aislamiento de espacio aislado, estado reanudable) ahora es su propia disciplina, separada de las indicaciones y del entrenamiento.
Servir a la economía es el tercero y el más inmediatamente práctico. Las ventajas de costos en el informe provienen del almacenamiento en caché de prefijos, el enrutamiento con reconocimiento de caché, la cuantificación y el presupuesto de clases de solicitud, y cada uno de ellos está disponible para un equipo pequeño en un puñado de máquinas. Hacer que un modelo capaz sea barato de ejecutar es algo que los laboratorios fronterizos consideran un resultado de primera plana.
El trabajo de sistemas y kernel está ligeramente separado, porque es claramente valioso y es lo que el modelo está automatizando más rápido. Aprendería lo suficiente para dirigirlo y comprobarlo en lugar de apostar mi carrera a escribir a mano los núcleos que el modelo pronto redactará. Y yo dedicaría el menor esfuerzo a perseguir la novedad arquitectónica por sí misma: las ganancias son reales pero incrementales, provienen de un equipo con ablaciones de 3 billones de parámetros para ejecutar, y son el lugar menos accesible para competir para la mayoría de nosotros.
Descargo de responsabilidad: Los puntos de vista y opiniones expresados en este artículo son míos y no representan los de mi empleador ni los de ninguna organización afiliada. El contenido se basa en la experiencia y la reflexión personal y no debe tomarse como consejo profesional o académico.
📚Referencias
Equipo Kimi, IA Moonshot. (2026). Kimi K3: Inteligencia de fronteras abiertas. El informe técnico de 47 páginas que lee este artículo (un modelo abierto de combinación de expertos de 2,8 billones de parámetros con 104 mil millones de parámetros activos y una ventana de contexto de un millón de tokens) cubre la arquitectura, los entornos de aprendizaje reforzado, el proceso de capacitación, la pila de servicios y las evaluaciones que se analizan aquí. Equipo Kimi. (2025). Kimi Linear: una arquitectura de atención expresiva y eficiente. Se presentó Kimi Delta Attention (KDA), el mecanismo de atención lineal de estado de tamaño fijo junto con el kernel fragmentado y la formulación paralela al contexto, que K3 adopta como capas baratas en su atención híbrida y que sustentan la sección de recurrencia en serie en hardware paralelo. Elango, V., et al. (2026). LatentMoE: hacia una precisión óptima por FLOP y parámetro en una combinación de expertos. Se presentó el diseño de experto enrutado de espacio latente en el que se basa Stable LatentMoE de K3 para escalar a 896 expertos con 16 activos por token, desacoplando la capacidad del modelo de la computación por token y dejando todos los parámetros residentes en la memoria. DeepSeek-IA. (2024). Informe técnico de DeepSeek-V3. Se presentó el esquema de equilibrio de carga auxiliar sin pérdidas para modelos con una gran combinación de expertos que K3 amplía con Quantile Balancing para mantener a casi mil expertos utilizados de manera uniforme durante el entrenamiento.