Thinking Machines Lab acaba de lanzar Inkling, su primer modelo entrenado desde cero, los pesos están abiertos y se pueden ajustar con precisión en Tinker. El laboratorio lo presenta como base para la personalización.
¿Qué es Inkling?
Inkling es un transformador de mezcla de expertos con 975 B de parámetros totales y 41 B activos. Admite una ventana de contexto de hasta 1 millón de tokens. La capacitación previa cubrió 45 billones de tokens de texto, imágenes, audio y video. Las entradas aceptan texto, imágenes y audio; la salida es solo texto UTF-8.
El equipo de investigación también presentó una vista previa de Inkling-Small, un MoE de 276B de parámetros con 12B de parámetros activos. Iguala o supera a su hermano mayor en muchos puntos de referencia y sus pesos llegan una vez finalizadas las pruebas. Debido a que la personalización/ajuste es el diferenciador clave, la arquitectura es muy importante aquí.
Dentro de la arquitectura
La arquitectura del modelo incluye un transformador de decodificador de 66 capas únicamente con una red troncal de retroalimentación MoE escasa. Cada capa MoE tiene 256 expertos enrutados más 2 expertos compartidos. Se activan seis expertos enrutados por token y ambos expertos compartidos se activan en cada token. Un enrutador basado en sigmoide maneja la selección, utilizando un sesgo de equilibrio de carga sin pérdidas auxiliares. Las puntuaciones enrutadas y compartidas se normalizan conjuntamente y luego se utilizan para ponderar los resultados combinados. El diseño del MoE sigue en gran medida a DeepSeek-V3.
La atención se aparta de lo convencional. La ventana deslizante y las capas globales se entrelazan en una proporción de 5:1 con cabezales de 8 KV. Position utiliza una incrustación posicional relativa en lugar de RoPE, que, según los informes del laboratorio, extrapola mejor. Se aplican convoluciones cortas después de las proyecciones de clave y valor, y en las salidas de las ramas residuales.
La multimodalidad no tiene codificadores. El audio ingresa como espectrogramas dMel y las imágenes se convierten en parches de 40 × 40 píxeles a través de un hMLP de cuatro capas. Una capa de incrustación liviana proyecta ambos, luego el decodificador los procesa junto con tokens de texto.
El entrenamiento utilizó Muon para pesos de matriz grandes y Adam para otros parámetros, en sistemas NVIDIA GB300 NVL72. Después del entrenamiento se inició desde SFT con datos sintéticos, incluidos los datos generados por Kimi K2.5. La mayor parte de la computación se destinó a RL asincrónica, superó los 30 millones de implementaciones y mejoró de forma logarítmica en todo momento. Esa ejecución de RL también produjo la superficie de control principal del modelo.
Cómo funciona Inkling
Interactivo
Inkling de Thinking Machines Lab es un transformador de mezcla de expertos con parámetros 975B y parámetros activos 41B. Cuatro paneles a continuación animan los mecanismos descritos en su tarjeta modelo y publicación de lanzamiento.
1 · Enrutamiento MoE
2 · Mezcla de atención
3 · Fusión Multimodal
4 · Dial de esfuerzo
256Expertos en ruta
6Enrutado/token
2Expertos compartidos
41Bparámetros activos
Experto inactivo
Enrutado (top-6)
Compartido (siempre activo)
Pausa Enviar un token
Cada capa MoE tiene 256 expertos enrutados y 2 expertos compartidos. Un enrutador basado en sigmoide elige 6 expertos enrutados por token. Las puntuaciones enrutadas seleccionadas y las puntuaciones compartidas se normalizan conjuntamente y luego se utilizan para ponderar los resultados combinados. El equilibrio de carga utiliza un sesgo auxiliar sin pérdidas. Las posiciones de los expertos aquí son ilustrativas; solo los recuentos y la regla de los 6 primeros provienen de la fuente.
66Capas de decodificador
5:1Deslizante: global
8Cabezales KV
1MFichas de contexto
Capa de ventana corredera
capa global
Pausar capa de paso
Inkling intercala capas de ventana deslizante y de atención global en una proporción de 5:1 con cabezales de 8 KV. La posición se codifica con una incrustación posicional relativa en lugar de RoPE, que, según los informes del laboratorio, se extrapola mejor a secuencias más largas. Se aplican convoluciones cortas después de las proyecciones clave y de valor, y en las salidas de la rama residual de atención y MLP. El ancho de ventana mostrado es ilustrativo.
40×40Parche de imagen px
4 capascodificador hMLP
16kHzAudio WAV en
TextoSolo salida
Pausa
Inkling utiliza una arquitectura sin codificador para entradas de audio y visión. El audio llega como espectrogramas dMel y las imágenes se codifican como parches de 40 × 40 píxeles a través de un hMLP de cuatro capas. Ambos pasan a través de una capa de incrustación liviana y luego se procesan conjuntamente con tokens de texto. La salida es solo texto UTF-8. Las imágenes funcionan mejor entre 40 px y 4096 px por dimensión; audio mejor en menos de 20 minutos.
esfuerzo de pensamiento
0,99
—Fichas relativas
—Latencia relativa
0,2–0,99rango barrido
63,8%TB 2,1 a 0,99
Ilustrativo. La forma de la curva es un esquema de la compensación esfuerzo/token, no datos medidos. Anclas verificadas de Thinking Machines Lab: la configuración de esfuerzo pasa de 0,2 a 0,99; todos los puntos de referencia publicados se ejecutan con esfuerzo = 0,99 y temperatura 1,0; Inkling obtiene una puntuación del 63,8 % en Terminal Bench 2.1 (mejor arnés); y coincide con Nemotron 3 Ultra en Terminal Bench 2.1 en aproximadamente un tercio de las fichas. En los transformadores Hugging Face, se pasa el mismo control que Reasoning_effort, con los niveles nombrados ninguno, mínimo, bajo, medio, alto, xalto y máximo.
Esfuerzo de pensamiento controlable
Durante RL, el equipo de investigación se esforzó cambiando el mensaje del sistema y ajustando el costo por token. En consecuencia, el modelo aprendió a gastar diferentes presupuestos simbólicos en diferentes implementaciones. El poste de liberación barre el esfuerzo de 0,2 a 0,99 y los arneses pueden configurarlo directamente. En los transformadores, el mismo control se expone como un argumento de razonamiento_esfuerzo con niveles nombrados.
Los datos de eficiencia son bastante específicos. Inkling gasta un tercio de los tokens que Nemotron 3 Ultra para obtener el mismo rendimiento de Terminal Bench 2.1. El costo y la latencia se pueden ajustar por llamada, no fijos por modelo.
Además del esfuerzo, el equipo de investigación se centró directamente en la confiabilidad.
Actuación
Todas las evaluaciones de Inkling se ejecutan con un esfuerzo = 0,99 y una temperatura de 1,0, con un límite de trayectoria de 256 K para codificación. Artificial Analysis informa externamente varias puntuaciones. Frente a sus pares de peso abierto, el panorama es bastante competitivo.
Inkling lidera este grupo de ponderaciones abiertas en FORTRESS Adversarial con un 78,0%. Está detrás de GLM 5.2 en Terminal Bench 2.1 por 18,9 puntos. Informa un 73,5% en MMMU Pro y un 91,4% en VoiceBench. Publica 1257 en la tabla de clasificación Agentic Web Dev de Design Arena, una evaluación humana ciega.
Una vez establecidas las cifras, el despliegue se convierte en la cuestión práctica.
Funcionamiento y ajuste de ideas
Barco con dos puestos de control. BF16 necesita al menos 2 TB de VRAM agregada: 8x NVIDIA B300 o 16x H200. NVFP4 reduce eso a al menos 600 GB, ejecutando W4A4 en 4x B300 o W4A16 en 8x H200. Los tiempos de ejecución incluyen transformadores SGLang, vLLM, TokenSpeed, Unsloth y Hugging Face.
{“role”: “user”, “content”: [
{“type”: “audio”, “audio”: “support_call.wav”}, # 16kHz WAV
{“type”: “text”, “text”: “Transcribe, then list every billing complaint.”},
]}, ]inputs = procesador.apply_chat_template( mensajes, add_generación_prompt=True, tokenize=True, return_dict=True, return_tensors=”pt”, # ninguno | mínimo | bajo | medio | alto | xalto | máximo razonamiento_effort=”medio”, ).to(model.device) # use_mtp habilita el redactor de predicción de múltiples tokens enviado. salidas = model.generate(**entradas, max_new_tokens=2000, use_mtp=True) print(procesador.decode(salidas[0][inputs[“input_ids”].forma[-1]:]))
El servicio compatible con OpenAI requiere un comando:
Para realizar ajustes, Inkling está disponible en Tinker con opciones de contexto de 64K y 256K. El equipo de investigación también lanzó renderizadores tml para post-entrenamiento con llamadas a herramientas y entradas multimodales. Las API alojadas existen a través de TogetherAI, Fireworks, Modal, Databricks y Baseten.
Dadas esas limitaciones, siguen tres patrones de implementación.
Dónde encaja Inkling: casos de uso
Agentes de voz y visión: un objetivo importante del diseño era respaldar el sistema de modelos de interacción del laboratorio. Un agente de soporte podría recibir una llamada WAV de 16 kHz más una captura de pantalla y luego emitir un ticket estructurado. Canalizaciones de agentes por niveles de costos: el bajo esfuerzo maneja el enrutamiento y la clasificación; el máximo esfuerzo se encarga del difícil paso de reparación. Un despliegue, dos presupuestos. Ajuste de dominio: El laboratorio cita trabajos de juicio financiero en los que el ajuste cerró la brecha generalista. Los análisis con muchos gráficos también encajan, dado el 82,0 % en CharXiv RQ con Python.
En conjunto, las compensaciones son claras.
Fortalezas y debilidades
Fortalezas
Pesos de Apache 2.0, contexto de 1 millón de tokens, texto nativo, imagen y entrada de audio. El esfuerzo controlable iguala la puntuación del Banco Terminal de Nemotron 3 Ultra en un tercio de las fichas. La puntuación más alta de FORTRESS Adversarial (78,0%) entre los modelos de peso abierto comparados. Soporte desde el día 0 en transformadores, SGLang, vLLM, llama.cpp y cinco API alojadas. Se envía un redactor de predicciones de múltiples tokens para la decodificación especulativa.
Debilidades
Trails GLM 5.2 y Kimi K2.6 en HLE, Terminal Bench 2.1 y SWEBench Verified. BF16 necesita 2 TB de VRAM agregada; NVFP4 W4A4 requiere además hardware SM100+. SimpleQA Verified con un 43,9% se sitúa muy por debajo del 57,0% de DeepSeek V4 Pro. Los pesos de Inkling-Small no se han publicado y no hay salida de audio ni de imagen. Los números de Terminal Bench 2.1 utilizan un arnés interno, a diferencia de las puntuaciones autoinformadas de la competencia. La página del proyecto señala los juegos de roles y las indicaciones indirectas como riesgos de seguridad residuales.
Fuentes
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.