JetBrains lanzó Mellum2, que abre los pesos bajo la licencia Apache 2.0. La primera versión de Mellum fue un modelo denso 4B centrado en la finalización. Mellum2 es su sucesor: un modelo de propósito general especializado en ingeniería de software. Cubre la generación y edición de código, la depuración, el razonamiento de varios pasos, el uso de herramientas y la llamada de funciones, la codificación agente y la asistencia en programación conversacional.
El equipo de JetBrains posiciona a Mellum2 como un “modelo focal”: un componente rápido y especializado dentro de sistemas de inteligencia artificial más grandes, no un reemplazo independiente de los modelos de frontera.
Arquitectura
Mellum2 utiliza una arquitectura de mezcla de expertos (MoE) con 12 mil millones de parámetros totales y 2,5 mil millones de parámetros activos por token. En los modelos MoE, solo se ejecuta un subconjunto de parámetros en cada token. Aquí, el modelo tiene 64 expertos y activa 8 por token. Esto mantiene el cálculo por token equivalente a un modelo denso de 2,5 mil millones, mientras que el recuento total de parámetros proporciona una mayor capacidad de especialización.
Detalles arquitectónicos clave:
Capas: 28 Tamaño oculto: 2304 Expertos del MoE: 64 en total, 8 activados por token Atención: Atención de consultas agrupadas (GQA) con 32 cabezales de consulta y 4 cabezales KV Atención de ventana deslizante (SWA): Aplicada a tres de cada cuatro capas, con un tamaño de ventana de 1024. Toda la atención se centra en la capa restante. Longitud del contexto: 131,072 tokens Cabezal de predicción de múltiples tokens (MTP): sirve como objetivo auxiliar de preentrenamiento y como modelo borrador incorporado para decodificación especulativa Precisión: bfloat16 Tamaño del vocabulario: 98,304
El modelo maneja lenguaje y código natural. No es multimodal: no hay entrada de imagen ni de vídeo.
Pre-entrenamiento
La formación previa abarca aproximadamente 10,6 billones de tokens a través de un plan de estudios de tres fases. La combinación de datos cambia progresivamente desde contenido web diverso hacia código curado y contenido matemático a lo largo de las tres fases.
El entrenamiento utilizó el optimizador Muon bajo precisión híbrida del FP8 con un programa de tasa de aprendizaje Warmup-Hold-Decay con caída lineal a cero.
Después del entrenamiento previo, la ventana de contexto del modelo base se amplió a 128.000 tokens utilizando un método YaRN selectivo de capas antes de que comenzara el entrenamiento posterior.
La familia modelo
El equipo de JetBrains lanzó seis puntos de control que cubren todo el proceso de capacitación:
La capacitación posterior sigue dos etapas: ajuste fino supervisado (SFT), luego aprendizaje reforzado con recompensas verificables (RLVR) en matemáticas, codificación ejecutable, uso de herramientas, seguimiento de instrucciones, razonamiento y tareas de conocimiento.
La variante Instruct responde directamente, sin una cadena de pensamiento externalizada. Úselo para tareas de baja latencia: respuestas directas, uso de herramientas y seguimiento de instrucciones.
La variante Pensamiento emite una huella de razonamiento explícito antes de su respuesta final. Úselo para depuración compleja, planificación de varios pasos o flujos agentes donde el razonamiento paso a paso es importante.
Resultados de referencia
Todos los números a continuación son autoinformados por JetBrains. El conjunto de comparación son modelos de peso abierto en el rango 4B-14B.
Codificación:
Uso de herramientas:
Matemáticas:
Conocimiento y conversación:
Notas de referencia:
EvalPlus es la media de HumanEval+ y MBPP+ AIME es la media de AIME 2025 y AIME 2026 (30 preguntas cada uno) BFCL v4 es el macropromedio de cinco subtareas: v1, v2, v3, búsqueda web, memoria Seed-Coder (8B) no admite llamadas de herramientas nativas; Las puntuaciones BFCL no figuran en la lista.
Casos de uso
JetBrains identifica cuatro escenarios de producción donde el perfil de latencia y eficiencia de Mellum2 es relevante:
Enrutamiento y orquestación: en un sistema multimodelo, un enrutador analiza las indicaciones entrantes y selecciona el modelo o herramienta apropiado para cada tarea. El bajo cálculo por token de Mellum2 lo hace adecuado para este paso de clasificación de alta frecuencia. Canalizaciones RAG de baja latencia: los sistemas de recuperación-generación aumentada (RAG) recuperan el contexto relevante, lo resumen y generan una respuesta. Mellum2 maneja el resumen de recuperación con una latencia más baja que los modelos densos más grandes. Subagentes en flujos de trabajo complejos: las canalizaciones de agentes dividen las tareas en pasos: recopilación de contexto, planificación, validación y ejecución. Mellum2 puede manejar pasos repetitivos o sensibles a la latencia en lugar de enrutar cada paso a través de un único modelo de gran frontera. Implementación privada y local: la licencia Apache 2.0 permite el autohospedaje sin restricciones. Los ingenieros pueden ejecutar Mellum2 en su propia infraestructura, manteniendo el código y los datos bajo su control.
Fortalezas y limitaciones
Fortalezas:
El diseño MoE activa solo 2.500 millones de 12.000 millones de parámetros por token: cómputo por token equivalente a un modelo denso de 2.500 millones El cabezal MTP permite la decodificación especulativa sin un borrador de modelo separado Ventana de contexto de 131,072 tokens Lanzamiento del conjunto de puntos de control completo: preentrenamiento base, base, SFT y variantes ajustadas por RL para la licencia Instruct y Thinking Apache 2.0: permite el uso comercial, el autohospedaje y el ajuste Strong EvalPlus (78,4) y puntuaciones BFCL v3 (66,3) en relación con las comparaciones 4B-14B Compatibilidad con vLLM, incluida la llamada de herramientas opcional a través de –tool-call-parser hermes
Limitaciones:
Solo texto y código: sin imagen ni entrada multimodal LiveCodeBench v6 (37.2) sigue a Qwen3.5 9B (63.7) y Ministral 3 14B (42.4) GPQA Diamond (40.9) y MMLU-Redux (78.1) están por debajo de la mayoría de los modelos en el conjunto de comparación GSM-Plus (80.5) está por debajo de todos los modelos comparables enumerados No está diseñado para tareas de nivel fronterizo: JetBrains posiciona explícitamente a Mellum2 como modelo de componente
Explicador visual de Marktechpost
Empezando
Sirva Mellum2 con vLLM:
Con la llamada de herramientas habilitada:
Usando la biblioteca Hugging Face Transformers:
entradas = tokenizer.apply_chat_template( mensajes, add_generación_prompt=True, tokenize=True, return_dict=True, return_tensors=”pt”, ).to(model.device) salidas = model.generate(**inputs, max_new_tokens=512) print(tokenizer.decode(outputs)[0][inputs[“input_ids”].forma[-1]:]))
Consulte los pesos del modelo y los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros