Allen Institute for AI (AI2) lanza Olmo 3 como una familia de modelos completamente abierta que expone todo el “flujo del modelo”, desde datos sin procesar y código hasta puntos de control intermedios y variantes listas para la implementación.
Olmo 3 es un conjunto de transformadores denso con modelos de parámetros 7B y 32B. La familia incluye Olmo 3-Base, Olmo 3-Think, Olmo 3-Instruct y Olmo 3-RL Zero. Tanto la variante 7B como la 32B comparten una longitud de contexto de 65,536 tokens y utilizan la misma receta de entrenamiento por etapas.
Suite de datos Dolma 3
En el centro del proceso de capacitación se encuentra Dolma 3, una nueva recopilación de datos diseñada para Olmo 3. Dolma 3 consta de Dolma 3 Mix, Dolma 3 Dolmino Mix y Dolma 3 Longmino Mix. Dolma 3 Mix es un conjunto de datos de preentrenamiento de tokens de 5,9 T con texto web, archivos PDF científicos, repositorios de códigos y otros datos naturales. Los subconjuntos Dolmino y Longmino se construyen a partir de porciones filtradas y de mayor calidad de este grupo.
Dolma 3 Mix apoya la etapa principal de preentrenamiento de Olmo 3-Base. Luego, el equipo de investigación de AI2 aplica Dolma 3 Dolmino Mix, un conjunto de entrenamiento medio de tokens de 100B que enfatiza las matemáticas, el código, el seguimiento de instrucciones, la comprensión de lectura y las tareas orientadas al pensamiento. Finalmente, Dolma 3 Longmino Mix agrega 50 mil millones de tokens para el modelo 7B y 100 mil millones de tokens para el modelo 32B, con un fuerte enfoque en documentos largos y archivos PDF científicos procesados con el canal olmOCR. Este plan de estudios por etapas es lo que eleva el límite del contexto a 65,536 tokens manteniendo la estabilidad y la calidad.
Capacitación a gran escala sobre clusters H100
Olmo 3-Base 7B se entrena en Dolma 3 Mix utilizando 1.024 dispositivos H100, alcanzando aproximadamente 7.700 tokens por dispositivo por segundo. Las etapas posteriores utilizan 128 H100 para el entrenamiento medio de Dolmino y 256 H100 para la extensión de contexto largo de Longmino.
Rendimiento del modelo base frente a familias abiertas
En los puntos de referencia de capacidad estándar, Olmo 3-Base 32B se posiciona como un modelo líder de base totalmente abierta. El equipo de investigación de AI2 informa que es competitivo con familias destacadas de peso abierto como Qwen 2.5 y Gemma 3 en tamaños similares. En comparación con un amplio conjunto de tareas, Olmo 3-Base 32B se ubica cerca o por encima de estos modelos y al mismo tiempo mantiene abiertos todos los datos y la configuración de capacitación para inspección y reutilización.
Razonamiento Centrado Olmo 3 Pensar
Olmo 3-Think 7B y Olmo 3-Think 32B se sitúan encima de los modelos básicos como variantes centradas en el razonamiento. Utilizan una receta posterior al entrenamiento de tres etapas que incluye ajuste fino supervisado, optimización directa de preferencias y aprendizaje por refuerzo con recompensas verificables dentro del marco OlmoRL. Olmo 3-Think 32B se describe como el modelo de razonamiento completamente abierto más sólido y reduce la brecha con los modelos de pensamiento Qwen 3 32B mientras utiliza aproximadamente seis veces menos tokens de entrenamiento.
Olmo 3 Instrucción para Chat y Uso de Herramientas
Olmo 3-Instruct 7B está optimizado para seguir instrucciones rápidamente, chat de varios turnos y uso de herramientas. Comienza desde Olmo 3-Base 7B y aplica un canal de capacitación y datos de Dolci Instruct separado que cubre el ajuste fino supervisado, DPO y RLVR para cargas de trabajo de llamadas de funciones y conversacionales. El equipo de investigación de AI2 informa que Olmo 3-Instruct iguala o supera a competidores de peso abierto como Qwen 2.5, Gemma 3 y Llama 3.1 y es competitivo con las familias Qwen 3 en escalas similares en varios puntos de referencia de instrucción y razonamiento.
RL Zero para una investigación limpia de RL
Olmo 3-RL Zero 7B está diseñado para investigadores que se preocupan por el aprendizaje por refuerzo en modelos de lenguaje pero necesitan una separación clara entre los datos previos al entrenamiento y los datos de RL. Está construido como una vía RL completamente abierta sobre Olmo 3-Base y utiliza conjuntos de datos Dolci RL Zero que están descontaminados con respecto a Dolma 3.
Tabla comparativa
Conclusiones clave
Tubería transparente de extremo a extremo: Olmo 3 expone el ‘flujo del modelo’ completo desde la construcción de datos de Dolma 3, a través de la capacitación previa y posterior por etapas, hasta los puntos de control, conjuntos de evaluación y herramientas publicados, lo que permite una investigación LLM totalmente reproducible y una depuración detallada. Modelos densos 7B y 32B con contexto de 65K: la familia cubre transformadores densos 7B y 32B, todos con una ventana de contexto de 65,536 tokens, entrenados a través de un plan de estudios Dolma 3 de tres etapas, Dolma 3 Mix para preentrenamiento principal, Dolma 3 Dolmino para entrenamiento medio y Dolma 3 Longmino para extensión de contexto largo. Modelos de razonamiento y base abiertos sólidos: Olmo 3 Base 32B se posiciona como el modelo de base completamente abierto superior en su escala, competitivo con Qwen 2.5 y Gemma 3, mientras que Olmo 3 Think 32B se describe como el modelo de pensamiento completamente abierto más sólido y se acerca a los modelos de pensamiento Qwen 3 32B utilizando aproximadamente 6 veces menos tokens de entrenamiento. Variantes de Instruct y RL Zero adaptadas a tareas: Olmo 3 Instruct 7B apunta al seguimiento de instrucciones, chat de múltiples turnos y uso de herramientas utilizando datos Dolci Instruct SFT, DPO y RLVR, y se informa que iguala o supera a Qwen 2.5, Gemma 3 y Llama 3.1 en una escala similar. Olmo 3 RL Zero 7B proporciona una ruta RLVR completamente abierta con conjuntos de datos Dolci RLZero descontaminados de datos previos al entrenamiento para matemáticas, código, seguimiento de instrucciones y chat general.
Olmo 3 es una versión inusual porque operacionaliza la apertura en toda la pila, recetas de datos de Dolma 3, entrenamiento previo por etapas, entrenamiento posterior de Dolci, RLVR en OlmoRL y evaluación con OLMES y OlmoBaseEval. Esto reduce la ambigüedad en torno a la calidad de los datos, el entrenamiento de contexto prolongado y la RL orientada al razonamiento, y crea una base concreta para extender Olmo 3 Base, Olmo 3 Think, Olmo 3 Instruct y Olmo 3 RL Zero en experimentos controlados. En general, Olmo 3 establece un punto de referencia riguroso para procesos de LLM transparentes y de grado de investigación.
Consulta los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.