Fireworks AI ha lanzado Ember-1, un modelo especializado de Fireworks Research construido por el Kimi K3 de peso abierto de Moonshot AI después del entrenamiento. Ember-1 aprende a producir rastros de razonamiento más cortos manteniendo la precisión de la tarea. Esto es diferente a reducir el esfuerzo de razonamiento en el momento de la inferencia. Según la publicación del lanzamiento de Fireworks, Ember-1 ofrece la calidad de Kimi K3 con aproximadamente un 40% menos de tokens.
¿Es desplegable? Sí, pero solo a través de la API sin servidor de Fireworks como vista previa de la investigación. Fireworks no ha publicado los pesos, el código de entrenamiento ni los algoritmos de entrenamiento exactos de Ember-1, por lo que el autohospedaje no es una opción hoy en día.
El problema: los modelos de razonamiento piensan demasiado
El equipo de Fireworks informa que los modelos de razonamiento como Kimi K3 a veces gastan más del 90% de los tokens generados en razonamiento interno. Ese costo se agrava en cargas de trabajo de agentes de múltiples turnos. Cada turno reproduce el razonamiento anterior en el modelo. El contexto crece aproximadamente de forma cuadrática con el número de turnos. Los rastros largos de los primeros turnos se vuelven a leer y facturar en cada llamada posterior.
El equipo de Fireworks explica cómo los clientes querían la capacidad de codificación de K3 a un costo menor. Rechazar el esfuerzo de razonamiento de K3 no solucionó el problema. Las configuraciones de menor esfuerzo renunciaron a demasiada calidad. Entonces, el equipo entrenó el modelo para que razonara de manera más eficiente.
Cómo la investigación de fuegos artificiales construyó Ember-1
No todo el razonamiento de K3 es un desperdicio. Parte de ella es una autorreflexión útil, como revisar una suposición o reaccionar a la retroalimentación. Ember-1 mantiene ese comportamiento mientras elimina razonamientos redundantes y bucles improductivos.
La colección de capacitación abarca matemáticas, codificación, seguimiento de instrucciones, conversación, búsqueda, uso de herramientas e ingeniería de software. Cubre tanto problemas independientes como interacciones extendidas de varios pasos. La retroalimentación de tareas y entorno guía la planificación y el aprendizaje de políticas. El equipo de fuegos artificiales realizó más de 50 experimentos de entrenamiento y más de 200 evaluaciones. También desarrollaron nuevos algoritmos de entrenamiento, que no ha publicado. Toda la capacitación se realizó en Fireworks Serverless Training. Fireworks afirma que utilizó sus propios datos y no datos de clientes.
Resultados de referencia
Fireworks comparó a Ember-1 con Kimi K3 en tres niveles de esfuerzo de razonamiento. El costo se calculó con el precio público de la API Kimi K3. Estas son evaluaciones publicadas por la propia Fireworks.
Ember-1 lidera K3 Max en Terminal Bench 2.1 y DeepSWE 1.1. Está ligeramente por detrás de SWE-bench Verified y SWE-Interact. A través de siete puntos de referencia y el tráfico de producción de dos clientes, Fireworks dice que el razonamiento de K3 se redujo entre un 35 y un 50 % sin sacrificar la precisión.
En Bedside Bench de Doximity, un conjunto de 500 casos clínicos validados por médicos, Ember-1 estableció una nueva frontera de Pareto de costo por tarea. Ese resultado proviene del nuevo Índice de Inteligencia Especializada de Fireworks.
Resultados de la prueba A/B de producción
Fireworks realizó pruebas A/B en vivo con dos clientes en cargas de trabajo de codificación de producción. Ambos obtuvieron aproximadamente un 35 % menos de tokens por tarea con una calidad comparable. En la ejecución publicada, los tokens de salida cayeron de 49,3 mil a 29,9 mil por tarea. Los tokens de razonamiento cayeron un 71,3% y el total de tokens cayó un 39%. La puntuación de la tarea se mantuvo esencialmente sin cambios: 0,753 para Ember-1 frente a 0,751 para K3. Los pasos promedio cayeron de 23,8 a 21,4. Un cliente ahora ejecuta Ember-1 en producción.
Ember-1 cuesta lo mismo por token que Kimi K3 en Fireworks: $3,00 de entrada, $0,30 de entrada en caché y $15,00 de salida por 1 millón de tokens. Los ahorros provienen enteramente de generar menos tokens. A esa tasa de producción, las cifras A/B equivalen a aproximadamente $0,74 frente a $0,45 en costo de producción por tarea (nuestro cálculo, solo producción).