” style=”width:100%;border:0;height:600px;display:block;overflow:hidden;” scrolling=”no” loading=”lazy” title=”Explicación interactiva de Bonsai 27B”>
Esa arquitectura da forma al método de compresión siguiente.
Cómo funciona la compresión
Cada peso es un código, con una báscula FP16 compartida por grupo de 128. El peso efectivo es w_i = s_g · t_i.
Un valor ternario lleva log2(3) ≈ 1,585 bits. Una báscula FP16 por cada 128 pesos suma 16/128, lo que da ≈1,71 bits por peso. Se trata de una reducción de ~9,4 veces respecto al FP16. El binario cuesta 1 + 16/128 = 1,125 bits, una reducción de ~14,2×.
La representación corre de un extremo a otro a través de los componentes con mucha matriz. Esas son incrustaciones, proyecciones de atención, proyecciones MLP y la cabeza LM. Sólo una cola insignificante de parámetros de normalización y escala mantiene una mayor precisión.
Medido como un promedio real, la versión Qwen3.6-27B de “4 bits” (Q4_K_XL) tiene 5,2 bits por peso. La compilación de “2 bits” (IQ2_XXS) es 2.8. Bonsai también se aparta de BitNet, que evita el colapso sólo mediante un entrenamiento previo desde cero.
La pregunta obvia es cuánto cuesta la compresión en términos de precisión.
Actuación
PrismML evaluó 15 puntos de referencia en modo de pensamiento, utilizando EvalScope con vLLM en GPU H100. Ternary Bonsai 27B retiene el 94,6% de la línea base FP16, y Bonsai 27B de 1 bit retiene el 89,5%.
Las compilaciones convencionales de menos de 4 bits fallan de manera diferente. IQ2_XXS cae a 57,5 en AIME26 y 56,4 en LiveCodeBench. Todavía obtiene una puntuación de 88,93 en MMLU-Redux, por lo que los puntos de referencia breves enmascaran el colapso. Gemma-4-31B Q2_K_XL repite ese patrón en un segundo modelo base.
Sin embargo, las puntuaciones por sí solas no explican la liberación. La memoria sí.
La memoria es la restricción vinculante
La instalación de un teléfono es más estricta de lo que sugieren los números de almacenamiento. iOS limita una sola aplicación a aproximadamente la mitad de la memoria física. Por tanto, un iPhone de 12 GB expone unos 6 GB.
El caché KV es el segundo presupuesto. Solo 16 de 64 capas llevan un caché de atención total en crecimiento, por lo que FP16 cuesta ≈64 KiB/token. Una ventana de 262K cuesta ≈17,2 GB, y una caché KV de 4 bits lo reduce a ≈4,3 GB.
Se mide la tolerancia. En comparación con su propia línea base FP16-KV, Ternary Bonsai muestra 0,0011 nats de salida forward-KL en MATH-500. Q4_K_XL muestra 0,0146.
Siguen los picos. En tokens de 100.000 con caché FP16, el pico de 1 bit es de 11,6 GB y el ternario de 14,7 GB. La fila Q4_K_XL derivada necesita ≈25,6 GB.
Una vez que un modelo se ajusta, la siguiente pregunta es el rendimiento.
Rendimiento y decodificación especulativa DSpark
La generación depende del ancho de banda de la memoria, por lo que menos bytes por paso significa más tokens por segundo. Prefill está vinculado a la computación y gana menos.
PrismML también incluye un redactor DSpark entrenado contra el objetivo Bonsai 27B. En un H100 con una profundidad de calado k=4, el objetivo binario alcanza la longitud aceptada τ=3,6. Eso es 143,8 tok/s, una aceleración de 1,37x. La verificación no produce pérdidas, por lo que la producción permanece idéntica a la distribución. En Apple Silicon, el borrador está desactivado de forma predeterminada en el tamaño de lote 1.
ejecutándolo
Ternary 27B es el repositorio de demostración predeterminado. Inicie el servidor o genere directamente:
La llamada de herramientas utiliza la matriz de herramientas estándar de estilo OpenAI:
“type”: “function”,
“function”: {
“name”: “get_weather”,
“parameters”: {“type”: “object”, “properties”: {“city”: {“type”: “string”}}, “required”: [“city”]} } }]}’
La llamada vuelve en opciones.[0].message.tool_calls. El modo de pensamiento está activado de forma predeterminada; think_budget_tokens lo alterna según la solicitud.
Esto se corresponde con cuatro patrones de implementación.
Casos de uso
Los agentes locales para computadoras portátiles ejecutan la compilación ternaria para que el código del repositorio completo funcione con 262 000 tokens. El razonamiento local del teléfono ejecuta la compilación de 1 bit; El documento técnico mide 672 tokens por cada 1% de la batería del iPhone. Los flujos de trabajo fuera de línea y sensibles a la privacidad mantienen los avisos en el dispositivo por construcción. Combinado con el caché KV de 4 bits, el servicio de GPU única se adapta a una calidad de clase 27B en una tarjeta de 24 GB.
Conclusiones clave
Bonsai 27B mueve Qwen3.6-27B a pesos binarios o ternarios, no a un nuevo preentrenamiento. Ternary conserva el 94,6% de FP16 con 5,9 GB; 1 bit retiene el 89,5% a 3,9 GB. PrismML afirma que la versión de 1 bit es el primer modelo de clase 27B que se adapta a un teléfono. Las compilaciones convencionales de menos de 4 bits colapsan selectivamente en AIME, LiveCodeBench y tareas agentes. Todo se envía bajo Apache 2.0, en llama.cpp (CUDA, Metal) y MLX.
Consulte los detalles técnicos, GitHub Repo y Model Weight. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
