Tencent lanza Hy3: un modelo abierto de mezcla de expertos (MoE) de 295 mil millones con 21 mil millones de parámetros activos y 256 mil contextos

El equipo Hy de Tencent lanzó Hy3. Hy3 es un modelo de mezcla de expertos (MoE) de parámetros 295B. Activa solo 21 mil millones de parámetros por token. Las pesas se envían bajo la licencia Apache 2.0. Hy3 está dirigido al razonamiento, flujos de trabajo agentes y tareas de contexto prolongado.

¿Qué es Hy3?

La arquitectura de Hy3 contiene un MoE escaso con 192 expertos y enrutamiento entre los 8 principales. Solo 8 expertos disparan por token, por lo que el cálculo se mantiene bajo.

El modelo también utiliza una capa de predicción multitoken (MTP). MTP predice varios tokens a la vez para una decodificación más rápida. Tanto vLLM como SGLang lo habilitan mediante decodificación especulativa.

PropiedadValorArquitecturaMezcla de expertos (MoE)Parámetros totales295BParámetros activados21Parámetros de capa BMTP3.8BCapas (excluyendo MTP)80Capas MTP1Cabezales de atención64 (GQA, cabezales de 8 KV, cabezal tenue 128)Tamaño oculto4096Tamaño intermedio13312Longitud del contexto256KVocabulario tamaño120832Expertos192 expertos, top-8 activadosPrecisiones admitidasBF16

También se lanza un punto de control Hy3-FP8 separado. FP8 reduce el uso de memoria para un servicio más económico.

Punto de referencia y rendimiento

El equipo de investigación publicó puntuaciones en codificación, agentes y STEM. En cuanto a la codificación, Hy3 informa 78,0 en SWE-Bench Verified. También informa 57,9 en SWE-Bench Pro y 75,8 en SWE-Bench Multilingual. Terminal-Bench 2.1 aterriza en 71,7 y DeepSWE en 28,0.

En STEM y razonamiento, los números aumentan. Hy3 informa 90,4 en GPQA Diamond y 72,0 en USAMO 2026. IMOAnswerBench alcanza 90,0 y HLE (con herramientas) alcanza 53,2.

El equipo de investigación realizó una prueba a ciegas con 270 expertos. Esa prueba recopiló 312 comparaciones válidas sobre flujos de trabajo reales. Hy3 obtuvo una puntuación de 2,67 sobre 4, por delante del GLM-5.1 con 2,51. La ventaja fue más clara en el desarrollo frontend, CI/CD y datos y almacenamiento.

https://hy.tencent.com/research/hy3

Confiabilidad y comportamiento de producción

El equipo de investigación centró gran parte de este comunicado en la confiabilidad de la producción. Tres modos de falla recibieron atención directa, respaldados por números internos.

Llamada de herramientas y formato de salida: el equipo solucionó problemas de estabilidad de referencia que arruinaban a los agentes. Se descartaron llamadas no válidas que desencadenan bucles infinitos. Hy3 también se generaliza en todos los andamios de agentes. En SWE-Bench Verified, la variación de precisión en CodeBuddy, Cline y KiloCode se mantiene dentro del 4%. Conocimiento mundial y antialucinaciones: el comportamiento objetivo es simple: responder cuando esté fundamentado, señalar cuando falten pruebas. En evaluaciones internas, la tasa de alucinaciones cayó del 12,5% al ​​5,4%. Las tasas de error de sentido común cayeron del 25,4% al 12,7%. Seguimiento de intención de múltiples turnos: SFT conjunto y RL mejoraron el seguimiento de correferencia y restricciones. La tasa de emisión interna cayó del 17,4% al 7,9%. En el punto de referencia de diálogo largo del MRCR, las puntuaciones aumentaron del 42,9% al 75,1%.

Cómo llamar a Hy3

Hy3 expone una API compatible con OpenAI. Lo implementa con vLLM o SGLang y luego llama al punto final. Una bandera, razonamiento_esfuerzo, controla cuánto piensa el modelo.

desde openai importar Cliente OpenAI = OpenAI(base_url=”http://127.0.0.1:8000/v1″, api_key=”EMPTY”) respuesta = client.chat.completions.create( model=”hy3″, mensajes=[
{“role”: “user”, “content”: “Refactor this function and explain the change.”},
]temperatura=0,9, top_p=1,0, # razonamiento_effort: “no_think” (predeterminado), “bajo”, “alto” (cadena de pensamiento profunda) extra_body={“chat_template_kwargs”: {“reasoning_effort”: “alto”}}, ) print(response.choices[0].mensaje.contenido)

Utilice no_think para respuestas directas y high para matemáticas, codificación o tareas de varios pasos. El equipo de investigación de Tencent recomienda temperatura = 0,9 y top_p = 1,0. También puedes probar Hy3 sin hardware local. OpenRouter enumera una ruta tencent/hy3:free a $0 por token. Está previsto que ese nivel gratuito finalice el 21 de julio de 2026.

Dónde encaja Hy3: casos de uso

Hy3 se basa en un trabajo de contexto largo y estilo agente. Algunos ejemplos concretos:

Agentes de codificación: introduzca un repositorio completo en la ventana de 256 K. Pídale a Hy3 que arregle una prueba fallida con razonamiento_effort=”alto”. Las llamadas a herramientas estables lo ayudan a ejecutar ediciones en muchos archivos. Procesamiento de documentos: Pasar un contrato largo o un archivo como contexto. La formación contra las alucinaciones reduce las cláusulas inventadas y las citas erróneas. Análisis financiero: combine tablas y prosa en un solo mensaje. Solicite un resumen fundamentado que señale los datos faltantes en lugar de adivinar. Desarrollo de juegos y frontend: genere un componente React o un pequeño bucle de juego. La prueba ciega mostró una ventaja frontal sobre GLM-5.1.

Hy3 frente a GLM-5.2

El equipo de investigación de Tencent comparó Hy3 con GLM-5.2 en su propio apéndice. GLM-5.2 es aproximadamente un MoE de 744 B con aproximadamente 40 B de parámetros activos. Hy3 tiene menos de la mitad de ese tamaño total, con 21B activos. En codificación, GLM-5.2 lidera toda la suite.

BenchmarkHy3 (21B activo)GLM-5.2 (~40B activo)SWE-Bench Verified78.084.2SWE-Bench Multilingual75.883.0Terminal-Bench 2.171.781.0DeepSWE28.046.2Parámetros totales/activos295B / 21B~744B / ~40BLicenseApache 2.0Pesas abiertas

La atención se centra aquí en el tamaño, no sólo en la puntuación. Hy3 cambia cierta precisión de codificación por una huella activa mucho más pequeña. Esa huella es importante cuando usted mismo aloja y paga por las GPU.

Notas de implementación

Hy3 tiene 295B de parámetros totales, por lo que el servicio necesita memoria real. El equipo de investigación de Tencent recomienda 8 GPU, como la H20-3e o tarjetas con mayor memoria. vLLM y SGLang envían recetas con MTP habilitado. Un lanzamiento mínimo de vLLM se ve así:

vllm sirve tencent/Hy3 \ –tensor-parallel-size 8 \ –speculative-config.method mtp \ –speculative-config.num_speculative_tokens 2 \ –tool-call-parser hy_v3 \ –reasoning-parser hy_v3 \ –enable-auto-tool-choice \ –port 8000 \ –served-model-name hy3

Para la compresión, el equipo de investigación apunta a su kit de herramientas AngelSlim. AngelSlim cubre cuantificación, métodos de bits bajos y muestreo especulativo. Tencent también proporciona un proceso completo de ajuste para Hy3.

Pruébelo: Explorador interactivo

La siguiente demostración es un explorador interactivo para Hy3. Visualiza el enrutamiento MoE, los modos de razonamiento, los puntos de referencia y la escasa eficiencia.