Kyutai lanza Voice of Reason: un modelo nativo del habla que resuelve matemáticas habladas con aprendizaje por refuerzo

Kyutai ha lanzado Voice of Reason, dos modelos abiertos de habla a voz que resuelven problemas matemáticos en voz alta. Ambos parten de GLM-4-Voice-9B y agregan ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL). No hay paso de transcripción ni texto LLM separado en el bucle. En GSM8K hablado, la precisión aumenta del 27,3% para el modelo base al 77,1%.

¿Es desplegable? Sí, para autohospedaje. Kyutai ejecutó ambos puntos de control BF16 en un solo H100. También necesita el repositorio GLM-4-Voice para su tokenizador y decodificador de voz. Los pesos heredan la licencia GLM-4-Voice y ningún proveedor de inferencias de Hugging Face los aloja todavía.

Por qué los modelos de habla se retrasan en matemáticas

Los canales en cascada (voz a texto, LLM de texto, texto a voz) todavía conducen al razonamiento. Sin embargo, cada etapa agrega latencia y el proceso pierde señales paralingüísticas como el tono. Los modelos nativos del habla deben emitir audio a intervalos regulares para seguir siendo interactivos. Eso limita la cantidad de tokens de razonamiento ocultos que pueden permitirse.

La base GLM-4-Voice obtiene una puntuación del 27,3% en GSM8K. El método STITCH anterior elevó esa cifra al 58,7% añadiendo fragmentos de razonamiento. El equipo de investigación considera que su trabajo es la primera aplicación de RL al razonamiento matemático en modelos nativos del habla.

Cómo funciona la formación

GLM-4-Voice intercala su salida: 13 tokens de texto, luego 26 tokens de audio, repitiéndose.

SFT etapa 1: el entrenamiento utiliza 150,616 problemas de Orca-Math. Qwen3-235B reescribió cada problema de habla. Luego, DSM TTS de Kyutai los expresó en muchas voces. Sólo SFT eleva el GLM-4-Voice del 27,3% al 61,7%. Etapa 2 RL: para cada pregunta hablada, el modelo muestra 4 respuestas a una temperatura de 0,9. Un juez, Qwen3-235B-A22B-2507, otorga una recompensa binaria al texto decodificado. El juez nunca ve la respuesta de referencia. En 100 casos revisados ​​manualmente, coincidió con los humanos el 88% de las veces.

Las recompensas se centran dentro de cada grupo, formando un objetivo de REFORZAR relativo al grupo. Está relacionado con GRPO pero elimina el recorte de PPO y la regularización de KL. La capacitación se ejecutó en 16 GPU H100, con 1500 actualizaciones de RL.

Dos opciones de diseño son las más importantes:

Corrección de temperatura: los logits se dividen por la temperatura de muestreo antes del log-softmax en la pérdida. Sin él, GSM8K se desplomó del 65,5% al ​​12,3%. Fusión de tokens de audio: en cada posición de audio, todas las probabilidades de vocabulario de audio se suman en 1 token abstracto. La pérdida solo pregunta si el audio fue el siguiente, no qué token de audio. El artículo demuestra que este estimador es insesgado y tiene una varianza más baja bajo un supuesto de invariancia del valor.

Explicador interactivo

‘;d.appendChild(laboratorio);d.appendChild(pr);}); q(‘#kvr-lkey’).style.background=fix?’#7DB7FF’:’#FF6B6B’; q(‘#kvr-tv’).textContent=”No coincide (variación total): “+(tv*100).toFixed(1)+’%’; q(‘#kvr-tnote’).textContent=fix?’Los logits se dividen por T antes del log-softmax en la pérdida de RL, por lo que el gradiente se calcula para la política exacta que produjo las muestras.’:’Las muestras se extraen de softmax(z/T) pero se califican según softmax(z). El estimador de gradiente ya no coincide con el muestreador. Según el periódico, esto hizo que GSM8K se desplomara del 65,5% al ​​12,3%.’; cambiar tamaño();} función drawAbl(){var filas=[[‘Default setup’,’merged audio, correction on, group 4′,65.5,’65.5 \u00b1 1.1′,’ours’],[‘Group size 8′,”,67.0,’67.0’,”],[‘Loss on all tokens’,”,64.4,’64.4′,”],[‘Loss on text tokens only’,”,63.8,’63.8′,”],[‘No temperature correction’,”,12.3,’12.3′,fix?”:’hot’]];paint(q(‘#kvr-abl’),rows);} q(‘#kvr-T’).addEventListener(‘input’,temp); seg(‘kvr-fix’,function(b){fix=b.getAttribute(‘data-f’)===’1′;temp();drawAbl();}); temperatura(); /* diapositiva 4: resultados */ var dec=”paper”; función drawRes(){var P=dec===’papel’;var filas=[
[‘PersonaPlex’,’8B, full-duplex’,3.2,’3.2′,”],
[‘GLM-4-Voice (base)’,’9B’,27.3,’27.3′,”],
[‘STITCH (Chiang et al.)’,’9B, reasoning chunks’,58.7,’58.7′,”],
[‘Voice of Reason’,’9B, direct answers’,P?65.5:70.3,P?’65.5 \u00b1 1.1′:’70.3′,’ours’],
[‘Voice of Reason (Stitch)’,’9B, silent reasoning’,P?74.8:77.1,P?’74.8 \u00b1 1.1′:’77.1′,’ours’]’Líneas superiores, no coincidentes en tamaño o arquitectura’,
[‘Qwen2.5-Omni’,’7B, text output’,84.7,’84.7′,”],
[‘Qwen3-Omni’,’30B, text output’,94.6,’94.6′,”],
[‘Cascaded ASR, LLM, TTS, ASR’,’Gemma-4-31B-IT + Kokoro’,95.7,’95.7′,”]];paint(q(‘#kvr-res’),filas);} function paint(el,filas){el.innerHTML=”;var fills=[];rows.forEach(function(r){if(typeof r===’string’){var s=document.createElement(‘div’);s.className=”kvr-sep”;s.textContent=r;el.appendChild(s);return;} var n=document.createElement(‘div’);n.className=”kvr-rname”;n.innerHTML=r[0]+(r[1]?”+r[1]+”:”); var tr=document.createElement(‘div’);tr.className=”kvr-track”;var f=document.createElement(‘div’);f.className=”kvr-fill “+r[4];tr.appendChild(f); var v=document.createElement(‘div’);v.className=”kvr-val”;v.textContent=r[3]+’%’;var fila=document.createElement(‘div’);row.className=”kvr-rrow”;row.appendChild(n);row.appendChild(v);row.appendChild(tr);el.appendChild(row);fills.push([f,r[2]]);}); requestAnimationFrame(function(){solicitudAnimationFrame(function(){fills.forEach(function(x){x[0].estilo.ancho=x[1]+’%’;});});});resize();} seg(‘kvr-dec’,function(b){dec=b.getAttribute(‘data-d’);drawRes();}); })();