NVIDIA ha lanzado Audex (Nemotron-Labs-Audex-30B-A3B), un modelo unificado de lenguaje grande de audio y texto. Entiende y genera tanto audio como voz. También mantiene la inteligencia de texto de su columna vertebral. Los puntos de control, junto con un Audex-2B más pequeño, se comercializan bajo una licencia no comercial.
La mayoría de los modelos multimodales pagan un impuesto de texto. Cuando los laboratorios agregan resultados de audio o visión, los puntos de referencia de texto a menudo disminuyen. El equipo de investigación de NVIDIA informa esto incluso para los modelos de salida de sólo voz. Audex está diseñado para evitar esa regresión.
TL;DR
Audex es un modelo único 30B-A3B MoE que maneja la entrada y salida de audio. Las entradas de audio ingresan al espacio de incrustación de texto; las salidas de audio se tratan como tokens de texto. Las puntuaciones de texto coinciden con la columna vertebral, con pequeñas ganancias y pequeñas pérdidas por punto de referencia. SFT de varias etapas más Cascade RL de solo texto evita la regresión de texto multimodal habitual. Son pocos los modelos abiertos que generan audio general más allá del habla.
¿Qué es Audex?
Audex es un decodificador de transformador de mezcla de expertos (MoE) único. Tiene 30 mil millones de parámetros totales y 3 mil millones activados por token. La columna vertebral es Nemotron-Cascade-2-30B-A3B, un MoE LLM de solo texto. Esa columna vertebral es un híbrido Mamba-Transformer con 52 capas. Utiliza 128 expertos enrutables y 6 expertos activados.
El diseño es deliberadamente sencillo. Las entradas de audio se codifican y proyectan en el espacio de incrustación de texto. Los tokens de texto y los tokens de audio cuantificados se tratan de manera uniforme durante la generación. No hay una división entre pensadores y conversadores ni una cascada de modelos apilados.
Debido a que el diseño sigue siendo simple, Audex se ejecuta en pilas LLM estándar. Estos incluyen Megatron-LM para entrenamiento y vLLM para inferencia. Admite tanto un modo de instrucción como un modo de pensamiento. La longitud del contexto alcanza 1 millón de tokens.
Cómo funciona el diseño unificado
Tres componentes se encuentran alrededor de la columna vertebral de LLM:
Un codificador de audio lee el sonido. Audex utiliza AF-Whisper de Audio Flamingo 3. Comparte la arquitectura Whisper Large-v3 y maneja entradas de 16 kHz. Los adaptadores MLP de dos capas asignan funciones de audio a la dimensión del modelo. Un vocabulario ampliado contiene tokens de salida de audio discretos. Los 131.072 tokens originales crecen a 205.312.
Audex utiliza dos códecs para la salida. El habla utiliza X-Codec2 a 50 tokens por segundo. Aplica cuantificación escalar finita (FSQ) de una sola capa con un libro de códigos de 65.536.
El sonido que no es de voz utiliza X-Codec a 200 tokens por segundo. Utiliza cuatro capas de cuantificación de vector residual (RVQ) aplanadas. El sonido complejo obtiene un presupuesto simbólico mayor que el habla. La demostración interactiva a continuación calcula estos recuentos de tokens para cualquier duración.