Un consorcio de investigación alemán ha publicado el informe de preentrenamiento del Soofi S 30B-A3B. Es un modelo de base abierta para alemán e inglés. La formación se desarrolló de principio a fin en la nube de IA industrial de Deutsche Telekom en Múnich. Los pesos de vista previa están en Hugging Face. Vale la pena señalar que entre algunos de los modelos básicos totalmente abiertos probados, Soofi S registra las puntuaciones agregadas más altas en inglés y alemán.
¿Qué es Soofi S 30B-A3B?
Soofi S es un modelo básico de transformador Mamba híbrido de mezcla de expertos (MoE). Tiene un total de ~31,6 mil millones de parámetros y activa ~3,2 mil millones por token. Como modelo base, no tiene instrucciones de ajuste, alineación ni ajuste de seguridad. El consorcio, financiado por el Ministerio Federal de Economía y Energía de Alemania, coordina el KI Bundesverband. Entre los participantes se encuentran Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind y Merantix Momentum.
¿Cómo funciona la arquitectura?
La afirmación de eficiencia comienza con la pila de capas. La red tiene 52 capas. Es decir, 23 capas de mezcla de secuencias Mamba-2, 23 capas MoE granulares y 6 capas de atención de consultas agrupadas (GQA). Sólo esas 6 capas de GQA mantienen un caché KV. Cada capa de MoE tiene 128 expertos enrutados, activa 6 por token y agrega 2 expertos compartidos. Otros detalles: dimensión del modelo 2688, ReLU cuadrado, RMSNorm y sin incrustaciones posicionales.
Soofi S adopta el diseño de referencia Nemotron 3 Nano sin modificaciones. El equipo de investigación da tres razones para esa elección. Se trata de la capacidad de implementación en pilas como vLLM, la eficiencia del servicio y el control científico. Debido a que la columna vertebral es fija, Nemotron 3 Nano se convierte en una base de arquitectura idéntica. La receta de los datos es la única parte móvil.