Maia 200 es el nuevo acelerador de IA interno de Microsoft diseñado para la inferencia en centros de datos de Azure. Se enfoca en el costo de la generación de tokens para modelos de lenguaje grandes y otras cargas de trabajo de razonamiento mediante la combinación de computación de precisión estrecha, una jerarquía de memoria densa en el chip y una estructura de ampliación basada en Ethernet.
¿Por qué Microsoft construyó un chip de inferencia dedicado?
El entrenamiento y la inferencia enfatizan el hardware de diferentes maneras. La formación necesita una comunicación muy amplia entre todos y trabajos de larga duración. La inferencia se preocupa por los tokens por segundo, la latencia y los tokens por dólar. Microsoft posiciona a Maia 200 como su sistema de inferencia más eficiente, con aproximadamente un 30 por ciento mejor rendimiento por dólar que el último hardware de su flota.
Maia 200 es parte de una pila heterogénea de Azure. Servirá para múltiples modelos, incluidos los últimos modelos GPT 5.2 de OpenAI, y potenciará cargas de trabajo en Microsoft Foundry y Microsoft 365 Copilot. El equipo de Superinteligencia de Microsoft utilizará el chip para la generación de datos sintéticos y el aprendizaje reforzado para mejorar los modelos internos.
Núcleo de silicio y especificaciones numéricas.
Cada troquel Maia 200 se fabrica mediante el proceso de 3 nanómetros de TSMC. El chip integra más de 140 mil millones de transistores.
La canalización informática se basa en núcleos tensoriales nativos FP8 y FP4. Un solo chip ofrece más de 10 petaFLOPS en FP4 y más de 5 petaFLOPS en FP8, dentro de una envolvente SoC TDP de 750 W.
La memoria se divide entre HBM apilado y SRAM. Maia 200 proporciona 216 GB de HBM3e con aproximadamente 7 TB por segundo de ancho de banda y 272 MB de SRAM integrada. La SRAM está organizada en SRAM a nivel de mosaico y SRAM a nivel de clúster y está completamente administrada por software. Los compiladores y los tiempos de ejecución pueden colocar conjuntos de trabajo explícitamente para mantener la atención y los núcleos GEMM cerca de la computación.
Microarquitectura basada en mosaicos y jerarquía de memoria.
La microarquitectura Maia 200 es jerárquica. La unidad base es el azulejo. Un mosaico es la unidad de almacenamiento y computación autónoma más pequeña del chip. Cada mosaico incluye una unidad tensor de mosaico para operaciones matriciales de alto rendimiento y un procesador vectorial de mosaico como motor SIMD programable. Tile SRAM alimenta ambas unidades y los motores Tile DMA mueven datos dentro y fuera de SRAM sin detener el cálculo. Un procesador de control de mosaicos organiza la secuencia de trabajo del tensor y DMA.
Varios mosaicos forman un grupo. Cada clúster expone una SRAM de clúster de múltiples bancos más grande que se comparte entre los mosaicos de ese clúster. Los motores DMA a nivel de clúster mueven datos entre la SRAM del clúster y las pilas HBM empaquetadas conjuntamente. Un núcleo de clúster coordina la ejecución de múltiples mosaicos y utiliza esquemas de redundancia para mosaicos y SRAM para mejorar el rendimiento manteniendo el mismo modelo de programación.
Esta jerarquía permite que la pila de software fije diferentes partes del modelo en diferentes niveles. Por ejemplo, los núcleos de atención pueden mantener los tensores Q, K, V en la SRAM de mosaico, mientras que los núcleos de comunicación colectiva pueden organizar cargas útiles en la SRAM del clúster y reducir la presión de HBM. El objetivo del diseño es una alta utilización sostenida cuando los modelos crecen en tamaño y longitud de secuencia.
El movimiento de datos en chip y la estructura de ampliación de Ethernet
La inferencia a menudo está limitada por el movimiento de datos, no por el cálculo máximo. Maia 200 utiliza una red personalizada en chip junto con una jerarquía de motores DMA. Network on Chip abarca mosaicos, clústeres, controladores de memoria y unidades de E/S. Tiene planos separados para tráfico tensorial grande y para mensajes de control pequeños. Esta separación evita que la sincronización y las pequeñas salidas queden bloqueadas detrás de grandes transferencias.
Más allá del límite del chip, Maia 200 integra su propia NIC y una red escalable basada en Ethernet que ejecuta el protocolo AI Transport Layer. La NIC incorporada expone aproximadamente 1,4 TB por segundo en cada dirección, o 2,8 TB por segundo de ancho de banda bidireccional, y escala a 6144 aceleradores en un dominio de dos niveles.
Dentro de cada bandeja, cuatro aceleradores Maia forman un Quad totalmente conectado. Estos cuatro dispositivos tienen enlaces directos no conmutados entre sí. La mayor parte del tráfico paralelo tensorial permanece dentro de este grupo, mientras que sólo el tráfico colectivo más ligero sale a los conmutadores. Esto mejora la latencia y reduce el número de puertos del switch para colectivos de inferencia típicos.
Integración y refrigeración del sistema Azure
A nivel de sistema, Maia 200 sigue los mismos estándares mecánicos, de potencia y de rack que los servidores GPU de Azure. Admite configuraciones enfriadas por aire y por líquido y utiliza una unidad intercambiadora de calor de refrigeración líquida de circuito cerrado de segunda generación para racks de alta densidad. Esto permite implementaciones mixtas de GPU y aceleradores Maia en el mismo espacio del centro de datos.
El acelerador se integra con el plano de control de Azure. La administración de firmware, la supervisión del estado y la telemetría utilizan los mismos flujos de trabajo que otros servicios informáticos de Azure. Esto permite implementaciones y mantenimiento en toda la flota sin interrumpir la ejecución de cargas de trabajo de IA.
Conclusiones clave
Aquí hay cinco conclusiones técnicas y concisas:
Primer diseño de inferencia: Maia 200 es la primera plataforma de sistema y silicio de Microsoft construida únicamente para la inferencia de IA, optimizada para la generación de tokens a gran escala en modelos de razonamiento modernos y modelos de lenguaje de gran tamaño. Especificaciones numéricas y jerarquía de memoria: el chip está fabricado en TSMC de 3 nm, integra alrededor de 140 mil millones de transistores y ofrece más de 10 PFLOPS FP4 y más de 5 PFLOPS FP8, con 216 GB HBM3e a 7 TB por segundo junto con 272 MB en SRAM en chip dividido en SRAM en mosaico y SRAM en clúster y administrado en software. Rendimiento frente a otros aceleradores de la nube: Microsoft informa aproximadamente un 30 por ciento mejor rendimiento por dólar que los últimos sistemas de inferencia de Azure y afirma tener un rendimiento FP4 3 veces mayor que Amazon Trainium de tercera generación y un rendimiento FP8 mayor que Google TPU v7 a nivel de acelerador. Arquitectura basada en mosaicos y tejido Ethernet: Maia 200 organiza la computación en mosaicos y clústeres con SRAM local, motores DMA y una red en chip, y expone una NIC integrada con aproximadamente 1,4 TB por segundo por dirección de ancho de banda Ethernet que se escala a 6144 aceleradores utilizando grupos Quad totalmente conectados como dominio paralelo del tensor local.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.