¿Qué inferencia MLPERF realmente mide?
La inferencia de MLPERF cuantifica qué tan rápido un sistema completo (hardware + tiempo de ejecución + pila de servicio) ejecuta modelos fijos y previamente capacitados bajo estrictas restricciones de latencia y precisión. Los resultados se informan para el centro de datos y los suites de borde con patrones de solicitud estandarizados (“escenarios”) generados por LoadGen, asegurando la neutralidad arquitectónica y la reproducibilidad. La división cerrada fija el modelo y el preprocesamiento para las comparaciones de manzanas a manzanas; La división abierta permite cambios en el modelo que no son estrictamente comparables. Etiquetas de disponibilidad: disponible, Vista previa, RDI (Investigación/Desarrollo/Interior): indique si las configuraciones son envíos o experimentales.
La actualización 2025 (v5.0 → v5.1): ¿Qué cambió?
Los resultados V5.1 (publicados el 9 de septiembre de 2025) agregan tres cargas de trabajo modernas y amplían la servicio interactiva:
Deepseek-r1 (primer referencia de razonamiento) Llama-3.1-8b (resumen) Reemplazo de GPT-J Whisper V3 (ASR)
Esta ronda registró 27 presentadores y apariciones por primera vez de AMD Instinct MI355X, Intel ARC Pro B60 48GB Turbo, Nvidia GB300, RTX 4000 ADA-PCIE-20GB y RTX Pro 6000 Blackwell Server Edition. Los escenarios interactivos (límites ajustados TTFT/TPOT) se expandieron más allá de un solo modelo para capturar cargas de trabajo de agente/chat.
🚨 [Recommended Read] VIPE (Video Pose Engine): una herramienta de anotación de video 3D potente y versátil para AI espacial
Escenarios: los cuatro patrones de servicio que debe asignar a cargas de trabajo reales
Fuera de línea: maximice el rendimiento, sin latencia, la combinación y la programación dominan. Servidor: Llegados de Poisson con límites de latencia P99, más bien al chat/agente de regreso. Single-stream / múltiple (énfasis de borde): latencia estricta por cola de transmisión; Concurrencia de tensiones múltiples de transmisión a intervalos intervivientes fijos.
Cada escenario tiene una métrica definida (p. Ej., Max Poisson, rendimiento para servidor; rendimiento para fuera de línea).
Métricas de latencia para LLM: TTFT y TPOT ahora son de primera clase
LLM prueba el informe TTFT (tiempo hasta la primera vez) y TPOT (tiempo por salida por salida). V5.0 introdujo límites interactivos más estrictos para LLAMA-2-70B (P99 TTFT 450 ms, TPOT 40 ms) para reflejar la capacidad de respuesta percibida por el usuario. El largo contexto Llama-3.1-405B mantiene límites más altos (P99 TTFT 6 s, TPOT 175 ms) debido al tamaño del modelo y la longitud de contexto. Estas limitaciones se llevan a V5.1 junto con nuevas LLM y tareas de razonamiento.
Clave v5.1 entradas y sus puertas de calidad/latencia (abrev.):
LLM Q&A-Llama-2-70B (OpenORCA): conversacional 2000 ms/200 ms; Interactivo 450 ms/40 ms; 99% y 99.9% de objetivos de precisión. Resumen de LLM-Llama-3.1-8b (CNN/DailyMail): conversacional 2000 ms/100 ms; Interactivo 500 ms/30 ms. Razonamiento-Deepseek-R1: TTFT 2000 MS / TPOT 80 ms; 99% de FP16 (línea de base exacta). ASR-Whisper grande V3 (Librispeech): calidad basada en Wer (DataCenter + Edge). Contexto largo-Llama-3.1-405B: TTFT 6000 ms, TPOT 175 ms. Imagen – SDXL 1.0: rangos de FID/clip; El servidor tiene una restricción de 20 s.
Legacy CV/NLP (Resnet-50, Retinanet, Bert-L, DLRM, 3D-Unet) permanecen para continuidad.
Resultados de la potencia: cómo leer reclamos de energía
MLPERF POWER (Opcional) informa la energía de la pared de la pared del sistema para las mismas ejecuciones (servidor/fuera de línea: potencia del sistema; simple/múltiple: energía por flujo). Solo las ejecuciones medidas son válidas para comparaciones de eficiencia energética; Las estimaciones de TDPS y proveedores están fuera de alcance. V5.1 incluye el centro de datos y las presentaciones de potencia de borde, pero se alienta una participación más amplia.
¿Cómo leer las tablas sin engañarte a ti mismo?
Compare solo cerrado vs cerrado solo; Las ejecuciones abiertas pueden usar diferentes modelos/cuantización. Objetivos de precisión de coincidencias (99% frente a 99.9%): el rendimiento a menudo cae con una calidad más estricta. Normalizar con cautela: MLPERF informa el rendimiento a nivel del sistema bajo restricciones; La división por el recuento de aceleradores produce un número “por chip” derivado que MLPERF no define como una métrica primaria. Úselo solo para presupuestar controles de cordura, no reclamos de marketing. Filtro por disponibilidad (prefiera disponible) e incluya columnas de potencia cuando la eficiencia sea importante.
Interpretación de 2025 Resultados: GPU, CPU y otros aceleradores
GPU (escala de rack a nodo único). El nuevo silicio aparece prominentemente en el servidor-interactivo (TTFT/TPOT) y en cargas de trabajo de contexto largo donde el programador y la eficiencia de KV-Cache importan tanto como los fracasos sin procesar. Los sistemas de escala de rack (p. Ej., Clase GB300 NVL72) publican el rendimiento agregado más alto; Normalice por el acelerador y los recuentos de host antes de compararse con las entradas de un solo nodo, y mantenga el escenario/precisión idéntica.
CPU (líneas de base independientes + efectos del huésped). Las entradas de solo CPU siguen siendo líneas de base útiles y resaltan el preprocesamiento y los gastos generales de envío que pueden cuellos de botella aceleradores en modo servidor. Los nuevos resultados de Xeon 6 y las pilas mixtas de CPU+GPU aparecen en V5.1; Verifique la generación de host y la configuración de la memoria al comparar sistemas con aceleradores similares.
Aceleradores alternativos. V5.1 Aumenta la diversidad arquitectónica (GPU de múltiples proveedores más nuevas estaciones de trabajo/SKU del servidor). Cuando aparecen las presentaciones de división abierta (por ejemplo, variantes podadas/de baja precisión), valida que cualquier comparación de sistemas cruzados contiene división constante, modelo, conjunto de datos, escenario y precisión.
Libro de jugadas de selección práctica (puntos de referencia de mapas para SLA)
Chat/agentes interactivos → Interactivo del servidor en LLAMA-2-70B/LLAMA-3.1-8B/Deepseek-R1 (latencia y precisión del partido; examine P99 TTFT/TPOT). Resumen por lotes/ETL → fuera de línea en Llama-3.1-8b; El rendimiento por estante es el controlador de costos. ASR Front-End → Whisper V3 Server con latencia de cola; El ancho de banda de memoria y el audio pre/posprocesamiento. Análisis de contexto largo → Llama-3.1-405b; Evalúe si su UX tolera 6 S TTFT / 175 ms TPOT.
¿Qué señales de ciclo de 2025?
La porción de LLM interactiva es la toma de mesa. TTFT/TPOT ajustado en v5.x hace que la programación, el lote, la atención paginado y la gestión de KV-Cache sean visibles en los resultados, expecten diferentes líderes que en puro fuera de línea. El razonamiento ahora está en referencia. Deepseek-R1 enfatiza el flujo de control y el tráfico de memoria de manera diferente a la generación de la siguiente token. Cobertura de modalidad más amplia. Whisper V3 y SDXL ejercen tuberías más allá de la decodificación de los tokens, la E/S de superficie y los límites de ancho de banda.
Resumen
En resumen, la inferencia de MLPERF v5.1 hace que las comparaciones de inferencia sean procesables solo cuando se basan en las reglas del punto de referencia: alinearse en la división cerrada, el escenario de coincidencia y la precisión (incluidos los límites LLM TTFT/TPOT para la servición interactiva) y preferir sistemas disponibles con poder medido para razonar sobre la eficiencia; Trate cualquier división por dispositivo como heurísticas derivadas porque MLPERF informa el rendimiento a nivel del sistema. El ciclo de 2025 amplía la cobertura con Deepseek-R1, Llama-3.1-8b y susurro V3 grande, además de una participación de silicio más amplia, por lo que la adquisición debe filtrar los resultados a las cargas de trabajo que reflejan los SLA de producción de producción y el servidor interactivo para el chat/agentes, fuera de línea para el lote, y validar los reclamos directamente en las páginas de resultados de las montones de mlcomons y el método de energía.
Referencias:
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias en Ciencias de Datos de la Universidad de Padova. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca por transformar conjuntos de datos complejos en ideas procesables.
🔥[Recommended Read] NVIDIA AI Open-Sources Vipe (motor de pose de video): una herramienta de anotación de video 3D potente y versátil para AI espacial