Acelere la inferencia de IA generativa en Amazon SageMaker AI con instancias G7e

A medida que la demanda de IA generativa continúa creciendo, los desarrolladores y las empresas buscan aceleradores más flexibles, rentables y potentes para satisfacer sus necesidades. Hoy, estamos encantados de anunciar la disponibilidad de instancias G7e con tecnología de GPU NVIDIA RTX PRO 6000 Blackwell Server Edition en Amazon SageMaker AI.

Puede aprovisionar nodos con 1, 2, 4 y 8 instancias de GPU RTX PRO 6000, y cada GPU proporciona 96 GB de memoria GDDR7. Este lanzamiento proporciona la capacidad de utilizar una GPU de un solo nodo, una instancia G7e.2xlarge para alojar potentes modelos básicos (FM) de código abierto como GPT-OSS-120B, Nemotron-3-Super-120B-A12B (variante NVFP4) y Qwen3.5-35B-A3B, ofreciendo a las organizaciones una opción rentable y de alto rendimiento. Esto lo hace muy adecuado para quienes buscan mejorar los costos y al mismo tiempo mantener un alto rendimiento para cargas de trabajo de inferencia. Los aspectos más destacados de las instancias G7e incluyen:

El doble de memoria de GPU en comparación con las instancias G6e, lo que permite la implementación de modelos de lenguaje grandes (LLM) en FP16 hasta: Modelo de parámetros de 35 B en un solo nodo de GPU (G7e.2xlarge) Modelo de parámetros de 150 B en un nodo de 4 GPU (G7e.24xlarge) Modelo de parámetros de 300 B en un nodo de 8 GPU (G7e.48xlarge) Hasta 1600 Gbps de rendimiento de red a 768 GB de memoria GPU en G7e.48xlarge

Las instancias G7e de Amazon Elastic Compute Cloud (Amazon EC2) representan un salto significativo en la inferencia acelerada por GPU en la nube. Ofrecen un rendimiento de inferencia hasta 2,3 veces mayor en comparación con las instancias G6e de la generación anterior. Cada GPU G7e proporciona un ancho de banda de 1597 GB/s, lo que duplica la memoria por GPU del G6e y cuadriplica la del G5. La conexión en red se escala a 1600 Gbps con EFA en el tamaño más grande de G7e (un salto de 4x sobre G6e y 16x sobre G5), lo que desbloquea la inferencia de múltiples nodos de baja latencia y escenarios de ajuste que antes no eran prácticos en las instancias de la serie G. La siguiente tabla resume la progresión generacional en el nivel de 8 GPU:

Especificaciones G5 (g5.48xlarge) G6e (g6e.48xlarge) G7e (g7e.48xlarge) GPU 8x NVIDIA A10G 8x NVIDIA L40S 8x NVIDIA RTX PRO 6000 Blackwell GPU Memoria por GPU 24 GB GDDR6 48 GB GDDR6 96 GB GDDR7 Memoria total de GPU 192 GB 384 GB 768 GB de memoria de GPU Ancho de banda 600 GB/s por GPU 864 GB/s por GPU 1597 GB/s por GPU vCPU 192 192 192 Memoria del sistema 768 GiB 1536 GiB 2048 GiB Ancho de banda de red 100 Gbps 400 Gbps 1600 Gbps (EFA) Almacenamiento NVMe local 7,6 TB 7,6 TB 15,2 Inferencia de TB frente a la línea base de G6e ~1x Hasta 2,3x

Con 768 GB de memoria GPU agregada en una sola instancia, G7e puede alojar modelos que anteriormente requerían configuraciones de múltiples nodos en G5 o G6e, lo que reduce la complejidad operativa y la latencia entre nodos. Combinadas con la compatibilidad con la precisión del FP4 mediante Tensor Cores de quinta generación y NVIDIA GPUDirect RDMA sobre EFAv4, las instancias G7e se posicionan como la opción preferida para implementar LLM, IA multimodal y cargas de trabajo de inferencia agente en AWS.

Casos de uso muy adecuados para el G7e

La combinación de densidad de memoria, ancho de banda y capacidades de red del G7e lo hace ideal para una amplia gama de cargas de trabajo de IA generativa modernas:

Chatbots e IA conversacional: el bajo TTFT y el alto rendimiento del G7e mantienen las experiencias interactivas con capacidad de respuesta incluso bajo una gran carga simultánea. Flujos de trabajo agentes y de llamada de herramientas: la mejora 4 veces mayor en el ancho de banda de CPU a GPU hace que G7e sea particularmente efectivo para canalizaciones de generación aumentada de recuperación (RAG) y flujos de trabajo agentes donde la rápida inyección de contexto desde los almacenes de recuperación es fundamental. Generación de texto, resumen e inferencia de contexto largo: la memoria de 96 GB por GPU del G7e admite grandes cachés KV para contextos de documentos extendidos, lo que reduce el truncamiento y permite un razonamiento más rico en entradas largas. Generación de imágenes y modelos de visión: donde las instancias anteriores encontraron errores de falta de memoria en modelos multimodales más grandes, la memoria duplicada del G7e resuelve estas limitaciones limpiamente. IA física y computación científica: la computación de generación Blackwell de G7e, la compatibilidad con FP4 y las capacidades de computación espacial (DLSS 4.0, núcleos RT de cuarta generación) extienden su aplicabilidad a gemelos digitales, simulación 3D e inferencia de modelos de IA física.

Tutorial de implementación

Requisitos previos

Para probar esta solución con SageMaker AI, necesita los siguientes requisitos previos:

Despliegue

Puede clonar el repositorio y utilizar el cuaderno de muestra que se proporciona aquí.

Puntos de referencia de rendimiento

Para cuantificar la mejora generacional, comparamos Qwen3-32B (BF16) en instancias G6e y G7e utilizando la misma carga de trabajo: ~1000 tokens de entrada y ~560 tokens de salida por solicitud. Esto es representativo de las tareas de resumen o corrección de documentos. Ambas configuraciones utilizan el contenedor vLLM nativo con el almacenamiento en caché de prefijo habilitado.

El conjunto de evaluaciones comparativas utilizado para producir estos resultados está disponible en el cuaderno de muestra de Jupyter. Sigue un proceso de tres pasos: (1) implementar el modelo en un terminal de IA de SageMaker utilizando el contenedor vLLM nativo, (2) realizar pruebas de carga en niveles de concurrencia de 1 a 32 solicitudes simultáneas y (3) analizar los resultados para producir las siguientes tablas de rendimiento.

Línea base de G6e: ml.g6e.12xlarge [4x L40S, $13,12/hora]

Con 4 GPU L40S y grado de paralelismo tensorial 4, G6e ofrece un sólido rendimiento por solicitud: 37,1 tok/s en concurrencia única y 21,5 tok/s en C=32.

C Éxito p50 (s) p99 (s) tok/s RPS Agg tok/s $/M tokens 1 100% 16,1 16,3 37,1 0,07 37 $38,09 8 100% 19,8 20,2 30,3 0,42 242 $5,85 16 100% 23,1 23,5 26,0 0,73 416 $3,41 32 100% 26,0 29,2 21,5 1,21 686 $2,06

G7e: ml.g7e.2xlarge [1x RTX PRO 6000 Blackwell, $4,20/hora]

G7e ejecuta el mismo modelo de 32B de parámetros en una sola GPU con paralelismo tensor de grado 1. Si bien el tok/s por solicitud es menor que la configuración de 4 GPU del G6e, la historia del costo es dramáticamente diferente.

C Éxito p50 (s) p99 (s) tok/s RPS Agg tok/s $/M tokens 1 100% 27,2 27,5 22,0 0,04 22 $21,32 8 100% 28,7 28,9 20,9 0,28 167 $2,81 16 100% 30,3 30,6 19,9 0,53 318 $1,48 32 100% 33,2 33,3 18,5 0,99 592 $0,79

Lo que nos dicen los números

En simultaneidad de producción (C=32), G7e logra $0,79 por millón de tokens de producción, una reducción de costos de 2,6 veces en comparación con los $2,06 de G6e. Esto se debe a dos factores: la tarifa por hora significativamente más baja del G7e ($4,20 frente a $13,12) y su capacidad para mantener un rendimiento constante bajo carga. La arquitectura de GPU única del G7e también escala con mayor elegancia. La latencia aumenta un 22 % de C=1 a C=32 (27,2 s a 33,2 s), en comparación con el 62 % del G6e (16,1 s a 26,0 s). Con paralelismo tensorial de grado 1, existe:

Sin sobrecarga de sincronización entre GPU Sin operaciones de reducción total en cada capa del transformador Sin fragmentación de caché KV entre GPU Sin cuellos de botella en la comunicación NVLink

A medida que aumenta la concurrencia y la GPU se satura más, esta ausencia de sobrecarga de coordinación mantiene la latencia predecible. Para cargas de trabajo sensibles a la latencia con baja concurrencia, el paralelismo de 4 GPU del G6e aún ofrece respuestas individuales más rápidas. Para implementaciones de producción que optimizan el costo por token a escala, G7e es la opción clara y, como mostramos en la siguiente sección, la combinación de G7e con la decodificación especulativa EAGLE (Algoritmo de extrapolación para una mayor eficiencia del modelo de lenguaje) aumenta aún más la ventaja.

Puntos de referencia combinados: decodificación especulativa G7e + EAGLE

Las mejoras de hardware del G7e son significativas por sí solas, pero combinarlas con la decodificación especulativa EAGLE produce ganancias compuestas. EAGLE acelera la decodificación LLM al predecir múltiples tokens futuros a partir de las representaciones ocultas del modelo y luego verificarlos en un solo paso hacia adelante. Esto produce una calidad de salida idéntica y al mismo tiempo genera múltiples tokens por paso. Para obtener un tutorial detallado de EAGLE en SageMaker AI, incluida la configuración del trabajo de optimización y el flujo de trabajo de EAGLE base versus entrenado, consulte Amazon SageMaker AI presenta la decodificación especulativa adaptativa basada en EAGLE para acelerar la inferencia de IA generativa.

En esta sección, medimos la mejora acumulada desde el inicio hasta G7e + EAGLE3 usando Qwen3-32B en BF16. La carga de trabajo de referencia utiliza ~1000 tokens de entrada y ~560 tokens de salida por solicitud, representativos de tareas de corrección o resumen de documentos. EAGLE3 se habilita utilizando un especulador capacitado por la comunidad (~1,56 GB) con num_speculative_tokens=4.

G7e + EAGLE3 ofrece una mejora de rendimiento 2,4 veces mayor y una reducción de costos del 75 % con respecto a la línea base de la generación anterior. A 0,41 dólares por millón de tokens de salida, también es 4 veces más barato que G6e + EAGLE3 (1,72 dólares) a pesar de ofrecer un mayor rendimiento.

Habilitando EAGLE3

Para implementaciones de producción con modelos ajustados, el kit de herramientas de optimización AI EAGLE de SageMaker puede entrenar cabezas EAGLE personalizadas con sus propios datos, mejorando aún más la tasa de aceptación especulativa y el rendimiento más allá de lo que proporcionan los especuladores de la comunidad.

Precios

Las instancias de G7e en Amazon SageMaker AI se facturan según el precio de inferencia estándar de SageMaker AI para el tipo de instancia seleccionado y la duración de uso. No hay ningún cargo adicional por token o por solicitud por servir en G7e.

Los trabajos de optimización de EAGLE se ejecutan en instancias de capacitación de IA de SageMaker y se facturan según la tarifa estándar de la instancia de capacitación de SageMaker durante la duración del trabajo. Los artefactos del modelo mejorado resultantes se almacenan en Amazon Simple Storage Service (Amazon S3) a velocidades de almacenamiento estándar. No hay ningún cargo adicional por la inferencia acelerada por EAGLE una vez implementado el modelo mejorado. Solo paga el costo estándar de la instancia de punto final.

La siguiente tabla muestra los precios bajo demanda para tamaños de instancias clave G7e, G6e y G5 en el este de EE. UU. (Norte de Virginia) como referencia. Las filas de G7e están resaltadas.

GPU de instancia Memoria de GPU Caso de uso típico ml.g5.2xlarge 1 LLM pequeños de 24 GB (≤7B FP16); desarrollo y prueba ml.g5.48xlarge 8 192 GB LLM de GPU múltiple grande disponible en G5 ml.g6e.2xlarge 1 48 GB LLM de tamaño mediano (≤14B FP16) ml.g6e.12xlarge 2 96 GB LLM grandes (≤36B FP16); línea base de generación anterior ml.g6e.48xlarge 8 384 GB LLM muy grandes (≤90B FP16) ml.g7e.2xlarge 1 96 GB LLM grandes (≤70B FP8) en una sola GPU ml.g7e.24xlarge 4 384 GB LLM muy grandes; servicio de alto rendimiento ml.g7e.48xlarge 8 768 GB Rendimiento máximo; modelos más grandes

También puede reducir los costos de inferencia con los planes de ahorro de Amazon SageMaker, que ofrecen descuentos de hasta el 64 % a cambio de un compromiso de una cantidad de uso constante. Son muy adecuados para puntos finales de inferencia de producción con tráfico predecible.

Limpiar

Para evitar incurrir en cargos innecesarios después de completar las pruebas, elimine los puntos finales de SageMaker creados durante el tutorial. Puede hacerlo a través de la consola de SageMaker AI o con el SDK de Python como se muestra en la Guía para desarrolladores de Amazon SageMaker AI.

Si ejecutó un trabajo de optimización EAGLE, elimine también los artefactos de salida de Amazon S3 para evitar cargos de almacenamiento continuos.

Conclusión

Las instancias G7e en Amazon SageMaker AI representan el próximo salto significativo en la inferencia de IA generativa rentable. La arquitectura de GPU de Blackwell ofrece 2 veces más memoria por GPU, 1,85 veces más ancho de banda de memoria y hasta 2,3 veces más rendimiento de inferencia que G6e. Esto permite que cargas de trabajo que anteriormente incluían múltiples GPU se ejecuten de manera eficiente en una sola GPU y aumenten el límite de rendimiento para cada configuración de GPU. Combinadas con la decodificación especulativa EAGLE de SageMaker AI, las mejoras se agravan aún más. La aceleración basada en el ancho de banda de la memoria de EAGLE se beneficia directamente del mayor ancho de banda del G7e, mientras que la mayor capacidad de memoria del G7e permite que los cabezales de tiro EAGLE coexistan con modelos más grandes sin presión de memoria. En conjunto, las mejoras de hardware y software brindan ganancias de rendimiento que se traducen directamente en un menor costo por token de salida a escala.

La progresión de G5 a G6e y a G7e, combinada con la optimización EAGLE, representa un camino de cooptimización de hardware y software casi continuo, que sigue mejorando a medida que los modelos evolucionan y los datos del tráfico de producción se capturan y retroalimentan en el reentrenamiento de EAGLE.

Sobre los autores

Hazim Qudah

Hazim Qudah es arquitecto de soluciones especializado en IA/ML en Amazon Web Services. Le gusta ayudar a los clientes a crear y adoptar soluciones de IA/ML utilizando tecnologías y mejores prácticas de AWS. Antes de ocupar su puesto en AWS, pasó muchos años realizando consultoría tecnológica con clientes de muchas industrias y geografías. ¡En su tiempo libre le gusta correr y jugar con sus perros Nala y Chai!

Dmitry Soldatkin

Dmitry Soldatkin es líder mundial en arquitectura de soluciones especializadas, SageMaker Inference en AWS. Lidera los esfuerzos para ayudar a los clientes a diseñar, construir y optimizar soluciones GenAI y AI/ML en toda la empresa. Su trabajo abarca una amplia gama de casos de uso de ML, con un enfoque principal en la IA generativa, el aprendizaje profundo y la implementación de ML a escala. Se ha asociado con empresas de todos los sectores, incluidos servicios financieros, seguros y telecomunicaciones. Puedes conectarte con Dmitry en LinkedIn.

Sanghwa Na

Sanghwa Na es arquitecto de soluciones especialista en IA generativa en Amazon Web Services con sede en San Francisco. Trabaja con clientes para diseñar e implementar soluciones de IA generativa en AWS, desde la selección del modelo básico hasta la implementación de producción. Antes de unirse a AWS, desarrolló su carrera en ingeniería de software y arquitectura de nube. Fuera del trabajo, le gusta pasar tiempo con su gato Byeol-nyang (gato estrella).

Venu Kanamatareddy

Venu Kanamatareddy es arquitecto de soluciones especializado en IA en Amazon Web Services, donde trabaja con nuevas empresas nativas de IA de alto crecimiento para diseñar, escalar y poner en funcionamiento sistemas de IA de grado de producción. Su trabajo abarca la IA generativa, la optimización de LLM, los flujos de trabajo agentes y la observabilidad y evaluación de sistemas de IA en entornos de producción. Con una carrera basada en la arquitectura de la nube, los sistemas distribuidos y el aprendizaje automático, se centra en diseñar y construir sistemas de inteligencia artificial que funcionen de manera confiable a escala, equilibrando el rendimiento, el costo y la preparación para la producción. Tiene una licenciatura en informática y una maestría en Inteligencia Artificial.