A medida que los modelos de lenguajes grandes (LLM) crecen en tamaño y complejidad, maximizar el rendimiento de inferencia y minimizar la latencia sigue siendo un desafío crítico para las implementaciones de producción empresarial. La decodificación especulativa es una estrategia eficaz para abordar este problema, utilizando un modelo preliminar ligero para adivinar tokens futuros que luego son verificados por el LLM objetivo en un solo paso hacia adelante. Si bien los marcos de trabajo de última generación como el Algoritmo de extrapolación para una mayor eficiencia del modelo de lenguaje (EAGLE) han logrado aceleraciones impresionantes, se topan con un techo arquitectónico oculto: sus borradores de tokens se generan de manera autorregresiva. Debido a que cada token de borrador depende de la salida del anterior, producir K candidatos requiere K pases directos secuenciales a través del cabezal de borrador, lo que crea un costo de latencia que crece linealmente con la profundidad de la especulación. EAGLE-3, la última versión, mejoró las versiones anteriores al predecir tokens directamente en lugar de características y al combinar representaciones de múltiples capas del modelo objetivo, lo que aumentó la precisión del borrador y permitió que el método se beneficiara de conjuntos de datos de entrenamiento más grandes. Sin embargo, incluso con estos avances, persiste la limitación fundamental de la redacción secuencial. Cuanto más especulas, más gastos generales de redacción acumulas, lo que acaba mermando tus ganancias de rendimiento.
Para superar este cuello de botella, AWS inventó Parallel-EAGLE (P-EAGLE) y lo contribuyó al código abierto, un método innovador que transforma la decodificación especulativa de un proceso iterativo a una operación totalmente paralelizada. P-EAGLE elimina por completo la fase de draft secuencial anidada al predecir todos los tokens de draft especulativos simultáneamente en un solo pase hacia adelante. Para ilustrar: si el modelo objetivo genera el token "París", EAGLE necesita cuatro pases secuenciales de redacción para proponer los siguientes cuatro tokens ("conocido por su"). En cambio, P-EAGLE llena las posiciones 2 a 4 con marcadores de posición que se pueden aprender y predice los cuatro tokens a la vez (consulte la figura en la descripción general de la solución). Al desacoplar el recuento de tokens de borrador del número de pases secuenciales hacia adelante, P-EAGLE permite una especulación más profunda sin aumentar la sobrecarga de latencia. En pruebas comparativas del mundo real que se ejecutan en hardware avanzado de alto rendimiento, este enfoque altamente paralelizado ofrece una velocidad de rendimiento de hasta 1,69 veces en comparación con los marcos EAGLE básicos.
Hoy en día, Amazon SageMaker JumpStart admite de forma nativa P-EAGLE para una variedad de modelos de bases populares. SageMaker JumpStart proporciona un centro seleccionado de modelos abiertos de última generación que se pueden implementar con un solo clic o unas pocas líneas de código. Al combinar la optimización del modelo de P-EAGLE con el entorno totalmente administrado de Amazon SageMaker AI, los desarrolladores ahora pueden implementar puntos finales de inferencia acelerados por P-EAGLE que son hasta 1,69 veces más rápidos que EAGLE-3, sin administrar complejos núcleos CUDA subyacentes ni configuraciones de servicio distribuido.
Esta publicación le explica cómo utilizar P-EAGLE directamente en Amazon SageMaker AI. Demostrará cómo seleccionar un modelo compatible del catálogo JumpStart de SageMaker, configurar las especificaciones de dibujo paralelo e implementar un punto final de SageMaker AI en tiempo real altamente optimizado para acelerar sus aplicaciones de IA generativa.
Puntos de referencia
Los siguientes puntos de referencia comparan P-EAGLE, EAGLE-3 y la inferencia estándar (sin especulaciones) en Qwen3-Coder-30B-A3B-Instruct ejecutándose en GPU NVIDIA B200 con cuantificación FP8. Los resultados se miden en tokens de producción total estimados por segundo (OTPS).
Comparación de tokens de salida por segundo entre niveles de simultaneidad. P-EAGLE (mejor K) supera consistentemente a EAGLE-3 y a la línea de base en ambos puntos de referencia.
HumanEval: tokens de salida totales por segundo
Concurrencia P-EAGLE K=3 P-EAGLE K=7 P-EAGLE K=11 EAGLE-3 K=3 EAGLE-3 K=7 EAGLE-3 K=11 Línea base P-EAGLE / EAGLE-3 P-EAGLE / Línea base 1 665 1.032 1.167 651 905 955 294 1,22x 3,97x 4 2.205 3.313 3.710 2.198 3.044 3.215 889 1,15x 4,17x 8 3.958 5.786 6.252 3.979 5.493 5.589 1.587 1,12x 3,94x
Código SPEED-Bench: tokens de salida totales por segundo
Concurrencia P-EAGLE K=3 P-EAGLE K=7 P-EAGLE K=11 EAGLE-3 K=3 EAGLE-3 K=7 EAGLE-3 K=11 Línea base P-EAGLE / EAGLE-3 P-EAGLE / Línea base 1 605 828 873 526 620 612 294 1,41x 2,97x 4 2.003 2.656 2.777 1.777 2.084 2.059 889 1,33x 3,12x 8 3.596 4.638 4.680 3.218 3.762 3.579 1.587 1,24x 2,95x 32 9.748 10.643 11.537 8.796 9.607 10.776 4.452 1,07x 2,59x 128 20.337 23.329 22.191 19.313 22.845 22.255 10.943 1,02x 2,13x
La relación P-EAGLE/EAGLE-3 compara la mejor configuración de P-EAGLE con la mejor configuración de EAGLE-3 en cada nivel de concurrencia.
Comparación de inferencia en vivo
La siguiente grabación de pantalla demuestra P-EAGLE en acción en Qwen3-Coder-30B-A3B-Instruct.
Qwen3-Coder-30B-A3B-Instruct en puntos finales de IA de Amazon SageMaker que se ejecutan en ml.g7e.2xlarge. P-EAGLE Parallel K=3 (izquierda) en comparación con la inferencia estándar (derecha) en tokens por segundo.
Comenzando con P-EAGLE en SageMaker JumpStart
Amazon SageMaker JumpStart proporciona una experiencia de implementación con un solo clic para modelos básicos con decodificación especulativa paralela P-EAGLE. En el lanzamiento, los siguientes cuatro modelos están disponibles con cabezales P-EAGLE previamente entrenados:
GPT-OSS-120B. GPT-OSS-20B. Qwen3-Coder-30B-A3B-Instrucción. Gemma-4-31B-IT.
Puede implementar cada uno de estos modelos directamente desde el centro de modelos JumpStart con P-EAGLE preconfigurado. No se requiere capacitación de redacción manual, contenedores personalizados ni configuración de vLLM. Este tutorial demuestra el proceso de implementación mediante Qwen3-Coder-30B-A3B-Instruct.
Requisitos previos
Para seguir este tutorial, necesita:
Una cuenta de AWS con acceso a Amazon SageMaker AI. Un dominio de Amazon SageMaker AI con al menos un perfil de usuario configurado. Cuota de servicio para ml.g7e.2xlarge (o instancia de GPU equivalente) para puntos finales de inferencia en tiempo real de SageMaker.
Paso 1: abra Amazon SageMaker Studio y navegue hasta JumpStart
Abra la consola de Amazon SageMaker AI. Selecciona tu perfil de usuario. Elija Abrir estudio. En Amazon SageMaker Studio, navegue hasta JumpStart/Modelos en la barra lateral izquierda.
Página de inicio de Amazon SageMaker Studio con JumpStart/Modelos en la navegación izquierda.
Paso 2: busque un modelo compatible con P-EAGLE
En el centro de modelos JumpStart, busque Qwen3-Coder-30B-A3B-Instruct. Se trata de un modelo de razonamiento de alto rendimiento con una configuración de combinación activa de expertos de 3 mil millones de parámetros, lo que lo convierte en un candidato para la aceleración de decodificación especulativa.
Buscando “qwen3-coder-30b” en el centro de modelos JumpStart.
Paso 3: revisa la tarjeta del modelo
Elija el modelo para abrir su página de tarjeta. Aquí puede revisar los aspectos más destacados del modelo, la información de licencia y las opciones de implementación admitidas. Elija el botón Implementar en la esquina superior derecha. Esto abre el flujo de implementación con un solo clic con P-EAGLE preconfigurado.
Tarjeta modelo para Qwen3-Coder-30B-A3B-Instruct que muestra las acciones de Evaluación, Implementación y Capacitación.
Paso 4: configurar la implementación
Después de elegir Implementar, aparece la página de configuración del endpoint. En la sección Modelos en la parte inferior, el modelo está etiquetado como Inferencia optimizada, lo que indica que la decodificación especulativa P-EAGLE está preconfigurada. Elija la flecha derecha junto al nombre del modelo para expandir y ver las variables de entorno.
Página de configuración de implementación con configuraciones de tipo de instancia, recuento y tipo de inferencia.
Paso 5: Verificar la configuración especulativa de P-EAGLE
Desplácese hacia abajo hasta la sección Variables de entorno. La configuración clave para P-EAGLE es la variable de entorno SM_VLLM_SPECULATIVE_CONFIG, que se completa previamente con lo siguiente:
Esto le indica al servidor de inferencia vLLM que cargue el cabezal dibujante P-EAGLE previamente entrenado. P-EAGLE se integra de forma nativa como una extensión de dibujo paralelo de la arquitectura EAGLE-3. Al especificar "parallel_drafting": true activa la canalización P-EAGLE, que automáticamente realiza un dibujo paralelo de múltiples tokens bajo el capó. El parámetro num_speculative_tokens controla cuántos tokens se redactan en cada paso directo.
Variables de entorno que muestran SM_VLLM_SPECULATIVE_CONFIG con la configuración del redactor P-EAGLE.
Paso 6: Espere a que el terminal entre en servicio
Elija Implementar para crear el punto final. SageMaker AI aprovisiona la instancia, descarga los artefactos del modelo y el cabezal de redacción P-EAGLE e inicia el servidor de inferencia vLLM. Después de unos minutos, el estado del terminal cambia a En servicio (verde), lo que confirma que el modelo está listo para aceptar solicitudes de inferencia.
Resumen del punto final que muestra el estado "En servicio" en ml.g7e.2xlarge con tipo de inferencia en tiempo real.
Paso 7: Pruebe el punto final en el patio de recreo
Navegue a la pestaña Playground en la página del punto final para probar la inferencia directamente desde la Consola de administración de AWS. Utilice una carga útil que esté en formato de finalización de chat compatible con vLLM, como el siguiente:
Elija Enviar solicitud para invocar el punto final. La respuesta aparece en el panel Resultado de inferencia de la derecha, que muestra la finalización generada por el modelo junto con las métricas de latencia.
Resultado de inferencia que muestra una respuesta exitosa en 3318 ms con la decodificación especulativa P-EAGLE activa.
El punto final ahora está listo para atender el tráfico de producción con un rendimiento mejorado en comparación con la decodificación autorregresiva estándar.
Paso 8: limpiar
Importante: Los puntos finales de inferencia en tiempo real de SageMaker AI incurren en cargos mientras se ejecutan, independientemente de si están atendiendo solicitudes activamente. Para evitar costos innecesarios, elimine el punto final cuando ya no sea necesario.
Para eliminar el punto final, siga estos pasos.
Navegue a la consola de Amazon SageMaker Studio y elija Implementaciones > Puntos finales en la barra lateral izquierda. Seleccione el punto final de la lista. Elija Eliminar en la barra de acciones superior derecha. En el cuadro de diálogo de confirmación, seleccione "Confirmo que deseo eliminar el punto final" y elija Eliminar punto final.
Cuadro de diálogo de confirmación de eliminación de endpoints en Amazon SageMaker Studio.
Descripción general de la solución
P-EAGLE logra la generación de borradores paralelos reemplazando la cadena de dependencia secuencial en EAGLE autorregresivo con representaciones de marcadores de posición que se pueden aprender. Estos marcadores de posición permiten que todas las posiciones del borrador se calculen al mismo tiempo, eliminando la relación lineal entre la profundidad de especulación y la latencia del borrador.
La dependencia secuencial en EAGLE autorregresivo
En EAGLE autorregresivo, redactar un solo token requiere dos entradas: (1) la incrustación del token del token previamente predicho y (2) el estado oculto producido por el redactor en la posición anterior. Para predecir el token t1, el redactor toma la incrustación del token del último token generado del modelo objetivo y el estado oculto que produjo el modelo objetivo al generarlo. Para predecir t2, se necesita la incorporación de t1 y el estado oculto utilizado para predecir t1, los cuales solo estarán disponibles después de que se complete el primer pase directo. Esta cadena se repite para cada posición posterior. Producir K tokens de draft requiere K pases hacia adelante secuenciales.
Cómo P-EAGLE rompe la cadena
P-EAGLE resuelve esta dependencia introduciendo dos parámetros que se pueden aprender y que reemplazan las entradas que faltan en posiciones futuras:
Incrustación de token de máscara (embmask): un vector aprendido que sustituye a la incrustación de token anterior desconocida en las posiciones 2 a K. Actúa como una señal neutral de "No sé qué token vino antes que yo" que el modelo aprende a interpretar durante el entrenamiento. Estado oculto compartido (hshared): un único vector de estado oculto aprendido compartido en todas las posiciones de predicción de múltiples tokens (MTP). Sustituye el estado oculto de la posición anterior del redactor que normalmente requeriría un pase hacia adelante previo para calcularse. El análisis teórico del artículo de P-EAGLE muestra que la atención por sí sola proporciona suficiente información posicional, eliminando la necesidad de estados ocultos específicos de la posición.
Con estos marcadores de posición, todas las posiciones de borrador K se pueden construir en paralelo y procesarse a través de las capas del transformador del dibujante en una sola pasada hacia adelante.
Proceso de redacción paso a paso
Cada iteración de redacción de P-EAGLE se desarrolla en dos pasos.
Paso 1: pase hacia adelante del modelo objetivo. El modelo de destino procesa el contexto actual y genera un nuevo token (generación autorregresiva estándar). Durante este paso, P-EAGLE captura estados ocultos de múltiples capas del modelo de destino (capas 2, L/2 y L-1, concatenadas en dimensiones 3D). Estos estados ocultos codifican la comprensión contextual del modelo objetivo en la posición generada más recientemente.
Paso 2: generación de borradores paralelos. El redactor construye K posiciones de entrada al mismo tiempo:
Posición 1 (predicción del siguiente token): utiliza la incrustación del token real del token recién generado concatenado con el estado oculto capturado del modelo de destino. Esta posición es idéntica a la EAGLE autorregresiva estándar: tiene un contexto real con el que trabajar. Posiciones 2 a K (predicción de múltiples tokens): cada posición utiliza la incrustación de token de máscara (embmask) concatenada con el estado oculto compartido (hshared). Estos marcadores de posición aprendidos rompen la dependencia secuencial. Ninguna posición necesita esperar la salida de la posición anterior.
Todas las K posiciones pasan juntas a través de N capas de transformador (el redactor usa 4 capas en la práctica, que comprenden solo del 2 al 5 por ciento de los parámetros del modelo objetivo) y luego a través del cabezal del modelo de lenguaje para producir K predicciones de tokens de borrador al mismo tiempo. Luego, el modelo de destino verifica todos los K candidatos en una única pasada de verificación utilizando criterios de aceptación de decodificación especulativa estándar.
Beneficios prácticos de la redacción paralela
El paso de la redacción secuencial a la redacción paralela tiene varias implicaciones prácticas para la implementación:
Una especulación más profunda no tiene costo adicional: en EAGLE autorregresivo, aumentar K de 3 a 7 triplica la latencia del redactor. En P-EAGLE, K=3 y K=7 cuestan lo mismo: un pase hacia adelante. P-EAGLE alcanza un rendimiento máximo en K=7, mientras que el EAGLE-3 autorregresivo alcanza un máximo en K=3. Ganancias constantes a escala: en las GPU NVIDIA B200, P-EAGLE ofrece una aceleración de 1,05×–1,69× sobre EAGLE-3 en MT-Bench, HumanEval y SPEED-Bench, con ganancias sostenidas incluso en condiciones de alta concurrencia (c=64). Optimizado para cargas de trabajo de razonamiento: los modelos de lenguaje grandes modernos producen resultados largos (mediana de aproximadamente 3900 tokens, P90 aproximadamente 10800 tokens). El marco de entrenamiento de P-EAGLE utiliza un algoritmo de partición de secuencia que admite el entrenamiento en secuencias de hasta 20 000 tokens. Esto garantiza que el redactor coincida con las longitudes del contexto observadas en el momento de la inferencia, un factor crítico que provoca una degradación de la tasa de aceptación de hasta un 25 por ciento en métodos entrenados en secuencias más cortas. Sin compromiso de calidad: debido a que la decodificación especulativa verifica todos los borradores de tokens con el modelo de destino, el resultado final es matemáticamente idéntico a lo que el modelo de destino produciría por sí solo. P-EAGLE acelera la generación sin alterar el comportamiento del modelo.
EAGLE comparado con la arquitectura P-EAGLE. En EAGLE (arriba), cada posición de borrador requiere la incrustación del token y el estado oculto de la posición anterior, lo que crea una cadena de dependencia secuencial que requiere K pases hacia adelante para producir K = 4 tokens de borrador. P-EAGLE (abajo) rompe esta cadena al sustituir marcadores de posición que se pueden aprender (incrustación de token [MASK] y un estado oculto compartido h_shared) en las posiciones 2 a K. Todos los borradores de tokens se generan en un único paso hacia adelante sin dependencias secuenciales.
Conclusión
P-EAGLE representa un cambio fundamental en cómo la decodificación especulativa maneja la generación de borradores. Al reemplazar la canalización de redacción autorregresiva secuencial con una predicción paralela de múltiples tokens, P-EAGLE elimina la relación lineal entre la profundidad de especulación y la latencia del redactor. Esto respalda una especulación más profunda y agresiva sin costo adicional. El resultado es una mejora del rendimiento de hasta 1,69 veces con respecto a EAGLE-3 en cargas de trabajo de producción, sin comprometer la calidad de la salida.
Con soporte nativo en Amazon SageMaker JumpStart, implementar modelos acelerados por P-EAGLE es ahora una experiencia con un solo clic. La combinación de una arquitectura de redacción liviana, capacitación escalable de contexto prolongado y la integración de IA de SageMaker hacen de P-EAGLE un camino práctico para una inferencia más rápida para aplicaciones de IA de producción. Para comenzar, abra la consola de Amazon SageMaker AI, navegue hasta JumpStart e implemente uno de los modelos P-EAGLE compatibles. Para obtener más información sobre la arquitectura de P-EAGLE y la metodología de capacitación, consulte el artículo de P-EAGLE sobre arXiv y la publicación del blog de integración de vLLM. Para obtener más información sobre la implementación de modelos en Amazon SageMaker AI, consulte la documentación de Amazon SageMaker AI. Para entrenar una cabeza EAGLE con sus propios datos, Amazon SageMaker AI también admite esa capacidad, que se lanzó el año pasado.
Expresiones de gratitud
Nos gustaría agradecer las contribuciones y colaboración de Kyle Ulrich, Hemant Singh, Ashish Khetan, Evan Kravitz, Mike James, Xu Deng y Kareem Syed-Mohammed.
Sobre los autores
Andy Peng
Andy es un ingeniero senior de investigación de aprendizaje automático apasionado por crear productos innovadores basados en la investigación científica. Contribuyó a iniciativas clave en AWS SageMaker AI y Bedrock, Amazon S3, AWS App Runner, AWS Fargate, Alexa AI Health & Wellness (Conversational AI) y AWS Payments, impulsando esfuerzos desde la incubación 0→1 hasta el crecimiento a gran escala. Entusiasta del código abierto.
Daniel Quang
Daniel es arquitecto de soluciones en el equipo de Frontier AI Startups en AWS, donde ayuda a las startups de GenAI más grandes y estratégicas del mundo a escalar su infraestructura en la nube. Tiene un doctorado en Ciencias de la Computación de la Universidad de California, Irvine, con una investigación centrada en el aprendizaje automático y la bioinformática.
Siddharth Shah
Siddharth es ingeniero principal en AWS SageMaker y se especializa en alojamiento y optimización de modelos a gran escala para modelos de lenguajes grandes. Anteriormente trabajó en el lanzamiento de Amazon Textract, mejoras de rendimiento en la plataforma de alojamiento de modelos y sistemas de recuperación acelerados para Amazon S3 Glacier. Fuera del trabajo, le gustan las caminatas, los videojuegos y la robótica como pasatiempo.
Daniel Ferguson
Dan es arquitecto de soluciones en AWS, con sede en Nueva York, EE. UU. Como experto en servicios de aprendizaje automático, Dan trabaja para ayudar a los clientes en su camino hacia la integración de flujos de trabajo de aprendizaje automático de manera eficiente, efectiva y sostenible.