NVIDIA Nemotron 3.5 Lightning ya disponible en Amazon SageMaker JumpStart

NVIDIA Nemotron 3.5 Lightning está diseñado para la ejecución rápida y especializada de modelos requerida por cargas de trabajo agentes de gran volumen. Con NVIDIA Nemotron 3.5 Lightning en Amazon SageMaker JumpStart, puede acceder a un modelo abierto diseñado para cargas de trabajo agentes de gran volumen.

Con este lanzamiento, puede implementar Nemotron 3.5 Lightning desde Amazon SageMaker JumpStart sin configurar usted mismo la infraestructura de servicio. NVIDIA describe Lightning como el modelo abierto más rápido de su clase para alimentar agentes siempre activos. Ofrece un rendimiento hasta 4 veces mayor y una finalización de tareas hasta un 30 % más rápida en cargas de trabajo agentes de gran volumen. Con un total de 30 mil millones de parámetros con solo 3 mil millones activos, puede ejecutarse en una única GPU compatible. Por lo tanto, los pasos repetitivos y especializados en los flujos de trabajo de los agentes pueden ejecutarse sin una infraestructura de escala fronteriza. En esta publicación, le mostramos cómo implementar Nemotron 3.5 Lightning desde SageMaker JumpStart.

Descripción general de NVIDIA Nemotron 3.5 Lightning

Nemotron 3.5 Lightning es un modelo básico disponible públicamente extraído del Nemotron 3 Ultra de NVIDIA y desarrollado con Nemotron Coalition. Utiliza una arquitectura híbrida de mezcla de expertos (MoE) y está capacitado específicamente para el uso de herramientas de agente en arneses de agentes populares. Está entrenado en conjuntos de datos abiertos y lanzado como un modelo abierto, por lo que puede personalizarlo, poseer los pesos resultantes e implementarlo dondequiera que se ejecuten sus agentes.

La siguiente tabla resume las especificaciones clave y las características de rendimiento de NVIDIA Nemotron 3.5 Lightning.

Detalles de la especificación Arquitectura Parámetros de mezcla híbrida de expertos (MoE) 30 mil millones en total / 3 mil millones de activos Longitud del contexto Hasta 1 millón de tokens Entrada/salida Entrada y salida de texto Decodificación especulativa Rendimiento de DFlash Hasta 4 veces mayor para cargas de trabajo agentes de gran volumen Finalización de tareas Hasta un 30 % más rápido Destilado de NVIDIA Nemotron 3 Ultra

No todos los pasos de los agentes necesitan un modelo de frontera

Los agentes siempre activos trabajan continuamente: recopilan contexto, observan su entorno, razonan sobre lo que saben y actúan. Muchos de estos pasos pueden implicar llamadas de modelo, pero no todos requieren el mismo nivel de capacidad. Planificar un flujo de trabajo de varias etapas u organizar subagentes puede exigir un razonamiento a nivel de frontera. La clasificación de una alerta, la extracción de campos de un formulario o la comparación de un registro con una política a menudo pueden realizarse mediante un modelo más pequeño y especializado. Estas tareas pueden representar una gran parte del volumen de llamadas.

En muchos casos, ejecutar todos los pasos respaldados por el modelo a través de un único modelo grande puede agregar costos de modelo de frontera y latencia al trabajo que un modelo más pequeño y especializado puede manejar. En cambio, un enfoque de sistema de modelos puede dirigir cada paso a un modelo adecuado a la tarea.

Nemotron 3.5 Lightning está diseñado para el extremo de alto volumen de ese sistema. Su arquitectura MoE activa 3.000 millones de parámetros por paso directo, lo que ayuda a mantener un alto rendimiento en sesiones largas de varios turnos. La decodificación especulativa de DFlash puede reducir aún más la latencia por token. La ventana de contexto de 1 millón de tokens permite a un agente transportar el estado acumulado a lo largo de una sesión de larga duración sin volver a conectarse a tierra repetidamente.

Si NVIDIA NeMo Switchyard es parte de su pila, puede enrutar pasos de flujo de trabajo individuales a través del grupo de modelos elegido. Lightning se puede seleccionar para pasos especializados de gran volumen donde su velocidad y precisión específica del dominio encajan bien.

Precisión en el razonamiento y los puntos de referencia agentes

En todas las evaluaciones publicadas, NVFP4 se mantiene cerca de BF16 en muchas tareas, como se resume en la siguiente tabla. NVIDIA informa que las recetas de evaluación y los comandos utilizados para producir estos resultados se publican en NeMo Gym. NVIDIA midió los resultados de precisión con un método consistente y pueden diferir de las cifras informadas por los propios proveedores.

La siguiente tabla compara las variantes BF16 y NVFP4 de Nemotron 3.5 Lightning mediante razonamientos clave y puntos de referencia agentes.

Benchmark BF16 NVFP4 MMLU Pro 81,94 81,62 GPQA Diamond 75,44 75,57 SWE-bench Verified 51,56 52,80 PinchBench 85,37 83,43 IFBench 71,88 72,88 AA-LCR 52,00 49,19

Personalización para la precisión del dominio

Las organizaciones pueden entrenar posteriormente el modelo con NVIDIA NeMo para herramientas, flujos de trabajo y políticas específicas del dominio y luego implementar el modelo resultante en el entorno elegido. La tarjeta del modelo SageMaker JumpStart para este lanzamiento no expone la personalización de JumpStart.

Casos de uso empresarial

Lightning está diseñado para el trabajo especializado y de alta frecuencia dentro de los flujos de trabajo de los agentes:

Agentes personales: asistentes de larga duración que manejan el correo electrónico, el calendario, los proyectos y las reservas, con la opción de ejecutarse localmente para obtener datos contextuales. Servicios financieros: extraer datos de documentos, verificar reglas de políticas, monitorear señales de riesgo y preparar resúmenes estructurados. Operaciones de ciberseguridad: enriquecer alertas, clasificar incidentes, consultar registros, validar controles, correlacionar indicadores y preparar hallazgos para analistas. Telecomunicaciones: clasificación de alarmas de red, optimización de configuraciones de red y respuesta a preguntas sobre facturación. Comercio minorista: enriquecer catálogos de productos, resolver excepciones de inventario y cumplimiento, ayudar a descubrir productos y manejar preguntas sobre pedidos, devoluciones y lealtad.

Comenzando con SageMaker JumpStart

Puede implementar Nemotron 3.5 Lightning a través de Amazon SageMaker JumpStart sin configurar manualmente el marco de servicio.

Requisitos previos

Antes de comenzar, asegúrese de tener:

Una cuenta de AWS. Permisos con el alcance adecuado para SageMaker JumpStart. Cuota de servicio suficiente para instancias de GPU (por ejemplo, ml.g6e.12xlarge, ml.p4d.24xlarge o ml.p5.48xlarge).

Importante: La implementación de este modelo crea un punto final de SageMaker AI que genera cargos mientras se ejecuta. Para obtener más información, consulte Precios de Amazon SageMaker AI. Elimine su punto final cuando haya terminado para evitar cargos continuos.

Implementar usando SageMaker Studio

Abra Amazon SageMaker Studio. En el panel de navegación, elija SageMaker JumpStart. Busque Nemotron 3.5 Lightning.

Seleccione el modelo de tarjeta. El ID del modelo NVFP4 es huggingface-reasoning-nemotron-3-5-lightning-30b-a3b-nvfp4. Para BF16, utilice huggingface-reasoning-nemotron-3-5-lightning-30b-a3b-bf16.

Figura 2: La tarjeta modelo Nemotron 3.5 Lightning en SageMaker JumpStart

Figura 3: Detalles de la tarjeta del modelo para Nemotron 3.5 Lightning

Elija Implementar. Seleccione su tipo de instancia (por ejemplo, ml.g6e.24xlarge).

Figura 4: Selección de un tipo de instancia para implementación

Revise la configuración de implementación. Los valores predeterminados son suficientes para la mayoría de los casos de uso. Elija Implementar para crear el punto final. Espere a que el estado del punto final muestre InService antes de ejecutar la inferencia.

Figura 5: Estado del terminal que muestra InService

Implementar desde la cara abrazada

También puede implementar NVIDIA Nemotron 3.5 Lightning en Amazon SageMaker AI desde su página del modelo Hugging Face. En la página del modelo Hugging Face, elija Implementar, seleccione Amazon SageMaker AI y luego elija Implementar en SageMaker AI. Esto abre el flujo de trabajo de implementación de SageMaker AI, donde puede configurar e implementar el modelo.

Figura 6: Implementación desde la página del modelo Hugging Face

Implementar usando el SDK de SageMaker Python

Con SageMaker JumpStart, puede acceder a las variantes NVFP4 y BF16. El siguiente ejemplo utiliza el ID del modelo NVFP4 huggingface-reasoning-nemotron-3-5-lightning-30b-a3b-nvfp4. Para BF16, utilice huggingface-reasoning-nemotron-3-5-lightning-30b-a3b-bf16.

Limpiar

Para evitar cargos innecesarios, elimine el punto final de SageMaker AI cuando haya terminado:

Conclusión

NVIDIA Nemotron 3.5 Lightning ofrece una ejecución rápida y especializada de agentes en Amazon SageMaker JumpStart. NVIDIA informa un rendimiento hasta 4 veces mayor y una finalización de tareas hasta un 30 % más rápida para trabajos especializados de gran volumen. Su arquitectura híbrida MoE, parámetros activos 3B, decodificación especulativa DFlash y contexto de token 1M están diseñados para flujos de trabajo de agentes de gran volumen. Dado que el modelo es abierto y está diseñado para su personalización, puede entrenarlo posteriormente para sus propias herramientas y políticas y conservar el control del modelo resultante.

Nemotron 3.5 Lightning puede admitir cargas de trabajo de agentes especializados en asistentes personales, servicios financieros, operaciones de seguridad, telecomunicaciones y comercio minorista. Puede implementarlo hoy desde SageMaker JumpStart.

Comience buscando Nemotron 3.5 Lightning en Amazon SageMaker JumpStart. Para obtener orientación sobre la implementación, consulte Uso del modelo básico JumpStart en la Guía para desarrolladores de IA de Amazon SageMaker.

Sobre los autores