La personalización de modelos transforma los modelos de IA de uso general en activos empresariales especializados. Al ajustar los modelos básicos (FM) en datos de dominios específicos, las empresas enseñan a la IA sus flujos de trabajo únicos, terminología y especialización profunda en el dominio, junto con un estricto cumplimiento de la voz de la marca y menos alucinaciones. Para las empresas, esto es más que una optimización. Es la creación de propiedad intelectual patentada. Un modelo ajustado codifica la inteligencia única y las mejores prácticas de una organización en su arquitectura. Esto crea una ventaja competitiva que es difícil de replicar con modelos de frontera pública disponibles en el mercado. Al mismo tiempo, el ajuste fino de modelos más pequeños y de peso abierto en tareas específicas a menudo iguala o supera el rendimiento de modelos propietarios mucho más grandes. Este enfoque ofrece importantes ahorros de costos y al mismo tiempo mantiene los datos confidenciales dentro de una infraestructura privada y segura.
Amazon SageMaker AI ofrece una amplia selección de modelos de código abierto y técnicas de ajuste para ayudar a las organizaciones a adaptar los modelos básicos a sus necesidades únicas. Ahora, SageMaker AI presenta la personalización de modelos sin servidor para los modelos NVIDIA Nemotron 3, comenzando con Nemotron 3 Nano (30 mil millones de parámetros totales, 3 mil millones activos) y Nemotron 3 Super (120 mil millones de parámetros totales, 12 mil millones activos). Con ajuste supervisado (SFT), aprendizaje reforzado con recompensas verificables (RLVR) y aprendizaje reforzado con retroalimentación de IA (RLAIF), puede adaptar estos modelos abiertos de alto rendimiento a sus dominios y flujos de trabajo específicos sin aprovisionar ni administrar ninguna infraestructura. Para obtener una lista completa de modelos abiertos disponibles para la personalización de modelos sin servidor, consulte Personalizar modelos de peso abiertos en la documentación de Amazon SageMaker AI.
En esta publicación, exploramos lo que hace que la arquitectura Nemotron 3 sea única, repasamos las técnicas de ajuste disponibles y le mostramos paso a paso cómo comenzar con la personalización sin servidor usando SageMaker Studio.
Descripción general de los modelos NVIDIA Nemotron 3 en Amazon SageMaker AI
NVIDIA Nemotron 3 es una familia de modelos de lenguaje grande (LLM) de peso abierto construidos sobre una arquitectura híbrida Mamba-Transformer Mixture-of-Experts (MoE) con soporte nativo para longitudes de contexto de hasta 1 millón de tokens. La arquitectura intercala tres tipos de capas complementarias: capas Mamba-2 para un procesamiento eficiente de secuencias de tiempo lineal, capas de atención Transformer para una recuperación asociativa precisa y capas Latent Mixture-of-Experts (LatentMoE) que comprimen los tokens antes de enrutarlos a expertos especializados. Este diseño activa solo una fracción del total de parámetros por paso directo (por ejemplo, 12B de 120B en la variante Super), lo que ofrece un alto rendimiento y una gran precisión a un costo de cómputo significativamente menor. Los modelos utilizan el aprendizaje por refuerzo en múltiples entornos a través de NeMo Gym, que los alinea con tareas agentes de varios pasos del mundo real en dominios como la codificación, el razonamiento y el análisis de contexto prolongado.
Nemotrón 3 Nano 30B
Nemotron 3 Nano es un modelo de lenguaje pequeño optimizado para una alta eficiencia informática y al mismo tiempo mantiene una gran precisión en tareas especializadas. Nemotron 3 Nano tiene un excelente desempeño en tareas de codificación y razonamiento entre los modelos de lenguaje abierto en su clase de tamaño. Entrenado mediante aprendizaje por refuerzo en múltiples entornos a través de NeMo Gym, el modelo logra un rendimiento 4 veces mayor que su predecesor Nemotron 2 Nano. Su eficiente huella de parámetros activos 3B lo hace ideal para cargas de trabajo de múltiples agentes de gran volumen donde el costo y la latencia son importantes. Para obtener una visión más profunda de la arquitectura y las técnicas de capacitación, consulte el blog para desarrolladores de NVIDIA.
Nemotrón 3 Super 120B
Nemotron 3 Super es un modelo más grande diseñado para IA multiagente de alta eficiencia y tareas de razonamiento complejas que requieren más capacidad que Nano manteniendo la rentabilidad. Nemotron 3 Super ofrece alta eficiencia informática, rendimiento y precisión para aplicaciones complejas de múltiples agentes, como el desarrollo de software y la clasificación de ciberseguridad. El modelo funciona bien en razonamiento, codificación y análisis de contexto prolongado, sin dejar de ser lo suficientemente eficiente como para ejecutarse continuamente a escala. Esto lo convierte en una buena opción para la automatización de tickets de TI, la orquestación del flujo de trabajo empresarial y los sistemas de agentes autónomos que requieren un razonamiento sostenido de varios pasos. Para obtener más detalles, consulte el blog para desarrolladores de NVIDIA sobre Nemotron 3 Super.
Personalización del modelo sin servidor de SageMaker AI
La personalización del modelo sin servidor de IA de Amazon SageMaker elimina el trabajo pesado e indiferenciado del ajuste fino. No es necesario aprovisionar clústeres de GPU, configurar marcos de capacitación distribuidos ni administrar puntos de control y tolerancia a fallas. SageMaker AI maneja el aprovisionamiento de infraestructura y la orquestación de la capacitación, para que pueda concentrarse en sus datos, casos de uso comercial y evaluación, y pagar solo por lo que usa. Puede obtener más información sobre la personalización del modelo sin servidor de SageMaker AI en la documentación de AWS.
Para los modelos Nemotron 3, la personalización del modelo sin servidor de IA de SageMaker admite las técnicas de ajuste fino de ajuste fino supervisado (SFT), aprendizaje por refuerzo con recompensas verificables (RLVR) y aprendizaje por refuerzo a partir de retroalimentación de IA (RLAIF).
Descripción de la técnica Ideal para ajuste fino supervisado (SFT) Proporcione pares de entrada y salida etiquetados para enseñar al modelo nuevos comportamientos. Ejemplos de alta calidad del comportamiento que desea: pares de preguntas y respuestas de dominio, llamadas de herramientas formateadas, respuestas alineadas con estilos o finalización de instrucciones específicas de tareas Ajuste fino de refuerzo (RFT/RLVR) Utilice el aprendizaje reforzado con recompensas verificables (RLVR) para optimizar el comportamiento del modelo frente a una señal de recompensa. El modelo genera múltiples respuestas de candidatos por mensaje, una función de recompensa las califica y el modelo actualiza su política para favorecer lo que funciona. Tareas con objetivos naturalmente verificables, como la precisión de las llamadas de herramientas, la corrección del código o el cumplimiento del formato. Aprendizaje reforzado a partir de comentarios de IA (RLAIF) Utilice un modelo de IA independiente para guiar la optimización del modelo. Un modelo de IA evalúa los resultados del modelo y proporciona señales de retroalimentación, lo que respalda la mejora iterativa de las políticas sin datos de recompensa etiquetados por humanos. Alinear el tono del modelo, la amabilidad y la seguridad; mejorar la calidad de la respuesta cuando la evaluación humana es costosa o subjetiva; refinar tareas de generación abiertas
Veamos cómo comenzar con la personalización de modelos sin servidor para los modelos Nemotron 3. Si bien los modelos básicos de Nemotron 3 ofrecen un sólido rendimiento de uso general, los casos de uso empresarial necesitan un comportamiento de dominio específico que los modelos básicos por sí solos no pueden lograr. Con la personalización de modelos, puede adaptar estos modelos para terminología y patrones de decisión específicos de la industria, entrenar llamadas de herramientas confiables con las API de su organización, alinear los resultados con la voz de su marca, refinar el razonamiento agente de múltiples pasos para sus arquitecturas y optimizar costos al especializar el modelo Nano más pequeño para que coincida con el rendimiento del modelo más grande en tareas específicas.
Comenzando con la personalización del modelo sin servidor de SageMaker AI
Puede comenzar con la personalización del modelo sin servidor a través de la consola de Amazon SageMaker Studio o mediante programación utilizando el SDK de Python de SageMaker. En la consola, navegue hasta la página Modelos, seleccione su modelo Nemotron 3 y siga el flujo de trabajo guiado para configurar sus datos de entrenamiento e iniciar un trabajo de personalización. Alternativamente, si ya está trabajando con SageMaker AI, puede usar la funcionalidad agente con habilidades de agente para acelerar el flujo de trabajo de personalización de su modelo. Las siguientes secciones lo guiarán a través de los requisitos previos, la preparación de datos y las instrucciones paso a paso utilizando la consola de SageMaker Studio. Para obtener un ejemplo programático detallado con el SDK de Python de SageMaker para personalizar un modelo de código abierto, consulte el repositorio de GitHub de ejemplos de AWS.
Requisitos previos
Antes de comenzar, verifique que tenga:
Una cuenta de AWS con permisos de AWS Identity and Access Management (IAM) para Amazon SageMaker AI. Un dominio de SageMaker AI con acceso a Studio. Tus datos de entrenamiento en la estructura y formato requeridos.
Prepare sus datos de entrenamiento para la personalización del modelo sin servidor de SageMaker AI
Los datos de entrenamiento de alta calidad son la base de cualquier trabajo de ajuste exitoso. Para la personalización del modelo sin servidor en SageMaker AI, sus datos deben tener el formato JSONL (líneas JSON), donde cada línea representa un único ejemplo de entrenamiento. El esquema específico depende de la técnica que elija: SFT requiere ejemplos en formato de conversación con pares de entrada y salida etiquetados, mientras que RFT (RLVR) requiere indicaciones combinadas con valores reales para su función de recompensa. Los datos estructurados adecuadamente garantizan que el modelo aprenda los comportamientos deseados sin introducir ruido ni errores de formato. Para obtener un tutorial práctico sobre cómo preparar sus datos de capacitación, consulte el módulo Preparación de datos en el taller de personalización del modelo sin servidor de SageMaker AI. Alternativamente, si está trabajando con SageMaker AI, puede utilizar el agente de codificación integrado con habilidades de agente para preparar y validar automáticamente el formato de sus datos, lo que reduce el esfuerzo manual y le ayuda a comenzar la capacitación más rápido.
Personalización del modelo en SageMaker AI Studio
Siga estos pasos para personalizar un modelo Nemotron 3 usando la consola SageMaker AI Studio.
Abra Amazon SageMaker AI Studio y en el panel de navegación izquierdo, elija Modelos. Navegue hasta el modelo que desea personalizar en la interfaz de usuario. Busque “NVIDIA” para encontrar la familia de modelos Nemotron 3 y seleccione el modelo NVIDIA que desee (NVIDIA-Nemotron-3-Nano-30B-* o NVIDIA-Nemotron-3-Super-120B-*) para el siguiente paso. Seleccione la técnica de personalización de su modelo entre las técnicas de ajuste fino de ajuste fino supervisado (SFT), aprendizaje por refuerzo con recompensas verificables (RLVR) y aprendizaje por refuerzo a partir de retroalimentación de IA (RLAIF) compatibles.
Al elegir un tipo de función de recompensa para RLVR, considere los requisitos de su tarea. La función de recompensa incorporada (Coincidencia exacta, ejecución de código, respuestas matemáticas) funciona bien para tareas con respuestas únicas y objetivamente correctas, que no requieren código adicional. Elija una función de recompensa personalizada cuando su tarea necesite una lógica de puntuación más completa, como crédito parcial, comprobaciones de formato, evaluación de la calidad del razonamiento o reglas específicas de dominio. Con funciones de recompensa personalizadas, puede puntuar en múltiples señales, dar forma a las recompensas para evitar gradientes de cero en los primeros lanzamientos, emitir métricas de observabilidad y codificar la lógica de verificación de Python que requiere su tarea. Para obtener orientación detallada sobre cómo crear y registrar una función de recompensa personalizada, consulte la documentación del taller de RLVR. Configure sus datos de entrenamiento seleccionando un conjunto de datos existente (si está disponible) o creando un nuevo conjunto de datos (consulte la sección anterior para obtener información sobre cómo preparar su conjunto de datos). Establezca los hiperparámetros de personalización o utilice los valores predeterminados recomendados.
Elija Enviar para iniciar el trabajo de personalización del modelo.
SageMaker AI aprovisiona automáticamente la computación requerida, ejecuta el trabajo de capacitación y captura registros continuos. Las métricas de capacitación se registran automáticamente en la aplicación SageMaker MLflow de forma predeterminada para el seguimiento de la capacitación.
Monitorear el progreso del entrenamiento
Puede monitorear el estado en la página de inicio del modelo, que muestra el rendimiento del entrenamiento, como se muestra en la siguiente captura de pantalla. Vale la pena monitorear varias métricas de alto nivel. La recompensa del tren (para RLVR) debería aumentar constantemente. La pérdida de entrenamiento y la pérdida de validación deberían disminuir y realizar un seguimiento de la generalización, respectivamente. La entropía de políticas (para RLVR) disminuye a medida que el modelo gana confianza. La norma de gradiente debería estabilizarse para indicar convergencia.
Las métricas detalladas de capacitación y validación también se registran en la aplicación SageMaker AI MLflow asociada, como se muestra en la siguiente captura de pantalla. Esto captura un conjunto completo de métricas y parámetros que rastrean el progreso del entrenamiento y modelan el comportamiento. En la interfaz de usuario de seguimiento de MLflow, estas métricas están organizadas por el componente que miden (actor, crítico, implementación, rendimiento), para que puedas diagnosticar el estado del entrenamiento de un vistazo.
Evalúe su modelo ajustado
Una vez completada la capacitación, puede evaluar el modelo ajustado utilizando las funciones de evaluación integradas de la personalización del modelo sin servidor de SageMaker AI. Proporciona tres métodos para evaluar la calidad de su modelo personalizado, como se muestra en la siguiente captura de pantalla. LLM-as-a-Judge utiliza un modelo de frontera de Amazon Bedrock para calificar las respuestas según métricas de calidad sin requerir etiquetas de verdad sobre el terreno. Custom Scorer aplica sus propias funciones de recompensa o puntajes integrados para producir métricas estándar de procesamiento del lenguaje natural (NLP), como F1, ROUGE y BLEU. Benchmarks califica su modelo según puntos de referencia académicos estandarizados (MMLU, BBH, GPQA, MATH, IFEval) para una evaluación amplia de capacidades en razonamiento, conocimiento y seguimiento de instrucciones.
También puede activar Comparar con el modelo base en la evaluación para medir directamente el rendimiento de su modelo post-entrenado en relación con el modelo base. Junto con las métricas de entrenamiento anteriores, MLflow rastrea la dinámica del entrenamiento (recompensas, divergencia de KL, pérdida). La evaluación mide la calidad del resultado desde la perspectiva del usuario final, brindándole una imagen completa de la efectividad del ajuste del modelo.
Implementar el modelo ajustado
Implemente su modelo personalizado directamente desde la página de detalles del modelo en la consola. También puede implementar en puntos finales de SageMaker Inference o puede descargar pesos de modelo desde un depósito de Amazon Simple Storage Service (Amazon S3) para una implementación autoadministrada. Las opciones de implementación completan automáticamente los valores predeterminados, lo que le brinda total flexibilidad en cuanto a computación y escalamiento según sus requisitos de tráfico y rendimiento. La siguiente captura de pantalla muestra la implementación de NVIDIA Nemotron Nano 30B optimizado utilizando una instancia ml.g6e impulsada por las GPU NVIDIA L40S Tensor Core. La implementación utiliza componentes de inferencia de SageMaker y, de forma predeterminada, ofrece pesos de modelo combinados, donde el modelo base y el adaptador LoRA se combinan en un único conjunto de pesos para una inferencia optimizada. Debido a que se trata de un ajuste fino de LoRA, también puede autohospedar y servir el adaptador LoRA no fusionado por separado, porque tiene acceso tanto a los pesos base como a los pesos del adaptador en su depósito S3. Después de la implementación, invoca el punto final mediante el método de invocación con la interfaz de línea de comandos de AWS (AWS CLI) o el SDK.
Limpiar
Para evitar incurrir en cargos innecesarios, recomendamos eliminar su dominio de SageMaker AI Studio, SageMaker Endpoints y cualquier otro recurso que haya creado una vez que haya terminado de usarlos. El costo específico de utilizar la personalización del modelo sin servidor de SageMaker AI depende del modelo base que elija y de la etapa de personalización. Consulte la página de precios de Amazon SageMaker AI para obtener detalles y desglose de costos.
Conclusión
Con la personalización de modelos sin servidor para los modelos NVIDIA Nemotron 3 en Amazon SageMaker AI, ahora puede adaptar estos modelos abiertos de alto rendimiento a sus dominios y flujos de trabajo específicos. Ya sea que esté ajustando Nemotron 3 Nano para una ejecución rentable de tareas agentes o personalizando Nemotron 3 Super para una orquestación compleja de múltiples agentes, SageMaker AI maneja el aprovisionamiento informático, la orquestación de capacitación y el seguimiento de métricas para que pueda concentrarse en sus datos, evaluación e implementación.
Comience hoy con la personalización de modelos sin servidor en Amazon SageMaker AI. Para obtener ejemplos detallados de cómo personalizar modelos de código abierto, consulte el repositorio de GitHub de ejemplos de AWS. Para obtener más información, consulte la documentación de personalización del modelo de IA de Amazon SageMaker.