El arte y la ciencia de la optimización de hiperparámetros en Amazon Nova Forge

Los modelos de lenguajes grandes (LLM) ofrecen resultados sólidos en tareas generales, pero a menudo tienen dificultades con trabajos especializados que requieren comprender datos propietarios, procesos internos o terminología de dominio específico. Amazon Nova Forge soluciona este problema permitiéndole crear sus propios modelos de frontera utilizando Amazon Nova. Puede comenzar el desarrollo desde los primeros puntos de control del modelo, combinar datos propietarios con datos de entrenamiento seleccionados por Amazon Nova y alojar modelos personalizados de forma segura en AWS. Una capacidad clave es la combinación de datos, que combina sus datos de entrenamiento con conjuntos de datos seleccionados. Esto ayuda al modelo a absorber su dominio y al mismo tiempo conservar capacidades amplias de razonamiento, seguimiento de instrucciones y lenguaje. Esto evita olvidos catastróficos que normalmente socavan la personalización del dominio.

Una personalización exitosa requiere un ajuste cuidadoso de los hiperparámetros. La tasa de aprendizaje, la proporción de mezcla de datos, la selección de puntos de control y las técnicas de entrenamiento interactúan de maneras que pueden socavar silenciosamente una ejecución de entrenamiento. Si alguno de ellos está mal, cambias un problema por otro. Esta publicación cubre el arte (compensaciones estratégicas) y la ciencia (decisiones basadas en métricas) del ajuste de hiperparámetros en Amazon Nova Forge para ayudarlo a evitar costosas ejecuciones de entrenamiento fallidas.

El ajuste fino de tareas específicas de un dominio significa mejorar el rendimiento en un área sin degradar las capacidades generales del modelo, y lograr ese equilibrio adecuado es más difícil de lo que parece. Esta publicación explica cómo lograr ese equilibrio, desde seleccionar la estrategia de personalización adecuada para sus datos y tareas, hasta configurar los parámetros de capacitación que más influyen en los resultados, como la tasa de aprendizaje, el tamaño del lote y los puntos de control. También cubrimos los errores comunes que conducen a ejecuciones de capacitación desperdiciadas y cómo detectarlos temprano, para que pueda mejorar el rendimiento del dominio sin degradar las capacidades generales o consumir computación en fallas evitables.

Al final, sabrá cómo mejorar el rendimiento del dominio sin degradar las capacidades generales y cómo evitar los costosos fallos que se derivan de un equilibrio incorrecto.

El desafío del ajuste de hiperparámetros

Lograr este equilibrio es más difícil de lo que parece. Tres desafíos fundamentales hacen que el ajuste de hiperparámetros sea particularmente difícil en modelos especializados en dominios.

Desafío 1: Olvido catastrófico

Cuando entrena un modelo con datos de dominio limitado, el modelo puede sobrescribir las capacidades generales que aprendió durante el entrenamiento previo. Este fenómeno, llamado olvido catastrófico, se manifiesta como un rendimiento degradado en tareas fuera de su dominio de entrenamiento. El modelo se vuelve altamente especializado pero pierde capacidad para seguir instrucciones, capacidad de razonamiento y conocimiento amplio. En producción, esto significa que un modelo de servicio al cliente ajustado en sus tickets de soporte ya no puede razonar sobre solicitudes ambiguas ni mantener conversaciones coherentes de varios turnos.

Esto crea un equilibrio entre estabilidad y flexibilidad. Idealmente, el modelo es lo suficientemente flexible como para aprender sobre el dominio de una organización pero lo suficientemente estable como para retener las capacidades generales. Nova Forge aborda esto mediante la combinación de datos, que combina sus datos de entrenamiento con conjuntos de datos seleccionados durante el entrenamiento, y la selección de puntos de control, que le permite elegir cuánta alineación existente desea preservar.

Desafío 2: encontrar la tasa de aprendizaje adecuada

La tasa de aprendizaje controla cuánto cambian los pesos del modelo en respuesta a cada lote de ejemplos de entrenamiento. Es el hiperparámetro más sensible en todas las técnicas de personalización. Una tasa de aprendizaje demasiado alta hace que el modelo sobrepase el estado óptimo, se desestabilice durante el entrenamiento u olvide rápidamente las capacidades básicas. Una tasa de aprendizaje demasiado baja desperdicia cálculos en una convergencia muy lenta. El valor correcto depende de la distribución de datos, la proporción de mezcla y la técnica de entrenamiento.

Nova Forge proporciona valores predeterminados de servicio calibrados para cada técnica de entrenamiento que tienen en cuenta estas interacciones. Cuando utiliza la mezcla de datos, la sensibilidad aumenta aún más. Desviarse de la tasa de aprendizaje predeterminada al mezclar datos de Nova con sus propios datos es la fuente más común de inestabilidad en el entrenamiento, por lo que estos valores predeterminados del servicio son el punto de partida recomendado.

Desafío 3: limitaciones del desempeño básico

El ajuste fino de refuerzo (RFT) es una técnica que mejora el comportamiento del modelo generando múltiples respuestas candidatas y calificándolas según criterios de calidad. El modelo aprende comparando sus propios resultados y reforzando los mejores. RFT funciona a su máxima capacidad dentro de un rango específico de precisión de la tarea de referencia, medida por la frecuencia con la que el modelo produce respuestas correctas o de alta calidad antes del ajuste fino. Si la precisión inicial es demasiado baja (el modelo rara vez produce respuestas correctas), no hay suficientes buenos ejemplos de los cuales aprender para la exploración guiada por recompensas. Si la precisión inicial ya es muy alta, la capacitación adicional produce rendimientos decrecientes y corre el riesgo de degradar el desempeño existente. Esto significa que RFT no puede cerrar grandes brechas de competencia donde el modelo carece fundamentalmente del conocimiento o la capacidad de razonamiento para intentar una tarea. Refina y fortalece comportamientos que el modelo ya puede demostrar parcialmente, en lugar de enseñar capacidades completamente nuevas desde cero.

El oleoducto Nova Forge aborda ambos límites. Para escenarios de referencia baja, ejecute primero el ajuste supervisado (SFT) para establecer las capacidades fundamentales necesarias para un aprendizaje eficaz basado en recompensas. Para tareas de referencia alta, asegúrese de que su función de recompensa tenga poder discriminativo en todo el rango de calidad del modelo. Si la mayoría de las respuestas ya obtienen una puntuación alta, RFT no tiene ninguna señal significativa contra la cual optimizar.

El proceso de personalización de Nova Forge

Comprender estos desafíos enmarca cómo está diseñado el proceso de personalización de Amazon Nova Forge para abordarlos. Nova Forge proporciona tres técnicas de personalización complementarias, cada una de las cuales tiene un propósito distinto en el ciclo de vida del desarrollo del modelo.

Técnica Qué hace Cuándo utilizar Datos de entrada Entrenamiento previo continuo (CPT) Amplía el conocimiento del modelo fundamental (FM) a través del aprendizaje autosupervisado en grandes cantidades de datos propietarios específicos de dominio y sin etiquetar. CPT enseña la terminología y los patrones del dominio del modelo a partir de su corpus de texto. Necesita el modelo para comprender vocabulario especializado, conceptos industriales o conocimientos organizativos que no existen en el modelo base. Grandes volúmenes de texto de dominio sin etiquetar. Nova Forge admite CPT con combinación de datos y tres opciones de puntos de control (pre-entrenamiento, entrenamiento medio y post-entrenamiento), cada una adaptada a diferentes escalas de datos y requisitos posteriores. Ajuste fino supervisado (SFT) Personaliza el comportamiento del modelo utilizando un conjunto de datos de entrenamiento de pares de entrada-salida específicos para sus tareas objetivo. SFT enseña el comportamiento del modelo "dado X, salida Y" a través de demostraciones. Necesita que el modelo siga formatos de respuesta específicos, adopte tonos particulares o realice tareas estructuradas como clasificación o extracción. Entre 1000 y 10 000 demostraciones de alta calidad por tarea. La calidad, la coherencia y la diversidad importan más que el volumen. Nova Forge admite SFT con combinación de datos utilizando conjuntos de datos seleccionados por Amazon Nova, incluidas categorías de seguimiento de instrucciones de razonamiento que preservan las capacidades generales. Ajuste fino de refuerzo (RFT) Dirige la salida del modelo hacia resultados preferidos utilizando señales de recompensa. RFT optimiza el modelo dentro de un vecindario de comportamiento establecido mediante entrenamiento previo para tareas conversacionales de un solo turno o de varios turnos. Tiene una función de recompensa clara que puede evaluar la calidad de la respuesta y desea impulsar el rendimiento más allá de lo que logra SFT por sí solo. Avisos y función de recompensa. Nova Forge admite la incorporación de su propio entorno de recompensa externo a través de AWS Lambda, lo que permite una lógica de verificación personalizada para la evaluación de la calidad específica del dominio.

Cuando las tres etapas se utilizan juntas (CPT, luego SFT, luego RFT), producen los mejores resultados. Sin embargo, con el proceso adecuado, cada etapa puede ser opcional. Depende de su disponibilidad de datos, tipo de tarea y punto de partida. CPT solo es necesario cuando el modelo base carece de vocabulario de dominio o del conocimiento que requiere su tarea. SFT y RFT se pueden utilizar de forma independiente o combinadas según lo que exija su tarea.

Figura 1: Canal de personalización de Amazon Nova Forge. CPT enseña conocimientos de dominio a partir de texto sin etiquetar, SFT enseña comportamientos específicos de tareas a partir de demostraciones y RFT optimiza el rendimiento mediante señales de recompensa. Cada etapa es opcional y el proceso completo (CPT, luego SFT, luego RFT) produce los mejores resultados cuando los tres son aplicables a su caso de uso.

Amazon SageMaker AI ofrece diferentes entornos de personalización: SageMaker Serverless proporciona una experiencia basada en UI con aprovisionamiento informático automático, los trabajos de capacitación de SageMaker AI (SMTJ) brindan una experiencia totalmente administrada sin administración de clústeres, mientras que Amazon SageMaker HyperPod ofrece entornos especializados para escenarios de capacitación distribuidos avanzados.

Decisiones estratégicas

Con el proceso de personalización a la vista, el siguiente paso es comprender las compensaciones cualitativas que dan forma a su configuración. Estas decisiones estratégicas son tan importantes como cualquier valor de hiperparámetro individual: selección de puntos de control, combinación de datos y modo de entrenamiento.

Selección de puntos de control (decisión más impactante)

Para CPT, la selección de puntos de control tiene más impacto que cualquier hiperparámetro. Amazon Nova Forge ofrece tres opciones de puntos de control, cada una adaptada a diferentes escalas de datos y requisitos posteriores.

Los puntos de control previamente entrenados son los más flexibles y ofrecen la convergencia más rápida. Estos puntos de control aceptan nuevos patrones fácilmente y funcionan mejor para CPT a gran escala con presupuestos de tokens sustanciales que superan los 100 mil millones de tokens. Cuando utilice puntos de control previamente entrenados con grandes conjuntos de datos, puede utilizar una tasa de aprendizaje más alta (como 1e-4) para acelerar la absorción de conocimientos. Luego, debe reducir gradualmente la tasa de aprendizaje a aproximadamente 1e-6 para la estabilidad del modelo antes de ejecutar SFT para permitir que el modelo se "asiente" en lo que aprendió sin excederse. Tenga en cuenta que los puntos de control previamente entrenados no tienen instrucciones de ajuste. Después de CPT, debe ejecutar SFT para que el modelo sea útil para tareas posteriores. Los puntos de control entrenados a mitad de camino equilibran la flexibilidad y la alineación. Aceptan el conocimiento del dominio y al mismo tiempo conservan cierta conducta de seguir instrucciones. Utilice puntos de control de entrenamiento medio para conjuntos de datos de tamaño mediano en los que desee una adaptación del dominio más rápida que la del entrenamiento posterior, pero más estabilidad que la del entrenamiento previo. Los puntos de control de entrenamiento medio funcionan bien para el entrenamiento de rango completo, que actualiza cada parámetro del modelo durante el ajuste fino, con conjuntos de datos grandes y estructurados. Los puntos de control post-entrenados son los más resistentes a nuevos patrones, pero preservan las capacidades generales y de seguimiento de instrucciones. Utilice la capacitación posterior para CPT a menor escala donde preservar la alineación es más importante que maximizar la absorción del conocimiento del dominio. Los puntos de control post-entrenados son el punto de partida recomendado para LoRA (adaptación de bajo rango), que congela los pesos del modelo original y entrena pequeñas matrices de adaptadores en la parte superior, y otros métodos de ajuste fino eficientes en parámetros, ya que mantienen las capacidades existentes del modelo y al mismo tiempo permiten una adaptación específica. Para conjuntos de datos pequeños o puntos de control de etapas posteriores, utilice valores de tasa de aprendizaje conservadores de los valores predeterminados del servicio.

Figura 2: Selección de puntos de control para un entrenamiento previo continuo. Los puntos de control previamente entrenados ofrecen la máxima flexibilidad para grandes conjuntos de datos, pero luego requieren SFT para restablecer el seguimiento de instrucciones. Los puntos de control post-entrenados preservan la alineación y se adaptan a conjuntos de datos más pequeños o métodos eficientes en parámetros como LoRA.

Estrategia de mezcla de datos

Sin la combinación de datos, el entrenamiento con datos de dominio limitado puede hacer que el modelo se vuelva inestable, lo que resulta en un comportamiento de entrenamiento errático (inestabilidad de gradiente o picos de pérdida) o una degradación repentina del rendimiento.

Al configurar la combinación de datos, equilibre los datos de sus clientes alrededor del 50 por ciento de la combinación total para la mayoría de los casos de uso. Para SFT, incluya siempre la categoría "razonamiento-seguimiento de instrucciones" en su combinación de datos de Nova. Esta categoría única mejora significativamente el rendimiento de las pruebas comparativas genéricas después del ajuste. Saltarse esta categoría es una causa común de degradación del rendimiento del razonamiento en modelos ajustados.

La mezcla de datos es muy sensible a la tasa de aprendizaje. Desviarse de la tasa de aprendizaje predeterminada cuando se utiliza la combinación de datos provoca inestabilidad. Este es el error más común que cometen los profesionales. Si observa inestabilidad en el entrenamiento con la mezcla de datos, la tasa de aprendizaje es el primer sospechoso.

Encontrar la proporción de mezcla óptima requiere experimentación. Mantenga constantes los datos de su dominio y varíe la proporción de datos de Nova en varias ejecuciones. El rendimiento del dominio generalmente permanece constante, mientras que las capacidades generales siguen mejorando cuanto más datos de Nova se mezclan. Coloque sus datos de mayor calidad hacia el final del entrenamiento para una mejor convergencia.

Modo de entrenamiento: Adaptación de rango bajo (LoRA) frente a rango completo

Amazon Nova Forge admite dos modos de entrenamiento que determinan cómo se actualizan los parámetros del modelo durante el entrenamiento:

LoRA actualiza solo las capas del adaptador, lo que ofrece costos de procesamiento más bajos, una iteración más rápida y compatibilidad con la inferencia bajo demanda. LoRA logra un rendimiento cercano al rango completo para la mayoría de las tareas y, al mismo tiempo, es más indulgente con los hiperparámetros subóptimos. El factor de escala alfa predeterminado de 64 funciona para la mayoría de las tareas. Aumente alfa si LoRA no se adapta lo suficiente a sus datos o disminúyalo si LoRA se sobreadapta y pierde capacidades generales. Utilice puntos de control posteriores al entrenamiento como punto de partida para el entrenamiento de LoRA. Full Rank actualiza todos los parámetros del modelo, proporcionando la máxima capacidad de adaptación. Full Rank requiere un rendimiento provisionado de Amazon Bedrock para la implementación (On-Demand solo está disponible para la personalización basada en LoRA) y una mayor computación durante el entrenamiento. Utilice Full Rank cuando haya validado su canalización y su arquitectura de implementación justifique el costo adicional. Los puntos de control intermedios funcionan bien para el entrenamiento de rango completo con conjuntos de datos grandes y estructurados.

Comience con LoRA para validar su canalización, la calidad de los datos y la función de recompensa (para RFT). Gradúe al rango completo cuando haya confirmado que el enfoque funciona y sus requisitos de producción lo justifican (por ejemplo, el rendimiento del modelo o las limitaciones de costos).

Flujo de trabajo recomendado

Aplicar estas decisiones estratégicas a su situación específica depende de los datos y objetivos que tenga. Los siguientes caminos asignan sus condiciones iniciales a la secuencia correcta de técnicas.

Si tiene demostraciones etiquetadas y una función de recompensa verificable (SFT y luego RFT):

Comience con SFT utilizando LoRA para enseñar el comportamiento objetivo y establecer una competencia básica. Habilite la combinación de datos con “razonamiento-seguimiento de instrucciones” incluido para preservar la capacidad del modelo de seguir indicaciones estructuradas y producir resultados bien formateados durante la adaptación del dominio. Utilice tasas de aprendizaje predeterminadas sin modificaciones. Supervise la pérdida de validación para seleccionar el mejor punto de control SFT. Gradúese a RFT en el punto de control SFT para optimizar aún más a través de señales de recompensa. Considere el entrenamiento de rango completo solo después de validar el enfoque con LoRA. Pruebe exhaustivamente tanto la tarea de su dominio como los puntos de referencia generales antes de la implementación en producción (consulte la sección Experimentos e ideas para ver un ejemplo).

Si puede definir resultados verificables pero no puede etiquetar fácilmente las respuestas a escala (solo RFT):

Primero evalúe el rendimiento del modelo base en una muestra representativa de su tarea. Continúe con RFT directamente si el modelo base logra más de aproximadamente el 5 por ciento de recompensa positiva. Recurra a SFT si las puntuaciones de recompensa están constantemente cerca de cero. El modelo necesita una competencia básica antes de que el aprendizaje guiado por recompensas pueda surtir efecto.

Si el modelo base carece de vocabulario de dominio o del conocimiento que requiere su tarea, comience con CPT:

Ejecute CPT para absorber conocimiento del dominio a partir de texto sin etiquetar. Siga con SFT. Los puntos de control previamente entrenados utilizados para CPT no tienen ajuste de instrucciones, por lo que se requiere SFT después de CPT para que el modelo sea útil. Opcionalmente, siga con RFT para optimizar aún más el rendimiento.

Configuración de parámetros

Una vez tomadas las decisiones estratégicas, ahora puede optimizar hiperparámetros específicos que rigen cómo se ejecuta cada técnica. Esta sección proporciona orientación para cada técnica.

Configuración de la tasa de aprendizaje

La tasa de aprendizaje controla la rapidez con la que se actualiza el modelo en función de las señales de entrenamiento. Los valores predeterminados del servicio representan configuraciones probadas que funcionan en diversos casos de uso.

Para CPT: comience en los valores predeterminados del servicio. Para conjuntos de datos grandes que superan el billón de tokens, puede utilizar una tasa de aprendizaje más alta (como 1e-4) para acelerar la absorción de conocimientos, pero necesita una etapa de reducción para reducir la tasa de aprendizaje a aproximadamente 1e-6 para la estabilidad del modelo antes de SFT. El parámetro constante_steps controla cuántos pasos entrena el modelo a la tasa de aprendizaje máxima antes de que comience esta etapa de reducción. Aumente los pasos_constantes para ejecuciones de tokens muy grandes donde más pasos a una tasa de aprendizaje completa ayudan a la absorción del dominio. Para conjuntos de datos más pequeños o puntos de control de etapas posteriores, utilice la tasa de aprendizaje predeterminada (más baja) desde el principio. Para SFT: respete los valores predeterminados del servicio, especialmente con la combinación de datos. La tasa de aprendizaje recomendada es 1e-5 para LoRA y 5e-6 para SFT de rango completo. Desviarse de la tasa de aprendizaje predeterminada al mezclar datos de Nova provoca inestabilidad. Si observa inestabilidad en el entrenamiento con la mezcla de datos, la tasa de aprendizaje es el primer sospechoso. Para RFT: comience en los valores predeterminados del servicio. Ajuste en pequeños incrementos del multiplicador sólo si es necesario. Si la recompensa cae repentinamente y no se recupera, es probable que la tasa de aprendizaje sea demasiado alta. Incluso un pequeño aumento del multiplicador puede hacer que el rendimiento caiga por debajo del valor inicial.

Configure los pasos de calentamiento en aproximadamente el 15 por ciento de sus pasos totales de entrenamiento. El calentamiento estabiliza el entrenamiento inicial aumentando gradualmente la tasa de aprendizaje en lugar de comenzar con el valor total.

Tamaño del lote y duración del entrenamiento

El tamaño del lote (controlado por global_batch_size) es el parámetro del lote en todos los métodos de entrenamiento (CPT, SFT, RFT) y todos los entornos (SageMaker Serverless, SMTJ, HyperPod). Define la cantidad de muestras de entrenamiento procesadas por paso del optimizador. Para CPT y SFT, esto es sencillo con una muestra igual a un par de entrada-salida (SFT) o una secuencia de token (CPT). RFT introduce un parámetro adicional, generación_número, que controla cuántas respuestas de candidatos se generan por solicitud para la puntuación de recompensa. Este parámetro no existe en las recetas CPT o SFT, porque esos métodos se entrenan directamente en pares de entrada y salida proporcionados en lugar de generar candidatos. Cuando el parámetro número de generaciones está presente, la semántica del tamaño del lote difiere entre entornos. Hacer esto mal conduce a un comportamiento inesperado.

En SMTJ (solo RFT): el tamaño del lote significa indicaciones por paso. Cada mensaje genera N respuestas candidatas (controladas por generación_número). El total de muestras por paso equivale al tamaño del lote multiplicado por el número de generaciones. En SageMaker HyperPod (solo RFT): el tamaño del lote significa muestras totales por paso (indicaciones multiplicadas por generaciones). Traduzca con cuidado al mover configuraciones entre entornos.

Para CPT, apunte a entre 2 y 20 millones de tokens por paso. Utilice 20 millones para presupuestos de tokens grandes y 2 millones para presupuestos más pequeños. Calcule el tamaño del lote global como la potencia más cercana de 2 tokens por paso dividida por la longitud máxima de la secuencia. Por ejemplo, 4 millones de tokens por paso con una longitud de secuencia de 4096 producen un tamaño de lote de aproximadamente 1024. Los tamaños de lote más pequeños producen gradientes más ruidosos, lo que puede ayudar a la generalización y permitir una iteración más rápida. Los tamaños de lote más grandes producen gradientes más suaves, pero pueden suavizar demasiado las señales específicas del dominio. Comience con tamaños de lote moderados para mayor estabilidad.

Haga coincidir la longitud máxima de su secuencia con su distribución de datos. No excedas lo que tus datos necesitan. Las longitudes de contexto más pequeñas aumentan el rendimiento del token y reducen los costos de capacitación. Para CPT, procese como máximo una época de su conjunto de datos. Evite repetir datos, ya que varias épocas en datos CPT limitados provocan un sobreajuste y la pérdida de capacidades generales. Supervise la pérdida de validación para realizar un seguimiento del progreso. Para SFT, el entrenamiento de rango completo normalmente necesita menos épocas que LoRA. El entrenamiento LoRA puede tolerar un poco más de épocas. Supervise la pérdida de validación para detectar sobreajuste y seleccione el mejor punto de control.

Parámetros específicos de RFT

RFT introduce parámetros adicionales que no están presentes en CPT o SFT.

El número de generaciones controla cuántas respuestas candidatas genera el modelo por mensaje para que la función de recompensa las compare. Menos candidatos significan un entrenamiento más rápido pero menos diversidad de señales. Demasiados candidatos agregan ruido sin mejorar la señal y casi duplican el tiempo de entrenamiento. Los valores moderados alcanzan la mejor relación precisión-tiempo. Aumente si su tarea tiene una gran variación en la calidad de la respuesta. Disminución para la iteración rápida de la función de recompensa durante el desarrollo. El coeficiente de pérdida de divergencia KL limita hasta qué punto la política del modelo puede desviarse de su comportamiento original. Este parámetro está disponible solo en SMTJ. Un coeficiente bajo permite que el modelo explore libremente, pero corre el riesgo de encontrar atajos que jueguen con la función de recompensa. Un coeficiente alto impide el aprendizaje significativo al devolver el modelo a su punto de partida. Aumente si la divergencia de KL aumenta durante el entrenamiento para equilibrar el aprendizaje genuino con la deriva del comportamiento. Reasoning Effort controla cuánto razonamiento en cadena de pensamiento realiza el modelo antes de responder. Un alto esfuerzo de razonamiento produce la mejor precisión, pero aumenta la latencia y el costo de servicio. El bajo esfuerzo de razonamiento ofrece una inferencia más rápida con modestas compensaciones en materia de precisión. Utilice alto para obtener la máxima precisión durante la validación y luego considere reducirlo para implementaciones de producción sensibles a la latencia. Lambda Concurrency Limit (solo SMTJ) controla las funciones paralelas de AWS Lambda para la evaluación de recompensas. Aumente significativamente las funciones de recompensa rápida para evitar que el rendimiento de la evaluación se convierta en un cuello de botella.

Recuerde que la semántica del tamaño de lote difiere entre plataformas. En SMTJ, global_batch_size significa mensajes por paso donde cada uno genera N candidatos. En SageMaker HyperPod, global_batch_size significa muestras totales (solicitudes multiplicadas por generaciones). Traduce cuidadosamente entre entornos.

Parámetros de regularización

Los parámetros de regularización ayudan a evitar el sobreajuste, especialmente en conjuntos de datos más pequeños.

La caída de peso por defecto es cero. Aumente modestamente si observa un sobreajuste en conjuntos de datos pequeños. La caída de peso aplica la regularización L2 para restringir las magnitudes de los parámetros. El abandono (oculto y atención) tiene como valor predeterminado cero. Aumente modestamente el abandono oculto para conjuntos de datos más pequeños para reducir el sobreajuste. Aumente la pérdida de atención con cautela, ya que los valores altos pueden dañar las capacidades de razonamiento complejas. La relación de clip y la tolerancia a la edad son parámetros avanzados de SageMaker HyperPod. La relación de recorte limita cuánto puede cambiar la política en un solo paso de capacitación. La tolerancia a la edad determina cuánto tiempo los datos de entrenamiento siguen siendo válidos antes de que se consideren demasiado obsoletos. La frecuencia de reajuste controla la frecuencia con la que el modelo recopila datos de entrenamiento nuevos. Los valores predeterminados funcionan para la mayoría de los casos de uso. Sólo ajuste estas configuraciones avanzadas si comprende el problema de estabilidad específico que está abordando.

Experimentos y conocimientos

Con estos hiperparámetros en mente, realizamos una serie de experimentos de HPO utilizando Amazon Nova 2.0 en puntos de referencia públicos, incluidos CoCoHD, MedReason y LLaVA-CoT. La siguiente tabla resume las configuraciones experimentales y los hallazgos clave para cada barrido de parámetros.

Rango del conjunto de datos Alfa GBS LR Pasos máximos Calentamiento Base Objetivo Rendimiento. Rendimiento objetivo SFT. Rango Perf Diff MedReason 32 64 32 1.00E-05 312 47 57.38% 63.54% 2 10.75% ↑ MedReason 64 64 32 1.00E-05 312 47 57.38% 63.78% 1 11.16% ↑ MedReason 32 64 32 5.00E-06 312 47 57.38% 63.33% MedReason 32 64 32 1.00E-05 624 94 57.38% 61.42% LLavaCOT 64 64 32 1.00E-05 312 47 16,22% 68,47% 1 322,13% ↑ LLavaCOT 32 128 32 1.00E-05 312 47 16,22% 65,77% 2 305,49% ↑

Ejecutamos LoRA SFT en Amazon Nova 2 Lite usando Nova Forge con rango 32, alfa 64, tamaño de lote 32, 15 por ciento de calentamiento y 1 época, barriendo solo la tasa de aprendizaje para aislar su efecto en la precisión del objetivo. El servicio predeterminado de 1e-5 produjo el mejor resultado con un 63,54 por ciento, un aumento del 10,75 por ciento sobre la base v4. Reducir la tasa de aprendizaje a 5e-6 afectó negativamente el rendimiento objetivo sin proteger significativamente las capacidades generales, ya que las puntuaciones MMLU, IFEval y GPQA estaban dentro del ruido de la ejecución 1e-5. Duplicar a 2 épocas con la misma tasa de aprendizaje redujo la precisión al 61,42 por ciento, lo que confirma que el sobreentrenamiento en datos de dominio limitado erosiona tanto el dominio como el rendimiento general.

Variamos el rango LoRA (32 frente a 64) y alfa (64 frente a 128) en una tarea de razonamiento multimodal donde el modelo base comienza con solo un 16,22 por ciento de precisión. La mejor configuración, rango 64 con alfa 64, elevó la precisión al 68,47 por ciento, una mejora relativa del 322 por ciento con respecto a la base. Duplicar alfa a 128 en el rango 32 produjo una ganancia objetivo similar del 65,77 por ciento, pero a un costo de regresión de capacidad general significativamente mayor. Para tareas en las que la precisión de referencia es baja, aumentar el rango es un ajuste de mayor apalancamiento que aumentar alfa. Alpha debe aumentarse solo cuando LoRA no se adapta lo suficiente y disminuir si el modelo está perdiendo capacidades generales.

Ninguna configuración de hiperparámetro funciona mejor para todos los casos de uso. Estos valores predeterminados recomendados son puntos de partida sólidos, no garantías de un rendimiento óptimo.

Errores comunes y cómo evitarlos

La siguiente tabla resume los errores más comunes que los profesionales deben evitar al ajustar los modelos de Amazon Nova Forge.

Problema Solución de síntomas Omitir SFT antes de RFT RFT no produce ninguna mejora o degrada el rendimiento Ejecute SFT primero para colocar el modelo en el vecindario de comportamiento correcto antes de la optimización de RFT. Desviarse del LR predeterminado con la combinación de datos Inestabilidad del entrenamiento, picos de pérdida, colapso de la capacidad. Respetar los valores predeterminados del servicio al utilizar la combinación de datos. Este es el error más común. Mala calidad de la función de recompensa. La precisión disminuye a pesar del entrenamiento o de los juegos modelo. Refine la función de recompensa antes de cambiar cualquier parámetro de entrenamiento. Validar con al menos dos jueces independientes. Múltiples épocas en datos CPT limitados Sobreajuste, pérdida de capacidades generales, memorización Procese como máximo una época de su conjunto de datos CPT. Supervise la pérdida de validación para detectar el sobreajuste de forma temprana. Configuraciones de razonamiento no coincidentes. El comportamiento de inferencia no coincide con el comportamiento de entrenamiento. Haga coincidir el razonamiento habilitado entre entrenamiento e inferencia. Si entrenas con razonamiento, infiere con razonamiento.

Al ajustar modelos con Nova Forge, invierta en su función de recompensa antes que nada. Una función de recompensa deficiente disminuirá la precisión independientemente de otras opciones de hiperparámetros, mientras que una refinada produce ganancias consistentes en una infraestructura idéntica. Asegúrese de que su función de recompensa tenga poder discriminativo en todo el rango de calidad del modelo, porque si todo tiene una puntuación alta, RFT no tiene gradiente que optimizar.

La misma disciplina de validación se aplica a la selección de LLM como juez. Su modelo de evaluación debe distinguir de manera confiable las diferencias de calidad en todo el rango de salida del modelo. Valide el acuerdo del juez con al menos dos evaluadores independientes antes de comprometerse con una ejecución de capacitación.

Tenga en cuenta que los mecanismos de estabilidad del entorno de formación difieren entre plataformas. SMTJ aplica una penalización de KL continua como una restricción suave, mientras que SageMaker HyperPod usa el recorte de gradiente como un límite estricto por paso. Ambos logran una precisión comparable, pero requieren diferentes intuiciones de sintonización. No asuma que los parámetros se transfieren directamente entre entornos.

A lo largo de todo esto, priorice la calidad de los datos sobre el volumen. Filtrar agresivamente y asegurarse de que los ejemplos de capacitación representen con precisión el comportamiento objetivo tendrá mejores resultados que simplemente ampliar los datos de baja calidad.

Medir el éxito

Cuando se aplica un ajuste de hiperparámetros adecuado, los resultados pueden ser sustanciales. El equipo de Ciencias Aplicadas de AWS China demostró esto en su evaluación de Amazon Nova Forge, logrando una mejora del 17 por ciento en la puntuación F1 en una tarea compleja de clasificación de la Voz del Cliente, manteniendo al mismo tiempo puntuaciones MMLU cercanas a la línea base.

Métricas clave para monitorear

La pérdida de entrenamiento debería disminuir de manera constante sin picos repentinos. Los picos suelen indicar problemas en la tasa de aprendizaje o problemas de calidad de los datos.

La pérdida de validación revela un sobreajuste. Si la pérdida de validación aumenta mientras que la pérdida de entrenamiento disminuye, se está sobreajustando. Reduzca épocas, aumente la regularización o agregue datos más diversos.

La divergencia de KL (para RFT) muestra hasta qué punto se ha desviado la política. Los picos repentinos sugieren que el modelo está realizando actualizaciones importantes y potencialmente inestables. Aumente el coeficiente de pérdida de KL si esto ocurre.

Las métricas de recompensa (para RFT) deberían mejorar constantemente. Si la recompensa mejora rápidamente y luego se estabiliza o cae, es posible que el modelo esté jugando con la función de recompensa. Revise el diseño de su recompensa.

Conclusión

Optimizar la personalización del modelo con Amazon Nova Forge requiere equilibrar el arte y la ciencia. El arte implica comprender las compensaciones: la selección de puntos de control, la estrategia de combinación de datos y las decisiones sobre el modo de entrenamiento dan forma a su resultado más que cualquier hiperparámetro individual. La ciencia implica un ajuste sistemático: la tasa de aprendizaje, el tamaño del lote y los parámetros específicos de la técnica requieren una configuración cuidadosa basada en sus datos y objetivos.

La calidad de los datos y las recompensas supera en importancia a cualquier hiperparámetro. Antes de ajustar los parámetros de entrenamiento, optimice su canal de datos y su función de recompensa. Comience con los valores predeterminados del servicio, especialmente para la tasa de aprendizaje y la combinación de datos, ya que estos valores predeterminados existen porque funcionan en una amplia gama de casos de uso.

Para la mayoría de los escenarios de producción, la cartera más sólida es la SFT seguida de la RFT. RFT refina la capacidad existente pero no puede recuperarse de una base baja, por lo que el ajuste supervisado debe establecer primero un rendimiento sólido. La combinación de datos debe considerarse esencial para las cargas de trabajo de producción, no opcional. Previene olvidos catastróficos y proporciona la estabilidad de optimización necesaria para obtener resultados confiables.

Cuando se trabaja con capacitación previa continua, la selección de puntos de control es la decisión más impactante que tomará. Haga coincidir la flexibilidad de los puntos de control con su escala de datos: puntos de control anteriores para la adaptación de dominios a gran escala, puntos de control posteriores para conjuntos de datos más pequeños donde es importante preservar el comportamiento de seguimiento de instrucciones.

Para comenzar con Amazon Nova Forge, explore la documentación de Amazon Nova y el repositorio de recetas de SageMaker HyperPod en GitHub. Para ver ejemplos prácticos de mezcla de datos en acción, consulte la publicación del blog sobre mezcla de datos de Nova Forge. Para profundizar en RFT con Nova Forge, consulte la publicación de blog Ajuste de refuerzo para Amazon Nova: Enseñanza de IA a través de comentarios.

Expresiones de gratitud

Los autores desean agradecer a Zheng Du, Bharathan Balaji, Anjie Fang y Mennong Xu del equipo científico de personalización de AGI de AWS por su orientación técnica.

Sobre los autores