Las empresas que obtienen resultados reales de la IA no solo utilizan modelos básicos (FM) disponibles en el mercado. Están personalizando modelos de peso abierto utilizando técnicas posteriores al entrenamiento, como el aprendizaje por refuerzo. Un modelo entrenado en su contexto empresarial, catálogo de productos o vocabulario clínico será más preciso para su tarea y su ejecución costará menos. Cuando crea agentes, sus datos, flujos de trabajo, evaluaciones y criterios de éxito también dan forma al comportamiento del modelo.
Sin embargo, la personalización del modelo es difícil. Debe elegir la técnica adecuada, configurar y administrar la infraestructura de GPU y, en el caso de los agentes, crear entornos para el aprendizaje reforzado en varios turnos. Lanzamos la personalización del modelo sin servidor de IA de Amazon SageMaker para resolver estos desafíos y hoy la estamos ampliando con el lanzamiento de sesiones de capacitación de disponibilidad general.
Con las sesiones de capacitación, usted obtiene control sobre la lógica posterior a la capacitación sin administrar la infraestructura subyacente. Usted escribe y coordina el ciclo de entrenamiento, incluidas funciones de pérdida personalizadas o señales de recompensa. SageMaker AI maneja la asignación de GPU, la ejecución distribuida, la recuperación de fallas y el almacenamiento de puntos de control.
Personalice sin las molestias de la gestión de infraestructura
Con la personalización del modelo sin servidor de SageMaker AI, usted no elige tipos de instancias, no administra clústeres ni escribe configuraciones de capacitación distribuida.
No queríamos limitarte. Puede utilizar técnicas como SFT, DPO, RLVR, RLAIF o RL multiturno. Puede elegir qué parte del modelo actualizar con Adaptación de bajo rango (LoRA) o técnicas completas de ajuste y encadenamiento a través de una personalización continua.
No queríamos que perdieras el tiempo. Nuestro libro de recetas de sesiones de capacitación de IA de SageMaker proporciona ejemplos y casos de uso, junto con habilidades de agente de personalización de modelos. Usted describe su caso de uso y el agente se encarga de la preparación de datos, la elección de técnicas, la capacitación, la evaluación y la implementación. El agente trabaja donde usted trabaja, en SageMaker Studio, Kiro, Claude Code, Codex o GitHub Copilot.
“Adoptamos las sesiones de capacitación sin servidor de IA de SageMaker para construir un modelo de clasificación de denegación de reclamos de atención médica, y la experiencia validó la plataforma desde el primer día. La superficie API de bajo nivel, el control directo sobre los pases hacia adelante y hacia atrás, el muestreo y el paso del optimizador brindaron a nuestros científicos el control detallado que necesitan para lograr el aprendizaje de refuerzo en un caso de uso exigente y de precisión crítica. Las sesiones de capacitación nos brindan las primitivas adecuadas para avanzar hacia un rendimiento de nivel de producción”.
— Rob Gontarek, vicepresidente sénior de ciencia de datos, ImagineSoftware
Escribe tu propio bucle post-entrenamiento
Un cambio importante en la formación de agentes es hacia el aprendizaje por refuerzo en múltiples turnos. Por ejemplo, un agente que reserva viajes, clasifica boletos de soporte o ejecuta una tarea de investigación de varios pasos necesita varias rondas de interacción antes de poder juzgar si alcanzó el resultado correcto.
Sin embargo, el ciclo de formación puede complicarse rápidamente. Puede entrenar el modelo en un conjunto de infraestructura, ejecutar inferencias en otro para generar respuestas, calificar esas respuestas e introducir los resultados en la siguiente actualización. Cada etapa necesita una computación diferente y conectarlas a través de herramientas y clústeres separados agrega trabajo.
SageMaker AI ya ofrece RL de múltiples turnos como una técnica administrada y sin servidor. Pero escuchamos a clientes que querían definir sus propias funciones de pérdida, dar forma a señales de recompensa o etapas de RL en un solo bucle. Las sesiones de entrenamiento te dan esa flexibilidad.
“Con las sesiones de capacitación sin servidor de IA de SageMaker, ajustamos gpt-oss-20b para llamadas de herramientas agentes y de múltiples turnos en comparación con nuestro gráfico de conocimiento de Amazon Neptune, y la plataforma manejó la infraestructura por nosotros. La configuración simplemente funcionó, sin ajustes manuales ni disputas por falta de memoria. Checkpoint-and-reanudar fue destacado: reanudar desde un paso exacto fue completamente confiable. Les dio a nuestros desarrolladores la flexibilidad que querían y les quitó la carga operativa de encima”.
— Nitin Wagh, director ejecutivo de Karini AI
como funciona
Su código ejecuta el ciclo de entrenamiento y la función de recompensa en su entorno y conecta al agente con sus herramientas o simuladores. La sesión de entrenamiento realiza el trabajo pesado de la GPU: un muestreador genera respuestas y un entrenador calcula los gradientes y actualiza los pesos del modelo. La secuencia exacta depende del algoritmo que escribas.
Por ejemplo, veamos la implementación de la Optimización de políticas relativas al grupo (GRPO). GRPO es un método de aprendizaje por refuerzo que genera varias respuestas al mismo mensaje, las califica y utiliza su rendimiento relativo para actualizar el modelo. Una pasada por el bucle funciona así:
Respuestas de muestra: su bucle le pide al muestreador que genere varias respuestas para cada mensaje utilizando el modelo actual. Califíquelos: su función de recompensa califica cada respuesta en su entorno utilizando un verificador, un modelo de recompensa o un arnés de prueba. Actualiza el modelo: tu bucle envía las puntuaciones al entrenador. forward_backward() los usa para calcular gradientes y optim_step() aplica la actualización a los pesos del modelo. Actualizar y repetir: su bucle solicita a la sesión que actualice la muestra con los pesos actualizados y luego inicia el siguiente lote. Su código repite estos pasos hasta que se complete la capacitación.
Usted paga por los tokens que procesa SageMaker AI. El medidor se detiene mientras su función de recompensa puntúa un lote en su entorno y no hay capacidad para reservar.
Mantenga el control de sus datos y modelos
Cada sesión utiliza un rol de ejecución de AWS Identity and Access Management (IAM) que usted crea y puede agregar su propia clave de AWS Key Management Service (AWS KMS) y su configuración de nube privada virtual (VPC). Sus datos permanecen en sus propios depósitos de Amazon Simple Storage Service (Amazon S3) en la región de AWS que elija, y sus puntos de control también llegan allí.
No utilizamos sus datos ni sus pesos personalizados para entrenar otro modelo. Antes de la implementación, puede evaluar la precisión, el sesgo y la seguridad del modelo. Después de la implementación, puede aplicar medidas de seguridad y monitorearlas con Amazon CloudWatch.
Puede seguir utilizando los procesos de gobernanza que sus equipos ya tienen.
Comience hoy
Escriba su propio ciclo de capacitación en las sesiones de capacitación de personalización de modelos sin servidor de SageMaker AI, disponibles hoy con soporte para gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B y Qwen3.8-27B.
Dos formas de empezar:
En su IDE: instale el SDK de Python de SageMaker (en Linux o macOS con Python 3.10 a 3.12), clone el libro de recetas y comience a desarrollar. En SageMaker Studio: inicie un entorno de desarrollo de IA listo para usar en menos de 20 segundos. Inicie sesión, abra una libreta, conecte su agente de codificación (Kiro, Claude Code, Codex o Copilot), descargue las habilidades del agente y el libro de recetas y estará listo para comenzar.
Recursos
Lea la publicación técnica completa
Ejemplos de sesiones de entrenamiento
Documentación de las sesiones de formación.
Recetario de sesiones de entrenamiento
Sobre los autores
Pooja Karadgi
Sumedha Swamy