Hoy, compartimos cómo Amazon Bedrock simplifica la personalización de los modelos de Amazon Nova para sus necesidades comerciales específicas. A medida que los clientes escalan sus implementaciones de IA, necesitan modelos que reflejen conocimientos y flujos de trabajo exclusivos, ya sea que eso signifique mantener una voz de marca consistente en las comunicaciones con los clientes, manejar flujos de trabajo complejos específicos de la industria o clasificar con precisión las intenciones en un sistema de reservas de aerolíneas de gran volumen. Técnicas como la ingeniería rápida y la generación aumentada de recuperación (RAG) brindan al modelo contexto adicional para mejorar el desempeño de las tareas, pero estas técnicas no inculcan una comprensión nativa en el modelo.
Amazon Bedrock admite tres enfoques de personalización para los modelos Nova: ajuste fino supervisado (SFT), que entrena el modelo en ejemplos de entrada y salida etiquetados; ajuste fino de refuerzo (RFT), que utiliza una función de recompensa para guiar el aprendizaje hacia conductas objetivo; y destilación de modelos, que transfiere conocimientos de un modelo de maestro más grande a un modelo de estudiante más pequeño y más rápido. Cada técnica incorpora nuevos conocimientos directamente en los pesos del modelo, en lugar de proporcionarlos en el momento de la inferencia a través de indicaciones o contexto recuperado. Con estos enfoques, obtiene inferencias más rápidas, menores costos de tokens y mayor precisión en las tareas que más importan para su negocio. Amazon Bedrock administra el proceso de capacitación automáticamente y solo requiere que cargue sus datos en Amazon Simple Storage Service (Amazon S3) e inicie el trabajo a través de la Consola de administración, la CLI o la API de AWS. No se requiere experiencia profunda en aprendizaje automático. Los modelos Nova admiten la invocación bajo demanda de modelos personalizados en Amazon Bedrock. Esto significa que usted paga solo por llamada a la tarifa estándar para el modelo, en lugar de tener que comprar capacidad asignada más costosa (rendimiento aprovisionado).
En esta publicación, lo guiaremos a través de una implementación completa del ajuste de modelos en Amazon Bedrock utilizando modelos de Amazon Nova, demostrando cada paso a través de un ejemplo de clasificador de intenciones que logra un rendimiento superior en una tarea específica de un dominio. A lo largo de esta guía, aprenderá a preparar datos de entrenamiento de alta calidad que impulsen mejoras significativas en el modelo, configurar hiperparámetros para optimizar el aprendizaje sin sobreajuste e implementar su modelo ajustado para mejorar la precisión y reducir la latencia. Le mostraremos cómo evaluar sus resultados utilizando métricas de entrenamiento y curvas de pérdida.
Comprender el ajuste fino y cuándo usarlo
Las técnicas de ingeniería de contexto, como la ingeniería de avisos o la generación aumentada de recuperación (RAG), colocan información en el aviso del modelo. Estos enfoques ofrecen ventajas significativas: entran en vigor de inmediato sin necesidad de capacitación, permiten actualizaciones dinámicas de la información y funcionan con múltiples modelos básicos sin modificaciones. Sin embargo, estas técnicas consumen tokens de ventana de contexto en cada invocación, lo que puede aumentar los costos acumulativos y la latencia con el tiempo. Más importante aún, no se generalizan bien. El modelo simplemente lee instrucciones cada vez en lugar de haber internalizado el conocimiento, por lo que puede tener dificultades con frases novedosas, casos extremos o tareas que requieren un razonamiento más allá de lo que se proporcionó explícitamente en la indicación. En comparación, las técnicas de personalización incorporan el nuevo conocimiento directamente en el modelo agregando una matriz adaptadora de pesos adicionales y personalizándolos (“ajuste fino eficiente en parámetros”, también conocido como “PEFT”). El modelo personalizado resultante ha adquirido nuevas habilidades específicas de dominio. La personalización permite que modelos pequeños más rápidos y eficientes alcancen un rendimiento comparable al de modelos más grandes en el dominio de entrenamiento específico.
Cuándo realizar ajustes: considere realizar ajustes cuando tenga una tarea bien definida y de gran volumen en la que pueda reunir ejemplos etiquetados de calidad o una función de recompensa. Los casos de uso incluyen entrenar un modelo para representar correctamente el logotipo de su empresa, incorporar el tono de la marca y las políticas de la empresa en el modelo o reemplazar un clasificador de ML tradicional con un pequeño LLM. Por ejemplo, el Servicio de Atención al Cliente de Amazon personalizó Nova Micro para brindar soporte al cliente especializado para mejorar la precisión y reducir la latencia, mejorando la precisión en un 5,4% en problemas específicos de dominio y un 7,3% en problemas generales.
Los pequeños LLM perfeccionados como Nova Micro están reemplazando cada vez más a los clasificadores de ML tradicionales para tareas como la detección de intenciones. Ofrecen la flexibilidad y el conocimiento mundial de un LLM a la velocidad y el costo de un modelo liviano. A diferencia de los clasificadores, los LLM manejan variaciones naturales en la redacción, la jerga y el contexto sin volver a capacitarse, y el ajuste fino mejora aún más su precisión para la tarea específica. Demostramos esto con un ejemplo de clasificador de intenciones más adelante en este blog.
Cuándo NO realizar ajustes: el ajuste requiere reunir datos etiquetados de calidad o una función de recompensa y ejecutar un trabajo de capacitación, lo que implica tiempo y costos por adelantado. Sin embargo, esta inversión inicial puede reducir los costos de inferencia por solicitud y la latencia para aplicaciones de gran volumen.
Enfoques de personalización
Amazon Bedrock ofrece tres enfoques de personalización para los modelos Nova:
El ajuste fino supervisado (SFT) personaliza el modelo para aprender patrones a partir de los datos etiquetados que usted proporciona. Esta publicación demuestra esta técnica en acción. El ajuste de refuerzo (RFT) adopta un enfoque diferente, utilizando datos de entrenamiento combinados con una función de recompensa, ya sea un código personalizado o un LLM que actúa como juez, para guiar el proceso de aprendizaje. La destilación de modelos, para escenarios que requieren transferencia de conocimientos, le permite comprimir conocimientos de modelos de profesores grandes en modelos de estudiantes más pequeños y eficientes, adecuados para dispositivos con recursos limitados.
Amazon Bedrock utiliza automáticamente técnicas de ajuste fino eficiente de parámetros (PEFT) apropiadas para el modelo para personalizar los modelos Nova. Esto reduce los requisitos de memoria y acelera el entrenamiento en comparación con el ajuste completo, manteniendo al mismo tiempo la calidad del modelo. Una vez establecido cuándo y por qué utilizar el ajuste fino, exploremos cómo Amazon Bedrock simplifica el proceso de implementación y qué modelos de Nova admiten este enfoque de personalización.
Comprender los modelos de Amazon Nova en Amazon Bedrock
Amazon Bedrock automatiza completamente el aprovisionamiento de infraestructura, la administración informática y la orquestación de la capacitación. Usted carga datos en S3 y comienza a entrenar con una única llamada a la API, sin administrar clústeres ni GPU ni configurar canales de capacitación distribuidos. Proporciona documentación clara para la preparación de datos (incluidas especificaciones de formato y requisitos de esquema), valores predeterminados de hiperparámetros sensibles (como epochCount, learningRateMultiplier) y visibilidad del entrenamiento a través de curvas de pérdida que lo ayudan a monitorear la convergencia en tiempo real.
Modelos Nova: Varios de los modelos Nova permiten ajustes (ver documentación). Una vez completada la capacitación, tiene la opción de alojar los modelos Nova personalizados en Amazon Bedrock mediante una inferencia On Demand rentable, al mismo precio de inferencia bajo que el modelo no personalizado.
Nova 2 Lite, por ejemplo, es un modelo de razonamiento rápido y rentable. Como modelo básico multimodal, procesa texto, imágenes y videos dentro de una ventana de contexto de 1 millón de tokens. Esta ventana contextual admite el análisis de documentos de más de 400 páginas o vídeos de 90 minutos en un solo mensaje. Destaca en el procesamiento de documentos, comprensión de vídeos, generación de códigos y flujos de trabajo agentes. Nova 2 Lite admite tanto SFT como RFT.
El modelo Nova más pequeño, Nova Micro, también es particularmente útil porque ofrece inferencia rápida y de bajo costo con inteligencia LLM. Nova Micro es ideal para tareas de procesamiento de canalizaciones realizadas como parte de un sistema más grande, como arreglar direcciones o extraer campos de datos de texto. En esta publicación, mostramos un ejemplo de cómo personalizar Nova Micro para una tarea de segmentación en lugar de crear un modelo de ciencia de datos personalizado. Esta tabla muestra los modelos de razonamiento Nova 1 y Nova 2 y su disponibilidad actual al momento de la publicación, con qué modelos actualmente permiten RFT o SFT. Estas capacidades están sujetas a cambios; consulte la documentación en línea para conocer la disponibilidad y personalización de los modelos más recientes, y la Guía del usuario de Nova para obtener más detalles sobre los modelos.
Capacidades del modelo Entrada Salida Estado Ajuste fundamental Nova Premier Modelo más capaz para tareas complejas y profesor para destilación de modelos Texto, imágenes, video (excluido audio) Texto Generalmente disponible Puede usarse como profesor para destilación de modelos Nova Pro Modelo multimodal con la mejor combinación de precisión, velocidad y costo para una amplia gama de tareas Texto, imágenes, video Texto Generalmente disponible SFT Nova 2 Lite Modelo multimodal de bajo costo con procesamiento rápido Texto, imágenes, video Texto Generalmente disponible RFT, SFT Nova Lite Modelo multimodal de bajo costo con procesamiento rápido Texto, imágenes, video Texto Generalmente disponible SFT Nova Micro Respuestas de latencia más baja a bajo costo. Texto Texto SFT disponible con carácter general
Ahora que comprende cómo los modelos Nova admiten el ajuste fino a través de la infraestructura administrada de Amazon Bedrock, examinemos un escenario del mundo real que demuestra estas capacidades en acción.
Ejemplo de caso de uso: detección de intenciones (reemplazando los modelos de ML tradicionales)
La detección de intención determina la categoría de la interacción prevista por el usuario a partir del caso de entrada. Por ejemplo, en el caso de un sistema de asistencia en viajes de una aerolínea, el usuario podría intentar obtener información sobre un vuelo reservado previamente o hacer una pregunta sobre los servicios de la aerolínea, como por ejemplo cómo transportar una mascota. A menudo, los sistemas querrán dirigir la consulta a agentes específicos según su intención. Los sistemas de detección de intenciones deben funcionar de forma rápida y económica a gran volumen.
La solución tradicional para un sistema de este tipo ha sido entrenar un modelo de aprendizaje automático. Si bien esto es efectivo, los desarrolladores recurren cada vez más a pequeños LLM para estas tareas. Los LLM ofrecen más flexibilidad, se pueden modificar rápidamente mediante cambios rápidos y vienen con un amplio conocimiento mundial incorporado. Su comprensión de la taquigrafía, la jerga de los mensajes de texto, las palabras equivalentes y el contexto pueden proporcionar una mejor experiencia de usuario, y la experiencia de desarrollo de LLM es familiar para los ingenieros de IA.
Para nuestro ejemplo, personalizaremos el modelo de Nova Micro en el conjunto de datos de código abierto del Sistema de información de viajes de aerolíneas (ATIS), un punto de referencia estándar de la industria para sistemas basados en intenciones. Nova Micro logra un 41,4 % en ATIS sin personalización, pero podemos personalizarlo para la tarea específica, mejorando su precisión al 97 % con un simple trabajo de capacitación.
Implementación técnica: proceso de ajuste
Los dos factores críticos que impulsan el éxito del ajuste del modelo son la calidad de los datos y la selección de hiperparámetros. Hacerlos correctamente determina si su modelo converge de manera eficiente o requiere un reentrenamiento costoso. Repasemos cada componente del proceso de implementación, comenzando por cómo preparar los datos de entrenamiento.
Preparación de datos
Amazon Bedrock requiere el formato JSONL (JavaScript Object Notation Lines) porque admite la transmisión eficiente de grandes conjuntos de datos durante el entrenamiento, de modo que pueda procesar sus datos de forma incremental sin limitaciones de memoria. Este formato también simplifica la validación. Cada línea se puede comprobar de forma independiente en busca de errores. Verifique que cada fila del archivo JSONL sea JSON válido. Si el formato del archivo no es válido, el trabajo de creación del modelo de Amazon Bedrock fallará con un error. Para obtener más detalles, consulte la documentación sobre el ajuste del modelo Nova. Usamos un script para formatear el conjunto de datos ATIS como JSONL. Nova Micro acepta un conjunto de validación separado, por lo que luego dividimos el 10% de los datos en un conjunto de validación (los modelos Nova 2 hacen esto automáticamente en la personalización). También reservamos un conjunto de registros de prueba, en los que no se entrenó el modelo, para facilitar resultados de prueba limpios.
Para nuestro ejemplo de clasificador de intenciones, nuestros datos de entrada son solo texto. Sin embargo, al ajustar los modelos multimedia, asegúrese también de utilizar sólo formatos de imagen compatibles (PNG, JPEG y GIF). Asegúrese de que sus ejemplos de capacitación abarquen los casos importantes. Valide su conjunto de datos con su equipo y elimine las respuestas ambiguas o contradictorias antes de realizar ajustes.
{"schemaVersion": "bedrock-conversation-2024", "system": [{"text": "Clasifique la intención de las consultas de aerolíneas. Elija una intención de esta lista: abreviatura, avión, avión+vuelo+nº_vuelo, tarifa aérea, tarifa aérea+hora_vuelo, aerolínea, aerolínea+nº_vuelo, aeropuerto, capacidad, más barato, ciudad, distancia, vuelo, vuelo+tarifa aérea, número_vuelo, hora_vuelo, tarifa_terrestre, servicio_terrestre, servicio_terrestre+tarifa_terrestre, comida, cantidad, restricciónnnResponde solo con el nombre de la intención, nada más."}], "messages": [{"role": "user", "content": [{"text": "muéstrame los vuelos de la mañana de boston a filadelfia"}]}, {"role": "assistant", "content": [{"text": "flight"}]}]}
Fila preparada en una muestra de datos de entrenamiento (tenga en cuenta que, aunque parece ajustado, el formato JSONL es en realidad una sola fila por ejemplo)
Importante: tenga en cuenta que el mensaje del sistema aparece en los datos de entrenamiento. Es importante que el mensaje del sistema utilizado para el entrenamiento coincida con el mensaje del sistema utilizado para la inferencia, porque el modelo aprende el mensaje del sistema como contexto que desencadena su comportamiento ajustado.
Consideraciones de privacidad de datos:
Al realizar ajustes con datos confidenciales:
Anonimice o enmascare la PII (nombres, direcciones de correo electrónico, números de teléfono, detalles de pago) antes de cargarla en Amazon S3. Considere los requisitos de residencia de datos para el cumplimiento normativo. Amazon Bedrock no utiliza sus datos de entrenamiento para mejorar los modelos base. Para mejorar la seguridad, considere utilizar puntos finales de Amazon Virtual Private Cloud (VPC) para la conectividad privada entre S3 y Amazon Bedrock, eliminando la exposición a la Internet pública.
Hiperparámetros clave
Los hiperparámetros controlan el trabajo de entrenamiento. Amazon Bedrock establece valores predeterminados razonables y, a menudo, puede usarlos sin realizar ajustes, pero es posible que deba ajustarlos en su trabajo de ajuste para lograr la precisión objetivo. Estos son los hiperparámetros para los modelos de comprensión de Nova; consulte la documentación para otros modelos:
Tres hiperparámetros controlan el comportamiento de su trabajo de capacitación y, si bien Amazon Bedrock establece valores predeterminados razonables, comprenderlos le ayuda a optimizar los resultados. Realizar esta configuración correctamente puede ahorrarle horas de capacitación y minimizar los costos de computación.
El primer hiperparámetro, epochCount, especifica cuántas pasadas completas realiza el modelo a través de su conjunto de datos. Piense en ello como leer un libro varias veces para mejorar la comprensión. Después de la primera lectura es posible que retengas el 60% del material; una segunda pasada eleva la comprensión al 80%. Sin embargo, una vez que comprenda el 100% del material, las lecturas adicionales desperdician tiempo de capacitación sin producir ganancias. Los modelos de Amazon Nova admiten de 1 a 5 épocas con un valor predeterminado de 2. Los conjuntos de datos más grandes generalmente convergen con menos épocas, mientras que los conjuntos de datos más pequeños se benefician de más iteraciones. Para nuestro ejemplo de clasificador de intenciones ATIS con ~5000 muestras combinadas, configuramos epochCount en 3.
LearningRateMultiplier controla la agresividad con la que el modelo aprende de los errores. Es esencialmente el tamaño del paso para las correcciones. Si la tasa de aprendizaje es demasiado alta, es posible que se pierdan detalles y se llegue a conclusiones erróneas. Si la tasa es demasiado baja, las conclusiones se forman lentamente. Usamos 1e-5 (0.00001) para el ejemplo de ATIS, que proporciona un aprendizaje gradual y estable. El parámetro learningRateWarmupSteps aumenta gradualmente la tasa de aprendizaje hasta el valor especificado durante un número determinado de iteraciones, lo que alivia el entrenamiento inestable al principio. Usamos el valor predeterminado de 10 para nuestro ejemplo.
Por qué esto es importante para usted: Establecer el recuento de épocas correcto evita la pérdida de tiempo y costos de capacitación. Cada época representa otro paso por los datos de entrenamiento completos, lo que aumentará la cantidad de tokens procesados (el costo principal en el entrenamiento de modelos; consulte “Costo y tiempo de entrenamiento” más adelante en esta publicación). Muy pocas épocas significan que es posible que su modelo no aprenda los datos de entrenamiento con la suficiente eficacia. Encontrar este equilibrio temprano ahorra tiempo y presupuesto. La tasa de aprendizaje afecta directamente la precisión y la eficiencia del entrenamiento de su modelo, lo que potencialmente significa la diferencia entre un modelo que converge en horas y uno que nunca alcanza un rendimiento aceptable.
Comenzando un trabajo de ajuste
El requisito previo para el ajuste es crear un depósito S3 con datos de entrenamiento.
Configuración del depósito S3
Cree un depósito de S3 en la misma región que su trabajo de Amazon Bedrock con las siguientes configuraciones de seguridad:
Habilite el cifrado del lado del servidor (SSE-S3 o SSE-KMS) para proteger los datos de entrenamiento en reposo. Bloquee el acceso público al depósito para evitar la exposición no autorizada. Habilite el control de versiones de S3 para proteger los datos de entrenamiento contra sobrescrituras accidentales y realizar un seguimiento de los cambios a lo largo de la iteración del entrenamiento.
Aplique los mismos controles de cifrado y acceso a su depósito S3 de salida. Cargue su archivo JSONL en el nuevo depósito S3 y luego organícelo con el prefijo /training-data. El control de versiones de S3 ayuda a proteger sus datos de entrenamiento contra sobrescrituras accidentales y le permite realizar un seguimiento de los cambios en las iteraciones de entrenamiento. Esto es esencial cuando experimentas con diferentes versiones de conjuntos de datos para optimizar los resultados.
Para crear un trabajo de ajuste supervisado
En la Consola de administración de AWS, elija Amazon Bedrock. Elija Prueba, área de juegos de chat/texto y confirme que Nova Micro aparezca en la lista desplegable del selector de modelo. En Modelo personalizado, elija Crear y luego seleccione Trabajo de ajuste fino supervisado.
Figura 1: Creación de un trabajo de ajuste supervisado
Especifique el modelo “Nova Micro” como modelo de origen. En la sección Datos de entrenamiento, ingrese la ruta URI de S3 a su archivo de entrenamiento JSONL (por ejemplo, s3://amzn-s3-demo-bucket/training-data/focused-training-data-v2.jsonl). En la sección Datos de salida, especifique la ruta del URI de S3 donde se almacenarán los resultados del entrenamiento (por ejemplo, s3://amzn-s3-demo-bucket/output-data/). Expanda la sección Hiperparámetros y configure los siguientes valores: epochCount: 3, learningRateMultiplier: 1e-5, learningRateWarmupSteps: 10 Seleccione la función de IAM con permisos de acceso S3 con privilegios mínimos o puede crear uno. El rol debe tener: Permisos con alcance limitados a acciones específicas (s3:GetObject y s3:PutObject) en rutas de depósito específicas (por ejemplo, arn:aws:s3:::your-bucket-name/training-data/* y arn:aws:s3:::your-bucket-name/output-data/*) Evite el aprovisionamiento excesivo e incluya claves de condición de IAM. Para obtener orientación detallada sobre las mejores prácticas de permisos de S3 y las configuraciones de seguridad, consulte la documentación de prácticas recomendadas de AWS IAM. Elija Crear trabajo.
Monitoreo del estado del trabajo
Para monitorear el estado y la convergencia del trabajo de capacitación:
Supervise el estado del trabajo en el panel de modelos personalizados. Espere a que se complete la fase de validación de datos, seguida de la fase de capacitación (el tiempo de finalización varía de minutos a horas, según el tamaño y la modalidad del conjunto de datos). Una vez completada la capacitación, elija el nombre de su trabajo para ver la pestaña Métricas de capacitación y verificar que la curva de pérdida muestre una convergencia adecuada. Una vez completada la capacitación, si el trabajo se realiza correctamente, se crea un modelo personalizado y está listo para la inferencia. Puede implementar el modelo Nova personalizado para inferencia bajo demanda.
Figura 2: Verificación del estado del trabajo
Evaluación del éxito del entrenamiento
Con Amazon Bedrock, puede evaluar la eficacia de su trabajo de ajuste mediante métricas de capacitación y curvas de pérdidas. Al analizar la progresión de la pérdida de entrenamiento en pasos y épocas, puede evaluar si su modelo está aprendiendo de manera efectiva y determinar si se necesitan ajustes de hiperparámetros para un rendimiento óptimo. La personalización de Amazon Bedrock almacena automáticamente los artefactos de capacitación, incluidos resultados de validación, métricas, registros y datos de capacitación en su depósito S3 designado, lo que le brinda visibilidad completa del proceso de capacitación. Los datos de métricas de entrenamiento le permiten realizar un seguimiento del rendimiento de su modelo con hiperparámetros específicos y tomar decisiones de ajuste informadas.
Figura 3: Ejemplo de métricas de capacitación en formato CSV
Puede visualizar el progreso del entrenamiento de su modelo directamente desde la consola de Amazon Bedrock Custom Models. Seleccione su modelo personalizado para acceder a métricas detalladas, incluida una curva de pérdida de entrenamiento interactiva que muestra la eficacia con la que su modelo aprendió de los datos de entrenamiento a lo largo del tiempo. La curva de pérdida brinda información sobre cómo progresó el entrenamiento y si los hiperparámetros necesitan modificaciones para un entrenamiento efectivo. En la pestaña Modelos personalizados de Amazon Bedrock, seleccione el modelo personalizado para ver sus detalles, incluida la curva de pérdida de entrenamiento. (Figura 4).
Figura 4: Análisis de la curva de pérdidas a partir de las métricas de entrenamiento
Esta curva de pérdidas muestra que el modelo está funcionando bien. La curva de pérdida decreciente que se muestra en sus métricas confirma que el modelo aprendido con éxito de sus datos de entrenamiento. Idealmente, mientras el modelo está aprendiendo, las curvas de pérdida de entrenamiento y de pérdida de validación deberían seguir un comportamiento similar. Un modelo bien configurado muestra una convergencia constante: la pérdida disminuye suavemente sin fluctuaciones dramáticas. Si ve patrones oscilantes en su curva de pérdida (oscilaciones bruscas hacia arriba y hacia abajo), reduzca su learningRateMultiplier en un 50% y reinicie el entrenamiento. Si su pérdida disminuye demasiado lentamente (curva plana o apenas decreciente), aumente su learningRateMultiplier al doble. Si su pérdida se estabiliza temprano (se aplana antes de alcanzar una buena precisión), aumente su epochCount en 1 o 2 épocas.
Figura 5: Comprensión de la curva de pérdidas
Conclusión clave: su curva de pérdidas cuenta la historia completa. Una tendencia a la baja suave significa éxito. Las oscilaciones salvajes significan que su tasa de aprendizaje es demasiado alta. Las líneas planas significan que necesita más épocas o mejores datos. Supervise esta métrica para evitar una recapacitación costosa.
Mejores prácticas de personalización
Maximizar el éxito de su ajuste comienza con la calidad de los datos. Los conjuntos de datos pequeños y de alta calidad superan sistemáticamente a los grandes y ruidosos. Concéntrese en seleccionar ejemplos etiquetados que representen con precisión su dominio objetivo en lugar de recopilar volúmenes masivos de datos mediocres. Cada muestra de entrenamiento debe formatearse y validarse adecuadamente antes de su uso, ya que los datos limpios se traducen directamente en un mejor rendimiento del modelo. Recuerde especificar un mensaje del sistema apropiado.
Los errores comunes que se deben evitar incluyen el sobreentrenamiento (ejecutar demasiadas épocas después de la convergencia), el formato de datos subóptimo (estructuras JSON/JSONL inconsistentes) y configuraciones de hiperparámetros que necesitan ajustes. Recomendamos validar el formato de sus datos de entrenamiento antes de comenzar y monitorear activamente las curvas de pérdida durante el entrenamiento. Esté atento a las señales de que su modelo ha convergido. Continuar con la formación más allá de este punto desperdicia recursos sin mejorar los resultados.
Costo y tiempo de entrenamiento.
El entrenamiento del modelo Nova Micro personalizado para nuestro ejemplo ATIS con 4978 ejemplos combinados y 3 épocas de entrenamiento (~1,75 millones de tokens en total) se completó en aproximadamente 1,5 horas y costó solo $2,18, más una tarifa de almacenamiento recurrente mensual de $1,75 para el modelo. La inferencia bajo demanda utilizando modelos personalizados de Amazon Nova se cobra al mismo precio que los modelos no personalizados. Consulte la página de precios de Bedrock como referencia. El ajuste fino administrado proporcionado por los modelos Amazon Bedrock y Amazon Nova permite un ajuste fino dentro de los umbrales de costos para la mayoría de las organizaciones. La facilidad de uso y la rentabilidad abren nuevas posibilidades para personalizar modelos para producir resultados mejores y más rápidos sin mantener largas indicaciones o bases de conocimientos de información específica de su organización.
Implementar y probar el modelo ajustado
Considere la inferencia bajo demanda para cargas de trabajo impredecibles o de bajo volumen. Utilice el rendimiento aprovisionado más costoso cuando sea necesario para cargas de trabajo de producción consistentes y de gran volumen que requieran rendimiento garantizado y costos por token más bajos.
Consideraciones de seguridad del modelo:
Restrinja la invocación del modelo mediante políticas de recursos de IAM para controlar qué usuarios y aplicaciones pueden invocar su modelo personalizado. Implemente autenticación/autorización para los llamadores de API que acceden al punto final de inferencia bajo demanda a través de roles y políticas de IAM.
Seguridad de la red:
Configure puntos de enlace de VPC para Amazon Bedrock para mantener el tráfico dentro de su red de AWS. Restrinja el acceso a la red a los canales de capacitación e inferencia mediante grupos de seguridad y ACL de red. Considere implementar recursos dentro de una VPC para obtener controles adicionales a nivel de red.
El nombre de la implementación debe ser único y la descripción debe explicar en detalle para qué se utiliza el modelo personalizado.
Para implementar el modelo, ingrese el nombre de la implementación, la descripción y elija Crear (Figura 6).
Figura 6: Implementación de un modelo personalizado con inferencia bajo demanda
Después de que el estado cambie a "Activo", el modelo estará listo para ser utilizado por su aplicación y se puede probar a través del área de juegos de Amazon Bedrock. Elija Prueba en el patio de recreo (Figura 7).
Figura 7: Prueba del modelo desde el punto final de inferencia implementado
Registro y seguimiento:
Habilite lo siguiente para la auditoría de seguridad y la respuesta a incidentes:
AWS CloudTrail para el registro de llamadas API de Amazon Bedrock Amazon CloudWatch para métricas de invocación de modelos y monitoreo del rendimiento Registros de acceso S3 para rastrear patrones de acceso a datos.
Probando el modelo en el patio de recreo:
Para probar la inferencia con el modelo personalizado, utilizamos el área de juegos de Amazon Bedrock y brindamos el siguiente ejemplo:sistema:
Clasificar la intención de las consultas de las aerolíneas. Elija una intención de esta lista: abreviatura, avión, avión+vuelo+nº_vuelo, tarifa aérea, tarifa aérea+hora_vuelo, aerolínea, aerolínea+nº_vuelo, aeropuerto, capacidad, más barato, ciudad, distancia, vuelo, vuelo+tarifa aérea, número_vuelo, hora_vuelo, tarifa_terrestre, servicio_terrestre, servicio_terrestre+tarifa_terrestre, comida, cantidad, restricciónnnResponda solo con el nombre de la intención, nada más. Me gustaría encontrar un vuelo de charlotte a las vegas que haga escala en st. louisSi se le llama en el modelo base, el mismo mensaje devolverá una respuesta menos precisa.
Importante: Tenga en cuenta que el mensaje del sistema proporcionado con los datos de entrenamiento para el ajuste debe incluirse con el mensaje durante la invocación para obtener mejores resultados. Debido a que el patio de juegos no proporciona un lugar separado para colocar el mensaje del sistema para nuestro modelo personalizado, lo incluimos en la cadena de mensaje anterior.
Figura 8: Evaluación manual de un modelo personalizado en el campo de pruebas
Evaluación de su modelo personalizado
Una vez que haya entrenado su modelo, debe evaluar su desempeño en el mundo real. Una evaluación común es "LLM como juez", donde un modelo más grande e inteligente con acceso a una base de datos RAG completa califica las respuestas del modelo entrenado frente a las respuestas esperadas. Amazon Bedrock proporciona el servicio Amazon Bedrock Evaluaciones para este propósito (o puede utilizar su propio marco). Para obtener orientación, consulte la publicación del blog LLM-as-a-judge sobre evaluación del modelo Amazon Bedrock.
Su evaluación debe utilizar un conjunto de preguntas y respuestas de prueba, preparado utilizando el mismo método que sus datos de entrenamiento, pero mantenido por separado para que el modelo no haya visto las preguntas exactas. La Figura 9 muestra que el modelo ajustado logra una precisión del 97 % en el conjunto de datos de prueba, una mejora del 55 % en comparación con el modelo base de Nova Micro.
Figura 9: Evaluación de los resultados del ajuste versus el modelo base
Más allá de la personalización de Amazon Bedrock
La experiencia de personalización simplificada de Amazon Bedrock satisfará muchas necesidades de los clientes. Si necesita un control más amplio sobre la personalización, Amazon SageMaker AI proporciona una gama más amplia de tipos de personalización y un control más detallado sobre los hiperparámetros; consulte el blog Anuncio de la personalización de Amazon Nova en Amazon SageMaker AI para obtener más detalles.
Para los casos en los que se necesita una personalización aún mayor, Amazon Nova Forge ofrece una alternativa estratégica para crear modelos básicos desde cero. Mientras que el ajuste enseña comportamientos de tareas específicas a través de ejemplos etiquetados, Nova Forge utiliza una capacitación previa continua para desarrollar un conocimiento integral del dominio sumergiendo el modelo en millones o miles de millones de tokens de datos propietarios sin etiquetar. Este enfoque es ideal para organizaciones con conjuntos de datos propietarios masivos, dominios altamente especializados que requieren una gran experiencia o aquellas que crean modelos fundamentales estratégicos a largo plazo que servirán como activos organizacionales.
Nova Forge va más allá del ajuste fino estándar al ofrecer capacidades avanzadas que incluyen la combinación de datos para mitigar el olvido catastrófico durante el ajuste fino supervisado de rango completo, la selección de puntos de control para un rendimiento óptimo del modelo y el sistema "traiga su propio optimizador" (BYOO) para el ajuste fino del refuerzo de múltiples vueltas. Si bien requiere una mayor inversión a través de una suscripción anual y ciclos de capacitación más largos, Forge puede ofrecer un camino significativamente más rentable que entrenar modelos básicos desde cero. Este enfoque es ideal para construir activos estratégicos de IA que sirvan como ventajas competitivas a largo plazo. Para ver ejemplos de personalización de Nova Forge, consulte el Centro de personalización de Amazon Nova en GitHub.
Conclusión
Como hemos demostrado a través de nuestro ejemplo de clasificador de intenciones, las capacidades de ajuste fino gestionadas de Amazon Bedrock, junto con los modelos Nova y Nova 2, hacen que la personalización de la IA sea accesible a bajo costo y con poco esfuerzo. Este enfoque simplificado requiere una preparación de datos y una gestión de hiperparámetros mínimas, lo que minimiza la necesidad de habilidades dedicadas a la ciencia de datos. Puede personalizar los modelos para mejorar la latencia y reducir el costo de inferencia al reducir los tokens de información contextual que el modelo debe procesar. El ajuste de los modelos Nova en Amazon Bedrock transforma los modelos básicos genéricos en potentes herramientas específicas de dominio que ofrecen mayor precisión y menor latencia, con un bajo costo de capacitación. La capacidad de Amazon Bedrock para alojar los modelos Nova mediante inferencia bajo demanda le permite ejecutar el modelo al mismo precio por token que el modelo Nova base. Consulte la página de precios de Bedrock para conocer las tarifas actuales.
Para comenzar con su propio proyecto de ajuste utilizando Amazon Bedrock, explore la documentación de ajuste de Amazon Bedrock y revise los cuadernos de muestra en el repositorio de AWS Samples GitHub.
Sobre los autores
Bhavya Sruthi Sode
Bhavya Sruthi Sode es gerente técnico de cuentas en Amazon Web Services, enfocado en AI/ML. Ayuda a los clientes a diseñar arquitecturas de nube resilientes, escalables y seguras, mientras logra resultados exitosos en sus entornos de nube empresariales. Con experiencia en aprendizaje automático, le apasiona ayudar a las organizaciones a transformar sus aspiraciones de IA en soluciones prácticas.
David Rostcheck
David Rostcheck es arquitecto senior de soluciones especializado en Amazon Web Services, centrado en AI/ML, Bedrock y soluciones de agentes. Le gusta ayudar a nuestros clientes a ofrecer soluciones eficaces basadas en IA para la producción.