En la publicación Evaluación de modelos de IA generativa con Amazon Nova LLM-as-a-Judge en Amazon SageMaker AI, presentamos la capacidad de Amazon Nova LLM-as-a-judge, que es un modelo de evaluación especializado disponible a través de Amazon SageMaker AI que puede utilizar para medir sistemáticamente el rendimiento relativo de los sistemas de IA generativa.
SageMaker AI ahora ofrece un juez de modelo de lenguaje grande (LLM) basado en rúbricas impulsado por Amazon Nova. En lugar de utilizar las mismas reglas generales para cada tarea, crea automáticamente criterios de evaluación específicos para cada indicación individual. Esto ayuda a los desarrolladores de IA generativa y a los ingenieros de aprendizaje automático (ML) a generar automáticamente criterios de evaluación precisos y específicos del escenario para sus LLM y productos de IA generativa, sin tener que elaborar manualmente conjuntos de reglas para cada caso de uso.
En esta publicación, exploramos la función de juez basado en rúbricas de Amazon Nova: qué es un juez basado en rúbricas, cómo se capacita al juez, qué métricas considerar y cómo calibrar al juez. Utilizamos el código del cuaderno de la metodología LLM como juez basada en rúbricas de Amazon Nova para evaluar y comparar los resultados de dos LLM diferentes utilizando trabajos de capacitación de SageMaker.
Descripción general del juez basado en rúbricas de Amazon Nova
Un juez de LLM basado en rúbricas utiliza un LLM altamente capaz (específicamente Amazon Nova) para actuar como juez de las respuestas generadas por otros modelos de IA o respuestas generadas por humanos. Esta capacidad proporciona comparaciones por pares entre iteraciones del modelo, para que pueda tomar decisiones basadas en datos sobre las mejoras del modelo con confianza. Una rúbrica es una guía de puntuación que se utiliza para evaluar el desempeño. Tradicionalmente, para evaluar un modelo de IA, los humanos escriben manualmente una lista de verificación de reglas (una rúbrica estática) que se aplican a cada tarea. Por ejemplo: "¿La respuesta es cortés?" o "¿La respuesta es corta?" El desafío de este enfoque es que estas reglas generales no se aplican a todos los usuarios. Una pauta de escritura creativa necesita criterios de calificación diferentes a los de una pauta de codificación o un resumen legal en lugar de una lista de verificación general. El juez impulsado por Amazon Nova crea una lista de verificación personalizada para diferentes interacciones. Los usuarios envían un mensaje específico al sistema (por ejemplo, "Resumir este documento médico para un paciente"). El juez analiza esa indicación específica y decide en el momento cómo debería ser una respuesta ideal. Escribe automáticamente criterios como los siguientes:
¿Utiliza una jerga sencilla y no médica? ¿Capta el diagnóstico con precisión? ¿El tono es empático?
Luego, el juez analiza el resultado generado por su modelo LLM y lo califica según los criterios específicos que acaba de crear. Obtiene una puntuación de calidad basada en reglas que eran relevantes para esa tarea específica, no en reglas genéricas.
Entrada de ejemplo
Para el mensaje de ejemplo o entrada “¿existen realmente los dinosaurios?”, tenemos dos respuestas, como se muestra en la siguiente tabla.
Respuesta A Respuesta B La respuesta simple es: Sí, los dinosaurios existieron absolutamente, pero no existen hoy (a excepción de sus descendientes de aves).
Aquí hay un desglose de lo que eso significa:
1. Los dinosaurios eran muy reales
Durante más de 150 millones de años, los dinosaurios fueron los animales terrestres dominantes en la Tierra. Sabemos que existieron porque tenemos una enorme cantidad de pruebas:
Fósiles: Hemos encontrado millones de fósiles de dinosaurios (huesos, dientes, cráneos y garras) en todo el mundo. Estos no son mitos; son los restos reales conservados de estos animales.
Huellas: Hemos descubierto innumerables huellas fosilizadas, que son huellas dejadas en el barro que luego se convirtieron en piedra. Estos nos dicen cómo los dinosaurios caminaban, corrían y vivían en grupos.
Huevos y Nidos: Los paleontólogos han encontrado huevos y nidos de dinosaurios fosilizados, mostrándonos cómo se reproducían.
Incluso tejidos blandos: en algunos casos extremadamente raros, los científicos han encontrado evidencia de plumas, impresiones de piel e incluso rastros químicos de proteínas de dinosaurios.
2. Pero están extintos (la mayoría de ellos)
Hace unos 66 millones de años, un asteroide masivo chocó contra la Tierra (en lo que hoy es el Golfo de México). Esto provocó un evento catastrófico que llevó a la extinción de todos los dinosaurios no aviares, es decir, de todos los dinosaurios excepto los que podían volar.
3. Sus descendientes nos rodean: ¡los pájaros!
¡Esta es la parte más emocionante de la respuesta! Las aves son en realidad un tipo de dinosaurio.
Piénselo de esta manera: el grupo de los dinosaurios es enorme. T. rex, Triceratops y Brachiosaurus son miembros famosos. Otra rama del árbol genealógico de los dinosaurios eran los dinosaurios pequeños y emplumados. Un grupo de estos dinosaurios emplumados desarrolló la capacidad de volar. Son los ancestros directos de todas las aves modernas. Entonces, cuando ves una paloma en la calle o un pollo en tu plato, estás mirando un dinosaurio viviente.
En resumen: ¿existieron los dinosaurios? Sí, de manera abrumadora, tenemos pruebas de que eran animales reales. ¿Existen hoy? No en forma de T. rex o Stegosaurus. Esos tipos específicos están extintos. ¡Pero espera! Sus descendientes directos, los pájaros, están por todas partes. Entonces, en un sentido científico muy real, los dinosaurios todavía están entre nosotros hoy. Sí, los dinosaurios realmente existieron, pero no hoy. Los dinosaurios eran un grupo diverso de reptiles que vivieron en la Tierra hace millones de años, principalmente durante la Era Mesozoica, que abarcó desde hace unos 252 millones de años hasta hace 66 millones de años.
La evidencia fósil, incluidos huesos, huellas, huevos e incluso impresiones de la piel, confirma que los dinosaurios alguna vez vagaron por el planeta. Los científicos han identificado cientos de especies de dinosaurios, desde el enorme Tyrannosaurus rex y el Brachiosaurus de cuello largo hasta depredadores más pequeños y ágiles como Velociraptor.
La mayoría de los dinosaurios no aviares se extinguieron hace unos 66 millones de años, probablemente debido al impacto masivo de un asteroide combinado con la actividad volcánica y el cambio climático. Sin embargo, un grupo de dinosaurios sobrevivió: los antepasados de las aves modernas. Entonces, en un sentido científico, las aves son dinosaurios vivos, lo que las convierte en los parientes vivos más cercanos de dinosaurios extintos como el T. rex y el Triceratops.
Entonces, aunque hoy en día no verás un estegosaurio caminando, el legado de los dinosaurios sigue vivo, especialmente cada vez que ves un gorrión o un águila pasar volando. 
Salida de ejemplo
De las dos respuestas, el juez basado en rúbricas prefiere la respuesta A y también proporciona una justificación de por qué prefiere la respuesta A a la respuesta B, como se muestra en la siguiente captura de pantalla.
La evaluación se adapta a la intención exacta del mensaje del usuario (codificar versus escribir versus resumir). Los desarrolladores de IA generativa, los científicos de datos y los ingenieros de ML no tienen que dedicar cientos de horas a escribir manualmente reglas de evaluación para cada escenario posible. Puede evaluar miles de tipos diferentes de mensajes al instante, logrando alta calidad en diversos casos de uso.
Ejemplos de implementación empresarial
El juez de LLM basado en rúbricas de Amazon Nova aborda desafíos críticos de evaluación en diferentes escenarios:
Desarrollo de modelos y selección de puntos de control: los equipos de desarrollo integran la evaluación de jueces basada en rúbricas de Amazon Nova en procesos de capacitación para evaluar automáticamente los puntos de control. Las puntuaciones por criterio revelan qué capacidades se fortalecieron o retrocedieron a lo largo de las iteraciones, lo que permitió tomar decisiones basadas en datos sobre ajustes de hiperparámetros y curación de datos. Control de calidad de los datos de capacitación: los equipos utilizan la evaluación de jueces basada en rúbricas de Amazon Nova para filtrar conjuntos de datos de ajuste supervisados generando puntuaciones puntuales en criterios de relevancia, identificando ejemplos de baja calidad. Para conjuntos de datos de preferencias, los márgenes calculados entre pares de respuestas permiten estrategias de aprendizaje curricular que filtran ejemplos abrumadoramente unilaterales que brindan señales de aprendizaje limitadas. Análisis profundo automatizado y análisis de causa raíz: las organizaciones que implementan IA generativa a escala pueden utilizar la evaluación de jueces basada en rúbricas de Amazon Nova para un análisis sistemático de miles de resultados de modelos sin revisión manual. Cuando los modelos presentan problemas de calidad, los desarrolladores pueden examinar qué criterios específicos impulsan los juicios de preferencia, identificando debilidades sistemáticas que informan mejoras específicas en lugar de esfuerzos amplios de reentrenamiento.
Cómo funciona la generación dinámica de rúbricas
El juez de LLM basado en rúbricas de Amazon Nova toma como entrada un triplete: . El juez compara la calidad de las dos respuestas para el mensaje dado y genera una etiqueta de preferencia. Además de la etiqueta general, el juez genera una justificación de su decisión, guiada por una rúbrica.
Una rúbrica es un conjunto de criterios ponderados que se utilizan para evaluar las dos respuestas. El juez de LLM basado en rúbricas está capacitado para generar criterios con pesos que suman 1. Cada criterio en la rúbrica tiene un nombre corto, una descripción y un peso. La decisión del juez incluye una puntuación para cada respuesta en cada criterio de la rúbrica junto con justificaciones de las puntuaciones.
El juez de LLM basado en rúbricas de Amazon Nova emplea una metodología de evaluación en la que cada juicio está respaldado por criterios específicos de indicaciones generados dinámicamente. Cuando el juez recibe una solicitud de evaluación que contiene una pauta y las respuestas del candidato, analiza la pauta para comprender el contexto de la pauta y genera criterios basados en ese contexto. Este proceso de generación dinámica garantiza que las evaluaciones se basen en criterios directamente aplicables a la tarea en cuestión, proporcionando evaluaciones transparentes e interpretables.
Para cada evaluación, el juez produce una salida YAML estructurada que contiene los criterios generados con sus definiciones, puntuaciones por criterio en una escala del 1 al 5 y justificaciones detalladas que explican cada puntuación. El resultado final incluye una de las cuatro etiquetas de preferencia: [[A>B]], [[B>A]], [[A=B]] o [[A=B (bothbad)]. Cada puntuación de criterio va acompañada de una justificación que fundamenta la evaluación en características observables de las respuestas, lo que permite un análisis profundo y la depuración del comportamiento del modelo.
Comparación de Amazon Nova LLM como juez basado en rúbricas con versiones anteriores
El juez basado en rúbricas se diferencia de versiones anteriores en cómo presenta los resultados de la evaluación y qué información proporciona.
La versión anterior del modelo LLM como juez de Amazon Nova devolvía etiquetas de preferencia simples ([[A>B]] o [[B>A]]). La versión basada en rúbricas genera una salida YAML estructurada que consta de lo siguiente:
Una rúbrica específica para evaluar las respuestas organizadas como un conjunto de criterios con ponderaciones de importancia asociadas por criterio (las ponderaciones suman hasta 1) Breves descripciones en lenguaje natural de cada criterio Puntuación de Likert (en una escala de 1 a 5) o decisión binaria (verdadero/falso) para cada criterio para cada respuesta del candidato en la entrada Justificación de cada puntuación de criterio para cada respuesta del candidato Juicio de preferencia general: uno de A>B, B>A, A=B o A=B (ambos malos)
El nuevo formato de salida detallado facilita una amplia gama de casos de uso matizados. Por ejemplo, criterios específicos dentro de las rúbricas permiten comparaciones precisas de las respuestas. Una respuesta concisa podría ser más adecuada para ciertos casos de uso, mientras que en otros podría ser necesaria una respuesta integral. Las justificaciones y la puntuación de criterios explícitos ayudan a los usuarios a descartar ciertos criterios que no son adecuados para sus necesidades y a recalcular los juicios de preferencia sin volver a ejecutar la consulta a través del juez LLM.
Explicación de métricas
En nuestro proceso de evaluación de jueces, utilizamos varias métricas importantes que sirven como puntos de comparación para clasificar la calidad de los jueces. El acuerdo directo es una métrica que calcula el acuerdo con la preferencia humana con la respuesta elegida y la respuesta rechazada en un orden específico, lo que garantiza que la etiqueta correcta sea siempre A>B o B>A para todo el conjunto de datos. Debido a que la consistencia posicional es una propiedad importante y deseada de un juez LLM confiable, evaluamos nuestros puntos de control sobre el acuerdo reconciliado, es decir, obtenemos dos juicios con respuestas presentadas al juez en ambos órdenes posibles (para dos juicios de preferencia de respuesta). Solo le damos crédito al juez por una respuesta correcta si está de acuerdo en ambas direcciones y el juicio coincide con la preferencia humana. Este número, por definición, siempre será inferior al acuerdo adelantado. Sin embargo, debido a que los conjuntos de datos del mundo real no están ordenados, proporciona un indicador más preciso del desempeño en el mundo real de un modelo de juez LLM.
Las puntuaciones ponderadas (ponderación_puntuación_A y puntuación_ponderada_B) son nuevas métricas agregadas al resultado de la evaluación del juez de la rúbrica, que proporcionan una visión de la confianza del juicio. Una gran diferencia entre las puntuaciones ponderadas indica una fuerte preferencia por una respuesta sobre la otra. Estos puntajes se calculan por muestra en función de los puntajes asignados para cada criterio de la rúbrica. Cada puntuación de criterio se normaliza en un rango de 0 a 1 (donde las puntuaciones de escala de 1 a 5 se asignan a 0,0 a 1,0 y las binarias Verdadero/Falso a 1,0/0,0), luego se multiplica por la ponderación del criterio y se suma para producir las puntuaciones ponderadas para cada respuesta.
Score_margin muestra la diferencia entre las puntuaciones ponderadas, donde los valores negativos indican una preferencia hacia la respuesta B y los valores positivos indican una preferencia hacia la respuesta A. En el resultado de la evaluación final, estas métricas se informan como promedios de todas las muestras. Los desgloses de criterios por muestra, puntuaciones individuales y justificaciones se pueden encontrar en el archivo de salida detallado de Parquet.
Por muestra de comparación, podemos obtener los criterios específicos que utilizó el nuevo modelo de juez de rúbrica para comparar los dos resultados, que se parece al siguiente código de ejemplo:
Estas métricas ponderadas son informativas y brindan información cuantitativa sobre el desglose de la puntuación, pero la decisión de preferencia real (A>B, B>A o A=B) que determina el recuento final de ganancias se basa en el resultado de preferencia general del modelo de juez.
Enfoque de formación para el juez.
El juez basado en rúbricas de Amazon Nova está capacitado con un paquete de recompensas de múltiples aspectos. En nuestra metodología de capacitación, optimizamos varias características deseables para un juez de LLM utilizando una formulación de recompensa efectiva. Nos centramos principalmente en los siguientes criterios:
Precisión de preferencias: el juez es recompensado cuando toma decisiones que se alinean con las preferencias humanas doradas. Cuando elige una respuesta sobre otra, el modelo es recompensado. Consistencia posicional: las decisiones del juez están entrenadas para ser resistentes a problemas de inconsistencia posicional dada una orden de respuesta específica del candidato. Calidad de la justificación: las justificaciones del juez para tomar la decisión deben alinearse con las rúbricas generadas, las puntuaciones y el juicio final. Calibración de puntuación: las puntuaciones ponderadas de las respuestas deben calibrarse con la precisión de la decisión (los juicios de alta confianza deben ser correctos con más frecuencia que los juicios de baja confianza).
Comenzamos con datos de preferencias anotados por humanos y empleamos un filtrado de datos personalizado y una configuración de generación de datos sintéticos para obtener justificaciones de preferencias alineadas con rúbricas. Tomamos muestras de las rúbricas sintéticas generadas y desarrollamos un canal personalizado para capacitar al juez de LLM basado en rúbricas de Amazon Nova para que genere de manera competente criterios apropiados con granularidad precisa para una toma de decisiones consistente y sólida.
Rendimiento de referencia
Las pruebas en conjuntos de datos de evaluación estándar muestran mejoras, particularmente en tareas que requieren un juicio matizado, como se muestra en la siguiente tabla.
Punto de referencia Juez de Amazon Nova anterior Nuevo PPE de juez basado en rúbricas de Amazon Nova 0,61 0,64 RMBench 0,66 0,88 RewardBench 0,88 0,9 JudgeBench 0,51 0,76 CodeUltraFeedback 0,69 0,72 MMEval 0,8 0,84
Las mejoras más importantes en JudgeBench y RMBench reflejan un mejor manejo de escenarios de evaluación complejos.
Calibración
Durante nuestro proceso de capacitación, así como durante el posprocesamiento, evaluamos la capacidad del juez basado en rúbricas de Amazon Nova para tomar decisiones bien calibradas. Para lograr una calibración equilibrada, analizamos los grupos de confianza en un conjunto de datos de preferencias anotados por humanos. Observamos la diferencia de puntuaciones ponderadas para pares de respuestas. Nuestro objetivo es calibrar la confianza con la precisión. Idealmente, el juez de LLM debería ser más preciso al tomar decisiones de alta confianza y se le permite ser menos preciso al tomar decisiones de baja confianza. Encontramos que esta metodología de calibración da como resultado una toma de decisiones consistente dentro y fuera de los conjuntos de datos de distribución. También analizamos las distribuciones de puntuaciones generadas para diferentes criterios. Buscamos una distribución aproximadamente normal en las puntuaciones de la escala Likert (1 a 5) en el conjunto de datos de evaluación. Este proceso de verificación de calibración de dos frentes nos ayuda a identificar mejores puntos de control de los jueces de LLM entre varios puntos de control con un rendimiento similar.
Casos de uso de juicio basado en rúbricas
La confiabilidad de las rúbricas generadas dinámicamente surge de tres decisiones:
El juez recibe capacitación sobre datos de preferencias diversos y de alta calidad anotados mediante rúbricas que representan casos de uso del mundo real, enseñándole patrones que distinguen los criterios de evaluación efectivos de los superficiales. Nuestro mecanismo de filtrado durante el entrenamiento prioriza las rúbricas que exhiben propiedades deseables (integridad, exclusividad mutua, especificidad apropiada y relevancia de la tarea), asegurándose de que el modelo aprenda de los mejores ejemplos. Nuestra formulación de recompensa incentiva directamente la calidad de la rúbrica: criterios que conducen a preferencias precisas e invariantes de posición con una confianza bien calibrada que reciben recompensas positivas, mientras que aquellos que producen juicios inconsistentes son penalizados.
Cómo utilizar rúbricas para mejorar las aplicaciones prácticas.
Muchas aplicaciones modernas operan en entornos libres de referencias, donde no existen respuestas humanas estándar. En estos casos, la utilidad de la rúbrica es primordial. En esta sección, destacamos casos en los que las rúbricas generadas por nuestro juez podrían ser aportes útiles para la toma de decisiones informadas. Demostramos cómo los resultados de nuestro juez basado en rúbricas (específicamente los criterios ponderados, las puntuaciones granulares y las justificaciones explícitas) sirven como mecanismos de control críticos.
Evaluación de sistemas RAG
En la generación aumentada de recuperación (RAG), el modo de falla principal son las alucinaciones. Los jueces de preferencia tradicionales suelen combinar "¿es buena la respuesta?" con "¿es fluido?", "¿está bien formateado?", "¿se sostiene la lógica interna?", etc. Una respuesta fluida pero objetivamente incorrecta a menudo se percibe como más creíble que una inconexa que contenga información precisa. Una evaluación centrada en los hechos puede ayudarle a elegir un modelo de resumen porque los resultados de la recuperación no tienen alucinaciones. El uso de un juez basado en rúbricas para tales juicios podría ayudar a comprender si el juicio de preferencia se basa en criterios como la fluidez y el formato, o si el juicio se basa en criterios relevantes como la fidelidad, la relevancia del contexto, etc. Los usuarios pueden ignorar las puntuaciones de criterios irrelevantes y reevaluar los juicios basándose en un subconjunto de criterios que les interesen para su aplicación.
El crítico creativo.
En este ejemplo, miramos en la otra dirección, donde la creatividad y la originalidad son preferibles a la fidelidad a los hechos del mundo real o al contexto previo. Considere un caso de uso en el que está utilizando un LLM para generar historias cortas o guiones que sean originales, pero el usuario proporciona algunos ejemplos de guiones anteriores para demostrar los requisitos. Seleccionar buenos resultados de estas generaciones requiere que las historias generadas sean lo suficientemente diferentes de los ejemplos, creativas, originales y no tomadas directamente de datos de capacitación existentes. El usuario final podría indexar criterios como originalidad, coherencia y compromiso para optimizar los juicios de preferencia adecuados para este caso de uso, cuando utilice nuestro juez basado en rúbricas. Se podrían examinar más a fondo las justificaciones explícitas de las puntuaciones de los criterios para el tipo específico de originalidad y creatividad que es deseable.
Descripción general de la solución
Esta solución demuestra cómo evaluar modelos de IA generativa en SageMaker AI utilizando una capacidad de evaluación basada en rúbricas. También puede evaluar las respuestas generadas por humanos, pero en esta solución le mostramos cómo puede evaluar las respuestas generadas por otros LLM, como los modelos Qwen, utilizando Amazon Nova como juez basado en rúbricas.
Primero, preparamos un conjunto de datos tomando muestras de preguntas del conjunto de datos de respuesta a preguntas de Stanford (SQuAD) y generando respuestas de los candidatos tanto de Qwen2.5 1.5B Instruct como de Qwen2.5 7B Instruct. Se accede a ambos modelos a través de puntos finales Hugging Face alojados en SageMaker. Las respuestas de ambos modelos se guardan en un archivo JSONL (llm_judge.jsonl) que contiene el mensaje, respuesta_A (de la instrucción Qwen2.5 1.5B) y respuesta_B (de la instrucción Qwen2.5 7B).
A continuación, el archivo JSONL se carga en un depósito de Amazon Simple Storage Service (Amazon S3). Luego, un estimador de PyTorch lanza un trabajo de evaluación utilizando la receta de LLM como juez basada en rúbricas de Amazon Nova. El modelo de juez genera dinámicamente rúbricas y criterios de evaluación adaptados a cada tarea, luego compara las respuestas de los dos candidatos con estos criterios. El trabajo se ejecuta en instancias de GPU como ml.g5.12xlarge y produce métricas de evaluación, incluidas puntuaciones por criterio, justificaciones, evaluaciones comparativas, recuentos de preferencias y medidas de confianza. Los resultados se guardan en Amazon S3 para su análisis.
Finalmente, una función de visualización genera gráficos y tablas que resumen las rúbricas generadas, las distribuciones de puntajes en las dimensiones de evaluación, el desempeño comparativo entre los dos modelos Qwen2.5 y ejemplos detallados con justificaciones. A través de este enfoque integral, puede evaluar qué modelo funciona mejor, identificar fortalezas y debilidades específicas, realizar un seguimiento de las mejoras y tomar decisiones basadas en datos sobre la implementación de modelos generativos, todo sin anotaciones manuales.
Requisitos previos
Debe completar los siguientes requisitos previos antes de poder ejecutar el cuaderno:
Realice las siguientes solicitudes de aumento de cuota para SageMaker AI. Para este caso de uso, debe solicitar (en la consola de Cuotas de servicio) un mínimo de dos instancias de g5.12xlarge para uso de endpoints y al menos una instancia de g5.12xlarge para uso de trabajos de capacitación. (Opcional) Puede crear un dominio de Amazon SageMaker Studio (consulte Uso de la configuración rápida para Amazon SageMaker AI) para acceder a los cuadernos de Jupyter con la función de IAM anterior. (También puede usar JupyterLab en su configuración local). Cree un rol de AWS Identity and Access Management (IAM) con políticas administradas AmazonSageMakerFullAccess, AmazonS3FullAccess y AmazonBedrockFullAccess para brindar el acceso necesario a SageMaker AI y Amazon Bedrock para ejecutar los ejemplos. Antes de continuar, asegúrese de otorgar permisos directos s3:PutObject al rol de ejecución para el prefijo de su depósito S3 como una política en línea:
Clone el repositorio de GitHub con los activos para esta implementación. Este repositorio consta de un cuaderno que hace referencia a los recursos de formación.
Ejecute el cuaderno Amazon-Nova-Rubric-LLM-as-a-Judge-Sagemaker-AI.ipynb para comenzar a usar la implementación de Amazon Nova LLM-as-a-judge en SageMaker AI.
Configurar modelos
Para realizar una evaluación como juez de LLM de Amazon Nova basada en rúbricas, debe generar resultados de ambos modelos candidatos que desee comparar. En este proyecto, implementamos Qwen2.5 1.5B Instruct y Qwen2.5 7B Instruct en SageMaker para generar respuestas que serán comparadas por el modelo de juez de Amazon Nova.
Ambos modelos son modelos de lenguaje multilingüe de peso abierto implementados en puntos finales dedicados de SageMaker. Esto se logra utilizando la interfaz de implementación de HuggingFaceModel. Para implementar los modelos Qwen2.5 1.5B Instruct y Qwen2.5 7B Instruct, proporcionamos un script conveniente que acepta el nombre del modelo como argumento:
También hemos incluido la capacidad de probar ambos modelos implementados. Cuando haya implementado los modelos, puede continuar con la creación de los datos de evaluación para el LLM como juez de Amazon Nova basado en rúbricas.
Preparar conjunto de datos
Para crear un conjunto de datos de evaluación realista para comparar los modelos Qwen, utilizamos SQuAD, un punto de referencia ampliamente adoptado en comprensión del lenguaje natural distribuido bajo la licencia CC BY-SA 4.0. SQuAD consta de miles de pares de preguntas y respuestas de origen público que cubren una amplia gama de artículos de Wikipedia. Al tomar muestras de este conjunto de datos, nos aseguramos de que nuestras indicaciones de evaluación reflejaran tareas de respuesta a preguntas objetivas y de alta calidad representativas de aplicaciones del mundo real.
Comenzamos cargando un pequeño subconjunto de ejemplos para mantener el flujo de trabajo rápido y reproducible. Específicamente, utilizamos la biblioteca de conjuntos de datos de Hugging Face para descargar y cargar los primeros 20 ejemplos de la división de entrenamiento de SQuAD:
Este comando recupera una porción del conjunto de datos completo, que contiene 20 entradas con campos estructurados que incluyen contexto, preguntas y respuestas. Para verificar el contenido e inspeccionar un ejemplo, imprimimos una pregunta de muestra y su respuesta verdadera:
Para el conjunto de evaluación, seleccionamos las primeras seis preguntas de este subconjunto: preguntas = [escuadrón[i]["pregunta"] para i en el rango(6)]
Generar conjunto de datos de evaluación
Después de preparar un conjunto de preguntas de evaluación de SQuAD, generamos resultados de ambos modelos Qwen2.5 y los ensamblamos en un conjunto de datos estructurados para ser utilizados por el flujo de trabajo LLM como juez basado en rúbricas de Amazon Nova. Este conjunto de datos sirve como entrada principal para las recetas de evaluación de IA de SageMaker. Para hacer esto, repetimos cada pregunta e invocamos la función de generación para ambos puntos finales de SageMaker:
generate_response("qwen25-15b-instruct-endpoint", q) para completaciones del modelo Qwen2.5 1.5B Instruct generate_response("qwen25-7b-instruct-endpoint", q) para completaciones del modelo Qwen2.5 7B Instruct
Para cada mensaje, el flujo de trabajo intentó generar una respuesta de cada modelo. El siguiente código llama a dos versiones diferentes del modelo Qwen 2.5. Esto permite al juez de LLM determinar posteriormente si el modelo más grande proporciona una precisión significativamente mayor o si el modelo más pequeño es suficiente para la tarea.
Este flujo de trabajo generó un archivo de líneas JSON denominado llm_judge.jsonl. Cada línea contiene un único registro de evaluación estructurado de la siguiente manera:
Luego, cargamos llm_judge.jsonl en un depósito de S3:
Lanzar el trabajo de evaluación de LLM como juez basado en rúbricas de Amazon Nova
Después de preparar el conjunto de datos y crear la receta de evaluación, el paso final es iniciar el trabajo de capacitación de SageMaker que realiza la evaluación LLM como juez basada en rúbricas de Amazon Nova. En este flujo de trabajo, el trabajo de capacitación actúa como un proceso autónomo y totalmente administrado que carga el modelo de evaluación, procesa el conjunto de datos de comparación, aplica rúbricas generadas dinámicamente y genera métricas de evaluación integrales en su ubicación designada de Amazon S3. Usamos la clase de estimador PyTorch del SDK de Python de SageMaker para encapsular la configuración para la ejecución de evaluación. El estimador define los recursos informáticos, la imagen del contenedor, la receta de evaluación y las rutas de salida para almacenar los resultados:
Una vez configurado el estimador, inicia el trabajo de evaluación utilizando el método fit(). Esta llamada envía el trabajo al plano de control de SageMaker, aprovisiona el clúster de cómputo (instancias ml.g5.12xlarge) y comienza a procesar su conjunto de datos de evaluación:
estimator.fit(inputs={"train": evalInput})El trabajo ejecutará la comparación basada en rúbricas, con el modelo de evaluación de Amazon Nova generando dinámicamente criterios de evaluación y calificando ambos resultados del modelo Qwen2.5. Los resultados, incluidas puntuaciones por criterio, justificaciones y evaluaciones comparativas, se guardan automáticamente en la ruta de salida de S3 especificada para su análisis y visualización posteriores.
Resultados del trabajo de evaluación de LLM como juez basado en rúbricas de Amazon Nova
El siguiente es un resultado de ejemplo para una fila de la evaluación. En este ejemplo, el Asistente B es el claro ganador porque prioriza la información fundamentada y matizada sobre la afirmación sospechosamente específica pero no verificada del Asistente A de 145 periódicos. El juez penaliza al Asistente A por su falta de contexto, lo que resulta en puntuaciones significativamente más bajas en cuanto a precisión e integridad. Al aplicar una ponderación personalizada que asigna el 50 % de la puntuación total a la precisión, la evaluación calcula un margen ponderado que cuantifica con precisión por qué la respuesta detallada y verificable del Asistente B es superior.
Como en la publicación Evaluación de modelos de IA generativa con Amazon Nova LLM como juez en Amazon SageMaker AI, para ayudar a los profesionales a interpretar rápidamente el resultado de una evaluación de LLM como juez basada en rúbricas de Amazon Nova, creamos una función conveniente que produce una visualización única e integral que resume las métricas clave, como se muestra en la siguiente captura de pantalla.
Esta función, plot_nova_judge_results, utiliza Matplotlib y Seaborn para representar una imagen con seis paneles, cada uno de los cuales resalta una perspectiva diferente del resultado de la evaluación.
Esta función toma el diccionario de métricas de evaluación producido cuando se completa el trabajo de evaluación y genera los siguientes componentes visuales:
Gráfico de barras de distribución de puntuación: muestra cuántas veces se prefirió el Modelo A (tres victorias), cuántas veces se prefirió el Modelo B (siete victorias), cuántos empates se produjeron y con qué frecuencia el juez no logró tomar una decisión (un error de inferencia de 11 evaluaciones). Esto proporciona una idea inmediata de cuán decisiva fue la evaluación, mostrando claramente el predominio del Modelo B con una tasa de preferencia del 70%. Tasa de ganancia con un intervalo de confianza del 95 %: traza la tasa de ganancia general del Modelo B del 70 % frente al Modelo A, incluida una barra de error que refleja los límites del intervalo de confianza de [0,400, 0,909]. Una línea de referencia vertical al 50% marca el punto de no preferencia. Debido a que el intervalo de confianza no cruza esta línea, podemos concluir que el resultado es estadísticamente significativo, lo que indica una superioridad significativa para el modelo 7B. Gráfico circular de preferencias: muestra visualmente la proporción de preferencias entre los 10 juicios válidos: 70% para el Modelo B y 30% para el Modelo A. Esto puede ayudar a los usuarios a comprender rápidamente la clara distribución de preferencias que favorece al modelo más grande. Gráfico de barras de comparación de puntuación A versus B: compara los recuentos brutos de preferencias para cada modelo uno al lado del otro (tres para el Modelo A versus siete para el Modelo B). Una etiqueta clara anota el margen de diferencia, enfatizando la ventaja de cuatro victorias del Modelo B. El gráfico también muestra las puntuaciones ponderadas basadas en rúbricas: el modelo A promedió 0,495 mientras que el modelo B promedió 0,630 en todos los criterios de evaluación (precisión, integridad, claridad), con un margen promedio de -0,135 a favor del modelo B. Indicador de tasa de ganancia: representa la tasa de ganancia del 70 % como un indicador semicircular con una aguja que apunta al desempeño del Modelo B en relación con el rango teórico de 0 a 100 %. Esta visualización intuitiva ayuda a las partes interesadas sin conocimientos técnicos a comprender de inmediato que el Modelo B superó al Modelo A por un margen sustancial según criterios de rúbrica generados dinámicamente y adaptados a cada par de preguntas y respuestas. Tabla de resumen de estadísticas: compila métricas numéricas en una tabla limpia y compacta: 11 evaluaciones totales, un error (tasa de error del 9,1%), tasa de ganancia del 70%, puntuaciones de rúbrica ponderadas (0,630 para B frente a 0,495 para A con un margen de -0,135) e intervalos de confianza [0,400, 0,909]. Esto hace que sea sencillo hacer referencia a los valores numéricos exactos detrás de los gráficos y comprender tanto el rigor estadístico como la evaluación basada en rúbricas de la evaluación.
Debido a que la función genera una figura estándar de Matplotlib, puede guardar rápidamente la imagen, mostrarla en cuadernos de Jupyter o incrustarla en otra documentación. La visualización demuestra claramente que el Modelo B muestra una superioridad estadísticamente significativa en general con puntuaciones más altas basadas en rúbricas en las dimensiones de precisión, integridad y claridad.
Limpiar
Para detener y eliminar los espacios de SageMaker Studio, siga estos pasos de limpieza en la documentación de SageMaker Studio. Debe eliminar el depósito de S3 y el punto final del modelo alojado para dejar de incurrir en costos. Puede eliminar los puntos finales en tiempo real que creó usando la consola de SageMaker. Para obtener instrucciones, consulte Eliminar puntos finales y recursos.
Conclusión
Evaluar los resultados de la IA generativa a escala requiere más que simples etiquetas de preferencia: requiere transparencia sobre por qué una respuesta supera a otra. El juez de LLM basado en rúbricas de Amazon Nova aborda esta necesidad generando dinámicamente criterios de evaluación específicos de tareas, proporcionando puntuaciones por criterio con justificaciones explícitas y entregando señales de confianza bien calibradas. En comparación con implementaciones de jueces anteriores, el enfoque basado en rúbricas ofrece tres ventajas clave: interpretabilidad a través de resultados YAML estructurados con desgloses a nivel de criterio, flexibilidad que permite a los usuarios volver a ponderar o filtrar criterios para sus casos de uso específicos y precisión mejorada con ganancias significativas en los puntos de referencia estándar, incluida una mejora del 49 % en escenarios de evaluación complejos en JudgeBench. Si selecciona puntos de control del modelo durante el desarrollo, filtra datos de entrenamiento por calidad o depura el comportamiento del modelo de producción a escala, la evaluación LLM como juez basada en rúbricas de Amazon Nova transforma decisiones de preferencias opacas en información procesable. Al exponer el razonamiento detrás de cada juicio, los equipos pueden identificar debilidades sistemáticas, validar que las evaluaciones se alinean con sus prioridades de calidad y generar una mayor confianza en los procesos de evaluación automatizados.
Para comenzar con el juez de LLM basado en rúbricas de Amazon Nova en SageMaker AI, consulte Juez basado en rúbricas.
Sobre los autores
Surya Kari es científico senior de datos de IA generativa en AWS y se especializa en el desarrollo de soluciones que aprovechan modelos básicos de última generación. Tiene una amplia experiencia trabajando con modelos de lenguaje avanzados, incluidos DeepSeek-R1, la familia Llama y Qwen, centrándose en su ajuste y optimización para aplicaciones científicas específicas. Su experiencia se extiende a la implementación de canales de capacitación eficientes y estrategias de implementación utilizando AWS SageMaker, lo que permite escalar modelos básicos desde el desarrollo hasta la producción. Colabora con los clientes para diseñar e implementar soluciones de IA generativa, ayudándolos a navegar por la selección de modelos, afinar enfoques y estrategias de implementación para lograr un rendimiento óptimo para sus casos de uso específicos.
Joseph Moulton es ingeniero de software en el equipo de personalización de Amazon AGI y respalda la implementación de flujos de trabajo de evaluación e inferencia para AWS Nova Forge. El trabajo actual se centra en desarrollar e implementar nuevas estrategias para que los clientes evalúen sus modelos Nova entrenados a medida. Ha estado en la empresa como ingeniero de software durante 4 años y se unió al equipo de la plataforma Alexa AI Machine Learning en 2022 antes de hacer la transición al equipo de Nova Forge en 2025. En su tiempo libre le gusta jugar golf y construir computadoras.
Morteza Ziyadi es director científico senior y gerente en Amazon AGI, donde dirige varios proyectos sobre recetas posteriores a la capacitación y modelos de lenguaje grandes (multimodales) en el equipo de modelado de la Fundación Amazon AGI. Antes de unirse a Amazon AGI, pasó cuatro años en Microsoft Cloud and AI, donde dirigió proyectos centrados en el desarrollo de modelos de generación de lenguaje natural a código para diversos productos. También se ha desempeñado como profesor adjunto en la Universidad Northeastern. Obtuvo su doctorado en la Universidad del Sur de California (USC) en 2017 y desde entonces ha participado activamente como organizador de talleres y revisor de numerosas conferencias de PNL, visión por computadora y aprendizaje automático.
Rajkumar Pujari es científico aplicado II en el equipo de posformación de Nova Models en Amazon AGI. Obtuvo su doctorado. en Ciencias de la Computación de la Universidad Purdue, con especialización en Aprendizaje Automático para Ciencias Sociales Computacionales. Actualmente, su trabajo se centra en el aprendizaje post-entrenamiento y refuerzo de Grandes Modelos de Lenguaje. Desarrolla procesos de evaluación dinámicos a gran escala para modelos de frontera y crea marcos de LLM como juez.
Swastik Roy es científico aplicado senior en el equipo de la Fundación AGI de Amazon y se especializa en investigación de generalización y posentrenamiento de la familia de modelos Amazon Nova. Su experiencia abarca el ajuste, el aprendizaje reforzado y las metodologías de evaluación, donde impulsa esfuerzos para mejorar la solidez de los sistemas fundamentales de IA.
Joel Catapano es científico aplicado senior en el equipo de modelado de la fundación Amazon AGI. Trabaja principalmente en el desarrollo de enfoques novedosos para mejorar la capacidad de LLM como juez de la familia de modelos Nova.
Mona Mona es una arquitecta sénior de soluciones especializada en IA de generación mundial que se centra en soluciones de IA de generación en el equipo de IA de Amazon SageMaker. Fue especialista líder en IA generativa en Google antes de unirse a Amazon. Es autora publicada de dos libros: Procesamiento del lenguaje natural con servicios de IA de AWS y Guía de estudio de aprendizaje automático profesional certificado por Google Cloud. Es autora de más de 20 blogs sobre IA/ML y tecnología en la nube y coautora de un artículo de investigación sobre CORD19 Neural Search que ganó un premio al Mejor Trabajo de Investigación en la prestigiosa conferencia AAAI (Asociación para el Avance de la Inteligencia Artificial).