Genai) está evolucionando rápidamente, y ya no se trata solo de chatbots divertidos o una impresionante generación de imágenes. 2025 es el año en que el enfoque está en convertir la exageración de AI en valor real. Las empresas de todas partes están buscando formas de integrar y aprovechar Genai en sus productos y procesos, para servir mejor a los usuarios, aumentar la eficiencia, mantenerse competitivo e impulsar el crecimiento. Y gracias a las API y los modelos previamente capacitados de los principales proveedores, la integración de Genai se siente más fácil que nunca. Pero aquí está la captura: El hecho de que la integración sea fácil, no significa que las soluciones de IA funcionen como se pretende una vez implementadas.
Los modelos predictivos no son realmente nuevos: como humanos, hemos estado prediciendo las cosas durante años, comenzando formalizando con estadísticas. Sin embargo, Genai ha revolucionado el campo predictivo por muchas razones:
- No es necesario entrenar a su propio modelo o ser un científico de datos para construir soluciones de IA
- AI ahora es fácil de usar a través de las interfaces de chat e integrar a través de API
- Desbloquear muchas cosas que no se podían hacer o que eran realmente difíciles de hacer antes
Todas estas cosas hacen Genai muy emocionante, pero también arriesgado. A diferencia del software tradicional, o incluso el aprendizaje automático clásico, Genai presenta un nuevo nivel de imprevisibilidad. No es lógicos deterministas implementados, está utilizando un modelo capacitado en grandes cantidades de datos, con la esperanza de que responda según sea necesario. Entonces, ¿cómo sabemos si un sistema de IA está haciendo lo que pretendemos hacer? ¿Cómo sabemos si está listo para salir en vivo? La respuesta es Evaluaciones (Evals), el concepto que exploraremos en esta publicación:
- Por qué Genai Los sistemas no se pueden probar de la misma manera que el software tradicional o incluso el aprendizaje automático clásico (ML)
- Por qué las evaluaciones son clave para comprender la calidad de su sistema de IA y no son opcionales (a menos que le gusten las sorpresas)
- Diferentes tipos de evaluaciones y técnicas para aplicarlas en la práctica
Ya sea que sea un gerente de producto, ingeniero o cualquier persona que trabaje o esté interesada en la IA, espero que esta publicación lo ayude a comprender cómo pensar críticamente sobre la calidad de los sistemas de inteligencia artificial (¡y por qué las evals son clave para lograr esa calidad!).
Genai no se puede probar como software tradicional, o incluso ML clásico
En el desarrollo tradicional de softwarelos sistemas siguen lógicas deterministas: Si ocurre x, entonces Y sucederá – siempre. A menos que algo se rompe en su plataforma o introduzca un error en el código … Por la cual agrega pruebas, monitoreo y alertas. Las pruebas unitarias se utilizan para validar pequeños bloques de código, pruebas de integración para garantizar que los componentes funcionen bien juntos y monitoreando para detectar si algo se rompe en la producción. Probar el software tradicional es como verificar si funciona una calculadora. Ingresa 2 + 2, y espera 4. Clear y Detinistic, está bien o incorrecto.
Sin embargo, ML y AI introducen no determinismo y probabilidades. En lugar de definir el comportamiento explícitamente a través de las reglas, capacitamos modelos para aprender patrones de los datos. En la IA, si ocurre x, la salida ya no es una Y codificada, sino una predicción con un cierto grado de probabilidad, basado en lo que el modelo aprendió durante el entrenamiento. Esto puede ser muy poderoso, pero también introduce incertidumbre: las entradas idénticas pueden tener diferentes salidas con el tiempo, las salidas plausibles pueden ser un comportamiento incorrecto e inesperado para escenarios raros …
Esto hace que los enfoques de pruebas tradicionales insuficientes, ni siquiera plausibles a veces. El ejemplo de la calculadora se acerca a tratar de evaluar el rendimiento de un estudiante en un examen abierto. Para cada pregunta, y muchas formas posibles de responder a la pregunta, ¿se proporciona una respuesta correcta? ¿Está por encima del nivel de conocimiento que el estudiante debería tener? ¿El estudiante inventó todo pero suena muy convincente? Al igual que las respuestas en un examen, Se pueden evaluar los sistemas de IA, pero necesitan una forma más general y flexible de adaptarse a diferentes entradas, contextos y casos de uso (o tipos de exámenes).
En tradicional Aprendizaje automático (Ml), las evaluaciones ya son una parte bien establecida del ciclo de vida del proyecto. La capacitación de un modelo en una tarea estrecha como la aprobación de los préstamos o la detección de enfermedades siempre incluye un paso de evaluación, utilizando métricas como precisión, precisión, RMSE, MAE … Esto se usa para medir qué tan bien funciona el modelo, para comparar entre diferentes opciones de modelo y decidir si el modelo es lo suficientemente bueno como para avanzar hacia la implementación. En Genai, esto generalmente cambia: los equipos usan modelos que ya están capacitados y ya han aprobado evaluaciones de propósito general tanto internamente en el lado del proveedor de modelos y en los puntos de referencia públicos. Estos modelos son muy buenos en tareas generales, como responder preguntas o recortar correos electrónicos, existe el riesgo de sobrefirmarlos para nuestro caso de uso específico. Sin embargo, es importante seguir preguntando “¿Es este modelo increíble lo suficientemente bueno para mi caso de uso?“. Ahí es donde entra la evaluación – Para evaluar si las preditaciones o generaciones son buenas para su caso de uso específico, contexto, entradas y usuarios.
Hay otra gran diferencia entre ML y Genai: la variedad y la complejidad de los resultados del modelo. Ya no estamos devolviendo clases y probabilidades (como la probabilidad de que un cliente devuelva el préstamo), o los números (como el precio predicho de la vivienda en función de sus características). Los sistemas Genai pueden devolver muchos tipos de salida, de diferentes longitudes, tono, contenido y formato. Del mismo modo, estos modelos ya no requieren una entrada estructurada y muy determinada, pero generalmente pueden tomar casi cualquier tipo de entrada: texto, imágenes, incluso audio o video. La evaluación, por lo tanto, se vuelve mucho más difícil.
Por qué las evals no son opcionales (a menos que te gusten las sorpresas)
Evals te ayudan a medir si tu sistema de IA realmente funciona de la forma en que desear Es, si el sistema está listo para comenzar, y si una vez en vivo sigue actuando como se esperaba. Desglosando por qué las evals son esenciales:
- Evaluación de calidad: Evals proporciona una forma estructurada de comprender la calidad de las predicciones o resultados de su IA y cómo se integrarán en el sistema y el caso de uso general. ¿Son precisas las respuestas? ¿Útil? ¿Coherente? ¿Importante?
- Cuantificación de errores: Las evaluaciones ayudan a cuantificar el porcentaje, los tipos y las magnitudes de los errores. ¿Con qué frecuencia las cosas salen mal? ¿Qué tipos de errores ocurren con más frecuencia (por ejemplo, falsos positivos, alucinaciones, errores de formato)?
- Mitigación de riesgos: Le ayuda a detectar y prevenir un comportamiento dañino o sesgado antes de llegar a los usuarios, protegiendo a su empresa del riesgo de reputación, problemas éticos y posibles problemas regulatorios.
La IA generativa, con sus relaciones gratuitas de entrada-salida y generación de texto largo, hace que las evaluaciones sean aún más críticas y complejas. Cuando las cosas salen mal, pueden salir muy mal. Todos hemos visto titulares sobre chatbots que dan consejos peligrosos, modelos que generan contenido sesgado o herramientas de IA que alucinan hechos falsos.
“La IA nunca será perfecta, pero con Evals puede reducir el riesgo de vergüenza, lo que puede costarle dinero, credibilidad o un momento viral en Twitter.“
¿Cómo se define una estrategia de evaluación?
Entonces, ¿cómo definimos nuestras evaluaciones? Las evals no son de talla única. Ellos dependen de los casos de uso y deben alinearse con los objetivos específicos de su aplicación de IA. Si está construyendo un motor de búsqueda, puede preocuparse por la relevancia de los resultados. Si es un chatbot, puede preocuparse por la ayuda y la seguridad. Si se trata de un clasificador, probablemente le importe la precisión y la precisión. Para sistemas con múltiples pasos (como un sistema de IA que realiza la búsqueda, prioriza los resultados y luego genera una respuesta) a menudo es necesario evaluar cada paso. La idea aquí es medir si cada paso está ayudando a alcanzar la métrica de éxito general (y a través de esto comprender dónde enfocar las iteraciones y mejoras).
Las áreas de evaluación comunes incluyen:
- Corrección y alucinaciones: ¿Son las salidas fácticamente precisas? ¿Están inventando las cosas?
- Pertinencia: ¿Está el contenido alineado con la consulta del usuario o el contexto provisto?
- seguridad, sesgo y toxicidad
- Formato: ¿Están las salidas en el formato esperado (p. Ej., JSON, llamada de función válida)?
- Seguridad, sesgo y toxicidad: ¿El sistema genera contenido dañino, sesgado o tóxico?
Métricas específicas de la tarea. Por ejemplo, en las tareas de clasificación, medidas como precisión y precisión, en las tareas de resumen Rouge o Bleu, y en tareas de generación de código Regex y ejecución sin verificación de errores.
¿Cómo se calcula realmente Evals?
Una vez que sepa lo que quiere medir, el siguiente paso es diseñar sus casos de prueba. Este será un conjunto de ejemplos (cuantos más ejemplos, mejor, pero siempre equilibran el valor y los costos) donde tiene:
- Ejemplo de entrada: Una entrada realista de su sistema una vez en producción.
- Salida esperada (si corresponde): Verdad fundamental o ejemplo de resultados deseables.
- Método de evaluación: Un mecanismo de puntuación para evaluar el resultado.
- Puntaje o pase/falla: métrica calculada que evalúa su caso de prueba
Dependiendo de sus necesidades, tiempo y presupuesto, existen varias técnicas que puede usar como métodos de evaluación:
- Anotadores estadísticos como Bleu, Rouge, Meteor o Similitud de coseno entre incrustaciones: bueno para comparar el texto generado con las salidas de referencia.
- Métricas de ML tradicionales como Precisión, precisión, retiro y AUC, mejor para la clasificación con datos etiquetados.
- LLM-as-a-Judge Use un modelo de idioma grande para calificar las salidas (por ejemplo, “¿Es esta respuesta correcta y útil?“). Especialmente útiles cuando los datos etiquetados no están disponibles o cuando se evalúan la generación abierta.
Evals basadas en código Use regex, reglas lógicas o ejecución de casos de prueba para validar los formatos.
Envolverlo
Vamos a reunir todo con un ejemplo concreto. Imagine que está creando un sistema de análisis de sentimientos para ayudar a su equipo de atención al cliente a priorizar los correos electrónicos entrantes.
El objetivo es asegurarse de que los mensajes más urgentes o negativos obtengan respuestas más rápidas, idealmente reducir la frustración, mejorar la satisfacción y disminuir la rotación. Este es un caso de uso relativamente simple, pero incluso en un sistema como este, con resultados limitados, asuntos de calidad: las malas predicciones podrían llevar a priorizar correos electrónicos al azar, lo que significa que su equipo pierde el tiempo con un sistema que cuesta dinero.
Entonces, ¿cómo sabe que su solución está funcionando con la calidad necesaria? Evalúas. Aquí hay algunos ejemplos de cosas que podrían ser relevantes para evaluar en este caso de uso específico:
- Validación de formato: ¿Las salidas de la llamada LLM para predecir el sentimiento del correo electrónico devuelto en el formato JSON esperado? Esto se puede evaluar a través de comprobaciones basadas en código: regex, validación de esquemas, etc.
- Precisión de clasificación de sentimientos: ¿El sistema clasifica correctamente los sentimientos en una variedad de textos: corto, largo, multilingüe? Esto se puede evaluar con datos etiquetados utilizando métricas ML tradicionales, o, si las etiquetas no están disponibles, utilizando LLM-AS-A-Judge.
Una vez que la solución está en vivo, desea incluir también métricas que estén más relacionadas con el impacto final de su solución.:
- Efectividad de priorización: ¿Los agentes de soporte realmente están siendo guiados hacia los correos electrónicos más críticos? ¿Está la priorización alineada con el impacto comercial deseado?
- Impacto comercial final Con el tiempo, ¿está reduciendo este sistema los tiempos de respuesta, reduciendo la rotación de clientes y mejorando los puntajes de satisfacción?
Las evals son clave para garantizar que creemos sistemas de IA útiles, seguros, valiosos y listos para el usuario en producción. Entonces, ya sea que esté trabajando con un clasificador simple o un chatbot abierto, tómese el tiempo para definir qué significa “lo suficientemente bueno” (calidad mínima viable), ¡y construya las evals a su alrededor para medirlo!
Referencias
[1] Su producto AI necesita evalsHamel Husain
[2] Métricas de evaluación de LLM: la Guía de evaluación Ultimate LLM, Confident AI