implementaremos AUC en Excel.
AUC se suele utilizar para tareas de clasificación como métrica de rendimiento.
Pero comenzamos con una matriz de confusión, porque ahí es donde todo el mundo comienza en la práctica. Luego veremos por qué una única matriz de confusión no es suficiente.
Y también responderemos a estas preguntas:
AUC significa Área bajo la curva, pero ¿bajo qué curva? ¿De dónde viene esa curva? ¿Por qué es significativa el área? ¿Es el AUC una probabilidad? (Sí, tiene una interpretación probabilística)
1. Por qué una matriz de confusión no es suficiente
1.1 Puntuaciones de modelos
Un clasificador normalmente nos dará puntuaciones, no decisiones finales. La decisión viene más tarde, cuando elegimos un umbral.
Si leíste los artículos anteriores de “Calendario de Adviento”, ya habrás visto que “puntuación” puede significar diferentes cosas dependiendo de la familia de modelos:
Los modelos basados en la distancia (como k-NN) a menudo calculan la proporción de vecinos para una clase determinada (o una confianza basada en la distancia), que se convierte en una puntuación. Los modelos basados en densidad calculan una probabilidad para cada clase y luego se normalizan para obtener una probabilidad final (posterior). Los modelos basados en árboles de clasificación a menudo generan la proporción de una clase determinada entre las muestras de entrenamiento dentro de la hoja (es por eso que muchos puntos comparten la misma puntuación). Los modelos basados en pesos (modelos lineales, kernels, redes neuronales) calculan una suma ponderada o una puntuación no lineal y, a veces, aplican un paso de calibración (sigmoide, softmax, escala de Platt, etc.) para asignarlo a una probabilidad.
Entonces, no importa el enfoque, terminamos con la misma situación: una puntuación por observación.
Luego, en la práctica, elegimos un umbral, a menudo 0,5, y convertimos las puntuaciones en clases previstas.
Y aquí es exactamente donde la matriz de confusión entra en la historia.
1.2 La matriz de confusión en un umbral
Una vez que se elige un umbral, cada observación se convierte en una decisión binaria:
positivo previsto (1) o negativo previsto (0)
A partir de eso, podemos contar cuatro números:
TP (verdaderos positivos): 1 previsto y 1 real. TN (negativos verdaderos): 0 previsto y 0 real. FP (falsos positivos): 1 previsto pero 0 real. FN (falsos negativos): 0 previsto pero 1 real.
Esta tabla de conteo de 2×2 es la matriz de confusión.
Luego normalmente calculamos razones como:
Precisión = TP / (TP + FP) Recuperación (TPR) = TP / (TP + FN) Especificidad = TN / (TN + FP) FPR = FP / (FP + TN) Precisión = (TP + TN) / Total
Hasta ahora, todo es limpio e intuitivo.
Pero hay una limitación oculta: todos estos valores dependen del umbral. Entonces la matriz de confusión evalúa el modelo en un punto operativo, no el modelo en sí.
1.3 Cuando un umbral lo rompe todo
Este es un ejemplo extraño, pero aun así deja el punto muy claro.
Imagine que su umbral está establecido en 0,50 y todas las puntuaciones están por debajo de 0,50.
Entonces el clasificador predice:
Positivo previsto: ninguno Negativo previsto: todos
Entonces obtienes:
TP = 0, FP = 0 FN = 10, TN = 10
Esta es una matriz de confusión perfectamente válida. También crea una sensación muy extraña:
¡La precisión se convierte en #DIV/0! porque no se prevén resultados positivos. La recuperación es del 0% porque no capturó ningún positivo. La precisión es del 50%, lo que no suena tan mal, aunque el modelo no encontró nada.
No hay nada de malo en la matriz de confusión. El problema es la pregunta que le pedimos que respondiera.
Una matriz de confusión responde: “¿Qué tan bueno es el modelo en este umbral específico?”
Si el umbral se elige mal, la matriz de confusión puede hacer que un modelo parezca inútil, incluso cuando las puntuaciones contienen una separación real.
Y en su tabla, la separación es visible: los positivos suelen tener puntuaciones de alrededor de 0,49, los negativos de alrededor de 0,20 o 0,10. El modelo no es aleatorio. Su umbral es simplemente demasiado estricto.
Por eso un umbral único no es suficiente.
En cambio, lo que necesitamos es una forma de evaluar el modelo a través de umbrales, no en uno solo.
2. República de China
Primero tenemos que construir la curva, ya que AUC significa Área bajo una curva, por lo que debemos entender esta curva.
2.1 Qué significa República de China (y qué es)
Porque la primera pregunta que todo el mundo debería hacerse es: ¿AUC bajo qué curva?
La respuesta es:
AUC es el área bajo la curva ROC.
Pero esto plantea otra pregunta.
¿Qué es la curva ROC y de dónde viene?
ROC significa Característica operativa del receptor. El nombre es histórico (detección temprana de señales), pero la idea es moderna y simple: describe lo que sucede cuando se cambia el umbral de decisión.
La curva ROC es una gráfica con:
Eje x: FPR (tasa de falsos positivos)
FPR = FP / (FP + TN) Eje y: TPR (tasa de verdaderos positivos), también llamada recuperación o sensibilidad
TPR = TP / (TP + FN)
Cada umbral otorga un punto (FPR, TPR). Cuando conectas todos los puntos, obtienes la curva ROC.
En esta etapa, un detalle importa: la curva ROC no se observa directamente; se construye barriendo el umbral sobre el orden de puntuación.
2.2 Construyendo la curva ROC a partir de puntuaciones
Para cada puntuación, podemos utilizarla como umbral (y, por supuesto, también podemos definir umbrales personalizados).
Para cada umbral:
Calculamos TP, FP, FN, TN a partir de la matriz de confusión y luego calculamos FPR y TPR.
Entonces, la curva ROC es simplemente la colección de todos estos pares (FPR, TPR), ordenados desde umbrales estrictos hasta umbrales permisivos.
Esto es exactamente lo que implementaremos en Excel.
En este punto, es importante notar algo que parece demasiado simple. Cuando construimos la curva ROC, los valores numéricos reales de las puntuaciones no importan. Lo que importa es el orden.
Si un modelo genera puntuaciones entre 0 y 1, otro genera puntuaciones entre -12 y +5, y un tercero genera solo dos valores distintos, ROC funciona de la misma manera. Mientras las puntuaciones más altas tiendan a corresponder a la clase positiva, el barrido del umbral creará la misma secuencia de decisiones.
Por eso el primer paso en Excel es siempre el mismo: ordenar por puntuación de mayor a menor. Una vez que las filas estén en el orden correcto, el resto solo es contar.
2.3 Lectura de la curva ROC
En la hoja de Excel, la construcción se vuelve muy concreta.
Las observaciones se clasifican por puntuación, de mayor a menor. Luego recorre la lista. En cada fila, actúa como si el umbral estuviera establecido en esa puntuación, lo que significa que todo lo anterior se predice como positivo.
Eso permite a Excel calcular recuentos acumulativos:
cuantos aspectos positivos has aceptado hasta ahora cuantos aspectos negativos has aceptado hasta ahora
A partir de estos recuentos acumulados y los totales del conjunto de datos, calculamos TPR y FPR.
Ahora cada fila es un punto ROC.
Por qué la curva ROC parece una escalera
Cuando la siguiente fila aceptada es positiva, TP aumenta, por lo que TPR aumenta mientras que FPR permanece estable. Cuando la siguiente fila aceptada es negativa, FP aumenta, por lo que FPR aumenta mientras que TPR permanece estable.
Por eso, con datos reales finitos, la curva ROC es una escalera. Excel hace esto visible.
2.4 Casos de referencia que debes reconocer
Algunos casos de referencia le ayudarán a leer la curva de inmediato:
Clasificación perfecta: la curva va hacia arriba (TPR llega a 1 mientras que FPR permanece en 0), luego va hacia arriba.
Clasificador aleatorio: la curva permanece cerca de la línea diagonal de (0,0) a (1,1).
Clasificación invertida: la curva cae “por debajo” de la diagonal y el AUC se vuelve menor que 0,5. Pero en este caso tenemos que cambiar las puntuaciones con 1 puntuación. En teoría, podemos considerar este caso ficticio. En la práctica, esto suele ocurrir cuando las puntuaciones se interpretan en la dirección incorrecta o se intercambian etiquetas de clases.
Estas no son sólo teorías. Son anclas visuales. Una vez que los tenga, podrá interpretar rápidamente cualquier curva ROC real.
3. AUC de la República de China
Ahora, con la curva, ¿qué podemos hacer?
3.1 Calcular el área
Una vez que la curva ROC existe como una lista de puntos (FPR, TPR), el AUC es geometría pura.
Entre dos puntos consecutivos, el área sumada es el área de un trapezoide:
ancho = cambio en FPR altura = TPR promedio de los dos puntos
En Excel, esto se convierte en un enfoque de “columna delta”:
calcular dFPR entre filas consecutivas multiplicar por el TPR promedio sumar todo
Diferentes casos:
clasificación perfecta: AUC = 1 clasificación aleatoria: AUC ≈ 0,5 clasificación invertida: AUC < 0,5
Así que las AUC son literalmente el resumen de toda la escalera de la República de China.
3.2. AUC como probabilidad
AUC no se trata de elegir un umbral.
Responde a una pregunta mucho más sencilla:
Si elijo al azar un ejemplo positivo y un ejemplo negativo, ¿cuál es la probabilidad de que el modelo asigne una puntuación más alta al positivo?
Eso es todo.
AUC = 1,0 significa clasificación perfecta (lo positivo siempre obtiene una puntuación más alta)
AUC = 0,5 significa clasificación aleatoria (es básicamente un lanzamiento de moneda)
AUC < 0,5 significa que la clasificación está invertida (los negativos tienden a obtener puntuaciones más altas)
Esta interpretación es sumamente útil, porque explica nuevamente este importante punto:
El AUC sólo depende del orden de las puntuaciones, no de los valores absolutos.
Es por eso que ROC AUC funciona incluso cuando las “puntuaciones” no son probabilidades perfectamente calibradas. Pueden ser puntuaciones brutas, márgenes, proporciones de hojas o cualquier valor de confianza monótono. Siempre que más alto signifique “más probablemente positivo”, las AUC pueden evaluar la calidad de la clasificación.
Conclusión
Una matriz de confusión evalúa un modelo en un umbral, pero los clasificadores producen puntuaciones, no decisiones.
La República de China y las AUC evalúan el modelo en todos los umbrales centrándose en la clasificación, no en la calibración.
Al final, las AUC responden a una pregunta simple: ¿con qué frecuencia un ejemplo positivo recibe una puntuación más alta que uno negativo?
Visto de esta manera, ROC AUC es una métrica intuitiva y una hoja de cálculo es suficiente para hacer explícito cada paso.