La forma más sencilla de evaluar la calidad de un modelo de clasificación es emparejar los valores que esperábamos y los valores predichos del modelo y contar todos los casos en los que acertamos o nos equivocamos; es decir, construir una matriz de confusión.
Para cualquiera que se haya encontrado con problemas de clasificación en el aprendizaje automático, una matriz de confusión es un concepto bastante familiar. Desempeña un papel vital a la hora de ayudarnos a evaluar los modelos de clasificación y proporciona pistas sobre cómo podemos mejorar su rendimiento.
Aunque las tareas de clasificación pueden producir resultados discretos, estos modelos tienden a tener cierto grado de incertidumbre.
La mayoría de los resultados del modelo se pueden expresar en términos de probabilidades de pertenencia a una clase. Típicamente, un umbral de decisión que permite que un modelo asigne la probabilidad de salida a una clase discreta se establece en el paso de predicción. Lo más frecuente es que este umbral de probabilidad se establezca en 0,5.
Sin embargo, dependiendo del caso de uso y de qué tan bien el modelo sea capaz de capturar la información correcta, este umbral se puede ajustar. Podemos analizar cómo se desempeña el modelo en varios umbrales para lograr los resultados deseados.