En artículos anteriores señalé la importancia de saber qué tan seguro es un modelo acerca de sus predicciones.
En el caso de los problemas de clasificación, no resulta útil conocer únicamente la clase final. Necesitamos más información para tomar decisiones bien fundamentadas en los procesos posteriores. Un modelo de clasificación que solo genere la clase final cubre información importante. No sabemos qué tan seguro es el modelo ni hasta qué punto podemos confiar en su predicción.
¿Cómo podemos lograr más confianza en el modelo?
Hay dos enfoques que pueden darnos más información sobre los problemas de clasificación.
Podríamos convertir nuestra predicción puntual en un conjunto de predicciones. El objetivo del conjunto de predicciones es garantizar que contenga la clase verdadera con una probabilidad dada. El tamaño del conjunto de predicciones nos indica entonces qué tan seguro está nuestro modelo acerca de su predicción. Cuantas menos clases contenga el conjunto de predicciones, más seguro será el modelo.