Si te preguntara cómo evaluar un problema de regresión, probablemente nombrarías bastantes métricas de evaluacióncomo MSE, MAE, RMSE, MAPE, etc. Lo que estas métricas tienen en común es que se centran en predicciones puntuales.
La situación cambia un poco cuando queremos entrenar nuestros modelos para que se centren en predecir distribuciones en lugar de un único punto. En ese caso, necesitamos utilizar métricas diferentes, que no se tratan con tanta frecuencia en las publicaciones de blogs sobre ciencia de datos.
La última vez, miré en pérdida cuantil (también conocida como pérdida de pinball)En esta ocasión, les mostraré otra métrica que se utiliza para evaluar los pronósticos probabilísticos: el puntaje de probabilidad clasificado continuo (CRPS, por sus siglas en inglés).
El primer concepto es fácil, pero aun así es importante asegurarnos de que estamos en la misma página. Pronósticos probabilísticos Proporcionar una distribución de resultados posibles. Por ejemplo, mientras que los pronósticos puntuales predecirían que la temperatura de mañana será exactamente de 23 °C, un modelo probabilístico podría predecir una probabilidad del 70 % de que la temperatura se encuentre entre 20 °C y 25 °C.