En esta nueva publicación, intentaremos comprender cómo funciona el clasificador Bayes ingenuo multinomial y proporcionaremos ejemplos funcionales con Python y scikit-learn.
Lo que veremos:
- ¿Qué es la distribución multinomial? A diferencia de los clasificadores gaussianos ingenuos de Bayes que se basan en una distribución gaussiana supuesta, los clasificadores multinomiales ingenuos de Bayes se basan en una distribución multinomial.
- El enfoque general para crear clasificadores que se basan en el teorema de Bayes, junto con la suposición ingenua de que las características de entrada son independientes entre sí dada una clase objetivo.
- Cómo se “ajusta” un clasificador multinomial aprendiendo/estimando las probabilidades multinomiales para cada clase, usando el truco de suavizado para manejar características vacías.
- Cómo se calculan las probabilidades de una nueva muestra, utilizando el truco del espacio logarítmico para evitar el desbordamiento.
Todas las imágenes por autor.
Si ya estás familiarizado con la distribución multinomial, puedes pasar a la siguiente parte.
El primer paso importante para comprender el clasificador multinomial Naive Bayes es comprender qué distribución multinomial es.
En palabras simples, representa las probabilidades de un experimento que puede tener un número finito de resultados y que se repite N veces, por ejemplo, como tirar un dado con 6 caras, digamos 10 veces y contar el número de veces que aparece cada cara. Otro ejemplo es contar el número de apariciones de cada palabra de un vocabulario en un texto.
También puedes ver la distribución multinomial como una extensión de la distribución binomial: excepto al lanzar una moneda con 2 resultados posibles (binomial), tiras un dado con 6 resultados (multinomial). En cuanto a la distribución binomial, la suma de todas las probabilidades de los posibles resultados debe sumar 1. Entonces podríamos tener: