Elegir entre enfoques frecuentistas y bayesianos es el gran debate del siglo pasado, con un reciente aumento en la adopción del bayesiano en las ciencias.
¿Cual es la diferencia?
La diferencia filosófica es en realidad bastante sutil: algunos proponen que el gran crítico bayesiano, Fisher, era él mismo bayesiano en algún aspecto. Si bien existen innumerables artículos que profundizan en las diferencias formuladas, ¿cuáles son los beneficios prácticos? ¿Qué ofrece el análisis bayesiano al científico de datos no especializado que la gran plétora de métodos frecuentistas altamente adoptados no ofrezca ya? Este artículo tiene como objetivo dar una introducción práctica a la motivación, formulación y aplicación de los métodos bayesianos. Vamos a sumergirnos.
Mientras que los frecuentistas se ocupan de describir las distribuciones exactas de cualquier dato, el punto de vista bayesiano es más subjetivo. ¿Subjetividad y estadística? Sí, en realidad es compatible.
Comencemos con algo simple, como lanzar una moneda al aire. Supongamos que lanzas una moneda 10 veces y obtienes cara 7 veces. ¿Cuál es la probabilidad de que salga cara?
P(caras) = 7/10 (0,7)?
Obviamente, aquí estamos plagados de un tamaño de muestra bajo. Sin embargo, en un punto de vista bayesiano, se nos permite codificar nuestras creencias directamente, afirmando que si la moneda es justa, la probabilidad de que salga cara o cruz debe ser igual, es decir, 1/2. Si bien en este ejemplo la elección parece bastante obvia, el debate adquiere más matices cuando llegamos a un fenómeno más complejo y menos obvio.
Todavíaeste sencillo ejemplo es un poderoso punto de partida, que destaca tanto los mayores beneficio y defecto del análisis bayesiano:
Beneficio: Tratar con un falta de datos. Supongamos que está modelando la propagación de una infección en un país donde la recopilación de datos es escasa. ¿Utilizará la poca cantidad de datos para obtener todos sus conocimientos? ¿O le gustaría tener en cuenta en su modelo patrones comúnmente observados en países similares, es decir, creencias previas informadas? Aunque la elección es clara, conduce directamente a la deficiencia.
Defecto: el previo la creencia es difícil de formular. Por ejemplo, si la moneda en realidad no es justa, sería un error suponer que P (cara) = 0,5, y casi no hay forma de encontrar la P (cara) verdadera sin un experimento a largo plazo. En este caso, suponer que P (cara) = 0,5 sería en realidad perjudicial para encontrar la verdad. Sin embargo, todo modelo estadístico (frecuentista o bayesiano) debe hacer suposiciones en algún nivel, y las “inferencias estadísticas” en la mente humana son en realidad muy parecidas a la inferencia bayesiana, es decir, construir previo sistemas de creencias que influyen en nuestras decisiones en cada nueva situación. Además, formular creencias previas erróneas tampoco suele ser una sentencia de muerte desde la perspectiva del modelado, si podemos aprender de suficientes datos (más sobre esto en artículos posteriores).
Entonces, ¿cómo se ve todo esto matemáticamente? La regla de Bayes sienta las bases. Supongamos que tenemos un parámetro θ que define algún modelo que podría describir nuestros datos (por ejemplo, θ podría representar la media, la varianza, la pendiente con respecto a la covariable, etc.). La regla de Bayes establece que
P (θ = t|datos) ∝ P (datos|θ = t) * P (θ=t)
En palabras más simples,
- P (θ = t|datos) representa la probabilidad condicional de que θ sea igual a t, dados nuestros datos (también conocidos como posterior).
- En cambio, P (datos|θ) representa la probabilidad de observar nuestros datos, si θ = t (también conocido como ‘probabilidad‘).
- Finalmente, P (θ=t) es simplemente la probabilidad de que θ tome el valor t (el infame ‘previo‘).
Entonces, ¿qué es esta misteriosa t? Puede tomar muchos valores posibles, dependiendo de lo que signifique θ. De hecho, desea probar muchos valores y verificar el probabilidad de sus datos para cada uno. Este es un paso clave y usted realmente espera haber verificado los mejores valores posibles para θ, es decir, aquellos que cubren el máximo probabilidad área para ver sus datos (mínimos globales, para aquellos a quienes les importa).
¡Y ese es el quid de todo lo que hace la inferencia bayesiana!
- Formar una creencia previa sobre los posibles valores de θ,
- Escale con el probabilidad en cada valor de θ, dados los datos observados, y
- Devuelve el resultado calculado, es decir, el posterior, que le indica la probabilidad de cada valor θ probado.
Gráficamente, esto se parece a:
Lo que destaca las próximas grandes ventajas de las estadísticas bayesianas:
- Tenemos una idea de la forma completa de la distribución de θ (por ejemplo, qué tan ancho es el pico, qué tan pesadas son las colas, etc.) que puede permitir inferencias más sólidas. ¿Por qué? Simplemente porque no sólo podemos comprender mejor sino también cuantificar la incertidumbre (en comparación con una estimación puntual tradicional con desviación estándar).
- Dado que el proceso es iterativo, podemos actualizar constantemente nuestras creencias (estimaciones) a medida que fluyen más datos a nuestro modelo, lo que hace que sea mucho más fácil construirlo completamente. en línea modelos.
¡Suficientemente fácil! Pero no del todo…
Este proceso implica muchos cálculos, donde hay que calcular el probabilidad para cada valor posible de θ. Bien, tal vez esto sea fácil si suponemos que θ se encuentra en un rango pequeño como [0,1]. Podemos usar la fuerza bruta. red método, probando valores en intervalos discretos (10, intervalos de 0,1 o 100, intervalos de 0,01 o más… ya entiendes la idea) para mapear todo el espacio con la resolución deseada.
Pero, ¿qué pasa si el espacio es enorme y Dios no lo quiera, hay parámetros adicionales involucrados, como en cualquier escenario de modelado de la vida real?
Ahora tenemos que probar no sólo los posibles valores de los parámetros sino también todas sus combinaciones posibles, es decir, el espacio de solución se expande exponencialmente, haciendo que una búsqueda en cuadrícula sea computacionalmente inviable. Afortunadamente, los físicos han trabajado en el problema del muestreo eficiente y hoy en día existen algoritmos avanzados (por ejemplo, Metropolis-Hastings MCMC, inferencia variacional) que pueden explorar rápidamente espacios de parámetros de alta dimensión y encontrar puntos convexos. Tampoco es necesario que usted mismo codifique estos complejos algoritmos; los lenguajes informáticos probabilísticos como PyMC o STAN hacen que el proceso sea muy ágil e intuitivo.
ESTÁNDAR
STAN es mi favorito ya que permite interactuar con lenguajes de ciencia de datos más comunes como Python, R, Julia, MATLAB, etc., lo que ayuda a la adopción. STAN se basa en técnicas de muestreo hamiltonianas de Monte Carlo de última generación que prácticamente garantizan una convergencia en un momento razonable para modelos bien especificados. En mi próximo artículo, cubriré cómo comenzar con STAN para modelos de regresión simples y no simples, con un tutorial completo del código Python. También cubriré el flujo de trabajo de modelado bayesiano completo, que implica modelado especificación, adecuado, visualización, comparacióny interpretación.
¡Síguenos y mantente atento!