Sobre Jacob Bernoulli, la ley de los grandes números y los orígenes del teorema del límite central |  de Sachin Fecha |  enero de 2024

A pesar de la importancia de la WLLN para el CLT, el camino desde la WLLN hasta el CLT está lleno de zarzas duras, espinosas y difíciles que los sucesores de Bernoulli tardaron varias décadas en superar. Mire una vez más la ecuación central del teorema de Bernoulli:

Teorema de Bernoulli
Teorema de Bernoulli (Imagen del autor)

Bernoulli optó por enmarcar su investigación en un entorno binomial. La urna llena de billetes es el espacio muestral de lo que claramente es un experimento binomial, y el conteo X_bar_n de billetes negros en la muestra es Binomial(n, p). Si se conoce la fracción real p de billetes negros en la urna, entonces E(X_bar_n) es el valor esperado de una variable aleatoria Binomial(n, p) que es np. con mi(X_bar_n) conocida, la distribución de probabilidad P(X_bar_n|p,n) está completamente especificado. Entonces es teóricamente posible generar probabilidades como P(np — δ ≤ X_granero ≤ np + δ) como sigue:

P(np-δ ≤ X_bar_n ≤ np+δ) donde X_bar_n ~ Binomial(n,p)
P(np-δ ≤ X_granero ≤ np+δ) donde X_bar_n ~ Binomial(n,p) (Imagen del autor)

Supongo que P(np — δ ≤ X_granero ≤ np + δ) es una probabilidad útil para calcular. Pero sólo puedes calcularlo si conoces la verdadera proporción p. ¿Y quién sabrá alguna vez la verdadera p? Bernoulli con su Calvinista inclinaciones, y Abraham De Moivre a quien conoceremos en mi próximo artículo y que continuaría la investigación de Bernoulli parecía creer que un ser divino podría conocer la verdadera proporción. En sus escritos, ambos hicieron claras referencias a Fatalismo y DISEÑO ORIGINAL. Bernoulli crió Fatalismo en el último párrafo de Ars Conjectandi. De Moivre mencionó el DISEÑO ORIGINAL (¡en mayúsculas!) en su libro sobre probabilidad, La doctrina de las posibilidades. Ninguno de los dos mantuvo en secreto su sospecha de que la intención del Creador era la razón por la que tenemos una ley como la Ley de los Grandes Números.

Pero nada de esta teología nos ayuda a usted ni a mí. Casi nunca se sabrá el verdadero valor de prácticamente cualquier propiedad de cualquier sistema no trivial en cualquier parte del universo. Y si por un golpe de buena suerte inusualmente extraño tropezaras con el verdadero valor de algún parámetro, entonces el caso se cerraría, ¿verdad? ¿Por qué perder el tiempo extrayendo muestras aleatorias para estimar lo que ya sabes cuando tienes la vista divina de los datos? A paráfrasis otro científico famoso, Dios no necesita ninguna inferencia estadística.

Por otro lado, aquí en la Tierra, todo lo que tenemos es una muestra aleatoria y su media o suma X_bar_n y su varianza S. Utilizándolos, querrás hacer inferencias sobre la población. Por ejemplo, querrás construir un intervalo de confianza del 100% (1 — α) alrededor del media poblacional desconocida µ. Por lo tanto, resulta que no tienes tanta utilidad para la probabilidad:

P(np — δ ≤ X_granero ≤ np + δ)

como lo haces por el intervalo de confianza para la media desconocidaa saber:

PAG(X_bar_n — δ ≤ np X_barra_n+δ).

Observe cuán sutil pero crucial es la diferencia entre las dos probabilidades.

La probabilidad P(X_bar_n — δ ≤ np X_bar_n+δ) se puede expresar como una diferencia de dos probabilidades acumuladas:

(Imagen del autor)

Para estimar las dos probabilidades acumuladas, necesitará una forma de estimar la probabilidad P(p|X_bar_n,n) que es el exacto inverso de la probabilidad binomial P(X_bar_n|n,p) con el que trabajó Bernoulli. Y por cierto, dado que la razón p es un número real, P(p|X_bar_n,n) es la probabilidad Función de densidad (PDF) de p condicionado a la media muestral observada X_granero. Aquí estás haciendo la pregunta:

Dada la proporción observada X_bar_n/n, ¿cuál es la función de densidad de probabilidad de la relación verdadera desconocida p?

P(p|n,X_bar_n) se llama probabilidad inversa (densidad). Por cierto, el camino hacia el descubrimiento del teorema central pasa directamente por un mecanismo para calcular esta probabilidad inversa, un mecanismo que un inglés ministro presbiteriano llamado Thomas Bayes (de la fama del Teorema de Bayes), y el Isaac Newton de Francia Pierre-Simon Laplace descubrimos de forma independiente entre finales del siglo XVIII y principios del XIX utilizando dos enfoques sorprendentemente diferentes.

Volviendo al experimento mental de Jacob Bernoulli, la forma de entender la probabilidad inversa es considerar la fracción verdadera de billetes negros p como la causa eso está ‘provocando’ la efecto de observar X_bar_n/n fracción de billetes negros en una muestra aleatoria de tamaño n. Para cada valor observado de X_bar_n, hay un número infinito de valores posibles para p. A cada valor de p se le asocia una probabilidad densidad que se puede leer en el función de distribución de probabilidad inversa P(p|X_barra_n,n). Si sabes esto PDF inversopuedes calcular la probabilidad de que p se encuentre dentro de algún intervalo específico [p_low, p_high]es decir, P(p_low ≤ p ≤ p_high) dado el comportamiento observado X_granero.

Desafortunadamente, el teorema de Jacob Bernoulli no se expresa en términos de PDF inversa P(p|n,X_granero). En cambio, se expresa en términos de su complemento exacto, es decir, P(X_bar_n|n,p) que requiere que conozcas la verdadera proporción p.

Habiendo llegado tan lejos como para establecer y demostrar la WLLN en términos de la probabilidad “adelante” P(X_bar_n|n,p), uno pensaría que Jacob Bernoulli daría el siguiente paso natural para invertir el enunciado de su teorema y mostrar cómo calcular la PDF inversa P(p|n,X_granero).

Pero Bernoulli no hizo tal cosa, prefiriendo en cambio traer misteriosamente todo Ars Conjectandi a un final repentino e inesperado con un párrafo que suena triste sobre Fatalismo.

“…si eventualmente las observaciones de todos continuaran a lo largo de toda la eternidad (desde la probabilidad hasta la certeza perfecta), todo en el mundo estaría determinado a suceder por ciertas razones y por la ley de los cambios. Y así, hasta en las cosas más casuales y fortuitas estamos obligados a reconocer una cierta necesidad, y si se me permite decirlo, el destino…”

La página final de Pars Quarta (Parte IV) de Ars Conjectandi (Dominio publico)

PARES CUARTA de Ars Conjectandi fue decepcionar (pero también inspirar) a las futuras generaciones de científicos de otra manera.

Mire las sumatorias en el lado derecho de la siguiente ecuación:

P(np-δ ≤ X_bar_n ≤ np+δ) donde X_bar_n ~ Binomial(n,p)
P(np-δ ≤ X_granero ≤ np+δ) donde X_bar_n ~ Binomial(n,p) (Imagen del autor)

Contienen factoriales grandes y voluminosos que son casi imposibles de generar para n grande. Desafortunadamente, todo lo relacionado con el teorema de Bernoulli tiene que ver con n grande. Y el cálculo debe volverse especialmente tedioso si lo haces en el año 1689 bajo el brillo inestable y danzante de lámparas de grasa y usando nada más que papel y bolígrafo. En la Parte 4, Bernoulli hizo algunos de estos cálculos, particularmente para calcular los tamaños de muestra mínimos necesarios para lograr diferentes grados de precisión. Pero dejó el asunto ahí.

Las dos últimas páginas de Ars Conjectandi que ilustran la estimación de Jacob Bernoulli de los tamaños mínimos de muestra (25550, 31258, 36966, etc.) necesarios para lograr grados específicos de precisión (1/1000, 1/10000, 1/100000) alrededor de la media de la muestra, suponiendo una media poblacional conocida (Dominio publico)

Bernoulli tampoco mostró cómo aproximar el factorial (una técnica que sería descubierta cuatro décadas más tarde por Abraham De Moivre y James Stirling (en ese orden), ni dio el salto conceptual crucial de mostrar cómo atacar el problema de probabilidad inversa.