ser un tema delicado. Quizás sea mejor evitarlo en el primer encuentro con un estadístico. La disposición hacia el tema ha llevado a un acuerdo tácito de que α = 0,05 es el patrón oro; en verdad, una “convención conveniente”, una regla general establecida por el propio Ronald Fisher.
¿¿OMS?? ¿No lo conoces? No te preocupes.
Fue el primero en introducir la estimación de máxima verosimilitud (MLE), el ANOVA y la información de Fisher (esta última, como habrás adivinado). Fisher fue más que una figura relevante en la comunidad, el padre de la estadística. Tenía un profundo interés en la genética mendeliana y la biología evolutiva, para lo cual haría varias contribuciones clave. Desafortunadamente, Fisher también tuvo un pasado espinoso. Estuvo involucrado con la Sociedad de Eugenesia y su política de esterilización voluntaria para los “débiles mentales”.
Sí, no existe un estadístico famoso.
Pero una regla general establecida por el padre de la estadística a veces puede confundirse con una ley, y no es una ley.
Hay un caso clave en el que no sólo estás obligado a cambiar este nivel alfa, sino que debes cambiarlo, y todo se reduce a la prueba de múltiples hipótesis.
Realizar múltiples pruebas sin utilizar la corrección de Bonferroni o el procedimiento de Benjamini-Hochberg es más que problemático. Sin estas correcciones, podríamos probar cualquier hipótesis:
H₁: El sol es azul
Simplemente volviendo a ejecutar nuestro experimento hasta que llegue la suerte. Pero ¿cómo funcionan estas correcciones? ¿Y cuál deberías usar? ¡No son intercambiables!
Valores p y un problema
Para entender por qué, debemos observar qué nos dice exactamente nuestro valor p. Comprenderlo más profundamente que lo pequeño es bueno y lo grande es malo. Pero para lograrlo necesitaremos un experimento, y nada es tan apasionante (ni tan controvertido) como descubrir elementos superpesados.
Estos elementos son increíblemente inestables y se crean en aceleradores de partículas, un átomo a la vez. Libra por libra, lo más caro jamás producido. Existiendo sólo en eventos cósmicos como las supernovas, durando sólo milésimas o millonésimas de segundo.
Pero su inestabilidad se convierte en una ventaja para la detección, ya que un nuevo elemento superpesado exhibiría una clara desintegración radiactiva. La secuencia de desintegración captada por los sensores del reactor puede indicarnos si hay un nuevo elemento presente.
Como nuestra hipótesis nula, afirmamos:
H₀ = La secuencia es la disminución del ruido de fondo. (Sin elemento nuevo)
Ahora necesitamos reunir evidencia de que H₀ no es cierto si queremos demostrar que hemos creado un nuevo elemento. Esto se hace a través de nuestra estadística de prueba T(X). En términos generales, esto capta la diferencia entre lo que observan los sensores y lo que se espera de la radiación de fondo. Todas las estadísticas de prueba son una medida de “sorpresa” entre lo que esperamos observar si H₀ es verdadero y lo que realmente dicen nuestros datos de muestra. Cuanto mayor T(X), más evidencia tenemos de que H₀ es falso.
Esto es precisamente lo que hace la estadística de prueba de Schmidt sobre la secuencia de tiempos de desintegración radiactiva.
\[
\sigma_{obs} = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (\ln t_i – \overline{\ln t})^2}
\]
El estadístico de prueba de Schmidt se utilizó en el descubrimiento de: Hassio (108), Meitnerio (109) en 1984 Darmstadtio (110), Elemento 111 Roentgenio (111), Copernicio (112) de 1994 a 1996 Moscovio (115), Tennessine (117). de 2003 a 2016
Es esencial especificar una distribución para H₀ de modo que podamos calcular la probabilidad de que una estadística de prueba sea tan extrema como la estadística de prueba de los datos observados.
Suponemos que la caída del ruido sigue una distribución exponencial. Hay un millón de razones por las que ésta es una buena suposición, pero no nos quedemos estancados aquí. Si no tenemos una distribución para H₀, ¡sería imposible calcular nuestro valor de probabilidad!
\[
H_0^{(Schmidt)}:t_1,…,t_n i.i.d. ∼ Exp(λ)
\]
El valor p es entonces la probabilidad bajo el modelo nulo de obtener un estadístico de prueba al menos tan extremo como el calculado a partir de los datos de la muestra. Cuanto menos probable sea nuestra estadística de prueba, más probable será que H₀ sea falso.
\[
p \;=\; \Pr_{H_0}\!\big( T(X) \ge T(x_{\mathrm{obs}}) \big).
\]
Por supuesto, esto plantea una cuestión interesante. ¿Qué pasa si observamos una tasa de desintegración de fondo poco común, una tasa de desintegración que simplemente se parece a la de una partícula en descomposición no descubierta? ¿Qué pasa si nuestros sensores detectan una secuencia de desintegración improbable, aunque posible, que produzca una gran estadística de prueba? Cada vez que ejecutamos la prueba, existe una pequeña posibilidad de obtener un valor atípico simplemente por casualidad. Este valor atípico dará una estadística de prueba grande, ya que será bastante diferente de lo que esperamos ver cuando H₀ es verdadero. La T(x) grande estará en los extremos de nuestra distribución esperada de H₀ y producirá un valor p pequeño. Una pequeña probabilidad de observar algo más extremo que este valor atípico. ¡Pero no existe ningún elemento nuevo! Acabamos de sacar 31 rojos jugando a la ruleta un millón de veces.
Parece poco probable, pero si se tiene en cuenta que se envían protones a partículas objetivo durante meses seguidos, la posibilidad se mantiene. Entonces, ¿cómo lo contabilizamos?
Hay dos formas: un método conservador y otro menos conservador. Tu elección depende del experimento. Podemos utilizar el:
Tasa de error familiar (FWER) y corrección de Bonferroni Tasa de falso descubrimiento (FDR) y procedimiento de Benjamini-Hochberg
¡Estos no son intercambiables! Debe considerar cuidadosamente su estudio y elegir el correcto.
Si estás interesado en su física:
Se crean nuevos elementos acelerando iones más ligeros al 10% de la velocidad de la luz. Estos haces de iones bombardean átomos objetivo más pesados. Se requieren velocidades increíbles y energía cinética para superar la barrera de Coulomb (la inmensa fuerza repulsiva entre dos partículas cargadas positivamente).
Tasa de error familiar (Bonferroni)
Éste es nuestro enfoque conservador y el que deberíamos utilizar si no podemos admitir ningún falso positivo. Este enfoque mantiene la probabilidad de admitir al menos un error de Tipo I por debajo de nuestro nivel alfa.
\[
\Pr(\text{at least one Type I error in the family}) \leq \alpha
\]
Esta también es una corrección más sencilla. Simplemente divida el nivel alfa por la cantidad de veces que se ejecutó el experimento. Entonces, para cada prueba se rechaza la hipótesis nula si y sólo si:
\[
p_i \leq \frac{\alpha}{m}
\]
De manera equivalente, puede ajustar sus valores p. Si ejecuta m pruebas, tome:
\[
p_i^{\text{adj}} = \min(1, m p_i)
\]
Y rechazar la hipótesis nula si:
\[
p_i^{(\text{Bonf})} \le \alpha
\]
Todo lo que hicimos aquí fue multiplicar ambos lados de la desigualdad por m.
La prueba de esto también es una línea delgada. Si dejamos que Aᵢ sea el evento de que haya un falso positivo en la prueba i. Entonces la probabilidad de tener al menos un falso positivo será la probabilidad de la unión de todos estos eventos.
\[
\text{Pr}(\text{at least one false positive}) = \text{Pr}\left(\bigcup_{i=1}^{m} A_i\right) \le \sum_{i=1}^{m} \text{Pr}(A_i) \le m \cdot \frac{\alpha}{m} = \alpha
\]
Aquí hacemos uso del límite sindical. un concepto fundamental en probabilidad que establece que la probabilidad de que ocurra A₁, o A₂, o Aₖ debe ser menor o igual a la suma de la probabilidad de que ocurra cada evento.
\[
\text{Pr}(A_1 \cup A_2 \cup \cdots \cup A_k) \le \sum_{i=1}^{k} \text{Pr}(A_i)
\]
Tasa de descubrimientos falsos (Benjamini-Hochberg)
El procedimiento de Benjamini-Hochberg tampoco es demasiado complicado. Simplemente:
Ordena tus valores p: p₁ ≤… ≤ pₘ. Acepte la primera k donde pₖ > α/(m−k+1)
En este enfoque, el objetivo es controlar la tasa de descubrimiento falso (FDR).
\[
\text{FDR} = E\left[ \frac{V}{\max(R, 1)} \right]
\]
Donde R es el número de veces que rechazamos la hipótesis nula y V es el número de rechazos que son (desafortunadamente) falsos positivos (errores de tipo I). El objetivo es mantener esta métrica por debajo de un umbral específico q = 0,05.
Los umbrales de BH son:
\[
\frac{1}{m}q, \frac{2}{m}q, \dots, \frac{m}{m}q = q
\]
Y rechazamos los primeros valores p más pequeños donde:
\[
P_{(k)} \leq \frac{k}{m}q
\]
Utilice esto cuando esté de acuerdo con algunos falsos positivos. Cuando su principal preocupación es minimizar la tasa de error tipo II, es decir, desea asegurarse de que haya menos falsos negativos, no hay casos en los que aceptemos H₀ cuando H₀ es en realidad falso.
Piense en esto como un estudio genómico en el que el objetivo es identificar a todas las personas que tienen un gen específico que los hace más susceptibles a un cáncer en particular. Sería menos dañino si tratáramos a algunas personas que no tuvieran el gen que arriesgarnos a dejar que alguien que sí lo tuviera se marchara sin tratamiento.
Rápido uno al lado del otro
Bonferroni:
Controla la tasa de error familiar (FWER). Garantiza la probabilidad de una única tasa de descubrimiento falso ≤ α Mayor tasa de falsos negativos ⇒ Menor poder estadístico Tolerancia cero al riesgo
Benjamini-Hochberg
Controles La tasa de falsos descubrimientos (FDR) garantiza que entre todos los descubrimientos, los falsos positivos sean ≤ q Menos falsos negativos ⇒ Mayor poder estadístico Cierta tolerancia al riesgo
Una p súper pequeña para un átomo súper pesado
No podemos tener elementos inexistentes en la tabla periódica, por lo que cuando se trata de encontrar un nuevo elemento, la corrección de Bonferroni es el enfoque correcto. Pero cuando se trata de datos de la cadena de desintegración recopilados por detectores de silicio sensibles a la posición, elegir una m no es tan sencillo.
Los físicos tienden a utilizar el número esperado de cadenas aleatorias producidas por toda la búsqueda en todo el conjunto de datos:
\[
\Pr(\ge 1 \text{ random chain}) \approx 1 – e^{-n_b}
\]
\[
1 – e^{-n_b} \leq \alpha_{\text{family}} \Rightarrow n_b \approx \alpha_{\text{family}} \quad (\text{approximately, for rare events})
\]
El número de cadenas aleatorias proviene de la observación de los datos de fondo cuando no se está realizando ningún experimento. A partir de estos datos podemos construir la distribución nula H₀ mediante la simulación de Monte Carlo.
Estimamos el número de cadenas aleatorias modelando las tasas de eventos de fondo y volviendo a muestrear los eventos de fondo observados. Bajo H₀ (sin cadena de desintegración de elementos pesados), utilizamos Monte Carlo para simular muchas realizaciones nulas y calcular con qué frecuencia el algoritmo de búsqueda produce una cadena tan extrema como la cadena observada.
Más precisamente:
H₀: los eventos de fondo llegan como un proceso de Poisson con una tasa λ ⇒ los tiempos entre llegadas son exponenciales.
Entonces una cadena accidental son k hits consecutivos en τ tiempo. Analizamos los datos utilizando nuestra estadística de prueba para determinar si existe un grupo extremo.
lambda_rate = 0.2 # eventos por segundo T_total = 2_000.0 # segundos de toma de datos (eventos promedio ~ 400) k = 4 # longitud de cadena tau_obs = 0.20 # “extremo observado”: 4 eventos en 0.10 s Nmc = 20_000 rng = np.random.default_rng(0) def dmin_and_count(times, k, tau): si times.size < k: devuelve np.inf, 0 intervalos = times[k-1:] - veces[:-(k-1)] return float(np.min(spans)), int(np.sum(spans <= tau)) ...
Simulación de Montecarlo en GitHub
Si está interesado en los números, en el descubrimiento del elemento 117 Tennessine (Ts), se utilizó un valor p de 5×10−16. Me imagino que si nunca se utilizaran correcciones, nuestra tabla periódica, lamentablemente, no tendría el tamaño de un póster y la química sería un desastre.
Conclusión
Todo este concepto de buscar algo en muchos lugares y luego tratar un problema especialmente significativo como si proviniera de una sola observación se conoce comúnmente como efecto mirar en otra parte. Y hay dos formas principales en las que podemos ajustarnos a esto:
Corrección de Bonferroni Procedimiento de Benjamini-Hochberg
Nuestra elección depende enteramente de cuán conservadores queramos ser.
Pero incluso con un valor p de 5 × 10 −16, es posible que se pregunte cuándo debería descartarse un valor p de 10 ^ -99. Y todo eso se reduce a Victor Ninov, físico del Laboratorio Nacional Lawrence Berkeley. Quién fue –por un breve momento– el hombre que descubrió el elemento 118.
Sin embargo, una investigación interna descubrió que había fabricado la cadena de desintegración alfa. En este caso, con respecto a la mala conducta en la investigación y los datos falsificados, incluso un valor p de 10^-99 no justifica rechazar la hipótesis nula.
Referencias
Bodmer, W., Bailey, RA, Charlesworth, B., Eyre-Walker, A., Farewell, V., Mead, A. y Senn, S. (2021). El destacado científico RA Fisher: sus opiniones sobre la eugenesia y la raza. Herencia, 126(4), 565-576.
Khuyagbaatar, J., Yakushev, A., Düllmann, CE, Ackermann, D., Andersson, LL, Asai, M.,… & Yakusheva, V. (2014). Reacción de fusión de Ca 48+ Bk 249 que conduce al elemento Z = 117: Db 270 de descomposición α de larga duración y descubrimiento de Lr 266. Cartas de revisión física, 112 (17), 172501.
Positivos, comparaciones múltiples de HMF: correcciones de Bonferroni y tasas de descubrimiento falso.