Siempre que nos enfrentamos a una tarea relacionada con el análisis de resultados binarios, solemos pensar en la regresión logística como el método de referencia. Es por eso que la mayoría de los artículos sobre regresión de resultados binarios se centran exclusivamente en la regresión logística. Sin embargo, la regresión logística no es la única opción disponible. Existen otros métodos, como el modelo de probabilidad lineal (LPM), la regresión Probit y la regresión Log-Log complementaria (Cloglog). Desafortunadamente, faltan artículos sobre estos temas disponibles en Internet.
El modelo de probabilidad lineal rara vez se utiliza porque no es muy eficaz para capturar la relación curvilínea entre un resultado binario y variables independientes. ya he discutido anteriormente Regresión de obstrucciones en uno de mis artículos anteriores. Si bien hay algunos artículos sobre la regresión Probit disponibles en Internet, tienden a ser técnicos y difíciles de entender para lectores no técnicos. En este artículo, explicaremos los principios básicos de la regresión Probit y sus aplicaciones y la compararemos con la regresión logística.
Así es como suele verse una relación entre una variable de resultado binaria y una variable independiente:
La curva que ves se llama curva en forma de S o curva sigmoidea. Si observamos de cerca este gráfico, notaremos que se parece a una función de distribución acumulativa (CDF) de una variable aleatoria. Por lo tanto, tiene sentido utilizar el CDF para modelar la relación entre una variable de resultado binaria y variables independientes. Las dos CDF más utilizadas son la distribución logística y la normal. La regresión logística utiliza la CDF logística, dada con la siguiente ecuación:
En la regresión Probit, utilizamos la función de distribución acumulativa (CDF) de la distribución normal. Razonablemente, podemos simplemente reemplazar la CDF logística con la CDF de distribución normal para obtener la ecuación de regresión Probit:
Donde Φ() representa la función de distribución acumulativa de la distribución normal estándar.
Podemos memorizar esta ecuación, pero no aclarará nuestro concepto relacionado con la regresión Probit. Por lo tanto, adoptaremos un enfoque diferente para comprender mejor cómo funciona la regresión Probit.
Digamos que tenemos datos sobre el peso y el estado de depresión de una muestra de 1000 individuos. Nuestro objetivo es examinar la relación entre peso y depresión mediante regresión Probit. (Descarga los datos de este enlace. )
Para dar una idea, imaginemos que el hecho de que un individuo (el individuo “ésimo”) experimente depresión o no depende de una variable latente no observable, denotada como A.i. Esta variable latente está influenciada por una o más variables independientes. En nuestro escenario, el peso de un individuo determina el valor de la variable latente. La probabilidad de experimentar depresión aumenta con el aumento de la variable latente.
La pregunta es, dado que Ai es una variable latente no observada, ¿cómo estimamos los parámetros de la ecuación anterior? Bueno, si asumimos que se distribuye normalmente con la misma media y varianza, podremos obtener cierta información sobre la variable latente y estimar los parámetros del modelo. Explicaré las ecuaciones con más detalle más adelante, pero primero realicemos algunos cálculos prácticos.
Volviendo a nuestros datos: en nuestros datos, calculemos la probabilidad de depresión para cada edad y tabulémosla. Por ejemplo, hay 7 personas con un peso de 40 kg y 1 de ellas tiene depresión, por lo que la probabilidad de depresión para un peso de 40 es 1/7 = 0,14286. Si hacemos esto para todos los pesos, obtendremos esta tabla:
Ahora bien, ¿cómo obtenemos los valores de la variable latente? Sabemos que la distribución normal da la probabilidad de Y para un valor dado de X. Sin embargo, la función de distribución acumulativa inversa (CDF) de la distribución normal nos permite obtener el valor de X para un valor de probabilidad dado. En este caso, ya tenemos los valores de probabilidad, lo que significa que podemos determinar el valor correspondiente de la variable latente utilizando la CDF inversa de la distribución normal. [Note: Inverse Normal CDF function is available in almost every statistical software, including Excel.]
Esta variable latente no observada Ai se conoce como desviación equivalente normal (ned) o simplemente normar. Mirando de cerca, no son más que puntuaciones Z asociadas con la variable latente no observada. Una vez que tenemos la Ai estimada, estimar β1 y β2 es relativamente simple. Podemos ejecutar una regresión lineal simple entre Ai y nuestra variable independiente.
El coeficiente de peso 0,0256 nos da el cambio en la puntuación z de la variable de resultado (depresión) asociada con un cambio de peso de una unidad. Específicamente, un aumento de una unidad de peso se asocia con un aumento de aproximadamente 0,0256 unidades de puntuación z en la probabilidad de tener depresión alta. Podemos calcular la probabilidad de depresión para cualquier edad utilizando la distribución normal estándar. Por ejemplo, para peso 70,
Ai = -1,61279 + (0,02565)*70
Ai = 0,1828
La probabilidad asociada con una puntuación z de 0,1828 (P(x Es bastante razonable decir que la explicación anterior fue una simplificación excesiva de un método moderadamente complejo. También es importante señalar que es sólo una ilustración del principio básico detrás del uso de la distribución normal acumulativa en la regresión Probit. Ahora, echemos un vistazo a las ecuaciones matemáticas. Anteriormente comentamos que existe una variable latente, Ai, que está determinado por las variables predictoras. Será muy lógico considerar que existe un valor crítico o umbral (Ai_c) de la variable latente tal que si Ai excede Ai_c, el individuo tendrá depresión; de lo contrario, no tendrá depresión. Dado el supuesto de normalidad, la probabilidad de que Ai es menor o igual que Ai_c se puede calcular a partir de CDF normal estandarizado: donde zi es la variable normal estándar, es decir, Z ∼ N(0, σ 2) y F es la CDF normal estándar. La información relacionada con la variable latente y β1 y β2 se puede obtener tomando la inversa de la ecuación anterior: La CDF inversa de distribución normal estandarizada se utiliza cuando queremos obtener el valor de Z para un valor de probabilidad determinado. Ahora, el proceso de estimación de β1, β2 y Ai Depende de si tenemos datos agrupados o datos desagrupados a nivel individual. Cuando tenemos datos agrupados, es fácil calcular las probabilidades. En nuestro ejemplo de depresión, los datos iniciales están desagrupados, es decir, hay un peso para cada individuo y su estado de depresión (1 y 0). Inicialmente, el tamaño total de la muestra fue de 1000, pero agrupamos esos datos por peso, lo que resultó en 71 grupos, y calculamos la probabilidad de depresión en cada grupo de peso. Sin embargo, cuando los datos están desagrupados, se utiliza el método de estimación de máxima verosimilitud (MLE) para estimar los parámetros del modelo. La siguiente figura muestra la regresión Probit en nuestros datos no agrupados (n = 1000): Se puede observar que el coeficiente de ponderación es muy cercano a lo que estimamos con los datos agrupados. Ahora que hemos comprendido el concepto de regresión Probit y estamos familiarizados (con suerte) con la regresión logística, surge la pregunta: ¿qué modelo es preferible? ¿Qué modelo funciona mejor en diferentes condiciones? Bueno, ambos modelos son bastante similares en su aplicación y producen resultados comparables (en términos de probabilidades predichas). La única distinción menor radica en su sensibilidad a los valores extremos. Echemos un vistazo más de cerca a ambos modelos: Del gráfico podemos observar que los modelos Probit y Logit son bastante similares. Sin embargo, Probit es menos sensible a valores extremos en comparación con Logit. Significa que en valores extremos, el cambio en la probabilidad del resultado con respecto al cambio unitario en la variable predictiva es mayor en el modelo logit en comparación con el modelo Probit. Por lo tanto, si desea que su modelo sea sensible a valores extremos, es posible que prefiera utilizar la regresión logística. Sin embargo, esta elección no afectará significativamente las estimaciones, ya que ambos modelos arrojan resultados similares en términos de probabilidades predichas. Es importante señalar que los coeficientes obtenidos de ambos modelos representan cantidades diferentes y no se pueden comparar directamente. La regresión logit proporciona cambios en las probabilidades logarítmicas del resultado con cambios en la variable predictiva, mientras que la regresión probit proporciona cambios en la puntuación z del resultado. Sin embargo, si calculamos las probabilidades previstas del resultado utilizando ambos modelos, los resultados serán muy similares. En la práctica, se prefiere la regresión logística a la regresión Probit debido a su simplicidad matemática y fácil interpretación de los coeficientes.Estructura matemática