Cómo se distribuye la información sobre una variable objetivo entre sus múltiples características
Cuando una variable objetivo está influenciada por múltiples fuentes de información, es crucial (aunque no trivial) comprender cómo contribuye cada fuente a la información general proporcionada.
En este artículo comenzaré con el concepto básico de sorpresa, luego procederé a explicar cómo la entropía consiste en la cantidad promedio de sorpresa distribuida sobre una variable aleatoria, y esto nos da las condiciones para definir la información mutua. Después de esto, hablo de descomposición parcial de la información para los casos en los que tenemos múltiples fuentes de información.
Sorpresa y entropía
Quizás una de las formas más intuitivas de definir la entropía desde el punto de vista de la información sea hablar primero de sorpresa. La medida de sorpresa funciona tal como esperamos: los eventos menos probables son más sorprendentes, mientras que los eventos más probables son menos sorprendentes. La definición matemática que engloba estas propiedades es la que se muestra a continuación:
Podemos ver en el gráfico de la Figura 1 que esta definición está bastante relacionada con las propiedades de las que hablamos. Cuando algún evento tiene una alta probabilidad de ocurrir (p más cercano a 1), entonces la sorpresa es cercana a cero. Por otro lado, si un evento tiene una probabilidad muy baja de ocurrir, su sorpresa se vuelve arbitrariamente grande.
Ahora bien, ¿qué tiene que ver la entropía con la sorpresa? Bueno, la entropía es la sorpresa promedio sobre todos los valores de una variable aleatoria. Por lo tanto, si tenemos alguna variable aleatoria X, y el conjunto de todos los resultados posibles de X se llama A_X (lo llamamos "alfabeto de x"), entonces la entropía H se define como:
Excelente. Ahora que vinculamos la entropía con la sorpresa, podemos entender una interpretación útil de la entropía:
La entropía es una medida de la ignorancia.
¿Cómo puede ser esto? Lo explicaré con un ejemplo tonto. Imagina que tienes que hacer un examen final de física. Dentro del lenguaje que hemos desarrollado hasta ahora, podemos considerar el test como una variable aleatoria con algún alfabeto de posibles preguntas. Supongamos ahora dos escenarios:
- Estudiaste mucho para este examen y sabes qué tipo de preguntas habrá en el examen, así que de mediano te sorprenderá tanto tu examen.
- Realmente no estudiaste y no sabes qué tipo de pregunta habrá en el examen, por lo que tu nivel de sorpresa será bastante alto durante todo el examen.
Así que cuando tu sorpresa media es mayor coincide perfectamente con el escenario en el que no tienes tanta información.
Hablando desde un punto de vista técnico, las distribuciones más puntiagudas (por ejemplo, distribuciones en las que es más probable que ocurran ciertos valores que otros) tienen una entropía más baja que las más dispersas, donde cada evento tiene aproximadamente la misma probabilidad de ocurrir. Por eso decimos que la distribución con mayor entropía es la distribución uniforme, donde cualquier valor puede ocurrir con la misma probabilidad.
Entropía e información (mutua)
Ahora que hemos establecido una medida de sorpresa promedio en un sistema descrito por una variable aleatoria (esta es la entropía), podemos crear el vínculo de la entropía con la información.
Dado que la entropía es una medida de ignorancia sobre algún sistema, la falta de ella representa… información. En este sentido, es bastante natural crear una medida llamada información mutua: mide la información que obtienes una vez que conoces cierta información sobre el sistema:
Esta definición dice: tome la sorpresa promedio de una variable aleatoria X, luego tome la sorpresa promedio de la variable aleatoria X, pero ahora considere que conocemos el resultado de otra variable aleatoria Y. Reste la primera por la última y sabrá cómo. mucho ignorancia eliminó de su sistema X al conocer Y.
Volvamos a nuestro tonto ejemplo: supongamos que no sabes qué preguntas se harán dentro de tu examen, y esta es X. Ahora supongamos que un amigo tuyo ha hecho un examen del mismo profesor, sobre el mismo tema, uno semana antes de su prueba. Él te cuenta todo lo que su prueba cubierta (que resulta ser otra variable aleatoria Y). Lo más plausible es que tu ignorancia de tu prueba ha disminuido, lo que significa que tu prueba X y la prueba Y de tu amigo comparten información.
En la Figura 2 hay un diagrama de Venn agradable y comprensible que muestra la relación entre las entropías y la información compartida entre un par de variables X e Y.
Pero ¿qué pasa si tenemos múltiples fuentes de información?
Hasta ahora sólo hemos hablado de casos en los que tenemos una característica X y una variable objetivo Y, pero es bastante obvio que esto no se generaliza bien. Por lo tanto, ahora imaginemos que tenemos una variable aleatoria Y (digamos, una variable objetivo de un modelo de clasificación) y queremos saber la cantidad de información proporcionada por cada una de las n características del modelo X_1, X_2,…, X_n. Se podría decir que basta con calcular la información mutua compartida por X_1 e Y, luego por X_2 e Y, y así sucesivamente. Bueno, en el mundo real, nuestras características pueden interactuar entre sí y crear relaciones no triviales, y si queremos tener un marco coherente debemos tener en cuenta estas interacciones.
Tomemos el caso en el que tenemos dos señales de entrada X_1 y X_2 y queremos cuantificar la información mutua entre estas dos características y una característica objetivo Y. Es decir, queremos calcular I (Y; {X_1, X_2}). El marco de descomposición parcial de información establece que esta información se puede dividir en cuatro componentes no negativos:
- Sinónimo(Y; {X_1, X_2}): la sinergia de las dos características. Esta es una cantidad de información sobre Y proporcionada únicamente por las dos funciones juntas.
- rdn(Y; {X_1, X_2}): la Redundancia de las dos características. Esta cantidad representa la información sobre Y que puede explicarse solo por X_1 o X_2.
- Unq(Y; X_1) y Unq(Y; X_2): la Información Única, que mide la información sobre Y que solo X_1 puede explicar para Unq(Y; X_1) o que solo X_2 puede explicar para Unq(Y; X_2).
Note que solo Unq(Y; X_1) y Unq(Y; X_2) corresponden a un escenario sin interacción entre características. Por tanto, la información mutua I(Y; {X_1, X_2}) se puede descomponer en sus cuatro componentes:
I(Y; {X_1, X_2}) = Sinónimo(Y; {X_1, X_2}) + rdn(Y; {X_1, X_2}) + Unq(Y;X_1) + Unq(Y; X_2)
Como antes, podemos dibujar un bonito diagrama de Venn que resuma la dependencia de estas cantidades.
Cada uno de estos términos se llama átomo de información. Cualquier información no atómica se puede descomponer en partes atómicas, que no se pueden descomponer.
Fueron Williams y Beer. [1] quien propuso por primera vez este marco (e ideó una forma de calcular información parcial). Resulta que calcular estas cantidades no es trivial y merece un artículo aparte. Hay más de una medida de descomposición parcial de información, y todas siguen el mismo proceso: imaginan una medida que satisface una serie de características agradables de tener y que es consistente con lo que esperamos que suceda con alguna cantidad llamada "información". Todas estas medidas tienen puntos fuertes y débiles, y están muy bien implementadas en la biblioteca dit, que se presentará brevemente y se utilizará para dar algunos ejemplos en la siguiente sección.
Ejemplos de descomposición parcial de información y la biblioteca dit
Para unir estos conceptos, veamos algunos ejemplos. La biblioteca dit es una gran herramienta para estos experimentos cuando se trata de conceptos de teoría de la información. Es una biblioteca que consiste en crear distribuciones de probabilidad personalizadas y luego realizar mediciones sobre ellas. Hay varias funciones dentro de esta biblioteca y se pueden encontrar en su GitHub o en el funcionario página de documentación.
Para todos los ejemplos siguientes, podemos pensar en dos características X_1 y X_2, ambas binarias, y la variable objetivo Y es alguna operación booleana con las características. Todas las formas de medir información parcial se deberán a Williams y Beer. [1]pero en dit también se implementan otras formas propuestas por otros autores .
Información única
Para este ejemplo, imagine que la variable objetivo Y es la puerta AND. Observe, en la Fig. 4, que la salida siempre es igual a la característica X_1, lo que hace que la característica X_2 sea completamente irrelevante.
Por esta razón, la información que X_1 y X_2 proporcionan sobre Y está completamente concentrada en X_1. En el formalismo que hemos desarrollado hasta ahora, podemos decir que la información sobre Y es único a X_1.
En esta biblioteca, podemos crear esto como:
import dit # importing dit library
from dit.pid import PID_WB # importing the PID measure we want to use
# creating a probability distribution of AND gate
dist_unique = dit.Distribution(["000", "010", "101", "111"], [1/4, 1/4, 1/4, 1/4])
print(PID_WB(dist_unique))
"""
Out:
+--------+--------+--------+
| I_min | I_r | pi |
+--------+--------+--------+
| {0:1} | 1.0000 | 0.0000 |
| {0} | 1.0000 | 1.0000 |
| {1} | 0.0000 | 0.0000 |
| {0}{1} | 0.0000 | 0.0000 |
+--------+--------+--------+
"""
La biblioteca dit codifica el tipo de información de la siguiente manera:
- {0:1}: la información sinérgica entre X_1 y X_2
- {0}: información única proporcionada por X_1
- {1}: información única proporcionada por X_2
- {0}{1}: información redundante proporcionada por X_1 y X_2
Podemos ver en el resultado que la única información parcial (la "Pi" columna) proporcionada es de X_1.
Información redundante
El siguiente ejemplo sirve para mostrar la información redundante. Aquí, tanto X_1, X_2 e Y son iguales como se muestra en la Fig. 5, por lo que la información redundante sobre Y proporcionada por X_1 y X_2 es máxima.
Usando dit el código es el siguiente:
import dit # importing dit library
from dit.pid import PID_WB # importing the PID measure we want to use
# creating a redundant probability distribution
dist_redundant = dit.Distribution(["000", "111"], [1/2, 1/2])
print(PID_WB(d_redundant))
"""
Out:
+--------+--------+--------+
| I_min | I_r | pi |
+--------+--------+--------+
| {0:1} | 1.0000 | 0.0000 |
| {0} | 1.0000 | 0.0000 |
| {1} | 1.0000 | 0.0000 |
| {0}{1} | 1.0000 | 1.0000 |
+--------+--------+--------+
"""
Como vemos, la única información sobre Y proporcionada por X_1 y X_2 es redundante, es decir, proporcionada por ambos.
Información sinérgica
Un ejemplo clásico de información sinérgica es la puerta XOR. El diagrama de la puerta XOR se muestra en la Fig. 6.
Observe por esta distribución que solo podemos conocer la variable objetivo Y una vez que conocemos tanto X_1 como X_2. No es posible conocer Y sin X_1 y X_2, simplemente porque para cada valor de X_1 tenemos ambos valores para Y; y lo mismo ocurre con X_2. El código indica:
import dit # importing dit library
from dit.pid import PID_WB # importing the PID measure we want to use
# creating a probability distribution of XOR gate
dist_syn = dit.Distribution(["000", "011", "101", "110"], [1/4]*4)
print(dist_syn)
"""
Out:
+--------+--------+--------+
| I_min | I_r | pi |
+--------+--------+--------+
| {0:1} | 1.0000 | 1.0000 |
| {0} | 0.0000 | 0.0000 |
| {1} | 0.0000 | 0.0000 |
| {0}{1} | 0.0000 | 0.0000 |
+--------+--------+--------+
"""
Como era de esperar, la única información sobre Y que transmiten X_1 y X_2 es {0:1}, que es la información sinérgica.
Comentarios finales y conclusiones
Finalmente, podemos ver que la interacción entre variables puede plantear un desafío difícil cuando sólo tenemos a nuestra disposición información mutua. Es necesario que exista alguna herramienta para medir la información proveniente de múltiples fuentes (y posiblemente la interacción entre estas fuentes de información). Este es un terreno perfecto para el marco de descomposición parcial de información (PID).
Habitualmente, las mediciones en este campo son complicadas e implican cierta lógica formal: esto se puede dejar para otro artículo exhaustivo sobre este tema, pero ahora basta decir que estas herramientas no sólo son importantes, sino que su necesidad surge naturalmente del enfoque informativo. .
Referencias
[1] PL Williams y RD Beer, Descomposición no negativa de información multivariada., preimpresión de arXiv arXiv:1004.25152010
[2] Shujian Yu, et al., Comprensión de las redes neuronales convolucionales con la teoría de la información: una exploración inicial, arXiv preimpresión arXiv:1804.06537v5, 2020
[3] AJ Gutknecht, M. Wibral y A. Makkeh, Fragmentos y piezas: comprensión de la descomposición de la información a partir de relaciones parte-todo y lógica formal, arXiv preimpresión arXiv:2008.09535v2, 2022
[4] James, RG, Ellison, CJ y Crutchfield, JP, dit: un paquete Python para la teoría de la información discretaRevista de software de código abierto, 2018
¿Qué es la descomposición parcial de la información y cómo interactúan las funciones? fue publicado originalmente en Hacia la ciencia de datos en Medium, donde las personas continúan la conversación resaltando y respondiendo a esta historia.