Prefacio
Bienvenido de nuevo a la quinta edición de mi serie en curso sobre los conceptos básicos del álgebra lineal, la matemática fundamental detrás del aprendizaje automático. en mi anterior artículorepasé la ecuación matricial Ax = b. Este ensayo investigará el importante concepto de independencia lineal y cómo se conecta con todo lo que hemos aprendido hasta ahora.
Este artículo sería de mayor utilidad para los lectores si lo leyeran junto con Álgebra lineal y sus aplicaciones de David C. Lay, Steven R. Lay y Judi J. McDonald. Considere esta serie como un recurso complementario.
Siéntase libre de compartir pensamientos, preguntas y críticas.
Independencia lineal en ℝⁿ
Anteriormente, aprendimos sobre productos matriciales y ecuaciones matriciales en la forma AX = b. cubrimos eso AX = b tiene una solución X si b es una combinación lineal del conjunto de vectores (columnas) en la matriz A.
Hay una ecuación matricial especial en álgebra lineal. AX = 0 al que nos referimos como un sistema lineal homogéneo. AX = 0 siempre tendrá al menos una solución donde X = 0 que se llama solución trivial porque es trivialmente fácil demostrar que cualquier matriz A multiplicado por el 0 vector X resultará en la 0 vector.
Lo que realmente nos interesa saber es si la ecuación matricial AX = 0 tiene solo la solución trivial. Si AX = 0 sólo tiene la solución trivial X = 0, entonces el conjunto de vectores que forman las columnas de A son linealmente independientes. En otras palabras: v₁ + c₂v₂ +… + cₐvₐ = 0 donde c₁, c₂,… cₐ deben ser todos 0. Una forma diferente de pensar en esto es que ninguno de los vectores del conjunto se puede escribir como una combinación lineal de otro. .
Por otro lado, si existe una solución donde X ≠ 0 entonces el conjunto de vectores es linealmente dependiente. Entonces se deduce que al menos uno de los vectores del conjunto se puede escribir como una combinación lineal de otro: c₁v₁ + c₂v₂ +… + cₐvₐ = 0 donde no todos los donde c₁, c₂,… cₐ son iguales a 0.
Una forma clara e intuitiva de pensar sobre el concepto de independencia lineal es la pregunta: ¿puedes encontrar un conjunto de pesos que colapse la combinación lineal de un conjunto de vectores hasta el origen? Si un conjunto de vectores es linealmente independiente, entonces 0 es el único peso que se puede aplicar a cada vector para que la combinación lineal sea igual al vector cero. Si los vectores son linealmente dependientes, entonces existe al menos un conjunto de pesos distintos de cero tal que la combinación lineal del vector sea cero.
Determinación de la independencia lineal
Para conjuntos con un solo vector, determinar la independencia lineal es trivial. Si el vector es el vector cero, entonces es linealmente dependiente. Esto se debe a que cualquier peso distinto de cero multiplicado por el vector cero será igual al vector cero y, por lo tanto, existen infinitas soluciones para AX = 0. Si el vector no es el vector cero, entonces el vector es linealmente independiente ya que cualquier vector multiplicado por cero se convertirá en el vector cero.
Si un conjunto contiene dos vectores, los vectores son linealmente dependientes si uno de los vectores es múltiplo del otro. En caso contrario, son linealmente independientes.
En el caso de conjuntos con más de dos vectores, se requiere más cálculo. Dejemos que los vectores formen las columnas de la matriz. A y matriz de reducción de filas A a forma escalonada reducida. Si la forma escalonada reducida por filas de la matriz tiene una entrada pivote en cada columna, entonces el conjunto de vectores es linealmente independiente. De lo contrario, el conjunto de vectores es linealmente dependiente. ¿Por qué es este el caso? Considere el proceso de reducir por filas una matriz a su forma escalonada reducida por filas. Realizamos una serie de operaciones elementales con filas, como multiplicar filas por constantes, intercambiar filas, agregar una fila a otra en busca de una matriz en una forma más simple para que sus propiedades subyacentes queden claras mientras se preserva el espacio de solución.
En el caso de la independencia lineal, la cualidad de tener un pivote en cada columna indica que cada vector juega un papel principal en al menos una parte de la ecuación de combinación lineal. Si cada vector contribuye independientemente al sistema lineal, entonces ningún vector puede expresarse como una combinación lineal de los demás y, por tanto, el sistema es linealmente independiente. Por el contrario, si hay una columna en RREF sin una entrada dinámica, significa que la variable (o vector) correspondiente es una variable dependiente y se puede expresar en términos de los otros vectores. En otras palabras, existe una redundancia en el sistema, lo que indica una dependencia lineal entre los vectores.
Una forma concisa de resumir esta idea implica el rango de una matriz. El rango es el número máximo de columnas linealmente independientes en una matriz, por lo que se deduce que el rango es igual al número de pivotes en forma escalonada de filas reducida.
Si el número de columnas de una matriz es igual al rango, entonces la matriz es linealmente independiente. De lo contrario, la matriz es linealmente dependiente.
Independencia lineal con Numpy
Intentar realizar cálculos hechos a mano es un ejercicio que vale la pena para comprender mejor la independencia lineal, pero un enfoque más práctico sería utilizar las capacidades integradas en la biblioteca Numpy para probar la independencia lineal y derivar el espacio de solución para AX = 0 de una matriz dada.
Podemos acercarnos a verificar si una matriz es linealmente independiente usando el rango. Como se mencionó anteriormente, una matriz es linealmente independiente si el rango de una matriz es igual al número de columnas, por lo que nuestro código se escribirá en torno a este criterio.
El siguiente código genera el espacio solución de vectores para AX = 0.
Conclusión
La independencia lineal, si bien es fundamental para el álgebra lineal, también sirve como piedra angular en las aplicaciones de aprendizaje automático. La independencia lineal es crucial en las técnicas de selección de características y reducción de dimensionalidad, como el análisis de componentes principales (PCA), que opera sobre la colinealidad o dependencia lineal entre características en el conjunto de datos.
¡Continuarás viendo aparecer la independencia lineal en el aprendizaje automático!
Resumen
- Un sistema de ecuaciones lineales se dice homogéneo si se puede escribir en la forma AX = 0.
- Los vectores linealmente independientes no se pueden expresar como una combinación lineal entre sí (excepto la combinación trivial donde todos los coeficientes son cero).
- Los vectores linealmente dependientes son aquellos en los que al menos un vector del conjunto puede expresarse como una combinación lineal de los demás.
- Numpy, una biblioteca de Python para trabajar con matrices, ofrece un soporte fantástico tanto para comprobar si una matriz es linealmente independiente como para resolver Ax = 0 para una matriz determinada.
Notas
*Todas las imágenes creadas por el autor a menos que se indique lo contrario.