La aproximación matricial es un subcampo muy estudiado en minería de datos y aprendizaje automático. Un gran conjunto de tareas de análisis de datos dependen de la obtención de una aproximación de rango bajo de matrices. Algunos ejemplos son la reducción de dimensionalidad, la detección de anomalías, la eliminación de ruido de datos, la agrupación en clústeres y los sistemas de recomendación. En este artículo, analizamos el problema de la aproximación matricial y cómo calcularlo cuando no tenemos todos los datos disponibles.
El contenido de este artículo está tomado en parte de mi conferencia en Curso Stanford-CS246. Espero que le sea útil. Por favor encuentre el contenido completo aquí.
La mayoría de los datos generados en la web se pueden representar como una matriz, donde cada fila de la matriz es un punto de datos. Por ejemplo, en los enrutadores, cada paquete enviado a través de la red es un punto de datos que se puede representar como una fila en una matriz de todos los puntos de datos. En el comercio minorista, cada compra realizada es una fila en la matriz de todas las transacciones.
Al mismo tiempo, casi todos los datos generados a través de la web son de naturaleza en streaming; lo que significa que los datos son generados por una fuente externa a un ritmo rápido sobre el que no tenemos control. Piense en todas las búsquedas que realizan los usuarios en el motor de búsqueda de Google cada segundo. A estos datos los llamamos transmisión de datos; porque como un arroyo se derrama.
Algunos ejemplos de transmisión de datos típica a escala web son los siguientes:
Piense en la transmisión de datos como una matriz A que contiene norte filas en d-espacio dimensional, donde típicamente norte >> d. A menudo norte es del orden de miles de millones y va en aumento.
En el modelo de streaming, los datos llegan a alta velocidad, una fila a la vez, y los algoritmos deben procesar los elementos rápidamente, o se perderán para siempre.