¿Qué aprende exactamente word2vec y cómo? Responder a esta pregunta equivale a comprender el aprendizaje de la representación en una tarea mínima pero interesante de modelado del lenguaje. A pesar de que word2vec es un conocido precursor de los modelos de lenguaje modernos, durante muchos años los investigadores carecieron de una teoría cuantitativa y predictiva que describiera su proceso de aprendizaje. En nuestro nuevo artículo, finalmente proporcionamos tal teoría. Demostramos que existen regímenes prácticos y realistas en los que el problema de aprendizaje se reduce a una factorización matricial de mínimos cuadrados no ponderada. Resolvemos la dinámica del flujo de gradiente en forma cerrada; las representaciones finales aprendidas simplemente las proporciona PCA.
Dinámica de aprendizaje de word2vec. Cuando se entrena desde una inicialización pequeña, word2vec aprende en pasos discretos y secuenciales. Izquierda: pasos de aprendizaje que incrementan el rango en la matriz de peso, cada uno de los cuales disminuye la pérdida. Derecha: tres cortes de tiempo del espacio de incrustación latente que muestran cómo los vectores de incrustación se expanden en subespacios de dimensión creciente en cada paso de aprendizaje, continuando hasta que se satura la capacidad del modelo.
Antes de profundizar en este resultado, motivemos el problema. word2vec es un algoritmo bien conocido para aprender representaciones vectoriales densas de palabras. Estos vectores de incrustación se entrenan mediante un algoritmo contrastivo; Al final del entrenamiento, la relación semántica entre dos palabras cualesquiera es capturada por el ángulo entre las incrustaciones correspondientes. De hecho, las incrustaciones aprendidas exhiben empíricamente una sorprendente estructura lineal en su geometría: los subespacios lineales en el espacio latente a menudo codifican conceptos interpretables como género, tiempo verbal o dialecto. Esta llamada hipótesis de representación lineal ha atraído mucha atención recientemente, ya que los LLM también exhiben este comportamiento, lo que permite la inspección semántica de representaciones internas y proporciona nuevas técnicas de dirección de modelos. En word2vec, son precisamente estas direcciones lineales las que permiten que las incrustaciones aprendidas completen analogías (por ejemplo, “hombre: mujer :: rey: reina”) mediante la suma de vectores de incrustación.
Quizás esto no debería ser demasiado sorprendente: después de todo, el algoritmo word2vec simplemente itera a través de un corpus de texto y entrena una red lineal de dos capas para modelar regularidades estadísticas en lenguaje natural usando un descenso de gradiente autosupervisado. En este marco, está claro que word2vec es un modelo de lenguaje neuronal mínimo. Por lo tanto, comprender word2vec es un requisito previo para comprender el aprendizaje de funciones en tareas de modelado de lenguaje más sofisticadas.
El resultado
Con esta motivación en mente, describamos el resultado principal. Concretamente, supongamos que inicializamos todos los vectores de incrustación de forma aleatoria y muy cerca del origen, de modo que sean efectivamente de dimensión cero. Luego (bajo algunas aproximaciones leves) las incorporaciones aprenden colectivamente un “concepto” (es decir, un subespacio lineal ortogonal) a la vez en una secuencia de pasos de aprendizaje discretos.
Es como sumergirse de lleno en el aprendizaje de una nueva rama de las matemáticas. Al principio, toda la jerga es confusa: ¿cuál es la diferencia entre una función y un funcional? ¿Qué pasa con un operador lineal frente a una matriz? Lentamente, a través de la exposición a nuevos entornos de interés, las palabras se separan unas de otras en la mente y sus verdaderos significados se vuelven más claros.
Como consecuencia, cada nuevo concepto lineal realizado incrementa efectivamente el rango de la matriz de incrustación, dando a cada palabra incrustada más espacio para expresarse mejor a sí misma y su significado. Dado que estos subespacios lineales no giran una vez que se aprenden, estas son efectivamente las características aprendidas del modelo. Nuestra teoría nos permite calcular cada una de estas características a priori en forma cerrada: son simplemente los vectores propios de una matriz objetivo particular que se define únicamente en términos de estadísticas de corpus medibles e hiperparámetros algorítmicos.
¿Cuáles son las características?
La respuesta es notablemente sencilla: las características latentes son simplemente los vectores propios superiores de la siguiente matriz:
\[M^{\star}_{ij} = \frac{P(i,j) – P(i)P(j)}{\frac{1}{2}(P(i,j) + P(i)P(j))}\]
donde $i$ y $j$ indexan las palabras en el vocabulario, $P(i,j)$ es la probabilidad de co-ocurrencia de las palabras $i$ y $j$, y $P(i)$ es la probabilidad de unigramo de la palabra $i$ (es decir, el marginal de $P(i,j)$).
Al construir y diagonalizar esta matriz a partir de las estadísticas de Wikipedia, se encuentra que el vector propio superior selecciona palabras asociadas con biografías de celebridades, el segundo vector propio selecciona palabras asociadas con el gobierno y la administración municipal, el tercero está asociado con descriptores geográficos y cartográficos, y así sucesivamente.
La conclusión es la siguiente: durante el entrenamiento, word2vec encuentra una secuencia de aproximaciones óptimas de rango bajo de $M^{\star}$. Es efectivamente equivalente a ejecutar PCA en $M^{\star}$.
Los siguientes gráficos ilustran este comportamiento.
Comparación de dinámicas de aprendizaje que muestra pasos de aprendizaje discretos y secuenciales.
A la izquierda, la observación empírica clave es que word2vec (más nuestras aproximaciones leves) aprende en una secuencia de pasos esencialmente discretos. Cada paso incrementa el rango efectivo de las incrustaciones, lo que resulta en una disminución gradual de la pérdida. A la derecha, mostramos tres cortes de tiempo del espacio de incrustación latente, lo que demuestra cómo las incrustaciones se expanden a lo largo de una nueva dirección ortogonal en cada paso de aprendizaje. Además, al inspeccionar las palabras que más se alinean con estas direcciones singulares, observamos que cada “conocimiento” discreto corresponde a un concepto interpretable a nivel de tema. Estas dinámicas de aprendizaje se pueden resolver de forma cerrada y vemos una excelente combinación entre la teoría y el experimento numérico.
¿Cuáles son las aproximaciones suaves? Son: 1) aproximación cuántica de la función objetivo alrededor del origen; 2) una restricción particular sobre los hiperparámetros algorítmicos; 3) pesos de inclusión iniciales suficientemente pequeños; y 4) pasos de descenso de gradiente cada vez más pequeños. Afortunadamente, estas condiciones no son demasiado estrictas y, de hecho, son bastante similares a la configuración descrita en el artículo original de word2vec.
Es importante destacar que ninguna de las aproximaciones implica la distribución de datos. De hecho, una enorme fortaleza de la teoría es que no hace supuestos distributivos. Como resultado, la teoría predice exactamente qué características se aprenden en términos de estadísticas del corpus y hiperparámetros algorítmicos. Esto es particularmente útil, ya que las descripciones detalladas de la dinámica de aprendizaje en el entorno independiente de la distribución son raras y difíciles de obtener; Hasta donde sabemos, este es el primero para una tarea práctica de lenguaje natural.
En cuanto a las aproximaciones que hacemos, demostramos empíricamente que nuestro resultado teórico aún proporciona una descripción fiel del word2vec original. Como indicador aproximado de la concordancia entre nuestra configuración aproximada y word2vec verdadero, podemos comparar las puntuaciones empíricas en el punto de referencia de finalización de analogía estándar: word2vec logra un 68 % de precisión, el modelo aproximado que estudiamos logra un 66 % y la alternativa clásica estándar (conocida como PPMI) solo obtiene un 51 %. Consulte nuestro artículo para ver gráficos con comparaciones detalladas.
Para demostrar la utilidad del resultado, aplicamos nuestra teoría para estudiar la aparición de representaciones lineales abstractas (correspondientes a conceptos binarios como masculino/femenino o pasado/futuro). Descubrimos que, a lo largo del aprendizaje, word2vec construye estas representaciones lineales en una secuencia de pasos de aprendizaje ruidosos, y su geometría está bien descrita mediante un modelo de matriz aleatoria con picos. Al principio del entrenamiento, domina la señal semántica; sin embargo, más adelante en el entrenamiento, el ruido puede comenzar a dominar, provocando una degradación de la capacidad del modelo para resolver la representación lineal. Consulte nuestro documento para obtener más detalles.
Con todo, este resultado proporciona una de las primeras teorías completas de forma cerrada sobre el aprendizaje de características en una tarea de lenguaje natural mínima pero relevante. En este sentido, creemos que nuestro trabajo es un importante paso adelante en el proyecto más amplio de obtener soluciones analíticas realistas que describan el rendimiento de algoritmos prácticos de aprendizaje automático.
Obtenga más información sobre nuestro trabajo: enlace al artículo completo
Esta publicación apareció originalmente en el blog de Dhruva Karkada.