Este ensayo tiene como objetivo discutir el desarrollo de los algoritmos word2vec y GloVe en relación con un propósito secundario para el cual se han aplicado estos algoritmos: el análisis de conceptos contenidos en corpus de texto. En primer lugar, se analiza el algoritmo word2vec a la luz de su contexto histórico. Luego, se describe la tarea de completar analogías que destacó el potencial de la aritmética semántica posible con las incrustaciones de word2vec. Finalmente, se contrasta el desarrollo del algoritmo GloVe con el algoritmo word2vec.
El algoritmo word2vec (Mikolov et al., 2013a) combina dos ideas técnicas principales: (1) los vectores continuos se pueden utilizar para representar información semántica (2) y las representaciones internas aprendidas por las redes neuronales son conceptualmente significativas. Sin embargo, cuando se presentó el algoritmo en 2013, ni la representación continua de la información semántica ni el valor conceptual de las representaciones internas eran ideas nuevas. Más específicamente, en el espacio de recuperación de información, el análisis semántico latente (LSA; Deerwester et al., 1990) y la asignación de Dirichlet latente (Blei et al., 2003) se propusieron como métodos estadísticos que aprovechan la información semántica latente en los textos para mejorar los métodos que trataban las palabras como características indexicales (que existen…