Los grandes modelos de lenguaje neuronal (LLM), preentrenados en corpus de billones de tokens, han logrado avances notables en el rendimiento (Touvron et al., 2023a; Geng & Liu, 2023). Sin embargo, aún es necesario explorar los beneficios de escalabilidad de dichos datos para los modelos de lenguaje de n-gramas (LM) tradicionales. Este artículo de la Universidad de Washington y el Instituto Allen de Inteligencia Artificial profundiza en la relevancia de los LM de n-gramas en la era de los LLM neuronales e introduce avances innovadores en su modernización.
Los autores afirman la utilidad continua de los LM de ngramas en el análisis de texto y la mejora de los LLM neuronales. Para abordar esto, modernizaron los LM tradicionales de n-gramas ampliando los datos de entrenamiento a una cantidad sin precedentes de 1,4 billones de tokens, rivalizando con el tamaño de los principales corpus de texto de código abierto (Together, 2023; Soldaini et al., 2023). Esto representa el LM de n-gramas más grande hasta la fecha. Partiendo de las restricciones históricas sobre n (por ejemplo, n ≤ 5), los autores destacan las ventajas de un valor de n mayor. La Figura 1 ilustra la capacidad predictiva mejorada de los LM de n-gramas con valores de n más grandes, desafiando las limitaciones convencionales. En consecuencia, introducen el concepto de un LM de ∞-gramo, con n ilimitada, utilizando una variante de retroceso (Jurafsky y Martin, 2000) para mejorar la precisión.
El LM de ∞ gramos aprovecha una matriz de sufijos, reemplazando las poco prácticas tablas de conteo de n gramos. Esta implementación, conocida como motor infini-gram, logra una eficiencia notable con 7 bytes de almacenamiento por token. La matriz de sufijos, construida sobre 1,4 billones de tokens utilizando un nodo de CPU de 80 núcleos en menos de tres días, garantiza consultas de baja latencia y uso eficiente de los recursos en menos de 20 milisegundos para el conteo de n gramos. El motor de ∞ gramos, un testimonio de la innovación, hace que los índices en disco sean parte integral de la inferencia.
El LM de ∞-gramas, una extensión conceptual de los LM de n-gramas, emplea retroceso juiciosamente para mejorar la precisión predictiva. La escasez en las estimaciones de ∞-gramo requiere una interpolación con LM neuronales, lo que aborda los problemas de perplejidad. El documento presenta los tipos de consultas admitidos por Infini-gram y muestra impresionantes puntos de referencia de latencia en la Tabla 1.
A partir de la implementación de la matriz de sufijos, el artículo describe métodos eficientes para el recuento de n-gramas, la recuperación de la posición de ocurrencia y la identificación de documentos. Las estrategias de fragmentación reducen la latencia proporcional a la cantidad de fragmentos, optimizando los tiempos de procesamiento. Las optimizaciones inteligentes, como la reutilización de los resultados de la búsqueda y la búsqueda en el disco, mejoran aún más la velocidad del cálculo de ∞-gramo.
La aplicación de Infini-gram en diversos LM neuronales, incluidos GPT-2, GPT-Neo, LLaMA-2 y SILO, demuestra mejoras consistentes en la perplejidad (Tabla 2). El artículo subraya la importancia de la diversidad de datos y revela la eficacia de ∞-gram para complementar los LM neuronales en diferentes series de modelos.
Los análisis con ∞-grama arrojan luz sobre el texto escrito por humanos y generado por máquinas. En particular, ∞-grama muestra una alta precisión al predecir el siguiente token basándose en prefijos de documentos escritos por humanos. El artículo establece una correlación positiva entre los LM neuronales y el ∞-grama, lo que sugiere el potencial de este último para mejorar el rendimiento de los LM en la predicción de textos escritos por humanos.
El artículo concluye con una perspectiva visionaria y presenta aplicaciones preliminares del motor Infini-gram. Desde comprender los corpus de texto hasta mitigar la infracción de derechos de autor, las posibilidades son diversas. Los autores anticipan más análisis reveladores y aplicaciones innovadoras impulsadas por Infini-gram.
Revisar la Papel y Modelo. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Vineet Kumar es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en el Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en Deep Learning, Computer Vision y campos relacionados.