La memoria es importante para la inteligencia, ya que ayuda a recordar experiencias pasadas y aplicarlas a situaciones actuales. Sin embargo, debido a la forma en que funciona su mecanismo de atención, tanto los modelos Transformer convencionales como los modelos de lenguaje grande (LLM) basados en Transformer tienen limitaciones cuando se trata de memoria dependiente del contexto. El consumo de memoria y el tiempo de cálculo de este mecanismo de atención son ambos de complejidad cuadrática.
Los sistemas de memoria compresiva presentan un sustituto viable, con el objetivo de ser más eficientes y escalables para gestionar secuencias muy largas. Los sistemas de memoria compresiva mantienen bajo control los costos de almacenamiento y computación al mantener un número constante de parámetros para almacenar y recuperar información, en contraste con los mecanismos de atención clásicos que necesitan que la memoria se expanda con la duración de la secuencia de entrada.
El objetivo del proceso de ajuste de parámetros de este sistema es asimilar nueva información en la memoria manteniendo su recuperabilidad. Sin embargo, los LLM existentes aún no han adoptado un método de memoria compresiva eficiente que logre un compromiso entre simplicidad y calidad.
Para superar estas limitaciones, un equipo de investigadores de Google ha propuesto una solución única que permite a los LLM de Transformer manejar entradas arbitrariamente largas con una huella de memoria y potencia informática limitadas. Un componente clave de su enfoque es un mecanismo de atención conocido como Infini-atención, que combina atención lineal a largo plazo y atención local enmascarada en un único bloque Transformer e incluye memoria compresiva en el proceso de atención convencional.
El principal avance de Infini-attention es su capacidad para gestionar eficazmente la memoria mientras se procesan secuencias largas. El modelo puede almacenar y recuperar datos con un conjunto fijo de parámetros mediante el uso de memoria compresiva, lo que elimina la necesidad de que la memoria se expanda con la longitud de la secuencia de entrada. Esto mantiene los costos informáticos dentro de límites razonables y ayuda a controlar el consumo de memoria.
El equipo ha compartido que este método ha demostrado ser eficaz en una serie de tareas, como tareas de resumen de libros con secuencias de entrada de 500.000 tokens, recuperación de bloques de contexto de clave de acceso para secuencias de hasta 1 millón de tokens de longitud y modelado de lenguaje de contexto largo. puntos de referencia. Para resolver estas tareas se han utilizado LLM de tamaños que van desde mil millones a 8 mil millones de parámetros.
La capacidad de incluir parámetros mínimos de memoria limitada, es decir, limitar y anticipar los requisitos de memoria del modelo, es una de las principales ventajas de este enfoque. Además, el enfoque sugerido ha hecho posible la inferencia de transmisión rápida para LLM, que permite analizar la entrada secuencial de manera eficiente en circunstancias en tiempo real o casi en tiempo real.
El equipo ha resumido sus principales contribuciones de la siguiente manera:
- El equipo ha presentado Infini-attention, un mecanismo de atención único que combina la atención causal local con la memoria compresiva a largo plazo. Este método es útil y efectivo ya que representa efectivamente dependencias contextuales tanto en distancias cortas como largas.
- El mecanismo estándar de atención de productos escalados sólo necesita modificarse ligeramente para adaptarse a la atención infinita. Esto permite un preentrenamiento continuo plug-and-play y una adaptación a largo plazo, y simplifica la incorporación a las estructuras actuales de Transformer.
- El método mantiene la memoria y los recursos computacionales limitados al tiempo que permite que los LLM basados en Transformer se adapten a contextos infinitamente largos. El enfoque garantiza una utilización óptima de los recursos mediante el procesamiento de entradas muy largas en modo de transmisión, lo que permite a los LLM funcionar bien en aplicaciones de datos a gran escala del mundo real.
En conclusión, este estudio es un gran paso adelante para los LLM, ya que permite el manejo eficiente de entradas muy largas en términos de cálculo y utilización de memoria.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de más de 40.000 ml
¿Quiere estar frente a 1,5 millones de audiencias de IA? Trabaja con nosotros aquí
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería en Ciencias de la Computación con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.