El campo del procesamiento del lenguaje natural se ha transformado con la llegada de los modelos de lenguaje grande (LLM), que brindan una amplia gama de capacidades, desde la generación de texto simple hasta la resolución sofisticada de problemas y la IA conversacional. Gracias a sus arquitecturas sofisticadas y sus inmensos requisitos computacionales, estos modelos se han vuelto indispensables en las aplicaciones de IA basadas en la nube. Sin embargo, implementar estos modelos en servicios en la nube presenta desafíos únicos, particularmente en el manejo de la naturaleza dinámica e iterativa de la generación de texto autorregresivo, especialmente para tareas que involucran contextos largos. Los servicios tradicionales de LLM basados en la nube a menudo necesitan una gestión de recursos más eficiente, lo que provoca una degradación del rendimiento y un desperdicio de recursos.
El problema principal radica en la naturaleza dinámica de los LLM, donde cada token recién generado se agrega al corpus de texto existente, formando la entrada para la recalibración dentro del LLM. Este proceso requiere memoria y recursos computacionales sustanciales y fluctuantes, lo que presenta desafíos importantes en el diseño de sistemas de servicios LLM eficientes basados en la nube. Los sistemas actuales, como PagedAttention, han intentado gestionar esto facilitando el intercambio de datos entre la memoria de la GPU y la CPU. Sin embargo, estos métodos están limitados por su alcance, ya que están restringidos a la memoria dentro de un único nodo y, por lo tanto, no pueden manejar de manera eficiente longitudes de contexto extremadamente largas.
En respuesta, el Grupo Ali Baba y los investigadores de la Universidad Jiao Tong de Shanghai introducen un innovador algoritmo de atención distribuida, DistAttention, que segmenta la caché de valor clave (KV) en unidades más pequeñas y manejables, lo que permite el procesamiento y almacenamiento distribuido del módulo de atención. Esta segmentación maneja de manera eficiente longitudes de contexto excepcionalmente largas, evitando las fluctuaciones de rendimiento típicamente asociadas con el intercambio de datos o los procesos de migración en vivo. El documento propone DistKV-LLM, un sistema de servicio LLM distribuido que administra dinámicamente KV Cache y organiza todas las memorias GPU y CPU accesibles en todo el centro de datos.
DistAttention descompone el cálculo de atención tradicional en unidades más pequeñas llamadas macroatenciones (MA) y sus correspondientes cachés KV (rBlocks). Este enfoque permite estrategias de paralelismo de modelos independientes y gestión de memoria para las capas de atención frente a otras capas dentro del bloque Transformer. DistKV-LLM se destaca en la gestión de estos cachés KV, coordinando el uso de la memoria de manera eficiente entre las GPU y CPU distribuidas en todo el centro de datos. Cuando una instancia de servicio LLM enfrenta un déficit de memoria debido a la expansión de KV Cache, DistKV-LLM toma prestada de manera proactiva memoria suplementaria de instancias menos cargadas. Este complejo protocolo facilita interacciones eficientes, escalables y coherentes entre numerosas instancias del servicio LLM que se ejecutan en la nube, lo que mejora el rendimiento general y la confiabilidad del servicio LLM.
El sistema mostró mejoras significativas en el rendimiento de extremo a extremo, logrando un rendimiento entre 1,03 y 2,4 veces mejor que los sistemas de servicios LLM de última generación existentes. También admitía longitudes de contexto hasta 219 veces más largas que los sistemas actuales, como lo demuestran las pruebas exhaustivas en 18 conjuntos de datos con longitudes de contexto de hasta 1900 000. Estas pruebas se realizaron en un entorno de nube con 32 GPU NVIDIA A100 en configuraciones de 2 a 32 instancias. El rendimiento mejorado se atribuye a la capacidad de DistKV-LLM para organizar recursos de memoria en todo el centro de datos de manera efectiva, lo que garantiza un servicio LLM de alto rendimiento adaptable a una amplia gama de longitudes de contexto.
Esta investigación ofrece una solución innovadora a los desafíos que enfrentan los servicios LLM en entornos de nube, especialmente para tareas de contexto prolongado. Los sistemas DistAttention y DistKV-LLM representan un importante avance para abordar los problemas críticos de la asignación dinámica de recursos y la gestión eficiente de la memoria. Este enfoque innovador allana el camino para servicios en la nube LLM más robustos y escalables, estableciendo un nuevo estándar para implementar grandes modelos lingüísticos en aplicaciones basadas en la nube.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Muhammad Athar Ganaie, pasante de consultoría en MarktechPost, es un defensor del aprendizaje profundo eficiente, con especial atención en la capacitación dispersa. Cursando un M.Sc. en Ingeniería Eléctrica, con especialización en Ingeniería de Software, combina conocimientos técnicos avanzados con aplicaciones prácticas. Su esfuerzo actual es su tesis sobre “Mejora de la eficiencia en el aprendizaje por refuerzo profundo”, que muestra su compromiso de mejorar las capacidades de la IA. El trabajo de Athar se encuentra en la intersección “Capacitación escasa en DNN” y “Aprendizaje por refuerzo profundo”.