Los modelos de lenguajes grandes (LLM) como GPT-4 y Llama-2 son potentes pero requieren importantes recursos computacionales, lo que los hace poco prácticos para dispositivos más pequeños. Los modelos de transformadores basados en la atención, en particular, tienen altas demandas de memoria y una complejidad computacional cuadrática, lo que limita su eficiencia. Los modelos de espacio de estados (SSM), como Mamba, ofrecen una alternativa con menor complejidad, pero su memoria limitada obstaculiza el desempeño en tareas complejas. Los modelos híbridos existentes que combinan secuencialmente capas de transformador y SSM a menudo carecen de la sinergia necesaria para un rendimiento óptimo.
NVIDIA lanza Hymba: una arquitectura paralela de cabezal híbrido
NVIDIA ha presentado Hymba, una nueva familia de modelos de lenguajes pequeños que presentan una arquitectura híbrida que combina cabezales Mamba y Attention ejecutándose en paralelo. Este modelo, con 1.500 millones de parámetros, tiene como objetivo abordar los desafíos de eficiencia y rendimiento que enfrentan los modelos de PNL más pequeños mientras se entrena en 1,5 billones de tokens.
Los modelos Hymba de NVIDIA cuentan con una arquitectura paralela de cabezal híbrido que integra mecanismos de atención del transformador con SSM para mejorar la eficiencia. Esta arquitectura permite que los jefes de atención y los jefes de SSM procesen datos de entrada en paralelo, combinando las fortalezas de ambos enfoques. Los cabezales de atención proporcionan recuperación de memoria de alta resolución, mientras que los cabezales SSM permiten un resumen de contexto eficiente.
Hymba también presenta metatokens que se pueden aprender, que se anteponen a cada mensaje de entrada para ayudar a almacenar información crítica y reducir la carga sobre los mecanismos de atención. La arquitectura del modelo se optimiza aún más con el intercambio de valores clave (KV) entre capas y la atención parcial de la ventana deslizante para mantener un tamaño de caché compacto, abordando las limitaciones de memoria de manera efectiva.
Detalles técnicos
El modelo Hymba-1.5B combina Mamba y cabezales de atención que se ejecutan en paralelo con metatokens para mejorar la eficiencia. Esta configuración reduce la carga computacional de los transformadores sin comprometer la recuperación de la memoria. Hymba incluye 16 estados SSM y 3 capas de atención completa, mientras que el resto utiliza atención de ventana deslizante para equilibrar la eficiencia con la resolución de la memoria. También presenta FlexAttention de PyTorch 2.5, lo que agrega flexibilidad al entrenamiento y la inferencia del modelo.
Una característica clave de Hymba es la capacidad de compartir la caché KV entre múltiples capas y entre cabezales dentro de la misma capa, lo que reduce significativamente el uso de memoria. La combinación de atención de ventana deslizante y cachés KV compartidas minimiza la complejidad computacional, lo que hace que Hymba sea más eficiente en comparación con otros modelos de tamaño similar.
Eficiencia, rendimiento y versatilidad
Hymba demuestra que los modelos de lenguaje pequeños pueden lograr un rendimiento competitivo y al mismo tiempo ser computacionalmente eficientes. En los puntos de referencia, el modelo Hymba-1.5B-Base superó a todos los modelos públicos sub-2B y superó a Llama-3.2-3B con una precisión promedio un 1,32% mayor, una reducción de 11,67 veces en el tamaño de la caché y un rendimiento 3,49 veces mayor. Esto hace que Hymba sea adecuado para su implementación en hardware más pequeño y menos capaz.
La atención híbrida de Hymba y la configuración SSM mejoran el rendimiento en una variedad de tareas, incluidas evaluaciones comparativas generales y tareas de recuperación intensiva. Su rendimiento es de alrededor de 664 tokens por segundo, significativamente mayor en comparación con otros modelos como SmolLM2 o Llama-3.2-3B, que enfrentaron problemas de falta de memoria durante escenarios de prueba similares. Estas métricas resaltan la idoneidad de Hymba para escenarios de implementación prácticos donde tanto la velocidad como la eficiencia de la memoria son esenciales.
Conclusión
La familia Hymba de modelos de lenguajes pequeños de NVIDIA representa un avance notable en la eficiencia y versatilidad de las tecnologías de PNL. Al combinar la atención del transformador y los modelos de espacio de estados a través de su arquitectura paralela de cabezal híbrido, Hymba proporciona un camino para implementar capacidades de PNL efectivas en dispositivos con recursos limitados. Los requisitos de memoria reducidos del modelo, el mayor rendimiento y el uso innovador de metatokens y el uso compartido de KV entre capas lo convierten en una opción prometedora para futuras aplicaciones de modelos de lenguaje donde la eficiencia y la precisión son críticas.
Verificar el Papel. Para aquellos interesados en explorar más a fondo los modelos Hymba, NVIDIA los ha puesto a disposición en Hugging Face: Hymba-1.5B-Base y Hymba-1.5B-Instrucción. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferencia virtual gratuita sobre GenAI con Meta, Mistral, Salesforce, Harvey AI y más. Únase a nosotros el 11 de diciembre en este evento virtual gratuito para aprender lo que se necesita para construir a lo grande con modelos pequeños de pioneros de la IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face y más.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.