Modelos de lenguajes grandes (LLM) han logrado importantes avances en inteligencia artificial, con un rendimiento superior en diversas tareas a medida que crecen sus parámetros y datos de entrenamiento. GPT-3, PaLM, y Llama-3.1 Funciona bien en muchas aplicaciones con miles de millones de parámetros. Sin embargo, cuando se implementa en plataformas de bajo consumo, escalar LLM plantea graves dificultades con respecto a las consultas de entrenamiento e inferencia. Si bien todavía era experimental y poco común, el escalamiento demostró ser eficaz para llegar a un mayor número de personas con el tiempo y, a medida que avanzaba el proceso, se volvió muy insostenible. También es necesario habilitar la posibilidad de aplicar LLM en dispositivos con poca potencia computacional para abordar aspectos más fundamentales del razonamiento y producir más tokens.
Los métodos actuales para optimizar modelos de lenguaje grandes comprenden escalada, poda, destilacióny cuantificación. El escalado mejora el rendimiento al aumentar los parámetros, pero exige mayores recursos. La poda elimina componentes del modelo menos críticos para reducir el tamaño, pero a menudo sacrifica el rendimiento. La destilación entrena modelos más pequeños para replicar modelos más grandes, pero normalmente da como resultado una densidad más baja. La cuantificación reduce la precisión numérica para lograr eficiencia, pero puede degradar los resultados. Estos métodos no logran equilibrar bien la eficiencia y el rendimiento, por lo que hay un cambio hacia la optimización”densidad”como una métrica más sostenible para desarrollar modelos de lenguaje grandes.
Para solucionar esto, investigadores de Universidad de Tsinghua y ModeloBest Inc. propuso el concepto de “Densidad de capacidad” como una nueva métrica para evaluar la calidad de LLM en diferentes escalas y describir sus tendencias en términos de eficacia y eficiencia. La densidad de modelos de lenguaje grandes (LLM) es la relación entre el tamaño efectivo del parámetro y el tamaño real del parámetro. El tamaño efectivo del parámetro representa la cantidad de parámetros que necesita un modelo de referencia para igualar el rendimiento de un modelo determinado. Esto se estima utilizando la Ley de escala en dos pasos: (1) ajustar una función entre el tamaño del parámetro y la pérdida del modelo de lenguaje y (2) predecir el desempeño de la tarea posterior utilizando una función sigmoidea. El tamaño efectivo del parámetro se calcula después de la pérdida de ajuste y el rendimiento. La densidad del modelo se calcula como la relación entre el tamaño efectivo del parámetro y el tamaño real, donde una mayor densidad sugiere un mejor rendimiento por parámetro. Es un concepto muy útil para optimizar modelos, principalmente para implementación en dispositivos con recursos limitados.
Los investigadores analizaron 29 modelos preentrenados de código abierto y evaluó el rendimiento de modelos de lenguaje grandes (LLM) en varios conjuntos de datos, incluidos MMLU, BBH, MATEMÁTICAS, evaluación humanay MBPPen configuraciones de pocos disparos como 5 disparos, 3 disparos, y 0 disparos, utilizando herramientas de código abierto para la evaluación comparativa. Los modelos se entrenaron con diferentes tamaños de parámetros, longitudes de tokens y escalas de datos, aplicando técnicas como indicaciones de cadena de pensamiento y diferentes programadores de tasas de aprendizaje. Las curvas de escala de rendimiento se obtuvieron entrenando modelos en diferentes tamaños de token, con modelos como Llama, Halcón, MPT, Fi, Mistraly MiniCPM siendo probado en varias configuraciones. Con el tiempo, la densidad de estos modelos aumentó significativamente, con modelos más nuevos, como MiniCPM-3-4Blogrando densidades más altas que los modelos más antiguos. Un modelo de regresión lineal indicó que la densidad LLM se duplica aproximadamente cada 95 días. Esto significa que los diseños con capacidades más modestas y costos más bajos pronto podrán competir con modelos más grandes y complicados, y los avances tecnológicos abrirán el camino a diseños aún más eficientes.
En conclusión, el método propuesto destacó el aumento exponencial de la densidad de capacidad en LLM mostrando un rápido desarrollo y mejoras en la eficiencia. Los resultados de la evaluación de algunos ampliamente utilizados. LLM Los puntos de referencia indicaron que la densidad de LLM se duplica cada tres meses. Los investigadores también propusieron el cambio hacia la inferencia FLOP para evaluar la densidad considerando un razonamiento más profundo. Este método se puede utilizar para futuras investigaciones y puede suponer un punto de inflexión en el ámbito de la LLM!
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
🚨 [Must Subscribe]: Suscríbase a nuestro boletín para recibir actualizaciones sobre investigaciones y desarrollo de IA
Divyesh es pasante de consultoría en Marktechpost. Está cursando un BTech en Ingeniería Agrícola y Alimentaria en el Instituto Indio de Tecnología de Kharagpur. Es un entusiasta de la ciencia de datos y el aprendizaje automático que quiere integrar estas tecnologías líderes en el ámbito agrícola y resolver desafíos.