Los modelos de lenguaje a gran escala se han convertido en parte integral de los avances en el procesamiento del lenguaje natural (PLN), transformando la forma en que las máquinas entienden y generan el lenguaje humano. Estos modelos han demostrado capacidades notables en diversas tareas, como la generación de texto, la traducción y la respuesta a preguntas. Su desarrollo ha sido impulsado por la disponibilidad de conjuntos de datos masivos y el uso de algoritmos sofisticados, lo que les permite procesar y responder de manera similar a la humana. Sin embargo, escalar estos modelos implica costos computacionales significativos, lo que hace que sea cada vez más difícil para todas las instituciones, excepto las mejor financiadas, utilizarlos de manera efectiva. El equilibrio entre la gran potencia de estos modelos y su eficiencia computacional sigue siendo un área crítica de exploración dentro del campo del PLN.
Un desafío clave que enfrenta la comunidad de NLP es el alto costo computacional de entrenar e implementar modelos de lenguaje de última generación. Si bien estos modelos, como GPT-4 y Llama2, ofrecen un rendimiento impresionante, sus requisitos de recursos son enormes. Por ejemplo, se informa que GPT-4 requiere cientos de GPU y grandes cantidades de memoria para funcionar, lo que lo hace inaccesible para equipos de investigación más pequeños y desarrolladores de código abierto. La ineficiencia surge de la estructura densa de estos modelos, donde todos los parámetros se activan para cada entrada. Esta activación densa conduce a un uso innecesario de recursos, especialmente cuando un enfoque más específico podría ser suficiente. El alto costo de usar estos modelos limita el acceso y crea una barrera para la innovación y la experimentación para equipos más pequeños.
Históricamente, el enfoque predominante para este problema ha sido el uso de modelos densos, donde cada capa del modelo activa todos sus parámetros para cada pieza de datos de entrada. Si bien este enfoque garantiza una cobertura integral, es altamente ineficiente en términos de memoria y potencia de procesamiento. Algunos modelos, como Llama2-13B y DeepSeekMoE-16B, han intentado optimizar esto a través de varias arquitecturas. Aun así, estos métodos siguen siendo en gran medida de código cerrado, lo que limita la capacidad de la comunidad en general para mejorarlos o adaptarlos. Los líderes de la industria han adoptado ciertos modelos dispersos, en particular el modelo Gemini-1.5, que ha implementado un enfoque de mezcla de expertos (MoE) para administrar el equilibrio entre costo y rendimiento. A pesar de esto, la mayoría de los modelos dispersos disponibles en la actualidad siguen siendo propietarios y los detalles críticos sobre su entrenamiento y uso de datos a menudo no se divulgan.
Investigadores del Instituto Allen de IA, IA contextual, la Universidad de Washington y la Universidad de Princeton presentaron Ministerio de Educación y CulturaOLMoE es un nuevo modelo de lenguaje de código abierto de mezcla de expertos que combina eficiencia con alto rendimiento. OLMoE introduce una arquitectura dispersa que activa solo un pequeño subconjunto de sus parámetros, o “expertos”, para cada token de entrada, lo que reduce significativamente la potencia computacional necesaria. Este es un cambio importante con respecto a los modelos densos, donde se utilizan todos los parámetros para cada token. Han introducido dos versiones del modelo OLMoE: OLMoE-1B-7B y OLMoE-1B-7B-INSTRUCCIÓNOLMoE-1B-7B tiene un total de 7 mil millones de parámetros, pero utiliza solo mil millones de parámetros activos por token de entrada, mientras que OLMoE-1B-7B-INSTRUCT se basa en esto con ajustes adicionales para mejorar el rendimiento específico de la tarea.
La arquitectura de OLMoE se centra en la eficiencia mediante la implementación de un enrutamiento de grano fino y pequeños grupos de expertos. Incluye 64 pequeños expertos en cada capa, de los cuales solo ocho se activan simultáneamente. Esta granularidad permite que el modelo maneje varias tareas de manera más eficiente que los modelos que activan todos los parámetros por token. El modelo se entrenó previamente con 5 billones de tokens, lo que creó una base sólida para el rendimiento en una amplia gama de tareas de NLP. El proceso de entrenamiento empleó dos pérdidas auxiliares, equilibrio de carga y pérdidas z del enrutador, para garantizar que los parámetros se usen de manera óptima en diferentes capas, lo que mejora la estabilidad y el rendimiento. Estas decisiones de diseño permiten que OLMoE sea más eficiente que modelos densos comparables, como OLMo-7B, que requiere significativamente más parámetros activos por entrada de token.
El rendimiento de OLMoE-1B-7B se ha comparado con varios modelos líderes, lo que demuestra mejoras significativas en la eficiencia y los resultados. Por ejemplo, OLMoE superó a modelos más grandes, incluidos Llama2-13B y DeepSeekMoE-16B, en puntos de referencia comunes de NLP como MMLU, GSM8k y HumanEval. Estos puntos de referencia son importantes porque prueban la capacidad de un modelo en varias tareas, incluido el razonamiento lógico, las matemáticas y la comprensión del lenguaje natural. OLMoE-1B-7B arrojó resultados a la par con estos modelos más grandes mientras usaba solo 1.3 mil millones de parámetros activos, lo que es significativamente más rentable. Esto es particularmente notable porque muestra que los modelos dispersos como OLMoE pueden lograr un rendimiento competitivo sin requerir los vastos recursos computacionales que necesitan los modelos densos. La capacidad de OLMoE para superar a los modelos con 10 veces más parámetros activos demuestra su eficiencia y valor en IA.
En conclusión, OLMoE aborda el problema de la ineficiencia de los modelos densos tradicionales al introducir un enfoque de mezcla de expertos escaso que reduce el uso de recursos sin comprometer los resultados. Con 7 mil millones de parámetros pero solo 1,3 mil millones activados por token, OLMoE-1B-7B y su variante optimizada OLMoE-1B-7B-INSTRUCT brindan soluciones más accesibles para investigadores y desarrolladores que buscan modelos de lenguaje de alto rendimiento sin los costos prohibitivos que suelen asociarse con ellos. Esta iniciativa de código abierto establece un nuevo estándar en el campo al poner su modelo, datos y registros de entrenamiento a disposición del público, lo que fomenta una mayor innovación y experimentación.
Echa un vistazo a la Papel y Tarjeta modelo. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y LinkedInÚnete a nuestro Canal de Telegram. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc. Como ingeniero y emprendedor visionario, Asif está comprometido con aprovechar el potencial de la inteligencia artificial para el bien social. Su iniciativa más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad de noticias sobre aprendizaje automático y aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.