Los modelos de lenguaje grande (LLM) son la columna vertebral de numerosas aplicaciones, como agentes conversacionales, creación automatizada de contenido y tareas de comprensión del lenguaje natural. Su eficacia radica en su capacidad para modelar y predecir patrones lingüísticos complejos a partir de vastos conjuntos de datos. Sin embargo, el desarrollo de LLM presenta un desafío importante debido al inmenso costo computacional de la capacitación. Esto implica optimizar modelos con miles de millones de parámetros en corpus masivos, lo que requiere mucho tiempo y hardware. Como consecuencia, Existe la necesidad de metodologías de capacitación innovadoras que puedan mitigar estos desafíos y al mismo tiempo mantener o mejorar la calidad de los LLM.
En el desarrollo de LLM, los enfoques de capacitación tradicionales son ineficientes, ya que tratan todos los datos por igual, independientemente de su complejidad. Estos métodos no priorizan subconjuntos específicos de datos que podrían acelerar el aprendizaje, ni aprovechan los modelos existentes para ayudar en la capacitación. Esto a menudo resulta en un esfuerzo computacional innecesario, ya que las instancias más simples se procesan junto con otras complejas sin diferenciación. Además, el aprendizaje autosupervisado estándar, en el que los modelos predicen el siguiente token de una secuencia, no aprovecha el potencial de modelos más pequeños y menos costosos desde el punto de vista computacional que pueden informar y guiar el entrenamiento de modelos más grandes.
La destilación de conocimiento (KD) se emplea comúnmente para transferir conocimiento de modelos más grandes y bien entrenados a otros más pequeños y eficientes. Sin embargo, este proceso rara vez se ha revertido, donde los modelos más pequeños ayudan a entrenar a los más grandes. Esta brecha representa una oportunidad perdida, ya que los modelos más pequeños, a pesar de su capacidad limitada, pueden proporcionar información valiosa sobre regiones específicas de la distribución de datos. Pueden identificar de manera eficiente instancias “fáciles” y “difíciles”, que pueden influir significativamente en la dinámica de formación de los LLM.
Los investigadores de Google Research y Google DeepMind introdujeron un enfoque novedoso llamado Smodelo de centro comercial Aidentificado lmodelo grande tlloviendo (SAL) para abordar los desafíos antes mencionados. Este método emplea de forma innovadora modelos de lenguaje más pequeños (SLM) para mejorar la eficiencia de la formación LLM. SALT aprovecha los SLM de dos maneras: proporcionando etiquetas suaves como fuente adicional de supervisión durante la fase de capacitación inicial y seleccionando subconjuntos de datos que son particularmente valiosos para el aprendizaje. El enfoque garantiza que los LLM sean guiados por SLM al priorizar secuencias de datos informativas y desafiantes, reduciendo así los requisitos computacionales y mejorando al mismo tiempo la calidad general del modelo entrenado.
SALT opera a través de una metodología de dos fases:
- En la primera fase, los SLM actúan como profesores, transfiriendo sus distribuciones predictivas a los LLM a través de la destilación del conocimiento. Este proceso se centra en alinear las predicciones del LLM con las del SLM en áreas donde este último sobresale. Además, los SLM identifican subconjuntos de datos que son desafiantes y fáciles de aprender, lo que permite al LLM concentrarse en estos ejemplos críticos en las primeras etapas de la capacitación.
- La segunda fase pasa al aprendizaje autosupervisado tradicional, lo que permite al LLM perfeccionar de forma independiente su comprensión de distribuciones de datos más complejas.
Este proceso de dos etapas equilibra el aprovechamiento de las fortalezas de los SLM y la maximización de las capacidades inherentes de los LLM.
En resultados experimentales, una El LLM de 2.800 millones de parámetros entrenado con SALT en el conjunto de datos Pile superó a un modelo de referencia entrenado con métodos convencionales. En particular, el modelo entrenado con SALT logró mejores resultados en puntos de referencia como comprensión lectora, razonamiento de sentido común e inferencia del lenguaje natural utilizando solo el 70% de los pasos de entrenamiento. Esto se tradujo en una reducción de aproximadamente un 28 % en el tiempo de entrenamiento con el reloj de pared. Además, el LLM previamente entrenado con SALT demostró una precisión del 58,99 % en la predicción del siguiente token en comparación con el 57,7 % de la línea de base y exhibió una perplejidad logarítmica más baja de 1,868 frente a 1,951 para la línea de base, lo que indica una calidad mejorada del modelo.
Las conclusiones clave de la investigación incluyen las siguientes:
- SALT redujo los requisitos computacionales para la formación de LLM en casi un 28 %, principalmente mediante la utilización de modelos más pequeños para guiar las fases iniciales de formación.
- El método produjo consistentemente LLM de mejor rendimiento en diversas tareas, incluidos resúmenes, razonamiento aritmético e inferencia en lenguaje natural.
- Al permitir que modelos más pequeños seleccionaran datos desafiantes pero fáciles de aprender, SALT aseguró que los LLM se centraran en puntos de datos de alto valor, acelerando el aprendizaje sin comprometer la calidad.
- El método es particularmente prometedor para instituciones con recursos computacionales limitados. Aprovecha modelos más pequeños y menos costosos para ayudar en el desarrollo de LLM a gran escala.
- Después de un ajuste fino supervisado, los modelos entrenados con SALT mostraron mejores capacidades de generalización en evaluaciones de pocas tomas y tareas posteriores.
En conclusión, SALT redefine efectivamente el paradigma de la formación LLM al transformar modelos más pequeños en valiosas ayudas de formación. Su innovador proceso de dos etapas logra un raro equilibrio entre eficiencia y eficacia, lo que lo convierte en un enfoque pionero en el aprendizaje automático. SALT será fundamental para superar las limitaciones de recursos, mejorar el rendimiento del modelo y democratizar el acceso a tecnologías de inteligencia artificial de vanguardia. Esta investigación subraya la importancia de repensar las prácticas tradicionales y aprovechar las herramientas existentes para lograr más con menos.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.