Los investigadores de IBM han introducido LAB (Alineación a gran escala para chatbots) para abordar los desafíos de escalabilidad encontrados durante la fase de ajuste de instrucciones del entrenamiento de modelos de lenguaje grandes (LLM). Si bien los LLM han revolucionado las aplicaciones de procesamiento del lenguaje natural (NLP), la fase de ajuste de instrucciones y el ajuste de los modelos para tareas específicas requieren altos requisitos de recursos y son altamente confiables de anotaciones humanas y modelos propietarios como GPT-4. Este requisito presenta desafíos en términos de costo, escalabilidad y acceso a datos de capacitación de alta calidad.
Actualmente, el ajuste de instrucciones implica capacitar a los LLM en tareas específicas utilizando datos anotados por humanos o datos sintéticos generados por modelos previamente entrenados como GPT-4. Estos métodos son costosos, no escalables y es posible que no permitan retener el conocimiento y adaptarse a nuevas tareas. Para abordar estos desafíos, el artículo presenta LAB (Alineación a gran escala para chatbots), una metodología novedosa para el ajuste de instrucciones. LAB aprovecha un proceso de generación de datos sintéticos guiado por taxonomía y un marco de ajuste de múltiples fases para reducir la dependencia de costosas anotaciones humanas y modelos propietarios. Este enfoque tiene como objetivo mejorar las capacidades de LLM y los comportamientos de seguimiento de instrucciones sin los inconvenientes de un olvido catastrófico, ofreciendo una solución rentable y escalable para la formación de LLM.
LAB consta de dos componentes principales: un método de generación de datos sintéticos basado en taxonomía y un marco de capacitación de múltiples fases. La taxonomía organiza las tareas en ramas de conocimiento, habilidades fundamentales y habilidades de composición, lo que permite la curación y generación de datos específicos. La generación de datos sintéticos se guía por la taxonomía para garantizar la diversidad y la calidad de los datos generados. El marco de capacitación de múltiples fases comprende fases de ajuste de conocimientos y de habilidades, con un búfer de repetición para evitar olvidos catastróficos. Los resultados empíricos demuestran que los modelos entrenados en LAB logran un rendimiento competitivo en varios puntos de referencia en comparación con los modelos entrenados con datos sintéticos tradicionales anotados por humanos o generados por GPT-4. LAB se evalúa mediante seis métricas diferentes, incluidas MT-Bench, MMLU, ARC, HellaSwag, Winograde y GSM8k, y los resultados demuestran que los modelos entrenados por LAB funcionan de manera competitiva en una amplia gama de tareas de procesamiento del lenguaje natural, superando los excelentes modelos anteriores. -ajustado por Gpt-4 o datos anotados por humanos. LABRADORITE-13B y MERLINITE-7B, alineados con LAB, superan a los modelos existentes en cuanto a capacidad de chatbot al tiempo que mantienen las capacidades de conocimiento y razonamiento.
En conclusión, el artículo presenta LAB como una metodología novedosa para abordar los desafíos de escalabilidad en el ajuste de la instrucción para LLM. LAB ofrece una solución rentable y escalable para mejorar las capacidades de LLM sin olvidos catastróficos aprovechando la generación de datos sintéticos guiados por taxonomía y un marco de capacitación de múltiples fases. El método propuesto logra un rendimiento de última generación en capacidad de chatbot manteniendo al mismo tiempo las capacidades de conocimiento y razonamiento. LAB representa un importante paso adelante en la formación eficiente de LLM para una amplia gama de aplicaciones.
Revisar la Papel y Blog. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 38k+ ML
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.