Los modelos de lenguaje grande (LLM) han marcado el comienzo de una nueva era en el campo de la inteligencia artificial (IA) a través de sus excepcionales capacidades de procesamiento del lenguaje natural. Desde el razonamiento matemático hasta la generación de códigos e incluso la redacción de opiniones legales, los LLM encuentran aplicaciones en casi todos los campos. Para alinear el rendimiento de dichos modelos con el comportamiento deseable, se ajustan utilizando técnicas como el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Sin embargo, el problema es que estos métodos requieren un volumen significativo de datos anotados por humanos, lo que hace que el proceso consuma mucho tiempo y recursos.
En este trabajo de investigación, investigadores de UCLA han intentado potenciar un LLM débil para mejorar su rendimiento sin requerir datos adicionales anotados por humanos. Han introducido un novedoso método de ajuste llamado Ajuste fino de reproducción automática (SPIN)lo que permite al modelo participar en un autojuego, es decir, “jugar” contra sí mismo sin requerir ninguna supervisión directa.
Ha habido trabajos previos para abordar este problema, como el uso de datos sintéticos con retroalimentación binaria en el autoentrenamiento y el empleo de un modelo débil para guiar al más fuerte. SPIN, sin embargo, es un enfoque más eficiente que elimina la necesidad de retroalimentación binaria humana y funciona de manera efectiva con un solo LLM.
Todo el proceso podría verse como un juego de dos jugadores en el que el primer modelo genera respuestas lo más cercanas posible a las del conjunto de datos anotado por humanos, y el segundo modelo intenta distinguir entre las respuestas del otro modelo y las generadas por humanos. respuestas. Este último se obtiene ajustando el primero para preferir las respuestas del conjunto de datos objetivo a la respuesta generada por el primer modelo. En la siguiente iteración, los modelos cambian sus roles (generando respuestas y discerniéndolas), y el proceso continúa hasta la iteración donde el LLM no puede diferenciar entre la respuesta generada por su versión anterior y las generadas por el humano.
Los autores demostraron la eficacia de SPIN mediante un ejemplo. Cuando se le pidió a un LLM que enumerara las formas de transporte populares en Southampton, en la iteración cero, el modelo comenzó a alucinar y proporcionó una distribución incorrecta de los modos de transporte. Sin embargo, en el siguiente paso, dio una respuesta que se alineaba más estrechamente con la verdad fundamental.
Los investigadores utilizaron el zephyr-7b-sft-completo para evaluar el marco. El modelo se derivó del Mistral-7B previamente entrenado y se perfeccionó aún más en un conjunto de datos SFT. El modelo base se utilizó para generar respuestas sintéticas en 50.000 mensajes muestreados aleatoriamente del conjunto de datos. Los resultados muestran que SPIN mejoró la puntuación promedio del modelo en un 2,66 % en la iteración 0. En la siguiente iteración, se utilizó el modelo LLM de la iteración anterior para generar nuevas respuestas para SPIN, lo que mejoró aún más la puntuación promedio en un 1,32 %.
En conclusión, SPIN es un marco novedoso que convierte un LLM débil en uno fuerte sin la necesidad de un anotador humano experto. Utilizando un mecanismo de reproducción automática, pudo mejorar significativamente el rendimiento de un modelo ajustado en un conjunto de datos SFT. Sin embargo, existen algunas limitaciones en su enfoque, lo que pone un límite al rendimiento del LLM ajustado. Sin embargo, este problema podría resolverse cambiando dinámicamente la distribución de datos objetivo, y los investigadores dejaron este tema para trabajos futuros.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordia, LinkedIn Grarriba, Gorjeoy Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.