ZEPHYR-7B, un modelo de lenguaje más pequeño optimizado para la alineación de la intención del usuario a través de la optimización de preferencia directa destilada (dDPO) utilizando datos de retroalimentación de IA (AIF). Este enfoque mejora notablemente la alineación de la intención sin anotaciones humanas, logrando el máximo rendimiento en las pruebas comparativas de chat para modelos de parámetros 7B. El método se basa en datos de preferencia de AIF, lo que requiere un tiempo de entrenamiento mínimo y ningún muestreo adicional durante el ajuste, lo que establece un nuevo estado del arte.
Los investigadores abordan la proliferación de LLM como ChatGPT y sus derivados, como LLaMA, MPT, RedPajama-INCITE, Falcon y Llama 2. Destaca los avances en el ajuste fino, el contexto, la generación de recuperación aumentada y la cuantificación. Se analizan técnicas de destilación para mejorar el rendimiento de modelos más pequeños, junto con herramientas y puntos de referencia para la evaluación de modelos. El estudio evalúa el desempeño de ZEPHYR-7B en MTBench, AlpacaEval y HuggingFace Open LLM Leaderboard.
El estudio analizó la mejora de los LLM abiertos más pequeños mediante el ajuste fino supervisado destilado (dSFT) para mejorar la precisión y la alineación de la intención del usuario. Introduce dDPO para alinear los LLM sin anotaciones humanas, basándose en AIF de los modelos docentes. Los investigadores presentan ZEPHYR-7B, una versión alineada de Mistral-7B, lograda a través de dSFT, datos AIF y dDPO, lo que demuestra su rendimiento comparable a los modelos de chat de 70B de parámetros alineados con la retroalimentación humana. Enfatiza la importancia de la alineación de intenciones en el desarrollo de LLM.
El enfoque describe un método para mejorar los modelos de lenguaje, combinando dSFT para entrenar el modelo con datos de alta calidad y dDPO para refinarlo optimizando las preferencias de respuesta. AIF de modelos de profesores se utiliza para mejorar la alineación con la intención del usuario. El proceso implica autoindicación iterativa para generar un conjunto de datos de entrenamiento. El modelo ZEPHYR-7B resultante, logrado a través de dSFT, datos AIF y dDPO, representa un modelo de chat de última generación con una alineación de intenciones mejorada.
ZEPHYR-7B, un modelo de parámetros 7B, establece un nuevo estado del arte en benchmarks de chat, superando a LLAMA2-CHAT-70B, el mejor modelo de acceso abierto basado en RLHF. Compite favorablemente con GPT-3.5-TURBO y CLAUDE 2 en AlpacaEval pero se queda atrás en tareas de matemáticas y codificación. Entre los modelos 7B, el modelo dDPO sobresale, superando a dSFT y Xwin-LM dPPO. Sin embargo, los modelos más grandes superan a ZEPHYR en tareas intensivas en conocimiento. La evaluación en la tabla de clasificación Open LLM muestra la fortaleza de ZEPHYR en tareas de clasificación multiclase, afirmando sus capacidades de razonamiento y veracidad después de realizar ajustes.
ZEPHYR-7B emplea optimización de preferencias directas para mejorar la alineación de intenciones. El estudio subraya los posibles sesgos en el uso de GPT-4 como evaluador y alienta a explorar la capacidad de modelos abiertos más pequeños para alinear la intención del usuario. Señala la omisión de consideraciones de seguridad, como productos nocivos o consejos ilegales, lo que indica la necesidad de futuras investigaciones en esta área vital.
El estudio identifica varias vías para futuras investigaciones. Las consideraciones de seguridad, que abordan los productos nocivos y el asesoramiento ilegal, siguen sin explorarse. Se sugiere investigar el impacto de modelos docentes más amplios en la destilación para mejorar el desempeño del modelo estudiantil. El uso de datos sintéticos en la destilación, aunque desafiante, se reconoce como un área de investigación valiosa. Se recomienda una mayor exploración de modelos abiertos más pequeños y su capacidad para alinearse con la intención del usuario para posibles avances. Se recomienda evaluar ZEPHYR-7B en una gama más amplia de puntos de referencia y tareas para evaluar sus capacidades de manera integral.
Revisar la Papel, GitHuby Manifestación. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 32k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
también estamos en Telegrama y WhatsApp.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.