En el campo de la Inteligencia Artificial (IA) y el Aprendizaje Automático (ML), que avanza significativamente, es crucial desarrollar sistemas inteligentes que se alineen suavemente con las preferencias humanas. El desarrollo de modelos de lenguaje grande (LLM), que buscan imitar a los humanos generando contenido y respondiendo preguntas como un humano, ha generado una enorme popularidad en la IA.
SteerLM, que se introdujo recientemente como una técnica para el ajuste fino supervisado, brinda a los usuarios finales más control sobre las respuestas del modelo durante la inferencia. A diferencia de los métodos tradicionales como el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), SteerLM utiliza una colección multidimensional de cualidades expresamente declaradas. Esto brinda a los usuarios la capacidad de dirigir la IA para producir respuestas que satisfagan estándares preestablecidos, como la utilidad, y permitan la personalización según requisitos particulares.
El criterio que diferencia las respuestas más útiles de las menos útiles no está bien definido en los conjuntos de datos de código abierto actualmente disponibles para entrenar modelos lingüísticos sobre preferencias de utilidad. Como resultado, los modelos entrenados en estos conjuntos de datos a veces aprenden involuntariamente a favorecer artefactos específicos del conjunto de datos, como dar a las respuestas más largas más peso del que realmente tienen, incluso cuando esas respuestas no son tan útiles.
Para superar este desafío, un equipo de investigadores de NVIDIA ha introducido un conjunto de datos llamado HELPSTEER, una extensa compilación creada para anotar muchos elementos que influyen en la utilidad de las respuestas. Este conjunto de datos tiene un tamaño de muestra grande de 37.000 muestras y tiene anotaciones de detalle, coherencia, precisión y complejidad. También tiene una calificación general de utilidad para cada respuesta. Estas características van más allá de una simple preferencia basada en la longitud para ofrecer una visión más matizada de lo que constituye una respuesta verdaderamente útil.
El equipo utilizó el modelo Llama 2 70B con el enfoque STEERLM para entrenar modelos de lenguaje de manera eficiente en este conjunto de datos. El modelo final superó a todos los demás modelos abiertos sin utilizar datos de entrenamiento de modelos más complejos como GPT-4, logrando una puntuación alta de 7,54 en MT Bench. Esto demuestra qué tan bien funciona el conjunto de datos HELPSTEER para mejorar el rendimiento del modelo de lenguaje y resolver problemas con otros conjuntos de datos.
El equipo ha puesto a disposición el conjunto de datos HELPSTEER para su uso bajo la licencia internacional Creative Commons Attribution 4.0. Este conjunto de datos disponible públicamente puede ser utilizado por investigadores y desarrolladores de lenguajes para continuar con el desarrollo y las pruebas de modelos de lenguaje centrados en las preferencias de utilidad. Se puede acceder al conjunto de datos en HuggingFace en https://huggingface.co/datasets/nvidia/HelpSteer.
El equipo ha resumido sus principales contribuciones de la siguiente manera:
- Se ha desarrollado un conjunto de datos de utilidad de 37.000 muestras que consta de respuestas comentadas sobre precisión, coherencia, complejidad, verbosidad y utilidad general.
- Llama 2 70B se entrenó utilizando el conjunto de datos y logró una puntuación líder en MT Bench de 7,54, superando a los modelos que no dependen de datos privados, incluido GPT4.
- El conjunto de datos se puso a disposición del público bajo una licencia CC-BY-4.0 para promover el acceso de la comunidad para su posterior estudio y desarrollo en función de los hallazgos.
En conclusión, el conjunto de datos HELPSTEER es una excelente introducción, ya que llena un vacío significativo en los conjuntos de datos de código abierto actualmente disponibles. El conjunto de datos ha demostrado eficacia en la educación de modelos lingüísticos para dar prioridad a características como precisión, coherencia, complejidad y expresividad, lo que conduce a mejores resultados.
Revisar la Papel y Conjunto de datos. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.