Los LLM como GPT, Gemini y Claude han logrado un rendimiento notable, pero siguen siendo propietarios y se divulgan detalles limitados de capacitación. Los modelos de código abierto como LLaMA-3 han proporcionado ponderaciones, pero necesitan más transparencia en los datos y métodos de entrenamiento. Los esfuerzos para crear LLM totalmente transparentes, como Pythia, Amber y OLMo, tienen como objetivo mejorar la investigación científica al compartir más detalles, incluidos datos previos a la capacitación y códigos de capacitación. A pesar de estos esfuerzos, los LLM de código abierto aún necesitan ponerse al día en comparación con los modelos más modernos en tareas como razonamiento, conocimiento y codificación. Una mayor transparencia es crucial para democratizar el desarrollo de LLM y promover la investigación académica.
Investigadores de MAP, la Universidad de Waterloo, Wuhan AI Research y 01.AI han lanzado MAP-Neo, un modelo de lenguaje bilingüe transparente y altamente capaz con 7 mil millones de parámetros, entrenado en 4,5 billones de tokens de alta calidad. Este modelo, totalmente de código abierto, iguala el rendimiento de los principales LLM de código cerrado. La versión incluye el corpus previo a la capacitación limpio, el proceso de limpieza de datos, puntos de control y un marco de capacitación y evaluación optimizado. La documentación completa cubre la curación de datos, la arquitectura de modelos, los procesos de capacitación, los códigos de evaluación y los conocimientos sobre la creación de LLM, con el objetivo de apoyar e inspirar a la comunidad investigadora global, especialmente en las regiones donde no se habla inglés.
El avance de los LLM de código abierto es crucial para la investigación y las aplicaciones de la IA. Los esfuerzos recientes se centran en mejorar tanto el desempeño como la transparencia. MAP-Neo-7B se destaca por integrar puntos de control intermedios, un proceso integral de limpieza de datos, corpus de preentrenamiento accesible y código de reproducción, a diferencia de los modelos Mistral, LLaMA3, Pythia, Amber y OLMo. MAP-Neo-7B sobresale en los puntos de referencia de comprensión de chino e inglés (C-EVAL, MMLU), capacidad matemática (GSM8K) y codificación (HumanEval). Logra puntuaciones altas en todas las pruebas y establece un nuevo estándar de transparencia y rendimiento, promoviendo la confiabilidad y la colaboración en la comunidad de investigación.
El tokenizador se entrena utilizando codificación de par de bytes (BPE) a través de SentencePieza en 50 mil millones de muestras, con una longitud de límite de 64.000. Se da prioridad al código, las matemáticas y los datos académicos. El tamaño del vocabulario es 64.000 con una longitud máxima de frase de 16 para mejorar el rendimiento en chino. Los números se tokenizan como dígitos individuales y los caracteres UTF-8 desconocidos vuelven a la granularidad de bytes. No se aplica ninguna normalización ni prefijos ficticios, lo que mantiene la cobertura de caracteres en un 99,99 %. La eliminación de espacios en blanco adicionales está deshabilitada para preservar el formato del código y mejorar el rendimiento después de solucionar los problemas de capacitación inicial. La eficiencia del tokenizador varía según los diferentes idiomas y fuentes de datos.
La familia de modelos MAP-Neo exhibe un rendimiento impresionante en todas las pruebas comparativas para los modelos base y de chat. Sobresale particularmente en tareas de código, matemáticas y seguimiento de instrucciones. MAP-Neo supera a otros modelos en los puntos de referencia estándar, lo que demuestra su valor académico y práctico. Los datos de alta calidad del modelo base contribuyen a sus resultados superiores en tareas de razonamiento complejas. En comparación con otros LLM transparentes, MAP-Neo muestra avances significativos. La eficacia de Iterative DPO es evidente, con mejoras sustanciales en los puntos de referencia relacionados con el chat. Sin embargo, las capacidades limitadas de ciertos modelos básicos restringen su rendimiento en pruebas comparativas de chat ajustadas a instrucciones.
En conclusión, el colonialismo de datos es una preocupación ya que las empresas explotan los algoritmos, lo que conduce a la manipulación del comportamiento humano y el dominio del mercado. La concentración de capacidades de IA en grandes empresas tecnológicas y universidades de élite resalta la necesidad de democratizar el acceso a la IA para contrarrestar el colonialismo de datos. Si bien los modelos de código abierto ofrecen una alternativa, a menudo necesitan total transparencia en los procesos de desarrollo, lo que dificulta la confianza y la reproducibilidad. El modelo MAP-Neo aborda estos problemas al ser un LLM bilingüe totalmente de código abierto, que detalla todos los procesos clave. Esta transparencia puede reducir los costos de implementación, particularmente para los LLM chinos, promoviendo la inclusión de la innovación y mitigando el predominio de los LLM en inglés.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 43k+ ML | Además, consulte nuestro Plataforma de eventos de IA
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.