Baidu ha recibido oficialmente su última serie Ernie 4.5, una poderosa familia de modelos de base diseñados para una mejor comprensión del lenguaje, razonamiento y generación. El lanzamiento incluye diez variantes de modelo que van desde modelos densos de 0.3b compactos hasta arquitecturas masivas de mezcla de expertos (MOE), con la mayor variante por un total de parámetros 424B. Estos modelos ahora están disponibles gratuitamente para la comunidad global de investigación y desarrollador a través de abrazaderas, permitiendo una experimentación abierta y un acceso más amplio a la tecnología de idiomas chino y multilingüe de vanguardia.
Descripción técnica de la arquitectura Ernie 4.5
La serie Ernie 4.5 se basa en las iteraciones anteriores de Baidu de los modelos Ernie al introducir arquitecturas de modelos avanzadas, incluidos diseños MOE densos y escasamente activados. Las variantes MOE son particularmente notables para los recuentos de parámetros de escala de manera eficiente: las variantes Ernie 4.5-MOE-3B y Ernie 4.5-MOE-47B activan solo un subconjunto de expertos por token de entrada (típicamente 2 de 64 expertos), manteniendo el número de parámetros activos manejables mientras la expresión del modelo y las capacidades de generalización de la generalización.
Los modelos Ernie 4.5 se entrenan utilizando una mezcla de ajuste fino supervisado (SFT), aprendizaje de refuerzo con retroalimentación humana (RLHF) y técnicas de alineación contrastante. El corpus de entrenamiento abarca 5.6 billones de tokens en diversos dominios en chino e inglés, utilizando la tubería de pretruación de múltiples etapas patentadas de Baidu. Los modelos resultantes demuestran una alta fidelidad en las instrucciones, conversación múltiple, generación de forma larga y puntos de referencia de razonamiento.
Variantes de modelo y lanzamiento de código abierto
El lanzamiento de Ernie 4.5 incluye las siguientes diez variantes:
- Modelos densos: Ernie 4.5-0.3b, 0.5b, 1.8b y 4b
- Modelos MOE: Ernie 4.5-MoE-3B, 4B, 6B, 15B, 47B y 424B Total de parámetros (con parámetros activos variables)
La variante MOE-47B, por ejemplo, activa solo los parámetros 3B durante la inferencia, mientras que tiene un total de 47b. Del mismo modo, el modelo 424B, el más grande jamás lanzado por Baidu, emplea estrategias de activación dispersas para hacer que la inferencia sea factible y escalable. Estos modelos admiten cuantización FP16 e INT8 para una implementación eficiente.
Puntos de referencia de rendimiento
Los modelos Ernie 4.5 muestran mejoras significativas en varias tareas clave de PNL chinas y multilingües. Según el informe técnico oficial:
- En CmmluErnie 4.5 supera las versiones anteriores de Ernie y logra la precisión de última generación en la comprensión del idioma chino.
- En MMLUEl punto de referencia multilingüe, Ernie 4.5-47b demuestra un rendimiento competitivo con otros LLM principales como GPT-4 y Claude.
- Para generación de forma largaErnie 4.5 logra puntuaciones de mayor coherencia y de hecho cuando se evalúa utilizando las métricas internas de Baidu.
En las tareas de seguimiento de instrucciones, los modelos se benefician del ajuste fino contrastante, que muestra una alineación mejorada con la intención del usuario y las tasas de alucinación reducidas en comparación con las versiones anteriores de Ernie.
Aplicaciones e implementación
Los modelos Ernie 4.5 están optimizados para una amplia gama de aplicaciones:
- Chatbots y asistentes: Soporte multilingüe y alineación de seguimiento de instrucciones lo hacen adecuado para asistentes de IA.
- Búsqueda y respuesta a las preguntas: Alta fidelidad de recuperación y generación permiten integración con TRAPO tuberías.
- Generación de contenido: El texto de forma larga y la generación de contenido rico en conocimiento se mejoran con una mejor base objetiva.
- Código y extensión multimodal: Aunque la versión actual se centra en el texto, Baidu indica que Ernie 4.5 es compatible con extensiones multimodales.
Con el soporte de hasta 128k longitud de contexto en algunas variantes, la familia Ernie 4.5 se puede utilizar en tareas que requieren memoria y razonamiento en documentos o sesiones largas.
Conclusión
La serie Ernie 4.5 representa un paso significativo en el desarrollo de IA de código abierto, que ofrece un conjunto versátil de modelos adaptados a tareas escalables, multilingües y alineadas con instrucciones. La decisión de Baidu de lanzar modelos que van desde variantes livianas 0.3B hasta un modelo MOE 424b-Parameter subrayan su compromiso con la investigación de IA inclusiva y transparente. Con una documentación integral, disponibilidad abierta en la cara de abrazo y el apoyo a la implementación eficiente, Ernie 4.5 está posicionado para acelerar los avances globales en la comprensión y generación del lenguaje natural.
Mira el Papel y Modelos en la cara abrazada. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
