¿Cómo podemos obtener razonamiento multimodal a nivel de modelo grande para documentos, gráficos y videos mientras ejecutamos solo un modelo de clase 3B en producción? Baidu ha añadido un nuevo modelo a la familia de código abierto ERNIE-4.5. ERNIE-4.5-VL-28B-A3B-Thinking es un modelo de lenguaje de visión que se centra en la comprensión de documentos, gráficos y vídeos con un pequeño presupuesto de parámetros activos.
Configuración de arquitectura y formación.
ERNIE-4.5-VL-28B-A3B-Thinking se basa en la arquitectura de combinación de expertos ERNIE-4.5-VL-28B-A3B. La familia utiliza un diseño MoE multimodal heterogéneo con parámetros compartidos en texto y visión, además de expertos en modalidades específicas. A nivel de modelo, tiene 30B de parámetros totales, mientras que la arquitectura está en la rama 28B-VL, y solo se activan 3B de parámetros por token a través de un esquema de enrutamiento A3B. Esto proporciona el perfil de computación y memoria de un modelo de clase 3B y al mismo tiempo mantiene un grupo de capacidad mayor para el razonamiento.
El modelo pasa por una etapa intermedia adicional de entrenamiento en un gran corpus de razonamiento del lenguaje visual. Esta etapa está diseñada para mejorar el poder de representación y la alineación semántica entre las modalidades visuales y lingüísticas, lo cual es importante para texto denso en documentos y estructuras finas en gráficos. Además de eso, ERNIE-4.5-VL-28B-A3B-Thinking utiliza aprendizaje de refuerzo multimodal en tareas verificables, con estrategias GSPO e IcePop y muestreo dinámico de dificultad para estabilizar el entrenamiento del MoE e impulsar el modelo hacia ejemplos difíciles.
Capacidades clave
Los investigadores de Baidu posicionan este modelo como un motor de razonamiento multimodal liviano que puede activar solo parámetros 3B mientras se acerca al comportamiento de sistemas emblemáticos más grandes en puntos de referencia internos. Las capacidades enumeradas oficialmente incluyen razonamiento visual, razonamiento STEM, base visual, pensamiento con imágenes, utilización de herramientas y comprensión de videos.
Pensar con imágenes es fundamental. El modelo puede ampliar regiones, razonar en vistas recortadas y luego integrar esas observaciones locales en una respuesta final. La utilización de herramientas amplía esto con llamadas a herramientas como la búsqueda de imágenes cuando el conocimiento interno no es suficiente. Ambas características se exponen como parte de la ruta del analizador de razonamiento y del analizador de llamadas a herramientas en la implementación.
Rendimiento y posicionamiento
El modelo de lenguaje de visión liviano ERNIE-4.5-VL-28B-A3B logra un rendimiento competitivo o superior en comparación con Qwen-2.5-VL-7B y Qwen-2.5-VL-32B en muchos puntos de referencia, mientras utiliza menos parámetros de activación. Los modelos ERNIE-4.5-VL también admiten modos de pensamiento y no pensamiento, y el modo de pensamiento mejora las tareas centradas en el razonamiento manteniendo una sólida calidad de percepción.
Para la variante de Thinking específica, los investigadores de Baidu describen que ERNIE-4.5-VL-28B-A3B-Thinking coincide estrechamente con el rendimiento de los modelos emblemáticos de la industria en los puntos de referencia multimodales internos.
Conclusiones clave
ERNIE-4.5-VL-28B-A3B-Thinking utiliza una arquitectura mixta de expertos con aproximadamente 30 mil millones de parámetros totales y solo 3 mil millones de parámetros activos por token para ofrecer un razonamiento multimodal eficiente. El modelo está optimizado para la comprensión de documentos, gráficos y videos a través de un razonamiento de lenguaje visual adicional en la etapa intermedia de capacitación y aprendizaje de refuerzo multimodal utilizando GSPO, IcePop y muestreo dinámico de dificultad. Pensar con imágenes permite que el modelo amplíe iterativamente las regiones de la imagen y razone los recortes, mientras que la utilización de herramientas permite llamadas a herramientas externas, como la búsqueda de imágenes, para el reconocimiento de cola larga. Demuestra un sólido rendimiento en gráficos de estilo analítico, problemas de circuitos STEM, conexión a tierra visual con cuadros delimitadores JSON y localización de segmentos de video con respuestas con marca de tiempo. El modelo se lanza bajo la licencia Apache 2.0, admite la implementación a través de transformadores, vLLM y FastDeploy, y se puede ajustar con ERNIEKit usando SFT, LoRA y DPO para aplicaciones multimodales comerciales.
Tabla comparativa
ERNIE-4.5-VL-28B-A3B-Thinking es una versión práctica para equipos que desean razonamiento multimodal en documentos, gráficos y videos con solo 3 mil millones de parámetros activados, mientras siguen usando una arquitectura de mezcla de expertos con alrededor de 30 mil millones de parámetros totales y licencia Apache 2.0. Conecta el pensamiento con imágenes, la utilización de herramientas y el aprendizaje de refuerzo multimodal en una pila implementable que apunta directamente al análisis y la comprensión de las cargas de trabajo del mundo real.
Consulte el repositorio, los pesos de los modelos y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.