InternLM2.5-7B-Chat: Modelos de lenguaje de código abierto con razonamiento inigualable, manejo de contextos extensos y uso mejorado de herramientas

InternLM ha presentado su último avance en modelos de lenguaje abiertos de gran tamaño, el Pasante LM2.5-7B-Chatdisponible en formato GGUF. Este modelo es compatible con llama.cpp, un marco de código abierto para inferencia LLM, y se puede utilizar de forma local y en la nube en varias plataformas de hardware. El formato GGUF ofrece versiones de media precisión y cuantificación de bits bajos, incluidas q5_0, q5_k_m, q6_k y q8_0.

InternLM2.5 se basa en su predecesor y ofrece un modelo de base de 7 mil millones de parámetros y un modelo de chat adaptado a escenarios prácticos. Este modelo cuenta con capacidades de razonamiento de última generación, especialmente en razonamiento matemático, superando a competidores como Llama3 y Gemma2-9B. También cuenta con una impresionante ventana de contexto de 1 millón, que demuestra un rendimiento casi perfecto en tareas de contexto largo como las evaluadas por LongBench.

La capacidad del modelo para manejar contextos extensos lo hace particularmente eficaz para recuperar información de documentos extensos. Esta capacidad se mejora cuando se combina con LMDeploy, un conjunto de herramientas desarrollado por los equipos MMRazor y MMDeploy para comprimir, implementar y ofrecer contextos extensos. La variante InternLM2.5-7B-Chat-1M, diseñada para la inferencia de contextos de 1M de longitud, ejemplifica esta fortaleza. Esta versión requiere recursos computacionales significativos, como 4 GPU A100-80G, para funcionar de manera efectiva.

Las evaluaciones de desempeño realizadas con la herramienta OpenCompass destacan las competencias del modelo en varias dimensiones: competencia disciplinaria, competencia lingüística, competencia de conocimiento, competencia de inferencia y competencia de comprensión. En pruebas comparativas como MMLU, CMMLU, BBH, MATH, GSM8K y GPQA, InternLM2.5-7B-Chat ofrece constantemente un desempeño superior en comparación con sus pares. Por ejemplo, la prueba comparativa MMLU logra una puntuación de 72,8, superando a modelos como Llama-3-8B-Instruct y Gemma2-9B-IT.

InternLM2.5-7B-Chat también se destaca en el manejo del uso de herramientas, ya que permite recopilar información de más de 100 páginas web. La próxima versión de Lagent mejorará aún más esta funcionalidad, mejorando las capacidades del modelo en el seguimiento de instrucciones, la selección de herramientas y la reflexión.

La versión del modelo incluye una guía de instalación completa, instrucciones de descarga del modelo y ejemplos de inferencia del modelo e implementación de servicios. Los usuarios pueden realizar inferencias fuera de línea por lotes con el modelo cuantificado mediante lmdeploy, un marco que admite la cuantificación y la implementación solo con peso de INT4 (W4A16). Esta configuración ofrece una inferencia hasta 2,4 veces más rápida que FP16 en GPU NVIDIA compatibles, incluidas las series 20, 30 y 40 y A10, A16, A30 y A100.

La arquitectura de InternLM2.5 conserva las características robustas de su predecesor, al tiempo que incorpora nuevas innovaciones técnicas. Estas mejoras, impulsadas por un gran corpus de datos sintéticos y un proceso de entrenamiento iterativo, dan como resultado un modelo con un rendimiento de razonamiento mejorado, con un aumento del 20 % con respecto a InternLM2. Esta iteración también mantiene la capacidad de manejar 1 millón de ventanas de contexto con una precisión casi total, lo que lo convierte en un modelo líder para tareas de contexto largo.

En conclusión, con el lanzamiento de InternLM2.5 y sus variantes con capacidades de razonamiento avanzadas, manejo de contexto largo y uso eficiente de herramientas, InternLM2.5-7B-Chat se convertirá en un recurso valioso para diversas aplicaciones tanto en escenarios de investigación como prácticos.