¿Podemos representar textos largos como imágenes y utilizar un VLM para lograr una compresión de tokens de 3 a 4 veces, preservando la precisión y al mismo tiempo escalando un contexto de 128 KB hacia cargas de trabajo de 1 millón de tokens? Un equipo de investigadores de Zhipu AI lanza Glyph, un marco de IA para escalar la longitud del contexto mediante la compresión de texto visual. Transforma largas secuencias textuales en imágenes y las procesa utilizando modelos de visión y lenguaje. El sistema convierte texto ultralargo en imágenes de páginas y luego un modelo de lenguaje de visión, VLM, procesa esas páginas de principio a fin. Cada token visual codifica muchos caracteres, por lo que la secuencia efectiva del token se acorta, mientras se conserva la semántica. Glyph puede lograr una compresión de tokens de 3 a 4 veces en secuencias de texto largas sin degradación del rendimiento, lo que permite ganancias significativas en la eficiencia de la memoria, el rendimiento del entrenamiento y la velocidad de inferencia.
¿Por qué Glifo?
Los métodos convencionales amplían las codificaciones posicionales o modifican la atención, la computación y la memoria aún se escalan con el recuento de tokens. La recuperación recorta las entradas, pero corre el riesgo de perder evidencia y agregar latencia. Glyph cambia la representación, convierte texto en imágenes y transfiere la carga a un VLM que ya aprende OCR, diseño y razonamiento. Esto aumenta la densidad de información por token, por lo que un presupuesto de token fijo cubre un contexto más original. Bajo una compresión extrema, el equipo de investigación muestra que un VLM de contexto de 128 K puede abordar tareas que se originan a partir de texto a nivel de token de 1 millón.
Diseño y capacitación del sistema.
El método tiene tres etapas: capacitación previa continua, búsqueda de renderizado impulsada por LLM y capacitación posterior. La capacitación previa continua expone al VLM a grandes corpus de textos largos renderizados con diversas tipografías y estilos. El objetivo alinea representaciones visuales y textuales y transfiere habilidades de contexto extenso de tokens de texto a tokens visuales. La búsqueda de renderizado es un bucle genético impulsado por un LLM. Muta el tamaño de página, los ppp, la familia de fuentes, el tamaño de fuente, la altura de la línea, la alineación, la sangría y el espaciado. Evalúa candidatos en un conjunto de validación para optimizar la precisión y la compresión de forma conjunta. La capacitación posterior utiliza un ajuste fino supervisado y un aprendizaje de refuerzo con optimización de políticas relativas al grupo, además de una tarea auxiliar de alineación de OCR. La pérdida de OCR mejora la fidelidad de los caracteres cuando las fuentes son pequeñas y el espacio es ajustado.
Resultados, rendimiento y eficiencia…
LongBench y MRCR establecen precisión y compresión en largos historiales de diálogo y tareas de documentos. El modelo logra una relación de compresión efectiva promedio de aproximadamente 3,3 en LongBench, con algunas tareas cerca de 5, y aproximadamente 3,0 en MRCR. Estas ganancias aumentan con entradas más largas, ya que cada token visual contiene más personajes. Las aceleraciones reportadas en comparación con la red troncal de texto en entradas de 128K son aproximadamente 4,8 veces para precarga, aproximadamente 4,4 veces para decodificación y aproximadamente 2 veces para rendimiento de ajuste fino supervisado. El punto de referencia de Ruler confirma que unos ppp más altos en el momento de la inferencia mejoran las puntuaciones, ya que los glifos más nítidos ayudan al OCR y al análisis del diseño. El equipo de investigación informa 72 ppp con una compresión promedio de 4,0 y un máximo de 7,7 en subtareas específicas, 96 ppp con una compresión promedio de 2,2 y un máximo de 4,4, y 120 ppp con un promedio de 1,2 y un máximo de 2,8. El máximo de 7,7 pertenece a Ruler, no a MRCR.
¿Así que lo que? Aplicaciones
Glyph beneficia la comprensión de documentos multimodales. El entrenamiento en páginas renderizadas mejora el rendimiento en MMLongBench Doc en relación con un modelo visual base. Esto indica que el objetivo de renderizado es un pretexto útil para tareas de documentos reales que incluyen figuras y diseño. El principal modo de fallo es la sensibilidad a la tipografía agresiva. Las fuentes muy pequeñas y los espacios reducidos degradan la precisión de los caracteres, especialmente en el caso de cadenas alfanuméricas raras. El equipo de investigación excluye la subtarea UUID en Ruler. El enfoque supone renderizado del lado del servidor y un VLM con OCR y diseños previos sólidos.
Conclusiones clave
Glyph convierte texto largo en imágenes y luego un modelo de lenguaje de visión procesa esas páginas. Esto reformula el modelado de contexto largo como un problema multimodal y preserva la semántica al tiempo que reduce los tokens. El equipo de investigación informa que la compresión de tokens es de 3 a 4 veces con una precisión comparable a líneas de base de texto sólidas de 8B en puntos de referencia de contexto largo. La velocidad de precarga es aproximadamente 4,8 veces, la velocidad de decodificación es aproximadamente 4,4 veces y el rendimiento de ajuste fino supervisado es aproximadamente 2 veces, medido en entradas de 128K. El sistema utiliza un entrenamiento previo continuo en las páginas renderizadas, una búsqueda genética impulsada por LLM sobre los parámetros de renderizado, luego un ajuste fino supervisado y un aprendizaje de refuerzo con GRPO, además de un objetivo de alineación de OCR. Las evaluaciones incluyen LongBench, MRCR y Ruler, con un caso extremo que muestra un VLM de contexto de 128K que aborda tareas de nivel de token de 1 millón. El código y la tarjeta de modelo son públicos en GitHub y Hugging Face.
Glyph trata el escalado de contexto largo como compresión de texto visual, representa secuencias largas en imágenes y permite que un VLM las procese, reduciendo los tokens y preservando la semántica. El equipo de investigación afirma una compresión de token de 3 a 4 veces con una precisión comparable a las líneas base de Qwen3 8B, un llenado previo y decodificación aproximadamente 4 veces más rápido y un rendimiento SFT aproximadamente 2 veces más rápido. El proceso es un entrenamiento previo disciplinado y continuo en páginas renderizadas, una búsqueda de renderizado genético de LLM sobre tipografía y luego entrenamiento posterior. El enfoque es pragmático para cargas de trabajo de millones de tokens bajo compresión extrema, pero depende de las opciones de OCR y tipografía, que siguen siendo controles. En general, la compresión de texto visual ofrece un camino concreto para escalar un contexto extenso mientras se controla la computación y la memoria.
Consulte el papel, los pesos y el repositorio. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.