La mayoría de los modelos OCR de un extremo a otro se ralentizan a medida que aumenta la producción. Cada token generado se suma a la caché de KV. La memoria surge y la generación se retrasa. Analizar docenas de páginas resulta poco práctico. El OCR ilimitado de Baidu aborda esto directamente. Cambia la atención del decodificador por un diseño que mantiene la memoria constante.
TL;DR
Unlimited OCR es un modelo de mezcla de expertos de 3B parámetros, con solo 500M de parámetros activos. Reemplaza la atención del decodificador con Atención de ventana deslizante de referencia (R-SWA), manteniendo constante la caché KV. El modelo analiza docenas de páginas en una sola pasada con una longitud máxima de 32 K. Obtiene una puntuación de 93,23 en OmniDocBench v1.5, superando la línea base de DeepSeek OCR por 6,22 puntos. Se basa en DeepSeek OCR mediante capacitación continua, no una ejecución desde cero.
¿Qué es el OCR ilimitado?
Unlimited OCR toma DeepSeek OCR como base. Mantiene el DeepEncoder y el decodificador Mixture-of-Experts. El diseño del MoE tiene un total de 3 mil millones de parámetros pero activa solo 500 millones en la inferencia.
DeepEncoder es el motor de compresión. Conecta en cascada un SAM-ViT bajo atención de ventana con un CLIP-ViT bajo atención global. En el puente, aplica una compresión de token de 16×. Una imagen PDF de 1024×1024 se convierte en solo 256 tokens visuales. Menos tokens de entrada significan un precarga más pequeña.
DeepEncoder admite de forma nativa cinco modos de resolución y Unlimited OCR mantiene dos. El modo ‘Base’ se ejecuta a 1024×1024 para trabajos de varias páginas. El modo ‘Gundam’ utiliza resolución dinámica para páginas individuales.
Cómo mantiene R-SWA la caché constante
La contribución es Atención de ventana corrediza de referencia. La atención multicabezal estándar almacena una clave y un valor para cada token. A medida que crece la longitud de salida T, la caché crece con ella. El tamaño es CMHA(T) = Lm + T. La memoria y la latencia aumentan sin límites.
R-SWA rompe ese vínculo. Cada token generado atiende a todos los tokens de referencia, es decir, los tokens visuales y el mensaje. También atiende a los n tokens de salida anteriores, donde n tiene por defecto 128. Todo lo anterior se desaloja. La caché se convierte en una cola fija de tamaño m + n.
El tamaño es CR-SWA(T) = Lm + min(n, T) ≤ Lm + n. Está acotado por una constante. A medida que T crece mucho más allá de n, la proporción de caché tiende a cero. Por lo tanto, la memoria se mantiene estable y la latencia por paso se mantiene estable.
El equipo de investigación compara esto con el olvido suave. Una persona que copia un libro echa un vistazo a la fuente y a las últimas palabras. No releen todo lo transcrito hasta ahora. Los tokens visuales nunca se actualizan de estado. Eso evita la confusión progresiva que se observa en la atención lineal. El simulador interactivo a continuación le permite variar T y observar cómo responden ambos cachés.