En el panorama actual de la visión por computadora, el procedimiento operativo estándar implica un enfoque modular de ‘ladrillo Lego’: un codificador de visión previamente entrenado para la extracción de características emparejado con un decodificador separado para la predicción de tareas. Si bien es efectiva, esta separación arquitectónica complica la escala y obstaculiza la interacción entre el lenguaje y la visión.
El equipo de investigación del Instituto de Innovación Tecnológica (TII) está desafiando este paradigma con Falcon Perception, un transformador denso unificado de 600M de parámetros. Al procesar parches de imágenes y tokens de texto en un espacio de parámetros compartido desde la primera capa, el equipo de investigación de TII ha desarrollado una pila de fusión temprana que maneja la percepción y el modelado de tareas con extrema eficiencia.
La arquitectura: una única pila para cada modalidad
El diseño central de Falcon Perception se basa en la hipótesis de que un solo Transformer puede aprender simultáneamente representaciones visuales y realizar una generación de tareas específicas.
Atención Híbrida y GGROPE
A diferencia de los modelos de lenguaje estándar que utilizan un enmascaramiento causal estricto, Falcon Perception emplea una estrategia de atención híbrida. Los tokens de imagen se atienden entre sí de forma bidireccional para construir un contexto visual global, mientras que los tokens de texto y de tareas atienden a todos los tokens anteriores (enmascaramiento causal) para permitir la predicción autorregresiva.
Para mantener relaciones espaciales 2D en una secuencia aplanada, el equipo de investigación utiliza incrustaciones posicionales rotativas 3D. Esto descompone la dimensión de la cabeza en un componente secuencial y un componente espacial utilizando Golden Gate ROPE (GGROPE). GGROPE permite que los cabezales de atención presten atención a posiciones relativas a lo largo de ángulos arbitrarios, lo que hace que el modelo sea resistente a la rotación y las variaciones de relación de aspecto.
Lógica de secuencia minimalista
La secuencia arquitectónica básica sigue un formato de Cadena de Percepción:
[Image] [Text] … .
Esto asegura que el modelo resuelva la ambigüedad espacial (posición y tamaño) como señal condicionante antes de generar la máscara de segmentación final.
Ingeniería a escala: Muon, FlexAttention y Raster Ordering
El equipo de investigación de TII introdujo varias optimizaciones para estabilizar el entrenamiento y maximizar la utilización de la GPU para estas secuencias heterogéneas.
Optimización de Muon: el equipo de investigación informa que el uso del optimizador de Muon para cabezas especializadas (coordenadas, tamaño y segmentación) condujo a menores pérdidas de entrenamiento y mejoró el rendimiento en los puntos de referencia en comparación con el AdamW estándar. FlexAttention y Sequence Packing: para procesar imágenes en resoluciones nativas sin desperdiciar computación en el relleno, el modelo utiliza una estrategia de dispersión y empaquetado. Los parches válidos se empaquetan en bloques de longitud fija y FlexAttention se utiliza para restringir la atención propia dentro de los límites de cada muestra de imagen. Orden de ráster: cuando hay varios objetos presentes, Falcon Perception los predice en orden de ráster (de arriba a abajo, de izquierda a derecha). Se descubrió que esto converge más rápido y produce una menor pérdida de coordenadas que el orden aleatorio o basado en el tamaño.
La receta de entrenamiento: destilación a 685GT
El modelo utiliza destilación de múltiples profesores para la inicialización, destilando conocimiento de DINOv3 (ViT-H) para características locales y SigLIP2 (So400m) para características alineadas con el lenguaje. Después de la inicialización, el modelo se somete a un proceso de entrenamiento de percepción de tres etapas por un total de aproximadamente 685 Gigatokens (GT):
Listado en contexto (450 GT): aprender a ‘enumerar’ el inventario de escenas para construir un contexto global. Alineación de tareas (225 GT): transición a tareas de consulta independientes utilizando el enmascaramiento de consultas para garantizar que el modelo base cada consulta únicamente en la imagen. Ajuste fino de contexto largo (10 GT): adaptación corta para densidad extrema, aumentando el límite de máscara a 600 por expresión.
Durante estas etapas, se utiliza la serialización específica de la tarea:
expr1 expr2.
Los tokens y obligan al modelo a comprometerse con una decisión binaria sobre la existencia de un objeto antes de la localización.
PBench: capacidades de creación de perfiles más allá de las líneas de base saturadas
Para medir el progreso, el equipo de investigación de TII presentó PBench, un punto de referencia que organiza muestras en cinco niveles de complejidad semántica para desenredar los modos de falla del modelo.
Resultados principales: Falcon Perception vs. SAM 3 (Macro-F1)
Falcon Perception supera significativamente a SAM 3 en tareas semánticas complejas, mostrando particularmente una ganancia de +21,9 puntos en comprensión espacial (Nivel 3).
FalconOCR: el especialista en documentos 300M
El equipo de TII también amplió esta receta de fusión temprana a FalconOCR, un modelo compacto de 300M de parámetros inicializado desde cero para priorizar el reconocimiento de glifos detallado. FalconOCR es competitivo con varios sistemas OCR modulares y propietarios más grandes:
olmOCR: logra una precisión del 80,3%, igualando o superando a Gemini 3 Pro (80,2%) y GPT 5.2 (69,8%). OmniDocBench: alcanza una puntuación general de 88,64, por delante de GPT 5.2 (86,56) y Mistral OCR 3 (85,20), aunque está por detrás del canal modular superior PaddleOCR VL 1.5 (94,37).
Conclusiones clave
Arquitectura unificada de fusión temprana: Falcon Perception reemplaza las canalizaciones modulares de codificador-decodificador con un único transformador denso que procesa parches de imágenes y tokens de texto en un espacio de parámetros compartido desde la primera capa. Utiliza una máscara de atención híbrida (bidireccional para tokens visuales y causal para tokens de tareas) para actuar simultáneamente como codificador de visión y decodificador autorregresivo. Secuencia de cadena de percepción: el modelo serializa la segmentación de instancias en una secuencia estructurada (⟨coord⟩→⟨size⟩→⟨seg⟩)(\langle coord\rangle \rightarrow \langle size\rangle \rightarrow \langle seg\rangle), lo que lo obliga a resolver la posición y el tamaño espacial como una señal condicionante antes de generar la máscara a nivel de píxel. Cabezas especializadas y GGROPE: para gestionar datos espaciales densos, el modelo utiliza codificadores de funciones de Fourier para mapeo de coordenadas de alta dimensión y Golden Gate ROPE (GGROPE) para permitir la atención espacial isotrópica 2D. El optimizador Muon se emplea en estos cabezales especializados para equilibrar las tasas de aprendizaje con la columna vertebral previamente entrenada. Ganancias de rendimiento semántico: en el nuevo punto de referencia PBench, que desenreda las capacidades semánticas (Niveles 0-4), el modelo 600M demuestra ganancias significativas sobre SAM 3 en categorías complejas, incluida una ventaja de +13,4 puntos en consultas guiadas por OCR y una ventaja de +21,9 puntos en comprensión espacial. Extensión de OCR de alta eficiencia: la arquitectura se reduce a Falcon OCR, un modelo de 300 millones de parámetros que alcanza un 80,3 % en olmOCR y un 88,64 en OmniDocBench. Iguala o supera la precisión de sistemas mucho más grandes como Gemini 3 Pro y GPT 5.2, al tiempo que mantiene un alto rendimiento para el procesamiento de documentos a gran escala.
Consulte el papel, el peso del modelo, el repositorio y los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.