Los grandes modelos en idioma de visión (LVLM) integran modelos de lenguaje grandes con capacidades de procesamiento de imágenes, lo que les permite interpretar imágenes y generar respuestas textuales coherentes. Si bien se destacan en reconocer objetos visuales y responder a las indicaciones, a menudo vacilan cuando se presentan problemas que requieren razonamiento de varios pasos. Las tareas en idioma de visión, como comprender los gráficos, resolver preguntas de matemáticas visuales o interpretar diagramas exigen más que reconocimiento; Necesitan la capacidad de seguir pasos lógicos basados en señales visuales. A pesar de los avances en la arquitectura del modelo, los sistemas actuales luchan constantemente por producir respuestas precisas e interpretables en escenarios tan complejos.
Una limitación importante en los modelos actuales del idioma de visión es su incapacidad para realizar un razonamiento complejo que implica múltiples pasos de deducción lógica, especialmente cuando se interpreta las imágenes junto con consultas textuales. Estos modelos a menudo no pueden verificar o corregir internamente su razonamiento, lo que lleva a salidas incorrectas o superficiales. Además, las cadenas de razonamiento que siguen estos modelos generalmente no son transparentes o verificables, lo que dificulta garantizar la robustez de sus conclusiones. El desafío radica en unir esta brecha de razonamiento, que los modelos solo de texto han comenzado a abordar de manera efectiva a través de técnicas de aprendizaje de refuerzo, pero los modelos en idioma de visión aún no han adoptado por completo.
Antes de este estudio, los esfuerzos para mejorar el razonamiento en tales sistemas se basaban principalmente en técnicas estándar de ajuste fino o de incitación. Aunque útiles en tareas básicas, estos enfoques a menudo dieron como resultado salidas detectadas o repetitivas con profundidad limitada. Los modelos en idioma de visión como Qwen2.5-VL-7B se mostraron prometedores debido a sus habilidades de seguimiento de instrucciones visuales, pero carecían del razonamiento de varios pasos comparables a sus homólogos de solo texto, como Deepseek-R1. Incluso cuando se les solicita consultas estructuradas, estos modelos lucharon para reflexionar sobre sus salidas o validar los pasos de razonamiento intermedio. Este fue un cuello de botella significativo, particularmente para casos de uso que requieren una toma de decisiones estructuradas, como herramientas visuales de resolución de problemas o soporte educativo.
Investigadores de la Universidad de California, Los Ángeles, presentaron un modelo llamado OpenVlThinker-7B. Este modelo se desarrolló a través de un nuevo método de entrenamiento que combina el ajuste fino supervisado (SFT) y el aprendizaje de refuerzo (RL) en un bucle iterativo. El proceso comenzó generando subtítulos de imagen utilizando qwen2.5-vl-3b y alimentándolos en una versión destilada de Deepseek-R1 para producir cadenas de razonamiento estructuradas. Estos resultados formaron los datos de entrenamiento para la primera ronda de SFT, guiando el modelo en el aprendizaje de estructuras de razonamiento básico. Después de esto, se aplicó una etapa de aprendizaje de refuerzo utilizando la optimización de políticas relativas del grupo (GRPO) para refinar el razonamiento del modelo en función de la retroalimentación de recompensas. Esta combinación permitió que el modelo funcionara progresivamente, utilizando las salidas refinadas de cada iteración como nuevos datos de entrenamiento para el siguiente ciclo.
El método involucró una cuidadosa curación de datos y múltiples fases de entrenamiento. En la primera iteración, se utilizaron 25,000 ejemplos para SFT, procedentes de conjuntos de datos como Figuraqa, Geometry3K, TABMWP y Vizwiz. Estos ejemplos se filtraron para eliminar reflexiones demasiado detalladas o redundantes, mejorando la calidad del entrenamiento. GRPO se aplicó luego a un conjunto de datos más pequeño y más difícil de 5,000 muestras. Esto condujo a un aumento de rendimiento de 62.5% a 65.6% de precisión en el punto de referencia de Mathvista. En la segunda iteración, se usaron otros 5,000 ejemplos de alta calidad para SFT, lo que aumenta la precisión al 66.1%. Una segunda ronda de GRPO llevó el rendimiento al 69.4%. En estas fases, el modelo se evaluó en múltiples puntos de referencia, MathVista, Mathverse y MathVision, mostrando ganancias de rendimiento consistentes con cada iteración.
Cuantitativamente, OpenVlThinker-7b superó a su modelo base, QWEN2.5-VL-7B, significativamente. En Mathvista, alcanzó la precisión del 70.2% en comparación con el 50.2% del modelo base. En Mathverse, la mejora fue de 46.8% a 68.5%. La precisión de la prueba completa de MathVision aumentó del 24.0% al 29.6%, y MathVision Testmini mejoró de 25.3% a 30.4%. Estas mejoras indican que el modelo aprendió a seguir patrones de razonamiento y generalizó mejor a tareas multimodales invisibles. Cada iteración de entrenamiento contribuyó con ganancias medibles, mostrando la fuerza de combinar el ajuste con el aprendizaje basado en recompensas en una estructura en bucle.
El núcleo de la fuerza de este modelo se encuentra en su estructura iterativa. En lugar de confiar únicamente en vastas conjuntos de datos, se centra en la calidad y la estructura. Cada ciclo de SFT y RL mejora la capacidad del modelo para comprender la relación entre imágenes, preguntas y respuestas. Los comportamientos de autoverificación y corrección, inicialmente que carecen de LVLM estándar, surgieron como un subproducto del aprendizaje de refuerzo con señales de recompensa verificables. Esto permitió que OpenVlThinker-7B produzca trazas de razonamiento que fueran lógicamente consistentes e interpretables. Incluso las mejoras sutiles, como la reducción de las autorreflexiones redundantes o la mayor precisión con cadenas de razonamiento más cortas, contribuyeron a sus ganancias generales de rendimiento.
Algunas conclusiones clave de la investigación:
- Los investigadores de la UCLA desarrollaron OpenVLThinker-7b utilizando un enfoque COMBINET SFT y RL, a partir del modelo base QWEN2.5-VL-7B.
- Usó ciclos de entrenamiento iterativos que involucran la generación de subtítulos, destilación de razonamiento y aprendizaje alternativo de refuerzo SFT y GRPO.
- El SFT inicial usó 25,000 ejemplos filtrados, mientras que las fases RL utilizaron conjuntos más pequeños de 5,000 muestras más duras de conjuntos de datos como Geometry3K y SuperCleVr.
- En Mathvista, la precisión mejoró de 50.2% (modelo base) a 70.2%. La precisión de Mathverse aumentó del 46.8% al 68.5%, y otros conjuntos de datos también vieron ganancias notables.
- GRPO refinó efectivamente los comportamientos de razonamiento al recompensar las respuestas correctas, reducir la verbosidad y mejorar la consistencia lógica.
- Cada iteración de entrenamiento condujo a ganancias de rendimiento incrementales, confirmando la efectividad de la estrategia de superación personal.
- Establece una ruta viable para llevar el razonamiento de múltiples pasos de estilo R1 a modelos multimodales, útil para aplicaciones educativas, de análisis visual y tecnología de asistencia.
Verificar el Papel, Modelo en la cara abrazada y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.