Los grandes modelos en idioma de visión (LVLM) han hecho avances significativos en los últimos años, pero persisten varias limitaciones clave. Un desafío importante es alinear estos modelos de manera efectiva con las expectativas humanas, particularmente para las tareas que involucran información visual detallada y precisa. Tradicionalmente, los LVLM se someten a un paradigma de entrenamiento de dos etapas: preventiva seguido de ajuste superior supervisado. Sin embargo, el ajuste de fino supervisado por sí solo no puede superar completamente las limitaciones, como la escasez y el alto costo asociados con la generación de conjuntos de datos de preferencias anotados a gran escala y humanos. Además, los métodos de aprendizaje de refuerzo convencionales requieren modelos de recompensa costosos que pueden no capturar completamente la naturaleza matizada y subjetiva de la retroalimentación humana.
Un equipo de investigadores de China propone Vision-R1: un nuevo algoritmo de aprendizaje de refuerzo de tipo R1 guiado por la visión para LVLM que recompensa modelos con retroalimentación de visión definitiva. Vision-R1 aprovecha los datos de instrucciones curados, eliminando así la dependencia de modelos de recompensa especializados y conjuntos de datos de preferencias artesanales. El centro de este método es una función de recompensa impulsada por los criterios, que proporciona evaluaciones integrales de las terminaciones del modelo basadas en criterios de tareas visuales específicos. Además, se emplea una estrategia de refinamiento de reglas progresiva, ajustando dinámicamente los criterios de recompensa durante todo el proceso de capacitación. Este enfoque garantiza la mejora continua del rendimiento, mitigando efectivamente los problemas de piratería de recompensas y promover la localización de objetos más precisa.
El algoritmo Vision-R1 incorpora varias innovaciones técnicas críticas. Primero, la función de recompensa impulsada por el criterio incluye recompensas de formato dual, recompensas de recuperación y recompensas de precisión. Las recompensas de formato dual aseguran que las salidas se adhieran estrictamente a las limitaciones de plantilla y contenido, esencial para tareas de detección de objetos confiables. La recompensa de recuperación enfatiza la capacidad del modelo para identificar todas las instancias relevantes, cruciales para evitar omisiones en las predicciones. La recompensa de precisión fomenta las predicciones de caja limitantes de alta calidad al calcular la intersección promedio sobre la unión (IOU) de predicciones válidas. Además, la estrategia de refinamiento de reglas progresivas se inspira en los principios de aprendizaje del plan de estudios, aumentando gradualmente la dificultad de capacitación a través de políticas de progresión y diferenciación en etapas, fomentando así el aprendizaje robusto y generalizado.
Los experimentos realizados utilizando dos LVLM de última generación, Griffon-G-7B y Qwen2.5-VL-7B, demuestran las capacidades robustas de Vision-R1. Los resultados en conjuntos de datos en el dominio como MSCOCO y ODINW-13 muestran mejoras significativas en el rendimiento. Específicamente, Vision-R1 mejora las puntuaciones del mapa de Griffon-G-7B en un 2.5% en promedio en diversas tareas. Más impresionante, Vision-R1 aumenta el rendimiento de QWEN2.5-VL-7B significativamente, mostrando una mejora del 8,9% en las tareas de detección de objetos de Coco y logrando puntajes superiores en comparación con su contraparte más grande y 72B. En las desafiantes tareas de localización fuera del dominio, Vision-R1 supera constantemente el ajuste (SFT) supervisado (SFT), lo que demuestra sus fuertes capacidades de generalización y robustez en escenarios complejos.
En conclusión, Vision-R1 introduce un enfoque innovador de aprendizaje de refuerzo adaptado para LVLM que aborda efectivamente los problemas de alineación existentes sin requerir conjuntos de datos anotados costosos o modelos de recompensas complejas. Su estructura de recompensa impulsada por el criterio y su estrategia de refinamiento de reglas progresivas no solo mejoran la precisión y la integridad de las tareas de localización de objetos, sino que también mejoran significativamente la generalización a escenarios invisibles. La integración exitosa de Vision-R1 con arquitecturas LVLM contemporáneas destaca su potencial para servir como un método fundamental, avanzando significativamente el estado del arte en la comprensión del idioma de la visión y la implementación práctica en aplicaciones del mundo real.
Verificar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.