Los modelos de lenguaje de gran visión (VLM) entrenados para comprender la visión han demostrado viabilidad en escenarios amplios como la respuesta visual a preguntas, la conexión visual y el reconocimiento óptico de caracteres, aprovechando la fortaleza de los modelos de lenguaje de gran visión (LLM) en el conocimiento general del mundo.
Los humanos marcan o procesan las fotografías proporcionadas por conveniencia y rigor para abordar los complejos desafíos visuales; este proceso se conoce como manipulación. En la ronda de capacitación inicial, la mayoría de los VLM aprendieron una gran cantidad de habilidades multimodales intrínsecas, como cajas de conexión a tierra y reconocimiento de palabras. Los modelos pueden ejecutar razonamiento visual probatorio para la resolución de problemas imitando comportamientos humanos básicos (por ejemplo, recortar, acercar). Sin embargo, este enfoque para el entrenamiento de modelos no se utiliza debido a dos obstáculos importantes.
- El primer y más importante requisito es producir grandes cantidades de datos de entrenamiento utilizando las rutas de razonamiento visual probatorio de pares de instrucción-respuesta de idiomas preexistentes.
- Entrenar VLM de arquitecturas dedicadas mientras se mantienen sus capacidades preestablecidas es un desafío porque es difícil construir un mecanismo general con manipulaciones variadas.
Un nuevo estudio de la Universidad de Tsinghua y Zhipu AI explora la Cadena de Manipulaciones (CoM), un mecanismo genérico que permite a los VLM ejecutar razonamiento visual probatorio. Los VLM adquieren diversos contenidos visuales (p. ej., cuadros, mensajes, imágenes) aplicando una secuencia de manipulaciones a la entrada visual. Inicialmente establecieron una plataforma automatizada de creación de datos basada en el corpus de imagen-pregunta-respuesta preexistente. A un anotador lingüístico con acceso a un conjunto de manipulaciones se le pide que proporcione pasos de razonamiento para una consulta específica, y se utilizan herramientas visuales básicas para obtener los resultados correspondientes que las manipulaciones han solicitado. A continuación, los investigadores encuentran todos los retornos de manipulación posibles y recorren el árbol resultante para encontrar todos los caminos posibles que, cuando se combinan, conducen a la respuesta correcta.
Para desarrollar habilidades multimodales generales y de razonamiento, ofrecen CogCoM, un VLM 17B entrenado con una arquitectura compatible basada en memoria y una fusión de cuatro categorías de datos basadas en los datos producidos. Para llegar a su conclusión, el modelo utiliza el razonamiento para adoptar activamente varias modificaciones para obtener contenidos visuales (como la nueva imagen img1) y regiones referenciales bbx1 y bbx2. También presentan un banco de pruebas con problemas visuales detallados que involucran procesos de razonamiento y una medida de puntos clave para investigar la precisión tanto del resultado final como del proceso de resolución, ya que los recursos de evaluación son escasos.
El equipo lleva a cabo pruebas integrales en ocho puntos de referencia que abarcan tres clases de habilidades: conexión visual (RefCOCO, RefCOCO+ y RefCOCOg), validación de alucinaciones (POPE) y un punto de referencia de examen de razonamiento sugerido (prueba AutoCoM). Los resultados demuestran que la metodología proporciona consistentemente un desempeño competitivo o mejor. Según la investigación realizada en el banco de pruebas propuesto, al combinar las cadenas de razonamiento producidas, CogCoM alcanza rápidamente un desempeño competitivo con solo unos pocos pasos de capacitación.
El equipo descubrió que los procesos de solución del lenguaje carecen de variedad y que las herramientas visuales no siempre son precisas, lo que conduce a muchos caminos desfavorables (aunque sería útil hacer un buen uso de ellas). Recomiendan resaltar estas restricciones con recordatorios dedicados y ayudas visuales mejoradas. Además, su modelo actual puede tener caídas de rendimiento porque vuelve a ingresar las fotografías modificadas siguiendo instrucciones estrictas. Se prevé que la incorporación de manipulaciones físicas en los cálculos del espacio vectorial mejore esto.
Los investigadores creen que el proceso de razonamiento visual sugerido puede acelerar el desarrollo de VLM en el área de resolución de problemas visuales complicados. Además, el sistema de generación de datos que se ha introducido tiene el potencial de usarse en varios escenarios de capacitación, lo que podría ayudar a avanzar en el aprendizaje automático basado en datos.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.