El desarrollo de sistemas de IA multimodales eficaces para aplicaciones del mundo real requiere manejar diversas tareas, como el reconocimiento detallado, la base visual, el razonamiento y la resolución de problemas de varios pasos. Los modelos de lenguaje multimodal de código abierto existentes son deficientes en estas áreas, especialmente para tareas que involucran herramientas externas como OCR o cálculos matemáticos. Las limitaciones antes mencionadas pueden atribuirse en gran medida a conjuntos de datos orientados a un solo paso que no pueden proporcionar un marco coherente para múltiples pasos de razonamiento y cadenas lógicas de acciones. Superarlos será indispensable para desbloquear el verdadero potencial del uso de la IA multimodal en niveles complejos.
Los modelos multimodales actuales a menudo se basan en el ajuste de instrucciones con conjuntos de datos de respuesta directa o enfoques de indicaciones de pocos intentos. Los sistemas propietarios, como GPT-4, han demostrado la capacidad de razonar eficazmente a través de cadenas CoTA. Al mismo tiempo, los modelos de código abierto enfrentan desafíos debido a la falta de conjuntos de datos e integración con herramientas. Los esfuerzos anteriores, como LLaVa-Plus y Visual Program Distillation, también estaban limitados por conjuntos de datos pequeños, datos de entrenamiento de mala calidad y un enfoque en tareas simples de respuesta a preguntas, lo que los limita a problemas multimodales más complejos que requieren razonamiento y aplicación de herramientas más sofisticados.
Investigadores de la Universidad de Washington y Salesforce Research han desarrollado TACO, un marco innovador para entrenar modelos de acción multimodal utilizando conjuntos de datos CoTA sintéticos. Este trabajo introduce varios avances clave para abordar las limitaciones de los métodos anteriores. En primer lugar, se generaron más de 1,8 millones de rastros utilizando GPT-4 y programas en Python, mientras que un subconjunto de 293.000 ejemplos se seleccionó para presentar alta calidad después de rigurosas técnicas de filtrado. Estos ejemplos garantizan la inclusión de diversas secuencias de razonamiento y acción fundamentales para el aprendizaje multimodal. En segundo lugar, TACO incorpora un sólido conjunto de 15 herramientas, que incluyen OCR, localización de objetos y solucionadores matemáticos, lo que permite que los modelos manejen tareas complejas de manera efectiva. En tercer lugar, las técnicas avanzadas de filtrado y combinación de datos optimizan aún más el conjunto de datos, enfatizando la integración razonamiento-acción y fomentando resultados de aprendizaje superiores. Este marco reinterpreta el aprendizaje multimodal al permitir que los modelos produzcan un razonamiento coherente de varios pasos mientras integran acciones a la perfección, estableciendo así un nuevo punto de referencia para el desempeño en escenarios complejos.
El desarrollo de TACO implicó capacitación en un conjunto de datos CoTA cuidadosamente seleccionado con 293.000 instancias provenientes de 31 orígenes diferentes, incluido Visual Genome. Estos conjuntos de datos contienen una amplia gama de tareas, como razonamiento matemático, reconocimiento óptico de caracteres y comprensión visual detallada. Es muy heterogéneo y las herramientas proporcionadas incluyen localización de objetos y solucionadores basados en lenguaje que permiten una amplia gama de tareas de razonamiento y acción. La arquitectura de formación combinó LLaMA3 como base lingüística con CLIP como codificador visual, estableciendo así un sólido marco multimodal. El ajuste fino estableció un ajuste de hiperparámetros que se centró en reducir las tasas de aprendizaje y aumentar el número de épocas de entrenamiento para garantizar que los modelos pudieran resolver adecuadamente desafíos multimodales complejos.
El desempeño de TACO en ocho puntos de referencia demuestra su impacto sustancial en el avance de las capacidades de razonamiento multimodal. El sistema logró una mejora de precisión promedio del 3,6 % con respecto a las líneas de base ajustadas por instrucción, con ganancias de hasta el 15 % en tareas MMVet que involucran OCR y razonamiento matemático. En particular, el conjunto de datos CoTA 293K de alta calidad superó a conjuntos de datos más grandes y menos refinados, lo que subraya la importancia de la curación de datos específica. Se logran mejoras adicionales en el rendimiento mediante ajustes en las estrategias de hiperparámetros, incluido el ajuste de los codificadores de visión y la optimización de las tasas de aprendizaje. Tabla 2: Los resultados muestran un desempeño excelente de TACO en comparación con los puntos de referencia; se encontró que este último es excepcionalmente mejor en tareas complejas que involucran la integración de razonamiento y acción.
TACO introduce una nueva metodología para el modelado de acciones multimodales que aborda eficazmente las graves deficiencias tanto del razonamiento como de las acciones basadas en herramientas a través de conjuntos de datos sintéticos de alta calidad y metodologías de capacitación innovadoras. La investigación supera las limitaciones de los modelos tradicionales ajustados a la instrucción y sus desarrollos están preparados para cambiar la cara de las aplicaciones del mundo real, que van desde la respuesta visual a preguntas hasta tareas complejas de razonamiento de varios pasos.
Mira el Papel, Página de GitHub, y Página del proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 65.000 ml.
🚨 PRÓXIMO SEMINARIO WEB GRATUITO SOBRE IA (15 DE ENERO DE 2025): Aumente la precisión del LLM con datos sintéticos e inteligencia de evaluación–Únase a este seminario web para obtener información práctica para mejorar el rendimiento y la precisión del modelo LLM y, al mismo tiempo, proteger la privacidad de los datos..
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.