La comunidad de visión por computadora enfrenta una amplia gama de desafíos. Se discutieron numerosos artículos de seminarios durante la era previa a la capacitación para establecer un marco integral para la introducción de herramientas visuales versátiles. El enfoque predominante durante este período implica entrenar previamente modelos con grandes volúmenes de datos relacionados con problemas y luego transferirlos a varios escenarios del mundo real relacionados con el mismo tipo de problema, a menudo utilizando técnicas de cero o pocos intentos.
Un estudio reciente de Microsoft proporciona una mirada en profundidad a la historia y el desarrollo de modelos básicos multimodales que exhiben capacidades de visión y lenguaje de visión, enfatizando particularmente el cambio de ayudantes especializados a ayudantes de propósito general.
Según su artículo, se analizan tres categorías principales de estrategias de instrucción:
Supervisión de etiquetas: la supervisión de etiquetas utiliza ejemplos previamente etiquetados para entrenar un modelo. El uso de ImageNet y conjuntos de datos similares ha demostrado la eficacia de este método. Podemos acceder a un conjunto de datos grande y ruidoso de Internet, imágenes y etiquetas creadas por humanos.
También conocida como “supervisión del lenguaje”, esta estrategia utiliza señales de texto no supervisadas, con mayor frecuencia en pares de imagen-palabra. CLIP y ALIGN son ejemplos de modelos previamente entrenados para comparar pares de imagen y texto mediante pérdida de contraste.
Aprendizaje autosupervisado solo con imágenes: esta técnica se basa únicamente en imágenes como fuente de señales de supervisión. El modelado de imágenes enmascaradas, el aprendizaje no contrastante y basado en contrastes son opciones viables.
Los investigadores observaron cómo se pueden integrar varios enfoques de comprensión visual, como los utilizados para subtítulos de imágenes, respuesta visual a preguntas, entrenamiento previo a nivel regional para conexión a tierra y entrenamiento previo a nivel de píxeles para segmentación, para obtener los mejores resultados.
Modelos de cimentación multimodal
La capacidad de comprender e interpretar datos presentados en múltiples modalidades, como texto e imágenes, distingue a los modelos básicos multimodales. Hacen posible una variedad de tareas que de otro modo requerirían una recopilación y síntesis sustanciales de datos. Los marcos conceptuales multimodales importantes incluyen los que se enumeran a continuación.
- CLIP (Preentrenamiento de imágenes y lenguaje contrastivo) es una técnica innovadora para descubrir un espacio común de incrustación de imágenes y texto. Es capaz de realizar cosas como la recuperación de imágenes y texto y la categorización de disparo cero.
- BEiT (BERT in Vision) adapta la técnica de modelado de imágenes enmascaradas de BERT para su uso en el dominio visual. Los tokens en imágenes enmascaradas se pueden predecir para que los convertidores de imágenes puedan dedicarse a otras tareas.
- CoCa (Preentrenamiento de subtítulos y contraste) combina el aprendizaje contrastivo con la pérdida de subtítulos para el entrenamiento previo de un codificador de imágenes. Observar la finalización de una tarea multimodal es ahora una posibilidad realista gracias al sistema de subtítulos de imágenes Paraphrase.
- UniCL (Aprendizaje contrastivo unificado) permite un entrenamiento previo contrastivo unificado en pares imagen-texto e imagen-etiqueta al extender el aprendizaje contrastivo de CLIP a datos de imagen-etiqueta.
- MVP (Preentrenamiento visual de modelado de imágenes enmascaradas) es un método para entrenar previamente transformadores de visión que utiliza imágenes enmascaradas y objetivos de funciones de alto nivel.
- Para mejorar la precisión de MIM, EVA (Exploiting Vision-Text Alignment) utiliza características de imagen de modelos como CLIP como características de destino.
- BEiTv2 mejora BEiT al incorporar una pérdida de autodestilación similar a DINO para promover la adquisición de representaciones visuales globales en el aprendizaje.
Las aplicaciones de visión por computadora y procesamiento del lenguaje natural se han beneficiado enormemente de la interpretación y el procesamiento de modelos mejorados que son posibles gracias a estos modelos básicos multimodales.
Su estudio profundiza en la “generación visual” y descubre que los modelos de generación de texto a imagen han sido la columna vertebral de la síntesis de imágenes. Estos modelos se han ampliado con éxito para permitir un control y una personalización más detallados por parte del usuario. La disponibilidad y generación de cantidades masivas de datos relacionados con el problema son factores cruciales en la implementación de estos modelos de base multimodal.
Introducción a la producción T2I La generación T2I intenta proporcionar imágenes correspondientes a descripciones textuales. Estos modelos a menudo se entrenan en pares de imagen y texto, donde los textos proporcionan las condiciones de entrada y las fotografías actúan como el resultado deseado.
El modelo T2I se explica con ejemplos de Difusión Estable (SD) a lo largo del libro. SD es un modelo T2I de código abierto muy popular debido a su método de creación basado en difusión y fusión de imagen y texto basado en atención cruzada.
La red neuronal unificada de eliminación de ruido (U-Net), el codificador de texto y el codificador automático variacional de imágenes (VAE) son los tres componentes principales de SD. VAE codifica imágenes, TEN codifica condiciones de texto y Denoising U-Net predice el ruido en el espacio latente para generar imágenes nuevas.
Se examina la mejora de la controlabilidad espacial en la generación T2I, y un enfoque es permitir que se ingresen más condiciones espaciales junto con el texto, como descripciones de texto basadas en regiones o requisitos espaciales densos como máscaras de segmentación y puntos clave. Examina cómo los modelos T2I como ControlNet pueden utilizar restricciones elaboradas como máscaras de segmentación y mapas de bordes para gestionar el proceso de producción de imágenes.
Se presentan los desarrollos recientes en modelos de edición basados en texto; Estos modelos pueden modificar fotografías de acuerdo con instrucciones textuales, eliminando la necesidad de máscaras generadas por el usuario. Los modelos T2I pueden seguir mejor las indicaciones de texto gracias al ajuste de alineación, de forma similar a cómo se entrenan los modelos de lenguaje para mejorar la generación de texto. Se abordan posibles soluciones, incluidas aquellas basadas en el aprendizaje por refuerzo.
En el futuro no habrá necesidad de modelos de imagen y texto separados, gracias a la creciente popularidad de los modelos T2I con soluciones de alineación integradas, como se menciona en el texto. En este estudio, el equipo sugirió una interfaz de entrada unificada para modelos T2I que permitiría la entrada simultánea de imágenes y texto para ayudar en tareas como control espacial, edición y personalización de conceptos.
Alineación con la intención humana
Para garantizar que los modelos T2I produzcan imágenes que se correspondan bien con la intención humana, la investigación subraya el requisito de pérdidas y recompensas centradas en la alineación, de forma análoga a cómo se ajustan los modelos de lenguaje para tareas específicas. El estudio explora los beneficios potenciales de una integración de circuito cerrado de comprensión y generación de contenido en el contexto de modelos multimodales, que combinan tareas de comprensión y generación. Los modelos de visión unificada se construyen en diferentes niveles y para diferentes actividades utilizando el principio LLM de modelado unificado.
Los modelos de visión de mundo abierto, unificados e interactivos son el foco actual de la comunidad de investigación de la visión. Aun así, existen algunas brechas fundamentales entre el lenguaje y las esferas visual.
- La visión se diferencia del lenguaje en que captura el mundo que nos rodea utilizando señales sin procesar. La creación de “tokens” compactos a partir de datos sin procesar implica elaborados procesos de tokenización. Esto se logra fácilmente en el dominio del lenguaje con la ayuda de múltiples tokenizadores heurísticos establecidos.
- A diferencia del lenguaje, los datos visuales no están etiquetados, lo que dificulta transmitir significado o experiencia. Semántica o geoespacial, la anotación de contenido visual siempre requiere mucha mano de obra.
- Existe una variedad más amplia de datos y actividades visuales que con los datos verbales.
- Por último, el coste de archivar datos visuales es mucho mayor que el de los datos en otros idiomas. En comparación con GPT-3, los 45 TB de datos de entrenamiento necesarios para el conjunto de datos ImageNet (que contiene 1,3 millones de imágenes) son sólo unos cientos de gigabytes más caros. En cuanto a los datos de vídeo, el coste de almacenamiento es cercano al del corpus de entrenamiento GPT-3.
Las diferencias entre las dos perspectivas se debaten en los capítulos posteriores. En el mundo real usando visión por computadora. Debido a esto, los datos visuales existentes utilizados para entrenar modelos no logran representar con precisión toda la diversidad del mundo real. A pesar de los esfuerzos por construir modelos de visión de conjunto abierto, todavía existen desafíos importantes al abordar eventos novedosos o de cola larga.
Según ellos, se requieren algunas leyes que se adapten a la visión. Estudios anteriores han demostrado que el rendimiento de modelos de lenguaje grandes mejora constantemente con aumentos en el tamaño del modelo, la escala de datos y los cálculos. A escalas más grandes, los LLM revelan algunas características nuevas notables. Sin embargo, la mejor manera de desarrollar modelos de visión y utilizar sus propiedades emergentes sigue siendo un misterio. Modelos que utilizan información visual o lingüística. En los últimos años ha habido cada vez menos separación entre los ámbitos visual y verbal. Sin embargo, dadas las diferencias intrínsecas entre visión y lenguaje, es cuestionable si una combinación de modelos de visión moderada y LLM es adecuada para manejar la mayoría (si no todos) los problemas. Sin embargo, todavía queda un largo camino por recorrer para crear un sistema de visión de IA totalmente autónomo a la par de los humanos. Utilizando LLaVA y MiniGPT-4 como ejemplos, los investigadores exploraron los antecedentes y las potentes funciones de LMM, estudiaron el ajuste de instrucciones en LLM y mostraron cómo construir un prototipo utilizando recursos de código abierto.
Los investigadores esperan que la comunidad siga trabajando en prototipos de nuevas funcionalidades y técnicas de evaluación para reducir las barreras computacionales y hacer que los modelos grandes sean más accesibles, y seguir centrándose en ampliar el éxito y estudiar nuevas propiedades emergentes.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
También estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.