En los últimos años, los LMM se han expandido rápidamente, aprovechando CLIP como codificador de visión fundamental para representaciones visuales sólidas y los LLM como herramientas versátiles para el razonamiento en diversas modalidades. Sin embargo, si bien los LLM han crecido a más de 100 mil millones de parámetros, los modelos de visión en los que se basan deben ser más grandes, lo que obstaculiza su potencial. Ampliar el entrenamiento previo de lenguaje-imagen contrastante (CLIP) es esencial para mejorar tanto la visión como los modelos multimodales, cerrar la brecha y permitir un manejo más efectivo de diversos tipos de datos.
Investigadores de la Academia de Inteligencia Artificial de Beijing y la Universidad de Tsinghua han presentado EVA-CLIP-18B, el modelo CLIP de código abierto más grande hasta el momento, con 18 mil millones de parámetros. A pesar de entrenar con solo 6 mil millones de muestras, logra una impresionante precisión top-1 de disparo cero del 80,7% en 27 puntos de referencia de clasificación de imágenes, superando modelos anteriores como EVA-CLIP. En particular, este avance se logra con un modesto conjunto de datos de 2 mil millones de pares de imágenes y texto, disponibles abiertamente y más pequeños que los utilizados en otros modelos. EVA-CLIP-18B muestra el potencial del escalado de modelos visuales de débil a fuerte estilo EVA, con la esperanza de fomentar más investigaciones en visión y modelos de base multimodal.
EVA-CLIP-18B es el modelo CLIP de código abierto más grande y potente, con 18 mil millones de parámetros. Supera a su predecesor EVA-CLIP (5 mil millones de parámetros) y a otros modelos CLIP de código abierto por un amplio margen en términos de precisión top-1 de disparo cero en 27 puntos de referencia de clasificación de imágenes. Los principios de EVA y EVA-CLIP guían el procedimiento de ampliación de EVA-CLIP-18B. La filosofía EVA sigue un paradigma de débil a fuerte, donde un pequeño modelo EVA-CLIP sirve como inicialización del codificador de visión para un modelo EVA-CLIP más grande. Este proceso de escalado iterativo estabiliza y acelera el entrenamiento de modelos más grandes.
EVA-CLIP-18B, un modelo CLIP de 18 mil millones de parámetros, está entrenado en un conjunto de datos de 2 mil millones de pares de imágenes y texto de LAION-2B y COYO-700M. Siguiendo los principios de EVA y EVA-CLIP, emplea un paradigma de débil a fuerte, donde un modelo EVA-CLIP más pequeño inicializa uno más grande, estabilizando y acelerando el entrenamiento. La evaluación de 33 conjuntos de datos, incluida la clasificación de imágenes y vídeos y la recuperación de textos de imágenes, demuestra su eficacia. El proceso de escalamiento implica destilar conocimiento de un modelo EVA-CLIP pequeño a un EVA-CLIP más grande, con el conjunto de datos de entrenamiento en su mayor parte arreglado para mostrar la efectividad de la filosofía de escalado. En particular, el enfoque produce ganancias sostenidas en el desempeño, lo que ejemplifica la efectividad del escalamiento progresivo de débil a fuerte.
EVA-CLIP-18B, que cuenta con 18 mil millones de parámetros, muestra un rendimiento excepcional en diversas tareas relacionadas con la imagen. Logra una impresionante precisión top-1 de disparo cero del 80,7% en 27 puntos de referencia de clasificación de imágenes, superando a su predecesor y otros modelos CLIP por un margen significativo. Además, el sondeo lineal en ImageNet-1K supera a competidores como InternVL-C con una precisión promedio de 88,9. La recuperación de texto e imagen de disparo cero en los conjuntos de datos de Flickr30K y COCO logra una recuperación promedio de 87,8, superando significativamente a la competencia. EVA-CLIP-18B muestra solidez en diferentes variantes de ImageNet, lo que demuestra su versatilidad y alto rendimiento en 33 conjuntos de datos ampliamente utilizados.
En conclusión, EVA-CLIP-18B es el modelo CLIP de código abierto más grande y de mayor rendimiento, con 18 mil millones de parámetros. La aplicación del principio de escala de visión de débil a fuerte de EVA logra una precisión excepcional de cero disparos en 27 puntos de referencia de clasificación de imágenes. Este enfoque de escala mejora constantemente el rendimiento sin llegar a la saturación, superando los límites de las capacidades del modelo de visión. En particular, EVA-CLIP-18B muestra solidez en las representaciones visuales, manteniendo el rendimiento en varias variantes de ImageNet, incluidas las adversas. Su versatilidad y eficacia se demuestran en múltiples conjuntos de datos, que abarcan tareas de clasificación de imágenes, recuperación de texto de imágenes y clasificación de videos, lo que marca un avance significativo en las capacidades del modelo CLIP.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.