Esta es la parte 4 de mi nueva serie de varias partes. 🐍 Hacia los modelos espaciales de estados Mamba para imágenes, vídeos y series temporales.
yoEl campo de la visión artificial ha experimentado avances increíbles en los últimos años. Uno de los factores clave para este desarrollo ha sido, sin duda, la introducción del Transformer. Si bien el Transformer ha revolucionado el procesamiento del lenguaje natural, nos llevó algunos años transferir sus capacidades al dominio de la visión. Probablemente, el artículo más destacado fue el Transformador de visión (ViT)un modelo que todavía se utiliza como columna vertebral en muchas de las arquitecturas modernas.
Son nuevamente los Transformers. O(L²) complejidad que limita su aplicación a medida que aumenta la resolución de la imagen. Al estar equipado con el Modelo de espacio de estados selectivos de MambaAhora podemos dejar que la historia se repita y transferir el éxito de los SSM de los datos de secuencia a los datos que no son de secuencia: imágenes.
❗Alerta de spoiler: VisionMamba es 2,8 veces más rápido que DeiT y ahorra un 86,8% de memoria de GPU en imágenes de alta resolución (1248×1248) y en este artículo verás cómo…