Y entonces, parece que la respuesta no es una lucha a muerte entre CNN y Transformers (ver los muchos demasiado indulgente elogios para LSTM), sino algo un poco más romántico. La adopción de convoluciones 2D en transformadores jerárquicos como CvT y PVTv2 no solo crea convenientemente características multiescala, reduce la complejidad de la autoatención y simplifica la arquitectura al aliviar la necesidad de codificación posicional, sino que estos modelos también emplean conexiones residuales, otro rasgo heredado. de sus progenitores. Las fortalezas complementarias de los transformadores y las CNN se han reunido en una descendencia viable.
Entonces, ¿ha terminado la era de ResNet? Ciertamente así parece, aunque cualquier artículo seguramente necesitará incluir esta infatigable columna vertebral para realizar comparaciones durante algún tiempo. Es importante recordar, sin embargo, que aquí no hay perdedores, sólo una nueva generación de extractores de funciones potentes y transferibles para que todos disfruten, si saben dónde buscar. Los modelos eficientes en parámetros como PVTv2 democratizan la investigación de arquitecturas más complejas al ofrecer una poderosa extracción de características con una pequeña huella de memoria, y merecen ser agregados a la lista de backbones estándar para evaluar nuevas arquitecturas.
Trabajo futuro
Este artículo se ha centrado en cómo la polinización cruzada de operaciones convolucionales y la autoatención nos ha proporcionado la evolución de los transformadores de características jerárquicas. Estos modelos han mostrado un rendimiento dominante y eficiencia de parámetros a pequeñas escalas, lo que los convierte en pilares ideales de extracción de características (especialmente en entornos con parámetros restringidos). Sin embargo, falta explorar si las eficiencias y los sesgos inductivos que estos modelos aprovechan en escalas más pequeñas pueden transferirse al éxito a gran escala y amenazar el dominio de los ViT puros en recuentos de parámetros mucho más altos.
Modelos multimodales grandes (LMMS) como lenguaje grande y asistente visual (LLaVA) y otras aplicaciones que requieren una comprensión del lenguaje natural de los datos visuales se basan en el preentrenamiento de imágenes y lenguaje contrastivo (ACORTAR) incrustaciones generadas a partir de características de ViT-L y, por lo tanto, heredan las fortalezas y debilidades de ViT. Si la investigación sobre el escalamiento de transformadores jerárquicos muestra que sus beneficios, como las características multiescala que mejoran la comprensión detallada, les permiten lograr un rendimiento mejor o similar con mayor eficiencia de parámetros que ViT-L, tendría un impacto práctico generalizado e inmediato en cualquier cosa. utilizando CLIP: los LMM, la robótica, las tecnologías de asistencia, la realidad virtual/aumentada, la moderación de contenidos, la educación, la investigación y muchas más aplicaciones que afectan a la sociedad y la industria podrían mejorarse y hacerse más eficientes, reduciendo la barrera para el desarrollo y la implementación de estas tecnologías.