Entrenamiento previo en dominio de imagen
Al pasar al dominio de la imagen, la pregunta inmediata es cómo formamos la “secuencia de tokens” de la imagen. El pensamiento natural es simplemente utilizar la arquitectura ViT, dividiendo una imagen en una cuadrícula de parches de imagen (tokens visuales).
BEIT. Publicada como preimpresión de arXiv en 2022, la idea de BEiT es sencilla. Después de tokenizar una imagen en una secuencia de 14*14 tokens visuales, el 40% de los tokens se enmascaran aleatoriamente, se reemplazan por incrustaciones que se pueden aprender y se introducen en el transformador. El objetivo previo al entrenamiento es maximizar la probabilidad logarítmica de los tokens visuales correctos, y no se necesita ningún decodificador para esta etapa. La tubería se muestra en la siguiente figura.
En el artículo original, los autores también proporcionaron un vínculo teórico entre BEiT y el codificador automático variacional. Entonces, la pregunta natural es: ¿se puede utilizar un Autoencoder con fines de preentrenamiento?
MAE-ViT. Este artículo respondió a la pregunta anterior diseñando una arquitectura de codificador automático enmascarado. Usando la misma formulación de ViT y enmascaramiento aleatorio, los autores propusieron “descartar” los parches enmascarados durante el entrenamiento y usar solo parches desenmascarados en la secuencia del token visual como entrada al codificador. Los tokens de máscara se utilizarán para la reconstrucción durante la etapa de decodificación en el entrenamiento previo. El decodificador podría ser flexible y oscilar entre 1 y 12 bloques de transformadores con dimensionalidad entre 128 y 1024. Se puede encontrar información arquitectónica más detallada en el artículo original.
SimMIM. Ligeramente diferente de BEiT y MAE-ViT, el artículo propone utilizar una columna vertebral flexible como Swin Transformer para fines de codificación. El cabezal de predicción propuesto es extremadamente liviano: una sola capa lineal de un MLP de 2 capas para hacer retroceder los píxeles enmascarados.