Una inmersión profunda en cómo funciona el procedimiento de decodificación del modelo Segment-Anything, centrándose en cómo funciona su mecanismo de autoatención y atención cruzada.
El modelo Segment-Anything (SAM) es un modelo de segmentación interactivo 2D o modelo guiado. SAM requiere indicaciones del usuario para segmentar una imagen. Estas indicaciones le indican al modelo dónde segmentar. Las entradas al modelo SAM son una imagen 2D y un conjunto de indicaciones. Las indicaciones de los usuarios le dicen al modelo dónde enfocarse. El resultado del modelo es un conjunto de máscaras de segmentación en diferentes niveles y una puntuación de confianza asociada a cada máscara.
Una máscara de segmentación es una matriz binaria 2D con el mismo tamaño que la imagen de entrada. En esta matriz 2D, una entrada en la ubicación (x,y) tiene un valor 1 si el modelo cree que el píxel en la ubicación (x,y) pertenece al área segmentada. De lo contrario, la entrada es 0. Esas puntuaciones de confianza indican la creencia del modelo sobre la calidad de cada segmentación; una puntuación más alta significa una calidad más alta.
La arquitectura de red de SAM consta de un codificador y un decodificador:
- El codificador toma la imagen y las entradas de indicaciones del usuario para producir incrustaciones de imágenes, incrustaciones posicionales de imágenes e incrustaciones de indicaciones del usuario.
- El decodificador incorpora las distintas incorporaciones para producir máscaras de segmentación y puntuaciones de confianza.