¿Cómo puede encontrar, segmentar y rastrear de manera confiable cada instancia de cualquier concepto en grandes colecciones de imágenes y videos mediante indicaciones simples? Meta AI Team acaba de lanzar Meta Segment Anything Model 3, o SAM 3, un modelo básico unificado de código abierto para una segmentación rápida en imágenes y videos que opera directamente sobre conceptos visuales en lugar de solo píxeles. Detecta, segmenta y rastrea objetos tanto a partir de indicaciones de texto como de indicaciones visuales, como puntos, cuadros y máscaras. En comparación con SAM 2, SAM 3 puede encontrar exhaustivamente todas las instancias de un concepto de vocabulario abierto, por ejemplo, cada “gorra de béisbol roja” en un vídeo largo, utilizando un solo modelo.
De indicaciones visuales a segmentación de conceptos mediante indicaciones
Los modelos SAM anteriores se centraban en la segmentación interactiva. Un usuario hizo clic o dibujó un cuadro y el modelo produjo una sola máscara. Ese flujo de trabajo no se amplió a tareas en las que un sistema debe encontrar todas las instancias de un concepto en grandes colecciones de imágenes o videos. SAM 3 formaliza la segmentación de conceptos promptable (PCS), que toma indicaciones de conceptos y devuelve máscaras de instancia e identidades estables para cada objeto coincidente en imágenes y videos.
Las indicaciones conceptuales combinan frases sustantivas cortas con ejemplos visuales. El modelo admite frases detalladas como “autobús escolar amarillo” o “jugador de rojo” y también puede utilizar cultivos ejemplares como ejemplos positivos o negativos. Las indicaciones de texto describen el concepto, mientras que los cultivos ejemplares ayudan a eliminar la ambigüedad de las diferencias visuales detalladas. SAM 3 también se puede utilizar como herramienta de visión dentro de modelos de lenguaje multimodal de gran tamaño que generan expresiones de referencia más largas y luego llaman a SAM 3 con indicaciones de conceptos destilados.
Arquitectura, Token de Presencia y Diseño de Seguimiento
El modelo SAM 3 tiene parámetros 848M y consta de un detector y un rastreador que comparten un codificador de visión única. El detector es una arquitectura basada en DETR que está condicionada a tres entradas: indicaciones de texto, indicaciones geométricas y ejemplos de imágenes. Esto separa la representación de la imagen central de las interfaces de solicitud y permite que la misma columna vertebral realice muchas tareas de segmentación.
Un cambio clave en SAM 3 es el token de presencia. Este componente predice si cada cuadro o máscara candidata corresponde realmente al concepto solicitado. Es especialmente importante cuando las indicaciones de texto describen entidades relacionadas, como “un jugador de blanco” y “un jugador de rojo”. El token de presencia reduce la confusión entre dichas indicaciones y mejora la precisión del vocabulario abierto. El reconocimiento, es decir, clasificar un candidato como concepto, está desacoplado de la localización, es decir, predecir la forma del cuadro y la máscara.
Para video, SAM 3 reutiliza el rastreador decodificador codificador transformador de SAM 2, pero lo conecta firmemente al nuevo detector. El rastreador propaga identidades de instancia entre marcos y admite el refinamiento interactivo. El diseño de detector y rastreador desacoplado minimiza la interferencia de tareas, se escala limpiamente con más datos y conceptos y aún expone una interfaz interactiva similar a los modelos anteriores de Segment Anything para un refinamiento basado en puntos.
Conjunto de datos y evaluación comparativa de SA-Co
Para entrenar y evaluar la segmentación de conceptos promptable (PCS), Meta presenta la familia SA-Co de conjuntos de datos y puntos de referencia. El punto de referencia SA-Co contiene 270.000 conceptos únicos, que es más de 50 veces la cantidad de conceptos en puntos de referencia de segmentación de vocabulario abierto anteriores. Cada imagen o video se combina con frases nominales y máscaras de instancia densas para todos los objetos que coinciden con cada frase, incluidas indicaciones negativas donde ningún objeto debería coincidir.
El motor de datos asociado ha anotado automáticamente más de 4 millones de conceptos únicos, lo que convierte a SA-Co en el corpus de segmentación de vocabulario abierto de alta calidad más grande mencionado por Meta. El motor combina grandes ontologías con comprobaciones automatizadas y admite minería negativa estricta, por ejemplo, frases que son visualmente similares pero semánticamente distintas. Esta escala es esencial para aprender un modelo que pueda responder con solidez a diversas indicaciones de texto en escenas del mundo real.
Rendimiento de imagen y vídeo
En los puntos de referencia de imágenes de SA-Co, SAM 3 alcanza entre el 75 y el 80 por ciento del desempeño humano medido con la métrica cgF1. Los sistemas de la competencia como OWLv2, DINO-X y Gemini 2.5 van muy por detrás. Por ejemplo, en la detección de cajas SA-Co Gold, SAM 3 informa cgF1 de 55,7, mientras que OWLv2 alcanza 24,5, DINO-X alcanza 22,5 y Gemini 2,5 alcanza 14,4. Esto muestra que un único modelo unificado puede superar a los detectores especializados en la segmentación de vocabulario abierto.
En videos, SAM 3 se evalúa en SA-V, YT-Temporal 1B, SmartGlasses, LVVIS y BURST. En la prueba SA-V alcanza 30,3 cgF1 y 58,0 pHOTA. En la prueba YT-Temporal 1B alcanza 50,8 cgF1 y 69,9 pHOTA. En la prueba SmartGlasses alcanza 36,4 cgF1 y 63,6 pHOTA, mientras que en LVVIS y BURST alcanza 36,3 mAP y 44,5 HOTA respectivamente. Estos resultados confirman que una única arquitectura puede manejar tanto el PCS de imágenes como el seguimiento de vídeo a largo plazo.
SAM 3 como oportunidad de evaluación comparativa centrada en datos para plataformas de anotación
Para plataformas centradas en datos como Encord, SAM 3 es el siguiente paso natural después de sus integraciones existentes de SAM y SAM 2 para etiquetado automático y seguimiento de video, que ya permiten a los clientes anotar automáticamente más del 90 por ciento de las imágenes con alta precisión de máscara utilizando modelos básicos dentro de los flujos de trabajo impulsados por control de calidad de Encord. Plataformas similares como CVAT, SuperAnnotate y Picsellia están estandarizando los modelos de estilo Segment Anything para etiquetado de disparo cero, anotación de modelo en bucle y canalizaciones MLOps. La rápida segmentación del concepto de SAM 3 y el seguimiento unificado de imágenes y videos crean claras oportunidades editoriales y de evaluación comparativa aquí, por ejemplo, cuantificando las reducciones de costos de etiquetas y las ganancias de calidad cuando las pilas tipo Encord pasan de SAM 2 a SAM 3 en conjuntos de datos de video densos o configuraciones multimodales.
Conclusiones clave
SAM 3 unifica la segmentación de imágenes y videos en un modelo básico de parámetro único 848M que admite indicaciones de texto, ejemplos, puntos y cuadros para la segmentación de conceptos mediante indicaciones. El motor de datos y el punto de referencia de SA-Co introducen alrededor de 270.000 conceptos evaluados y más de 4 millones de conceptos anotados automáticamente, lo que convierte la pila de capacitación y evaluación de SAM 3 en uno de los recursos de segmentación de vocabulario abierto más grandes disponibles. SAM 3 supera sustancialmente a los sistemas de vocabulario abierto anteriores, alcanzando alrededor del 75 al 80 por ciento del cgF1 humano en SA Co y más del doble de OWLv2 y DINO-X en métricas clave de detección de SA-Co Gold. La arquitectura desacopla un detector basado en DETR de un rastreador de video estilo SAM 2 con un cabezal de presencia, lo que permite un seguimiento estable de instancias en videos largos mientras se mantiene el refinamiento interactivo del estilo SAM.
SAM 3 avanza Segmentar cualquier cosa, desde la segmentación visual inmediata hasta la segmentación conceptual inmediata en un único modelo de parámetro 848M que unifica imagen y video. Aprovecha el punto de referencia de SA-Co con alrededor de 270.000 conceptos evaluados y más de 4 millones de conceptos anotados automáticamente para aproximadamente entre el 75 y el 80 por ciento del desempeño humano en cgF1. El detector desacoplado basado en DETR y el rastreador estilo SAM 2 con un cabezal de presencia hacen de SAM 3 un modelo básico de visión práctico para agentes y productos. En general, SAM 3 es ahora un punto de referencia para la segmentación de vocabulario abierto a escala de producción.
Consulte los pesos de papel, repositorio y modelo. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.