Segment Anything Model 3 (SAM3) provocó una onda de choque en la comunidad de visión por computadora. Las redes sociales se vieron inundadas, con razón, de elogios por su desempeño. SAM3 no es sólo una actualización incremental; presenta Promptable Concept Segmentation (PCS), una arquitectura de lenguaje de visión que permite a los usuarios segmentar objetos utilizando indicaciones de lenguaje natural. Desde sus capacidades 3D (SAM3D) hasta su seguimiento de vídeo nativo, es sin lugar a dudas una obra maestra de la IA de propósito general.
Sin embargo, en el mundo de la IA de producción, el entusiasmo a menudo puede desdibujar la línea entre la capacidad de disparo cero y el dominio práctico. Tras la publicación, muchos afirmaron que ya no es necesaria la formación en detectores domésticos. Como ingeniero que ha pasado años implementando modelos en el campo, sentí un escepticismo familiar. Si bien un modelo de base es la navaja suiza definitiva, no la usas para talar un bosque cuando tienes una motosierra. Este artículo investiga una pregunta que a menudo está implícita en los artículos de investigación pero que rara vez se prueba frente a las limitaciones de un entorno de producción.
¿Puede un modelo pequeño, para tareas específicas, entrenado con datos limitados y un presupuesto de cómputo de 6 horas, superar a un gigante masivo de propósito general como SAM3 en un entorno totalmente autónomo?
Para quienes están en las trincheras de la visión por computadora, la respuesta instintiva es Sí. Pero en una industria impulsada por datos, el instinto no es suficiente, así que decidí demostrarlo.
¿Qué hay de nuevo en SAM3?
Antes de profundizar en los puntos de referencia, debemos comprender por qué se considera que SAM3 es un gran avance. SAM3 es un modelo básico pesado que incluye 840,50975 millones de parámetros. Esta escala tiene un costo, la inferencia es computacionalmente costosa. En una GPU NVIDIA P100, se ejecuta a aproximadamente ~1100 ms por imagen.
Mientras que el predecesor SAM se centró en Dónde (clics, cuadros y máscaras interactivos), SAM3 introduce un componente Visión-Lenguaje que permite el razonamiento Qué a través de indicaciones de vocabulario abierto basadas en texto.
En resumen, SAM3 pasa de ser un asistente interactivo a un sistema de disparo cero. No necesita una lista de etiquetas predefinida; opera sobre la marcha. Esto la convierte en una herramienta de ensueño para la edición de imágenes y la anotación manual. Pero la pregunta sigue siendo: ¿este enorme cerebro de propósito general realmente supera a un especialista eficiente cuando la tarea es limitada y el entorno es autónomo?
Puntos de referencia
Para comparar SAM3 con modelos entrenados en dominios, seleccioné un total de cinco conjuntos de datos que abarcan tres dominios: detección de objetos, segmentación de instancias y detección de objetos destacados. Para mantener la comparación justa y basada en la realidad, definí los siguientes criterios para el proceso de capacitación.
Recinto ferial para SAM3: las categorías del conjunto de datos deben ser detectables por SAM3 desde el primer momento. Queremos probar SAM3 en sus puntos fuertes. Por ejemplo, SAM3 puede identificar con precisión un tiburón frente a una ballena. Sin embargo, pedirle que distinga entre una ballena azul y una ballena de aleta podría ser injusto. Ajuste mínimo de hiperparámetros: utilicé conjeturas iniciales para la mayoría de los parámetros con poco o ningún ajuste fino. Esto simula un escenario de inicio rápido para un ingeniero. Presupuesto informático estricto: los modelos especializados se entrenaron en un plazo máximo de 6 horas. Esto satisface la condición de utilizar recursos informáticos mínimos y accesibles. Fuerza de las indicaciones: para cada conjunto de datos, probé las indicaciones de SAM3 con 10 imágenes seleccionadas al azar. Solo finalicé un mensaje una vez que estuve satisfecho de que SAM3 estaba detectando los objetos correctamente en esas muestras. Si es escéptico, puede elegir imágenes aleatorias de estos conjuntos de datos y probar mis indicaciones en la demostración de SAM3 para confirmar este enfoque imparcial.
La siguiente tabla muestra el promedio ponderado de métricas individuales para cada caso. Si tiene prisa, esta tabla proporciona una imagen de alto nivel de las compensaciones entre rendimiento y velocidad. Puedes ver todas las ejecuciones de WandDB aquí.
Exploremos los matices de cada caso de uso y veamos por qué los números se ven así.
Detección de objetos
En este caso de uso, comparamos conjuntos de datos utilizando únicamente cuadros delimitadores. Esta es la tarea más común en entornos de producción.
Para nuestras métricas de evaluación, utilizamos las métricas COCO estándar calculadas con IoU basado en cuadros delimitadores. Para determinar un ganador general entre diferentes conjuntos de datos, utilizo una suma ponderada de estas métricas. Asigné el peso más alto a mAP (precisión promedio media), ya que proporciona la instantánea más completa de la precisión y el equilibrio de recuperación de un modelo. Si bien los pesos nos ayudan a elegir un ganador general, puedes ver cómo cada modelo se compara con el otro en cada categoría individual.
1. Detección global de trigo
La primera publicación que vi en LinkedIn sobre el rendimiento de SAM3 fue en realidad sobre este conjunto de datos. Esa publicación específica despertó mi idea de realizar una evaluación comparativa en lugar de basar mi opinión en algunas anécdotas.
Este conjunto de datos ocupa un lugar especial para mí porque fue la primera competencia en la que participé en 2020. En ese momento yo era un ingeniero ecológico recién salido de la especialización en aprendizaje profundo de Andrew Ng. Tenía más motivación que habilidad de codificación y tontamente decidí implementar YOLOv3 desde cero. Mi implementación fue un desastre con un retiro de ~10% y no logré realizar ni un solo envío exitoso. Sin embargo, aprendí más de ese fracaso de lo que cualquier tutorial podría enseñarme. Elegir este conjunto de datos nuevamente fue un agradable viaje al pasado y una forma mensurable de ver cuánto he crecido.
Para la división del valor del tren, dividí aleatoriamente los datos proporcionados en una proporción de 90-10 para garantizar que ambos modelos se evaluaran exactamente en las mismas imágenes. El recuento final fue de 3035 imágenes para entrenamiento y 338 imágenes para validación.
Utilicé Ultralytics YOLOv11-Large y proporcioné pesos preentrenados de COCO como punto de partida y entrené el modelo durante 30 épocas con hiperparámetros predeterminados. El proceso de formación se completó en tan solo 2 horas 15 minutos.
Los datos sin procesar muestran que SAM3 está detrás de YOLO en un 17% en general, pero los resultados visuales cuentan una historia más compleja. Las predicciones de SAM3 a veces son estrictas y se vinculan estrechamente con la espiga de trigo.
Por el contrario, el modelo YOLO predice cajas ligeramente más grandes que rodean las aristas (las cerdas del cabello). Debido a que las anotaciones del conjunto de datos incluyen estas aristas, el modelo YOLO es técnicamente más correcto según el caso de uso, lo que explica por qué lidera en métricas altas de IoU. Esto también explica por qué SAM3 parece dominar a YOLO en la categoría de objetos pequeños (una ventaja del 132%). Para garantizar una comparación justa a pesar de esta discrepancia en el cuadro delimitador, deberíamos mirar AP50. Con un umbral de 0,5 IoU, SAM3 pierde un 12,4%.
Si bien mi modelo YOLOv11 tuvo problemas con las espigas de trigo más pequeñas, un problema que podría resolverse agregando un cabezal de detección de alta resolución P2. El modelo especializado aún ganó la mayoría de las categorías en un escenario de uso en el mundo real.
En la prueba de competencia oculta, el modelo especializado también superó con creces al SAM3.
Detalles de ejecución:
2. Detección de armas por CCTV
Elegí este conjunto de datos para comparar SAM3 en imágenes de estilo de vigilancia y para responder una pregunta crítica: ¿Tiene más sentido un modelo básico cuando los datos son extremadamente escasos?
El conjunto de datos consta de sólo 131 imágenes capturadas por cámaras CCTV en seis ubicaciones diferentes. Debido a que las imágenes de la misma cámara están altamente correlacionadas, decidí dividir los datos a nivel de escena en lugar de a nivel de imagen. Esto garantiza que el conjunto de validación contenga entornos completamente invisibles, lo que constituye una mejor prueba de la solidez de un modelo. Utilicé cuatro escenas para entrenamiento y dos para validación, lo que dio como resultado 111 imágenes de entrenamiento y 30 imágenes de validación.
Para esta tarea utilicé YOLOv11-Medium. Para evitar un sobreajuste en un tamaño de muestra tan pequeño, tomé varias decisiones de ingeniería específicas:
Congelación de la columna vertebral: congelé toda la columna vertebral para preservar las funciones previamente entrenadas de COCO. Con sólo 111 imágenes, descongelar la columna vertebral probablemente corrompería las pesas y conduciría a un entrenamiento inestable. Regularización: aumenté la caída de peso y utilicé un aumento de datos más intensivo para forzar la generalización del modelo. Ajuste de la tasa de aprendizaje: bajé las tasas de aprendizaje inicial y final para asegurar que el jefe del modelo convergiera suavemente en las nuevas funciones.
Todo el proceso de entrenamiento tomó solo 8 minutos durante 50 épocas. Aunque estructuré este experimento como una posible victoria para SAM3, los resultados fueron sorprendentes. El modelo especializado superó a SAM3 en todas las categorías, perdiendo frente a YOLO en un 20,50 % en general.
Esto sugiere que para tareas específicas de alto riesgo, como la detección de armas, incluso un puñado de imágenes de dominio específico puede proporcionar una mejor base de referencia que un modelo masivo de propósito general.
Detalles de ejecución:
Segmentación de instancias
En este caso de uso, comparamos conjuntos de datos con polígonos y máscaras de segmentación a nivel de instancia. Para nuestra evaluación, utilizamos las métricas COCO estándar calculadas con IoU basado en máscara. De manera similar a la sección de detección de objetos, utilizo una suma ponderada de estas métricas para determinar las clasificaciones finales.
Un obstáculo importante en la segmentación de instancias de evaluación comparativa es que muchos conjuntos de datos de alta calidad solo proporcionan máscaras semánticas. Para crear una prueba justa para SAM3 y YOLOv11, seleccioné conjuntos de datos donde los objetos tienen claros espacios espaciales entre ellos. Escribí un proceso de preprocesamiento para convertir estas máscaras semánticas en etiquetas a nivel de instancia identificando componentes individuales conectados. Luego los formateé como un conjunto de datos COCO Polygon. Esto nos permitió medir qué tan bien los modelos distinguen entre cosas individuales en lugar de simplemente identificarlas.
1. Segmentación de grietas de hormigón
Elegí este conjunto de datos porque representa un desafío importante para ambos modelos. Las grietas tienen formas muy irregulares y trayectorias ramificadas que son notoriamente difíciles de capturar con precisión. La división final resultó en 9603 imágenes para entrenamiento y 1695 imágenes para validación.
Las etiquetas originales de las grietas eran extremadamente finas. Para entrenar eficazmente en estructuras tan delgadas, habría necesitado utilizar una resolución de entrada muy alta, lo cual no era factible dentro de mi presupuesto de computación. Para solucionar esto, apliqué una transformación morfológica para espesar las máscaras. Esto permitió que el modelo aprendiera las estructuras de las grietas a una resolución más baja manteniendo resultados aceptables. Para garantizar una comparación justa, apliqué exactamente la misma transformación a la salida de SAM3. Dado que SAM3 realiza inferencias a alta resolución y detecta detalles finos, el espesamiento de sus máscaras aseguró que estuviéramos comparando manzanas con manzanas durante la evaluación.
Entrené un modelo YOLOv11-Medium-Seg durante 30 épocas. Mantuve la configuración predeterminada para la mayoría de los hiperparámetros, lo que resultó en un tiempo total de entrenamiento de 5 horas y 20 minutos.
El modelo especializado superó al SAM 3 con una diferencia de puntuación general del 47,69%. En particular, SAM 3 tuvo problemas con la retirada, quedando por detrás del modelo YOLO en más del 33%. Esto sugiere que, si bien SAM 3 puede identificar grietas en un sentido general, carece de la sensibilidad específica del dominio necesaria para mapear redes de fracturas exhaustivas en un entorno autónomo.
Sin embargo, el análisis visual sugiere que debemos tomar esta dramática brecha del 47,69% con cautela. Incluso después del posprocesamiento, SAM 3 produce máscaras más delgadas que el modelo YOLO y es probable que SAM3 sea penalizado por sus finas segmentaciones. Si bien YOLO aún ganaría este punto de referencia, una métrica ajustada a la máscara más refinada probablemente colocaría la diferencia de rendimiento real más cerca del 25%.
Detalles de ejecución:
2. Segmentación de células sanguíneas
Incluí este conjunto de datos para probar los modelos en el ámbito médico. A primera vista, esto parecía una clara ventaja para SAM3. Las imágenes no requieren parches complejos de alta resolución y las celdas generalmente tienen bordes claros y definidos, que es exactamente donde los modelos de base suelen brillar. O al menos esa era mi hipótesis.
De manera similar a la tarea anterior, tuve que convertir máscaras semánticas en un formato de segmentación de instancias estilo COCO. Al principio me preocupaba tocar las células. Si se agruparan varias celdas en un solo blob de máscara, mi preprocesamiento las trataría como una sola instancia. Esto podría crear un sesgo en el que el modelo YOLO aprende a predecir grupos, mientras que SAM3 identifica correctamente las células individuales pero es penalizado por ello. Tras una inspección más cercana, descubrí que el conjunto de datos proporcionaba pequeños espacios de unos pocos píxeles entre celdas adyacentes. Al utilizar la detección de contornos, pude separarlos en instancias individuales. Evité intencionalmente la dilatación morfológica aquí para preservar esas brechas y me aseguré de que el proceso de inferencia SAM3 permaneciera idéntico. El conjunto de datos proporcionó su propia división con 1169 imágenes de entrenamiento y 159 imágenes de validación.
Entrené un modelo YOLOv11-Medium durante 30 épocas. Mi único cambio significativo con respecto a la configuración predeterminada fue aumentar el peso_decay para proporcionar una regularización más agresiva. El entrenamiento fue increíblemente eficiente y duró sólo 46 minutos.
A pesar de mi creencia inicial de que esto sería una victoria para SAM3, el modelo especializado volvió a superar al modelo básico en un 23,59 % en general. Incluso cuando las reglas visuales parecen favorecer a un generalista, el entrenamiento especializado permite que el modelo más pequeño capture los matices específicos del dominio que SAM3 pasa por alto. Puede ver en los resultados anteriores que a SAM3 le faltan muchas instancias de celdas.
Detalles de ejecución:
Detección de objetos salientes/matizado de imágenes
En este caso de uso, comparamos conjuntos de datos que involucran segmentación binaria con máscaras de segmentación de separación de primer plano y fondo. La aplicación principal son las tareas de edición de imágenes, como la eliminación del fondo, donde la separación precisa del sujeto es fundamental.
El coeficiente Dice es nuestra principal métrica de evaluación. En la práctica, las puntuaciones de Dice alcanzan rápidamente valores de alrededor de 0,99 una vez que el modelo segmenta la mayor parte de la región. En esta etapa aparecen diferencias significativas en el estrecho rango de 0,99 a 1,0. Las pequeñas mejoras absolutas aquí corresponden a mejoras visualmente perceptibles, especialmente alrededor de los límites de los objetos.
Consideramos dos métricas para nuestra comparación general:
Coeficiente de dados: ponderado a 3,0 MAE (error absoluto medio): ponderado a 0,01
Nota: También agregué F1-Score pero luego me di cuenta de que F1-Score y Dice Coeficiente son matemáticamente idénticos, por lo que lo omití aquí. Si bien existen métricas especializadas centradas en límites, las excluí para mantener nuestra personalidad de ingeniero novato. Queremos ver si alguien con habilidades básicas puede vencer a SAM3 usando herramientas estándar.
En los registros de Weights & Biases (W&B), los resultados del modelo especializado pueden verse objetivamente malos en comparación con SAM3. Este es un artefacto de visualización causado por el umbral binario. Nuestro modelo ISNet predice un mate alfa degradado que permite bordes semitransparentes suaves. Para sincronizar con W&B utilicé un umbral fijo de 0,5 para convertirlos en máscaras binarias. En un entorno de producción, ajustar este umbral o utilizar el mate alfa sin procesar produciría una calidad visual mucho mayor. Dado que SAM3 produce una máscara binaria de la caja, sus resultados se ven muy bien en WandB. Sugiero consultar los resultados que figuran en la sección de resultados del cuaderno.
Ingeniería del oleoducto:
Para esta tarea utilicé ISNet, utilicé el código del modelo y pesos previamente entrenados del repositorio oficial, pero implementé un bucle de entrenamiento personalizado y clases de conjunto de datos. Para optimizar el proceso también implementé:
Transformaciones sincronizadas: extendí las transformaciones de torchvision para garantizar que las transformaciones de la máscara (como la rotación o el giro) estuvieran perfectamente sincronizadas con la imagen. Entrenamiento de precisión mixta: modifiqué la clase de modelo y la función de pérdida para admitir la precisión mixta. Usé BCEWithLogitsLoss para estabilidad numérica.
1. Conjunto de datos de EasyPortrait
Quería incluir una tarea de eliminación de fondo de alto riesgo específicamente para imágenes de selfies/retratos. Esta es posiblemente la aplicación más popular de detección de objetos salientes en la actualidad. El principal desafío aquí es la segmentación del cabello. El cabello humano tiene bordes y transparencias de alta frecuencia que son notoriamente difíciles de capturar. Además, los sujetos usan ropa diversa que a menudo puede mezclarse con los colores del fondo.
El conjunto de datos original proporciona 20.000 imágenes de rostros etiquetados. Sin embargo, el conjunto de pruebas proporcionado fue mucho mayor que el conjunto de validación. Ejecutar SAM3 en un conjunto de pruebas tan grande habría excedido la cuota de GPU de Kaggle esa semana, necesitaba esa cuota para otras cosas. Entonces cambié los dos conjuntos, lo que resultó en un proceso de evaluación más manejable.
Conjunto de tren: 14.000 imágenes Conjunto de Val: 4.000 imágenes Conjunto de prueba: 2.000 imágenes
Aumentos estratégicos:
Para garantizar que el modelo fuera útil en flujos de trabajo del mundo real en lugar de simplemente ajustar demasiado el conjunto de validación, implementé un canal de aumento sólido. Puede ver el aumento arriba, pero este fue mi pensamiento detrás de los aumentos.
Cambio de tamaño consciente de la relación de aspecto: primero cambié el tamaño de la dimensión más larga y luego tomé un recorte aleatorio de tamaño fijo. Esto evitó el efecto de cara aplastada común con el cambio de tamaño estándar. Transformaciones de perspectiva: dado que el conjunto de datos se compone principalmente de personas que miran directamente a la cámara, agregué fuertes cambios de perspectiva para simular asientos en ángulo o tomas de perfil lateral. Variación de color: varié el brillo y el contraste para manejar la iluminación de subexpuesta a sobreexpuesta, pero mantuve el cambio de tono en cero para evitar tonos de piel poco naturales. Transformaciones afines: rotación agregada para manejar varias inclinaciones de la cámara.
Debido a los límites de cálculo, entrené con una resolución de 640 × 640 durante 16 épocas. Esta fue una desventaja significativa ya que SAM3 opera y probablemente fue entrenado con una resolución de 1024×1024; el entrenamiento tomó 4 horas y 45 minutos.
Incluso con la desventaja de resolución y una formación mínima, el modelo especializado superó al SAM3 en un 0,25 % en general. Sin embargo, los resultados numéricos enmascaran una compensación visual fascinante:
La calidad del borde: las predicciones de nuestro modelo son actualmente más ruidosas debido a la corta duración del entrenamiento. Sin embargo, cuando golpea, los bordes se desvanecen naturalmente, perfectos para mezclar. El SAM3 Boxiness: SAM3 es increíblemente consistente pero sus bordes a menudo parecen polígonos de puntos altos en lugar de máscaras orgánicas. Produce un límite cuadrado y pixelado que parece artificial. The Hair Win: Nuestro modelo supera al SAM3 en las regiones capilares. A pesar del ruido, nuestro modelo captura el flujo orgánico del cabello, mientras que SAM3 a menudo se aproxima a estas áreas. Esto se refleja en el error absoluto medio (MAE), donde SAM3 es un 27,92% más débil. La lucha por la ropa: por el contrario, SAM3 sobresale en segmentar la ropa, donde los límites son más geométricos. Nuestro modelo todavía lucha con las texturas y formas de la tela.
El hecho de que un modelo con discapacidad (menor resolución, menos épocas) aún pueda superar a un modelo básico en su métrica más sólida (MAE/precisión de borde) es un testimonio del entrenamiento específico del dominio. Si se escala a 1024 px y se entrena por más tiempo, este modelo especializado probablemente mostraría mayores ganancias con respecto a SAM3 para este caso de uso específico.
Detalles de ejecución:
Conclusión
Con base en este punto de referencia multidominio, los datos sugieren un camino estratégico claro para la visión por computadora a nivel de producción. Si bien los modelos básicos como SAM3 representan un salto enorme en capacidad, se utilizan mejor como aceleradores de desarrollo que como trabajadores de producción permanentes.
Caso 1: Categorías fijas y datos etiquetados disponibles (más de 500 muestras) Entrene un modelo especializado. La precisión, la confiabilidad y las velocidades de inferencia 30 veces más rápidas superan con creces el pequeño tiempo de entrenamiento inicial. Caso 2: Categorías fijas pero sin datos etiquetados Utilice SAM3 como asistente de etiquetado interactivo (no automático). SAM3 no tiene rival para arrancar un conjunto de datos. Una vez que tenga ~500 fotogramas de alta calidad, realice la transición a un modelo especializado para la implementación. Caso 3: Arranque en frío (sin imágenes, sin datos etiquetados) Implemente SAM3 en modo de sombra con poco tráfico durante varias semanas para recopilar imágenes del mundo real. Una vez creado un corpus representativo, entrene e implemente un modelo específico de dominio. Utilice SAM3 para acelerar los flujos de trabajo de anotación.
¿Por qué gana el especialista en producción?
1. Independencia del hardware y rentabilidad
No necesita un H100 para ofrecer una visión de alta calidad. Los modelos especializados como YOLOv11 están diseñados para ser eficientes.
Servicio de GPU: un solo Tesla T4 (que cuesta una miseria en comparación con un H100) puede atender a una gran base de usuarios con una latencia inferior a 50 ms. Se puede escalar horizontalmente según la necesidad. Viabilidad de la CPU: para muchos flujos de trabajo, la implementación de la CPU es una opción viable y de alto margen. Al utilizar un módulo de CPU potente y escalamiento horizontal, puede administrar la latencia ~200 ms mientras mantiene la complejidad de la infraestructura al mínimo. Optimización: los modelos especializados se pueden podar y cuantificar. Un modelo YOLO optimizado en una CPU puede ofrecer un valor inmejorable a velocidades de inferencia rápidas.
2. Propiedad total y confiabilidad
Cuando eres dueño del modelo, controlas la solución. Puede volver a capacitarse para abordar fallas específicas en casos extremos, abordar alucinaciones o crear pesos específicos del entorno para diferentes clientes. Ejecutar una docena de modelos especializados adaptados al entorno suele ser más barato y predecible que un modelo básico masivo.
El papel futuro de SAM3
SAM3 debe verse como un asistente de visión. Es la herramienta definitiva para cualquier caso de uso donde las categorías no sean fijas, como por ejemplo:
Edición de imágenes interactiva: donde un humano dirige la segmentación. Búsqueda de vocabulario abierto: encontrar cualquier objeto en una base de datos masiva de imágenes/videos. Anotación asistida por IA: reducción del tiempo de etiquetado manual.
El equipo de Meta ha creado una obra maestra con SAM3, y su comprensión a nivel de concepto cambia las reglas del juego. Sin embargo, para un ingeniero que busca crear un producto escalable, rentable y preciso hoy en día, el modelo Expert especializado sigue siendo la mejor opción. Espero agregar SAM4 a la mezcla en el futuro para ver cómo evoluciona esta brecha.
¿Está viendo que los modelos de cimentación reemplazan sus tuberías especializadas o el costo sigue siendo demasiado alto? Discutamos en los comentarios. Además, si obtienes algún valor de esto, ¡te agradecería compartirlo!