Los modelos de visión por computadora (CV) son tan buenos como sus etiquetas, y esas etiquetas son tradicionalmente costosas de producir. La investigación de la industria indica Esa anotación de datos puede consumir 50-80% del presupuesto de un proyecto de visión y extender los plazos más allá del horario original. A medida que las empresas de fabricación, atención médica y logística corren para modernizar sus pilas, el tiempo de anotación de datos y las implicaciones de costos se están convirtiendo en una gran carga.
Hasta ahora, el etiquetado se ha basado en el esfuerzo manual y humano. Las técnicas de etiquetado automático que ahora ingresan al mercado son prometedoras y pueden ofrecer ahorros de órdenes de magnitud, gracias a un progreso significativo en modelos de fundaciones y modelos de lenguaje de visión (VLM) que sobresalen en la detección de vocabulario abierto y el razonamiento multimodal. Informe de referencia recientes A ~ 100,000 × Reducción de costo y tiempo para conjuntos de datos a gran escala.
Esta inmersión profunda primero asigna el verdadero costo de la anotación manual, luego explica cómo un enfoque de modelo de IA puede hacer que el marcado automático sea práctico. Finalmente, camina a través de un flujo de trabajo novedoso (llamado Etiquetado automático verificado) que puedes probar tú mismo.
Por qué la visión todavía paga un impuesto de etiquetado
La IA basada en texto saltó hacia adelante cuando LLMS aprendió a extraer el significado de las palabras crudas y sin etiquetar. Los modelos de visión nunca tuvieron ese lujo. Un detector no puede adivinar cómo se ve un “camión” hasta que alguien ha encajonado a miles de camiones, marco por marco y le dijo a la red: “Este es un camión”.
Incluso los híbridos en el idioma de visión de hoy heredan esa restricción: el lado del lenguaje es autosugurado, pero las etiquetas humanas arremanían el canal visual. Investigación de la industria Se estimó que el precio de ese trabajo es del 50-60% de un presupuesto promedio de visión por computadora, aproximadamente equivalente al costo de toda la tubería de entrenamiento de modelos combinados.
Las operaciones bien financiadas pueden absorber el costo, pero se convierte en un bloqueador para equipos más pequeños que menos pueden permitirse.
Tres fuerzas que mantienen los costos altos
Trabajo laboral intensivo- El etiquetado es lento, repetitivo y escala la línea por línea con el tamaño del conjunto de datos. Con aproximadamente $ 0.04 por caja limitada, incluso un proyecto de tamaño mediano puede cruzar seis cifras, especialmente cuando los modelos más grandes desencadenan conjuntos de datos Ever Bigger y múltiples ciclos de revisión.
Experiencia especializada – Muchas aplicaciones, como imágenes médicas, aeroespaciales y conducción autónoma, necesitan anotadores que entiendan los matices de dominio. Estos especialistas puede costar de tres a cinco veces más que los etiquetadores generalistas.
Gastos generales de garantía de calidad- Asegurar etiquetas consistentes a menudo requiere segundos pases, conjuntos de auditorías y adjudicación cuando los revisores no están de acuerdo. El control de calidad adicional mejora la precisión pero estira los plazos, y un grupo de revisores estrecho también puede introducir un sesgo oculto que se propaga a los modelos aguas abajo.
Juntos, estas presiones aumentan los costos que limitaron la adopción de visión por computadora durante años. Varias empresas están construyendo soluciones para abordar este cuello de botella en crecimiento.
Métodos generales de etiquetado automático: fortalezas y deficiencias
Los enfoques de aprendizaje supervisados, semi-supervisados y de pocos disparos, incluido el aprendizaje activo y la capacitación rápida, han prometido reducir el etiquetado manual durante años. La efectividad varía ampliamente con la complejidad de la tarea y la arquitectura del modelo subyacente; Las técnicas a continuación se encuentran simplemente entre las más comunes.
Transferir el aprendizaje y el ajuste fino -Comience con un detector previamente capacitado, como Yolo o R-CNN más rápido, y ajustándolo para un nuevo dominio. Una vez que la tarea cambia a clases de nicho o máscaras herméticas de píxeles, los equipos deben recopilar nuevos datos y absorber un costo sustancial de ajuste.
Modelos de visión-lenguaje de visión cero – Clip y sus primos mapear texto e imágenes en el mismo espacio de incrustación Para que pueda etiquetar nuevas categorías sin etiquetas adicionales. Esto funciona bien para la clasificación. Sin embargo, el equilibrio de la precisión y el recuerdo puede ser más difícil en la detección y la segmentación de objetos, lo que hace que el control de calidad y la verificación de los humanos sean aún más críticos.
Aprendizaje activo – Deje que el modelo etiquete de lo que es seguro, luego burbujee los casos turbios para la revisión humana. En rondas sucesivas, la máquina mejora y la pila de revisión manual se encoge. En la práctica, puede reducir el marcado a mano en un 30–70%pero solo después de varios ciclos de entrenamiento y se ha establecido un modelo inicial razonablemente sólido.
Los tres enfoques ayudan, sin embargo, ninguno de estos solo puede procesar etiquetas de alta calidad a escala.
Los fundamentos técnicos de la detección de objetos de disparo cero
El aprendizaje de disparo cero representa un cambio de paradigma de los enfoques supervisados tradicionales que requieren ejemplos etiquetados extensos para cada clase de objeto. En las tuberías convencionales de visión por computadora, los modelos aprenden a reconocer objetos a través de la exposición a miles de ejemplos anotados; Por ejemplo, un detector de automóviles requiere imágenes de automóviles, un detector de personas requiere imágenes de personas, etc. Este mapeo uno a uno entre los datos de entrenamiento y las capacidades de detección crea el cuello de botella de anotación que afecta el campo.
El aprendizaje de disparo cero rompe esta restricción al aprovechar las relaciones entre las características visuales y las descripciones del lenguaje natural. Los modelos en idioma de visión, como el clip, crean un espacio compartido donde las imágenes y las descripciones de texto se pueden comparar directamente, lo que permite que los modelos reconozcan objetos que nunca han visto durante el entrenamiento. La idea básica es simple: si un modelo sabe lo que significa “vehículo de cuatro ruedas” y “sedán”, debería poder identificar sedanes sin ser entrenados en ejemplos de sedán.
Esto es fundamentalmente diferente del aprendizaje de pocos disparos, que aún requiere algunos ejemplos etiquetados por clase, y el aprendizaje supervisado tradicional, lo que exige datos de capacitación extensos por clase. Los enfoques de disparo cero, por otro lado, se basan en la comprensión compositiva, como descomponer objetos complejos en componentes y relaciones describibles que el modelo ha encontrado en varios contextos durante la capacitación previa.
Sin embargo, extender las capacidades de disparo cero desde la clasificación de imágenes hasta la detección de objetos introduce una complejidad adicional. Si bien determinar si una imagen completa contiene un automóvil es un desafío, localiza con precisión ese automóvil con un cuadro delimitador mientras la clasifica simultáneamente representa una tarea significativamente más exigente que requiere mecanismos sofisticados de conexión a tierra.
Etiquetado automático verificado de Voxel51: un enfoque mejorado
Según la investigación publicada por Voxel51, el Etiquetado automático verificado (Val) La tubería logra aproximadamente el 95% de acuerdo con las etiquetas expertas en puntos de referencia internos. El mismo estudio indica una reducción de costos de aproximadamente 10⁵, transformando un conjunto de datos que habría requerido meses de anotación pagada en una tarea completada en solo unas pocas horas en una sola GPU.
Etiquetar decenas de miles de imágenes en una jornada laboral cambia de anotación de un gasto de larga línea de línea a un trabajo de lotes repetible. Esa velocidad abre la puerta a ciclos de experimentos más cortos y se actualiza el modelo más rápido.
El flujo de trabajo se envía en FiftyOne, la plataforma de visión por computadora de extremo a extremo, que permite a los ingenieros de ML anotar, visualizar, curar y colaborar en datos y modelos en una sola interfaz.
Si bien los servicios administrados como Scale AI Rapid y SageMaker Ground Truth también combinan modelos de base con revisión humana, el etiquetado automático verificado de Voxel51 agrega QA integrado, corte de datos estratégicos y capacidades completas de análisis de evaluación del modelo. Esto ayuda a los ingenieros no solo a mejorar la velocidad y la precisión de la anotación de datos, sino también a aumentar la calidad general de los datos y la precisión del modelo.
Componentes técnicos del marcado automático verificado de Voxel51
- Selección de modelo y prompt de clase:
- Elija un detector de vocabulario abierto o fijo, ingrese los nombres de clases y establezca un umbral de confianza; Las imágenes se etiquetan de inmediato, por lo que el flujo de trabajo permanece a cero, incluso al elegir un modelo de vocabulario fijo.
- Etiquetado automático con puntajes de confianza:
- El modelo genera cuadros, máscaras o etiquetas y asigna una puntuación a cada predicción, lo que permite a los revisores humanos revisar, ordenar por certeza y colas para su aprobación.
- Flujos de trabajo de análisis de datos de cincuenta y modelos:
- Después de que las etiquetas estén en su lugar, los ingenieros pueden utilizar flujos de trabajo de cincuentaa para visualizar los incrustaciones para identificar grupos o valores atípicos.
- Una vez que se aprueban las etiquetas, están listas para la capacitación de modelos posteriores y los flujos de trabajo ajustados realizados directamente en la herramienta.
- Los paneles de evaluación incorporados ayudan a los ingenieros de ML a profundizar aún más en las puntuaciones de rendimiento del modelo, como MAP, F1 y matrices de confusión para identificar positivos verdaderos y falsos, determinar los modos de falla del modelo e identificar qué datos adicionales mejorarán más el rendimiento.
En el uso diario, este tipo de flujo de trabajo permitirá a las máquinas lograr los casos de etiquetado más sencillos, al tiempo que reasignan a los humanos en los desafiantes, proporcionando un punto medio pragmático entre la automatización del botón de empuje y la revisión del marco por cuadro.
Rendimiento en la naturaleza
Los puntos de referencia publicados cuentan una historia clara: En conjuntos de datos populares como Coco, Pascal VOC y BDD100K, los modelos capacitados en etiquetas generadas por Val realizan prácticamente lo mismo que los modelos entrenados en datos totalmente marcados a mano para los objetos cotidianos que capturan esos conjuntos. La brecha solo aparece en las clases más raras en LVIS y en colecciones de cola de cola larga, donde un ligero toque de anotación humana sigue siendo la forma más rápida de cerrar la brecha de precisión restante.
Los experimentos sugieren límites de confianza entre la precisión y el recuerdo de equilibrio de 0.2 y 0.5, aunque el punto dulce cambia con la densidad del conjunto de datos y la rareza de clase. Para trabajos de alto volumen, las variantes de yolo livianas maximizan el rendimiento. Cuando los objetos sutiles o de cola larga requieren una precisión adicional, se puede cambiar un modelo de vocabulario abierto como el dino de la conexión a tierra a costa de la memoria y la latencia adicionales de GPU.
De cualquier manera, el paso de revisión humana posterior se limita a la porción de baja confianza. Y es mucho más ligero que las verificaciones de imagen completa en las que aún dependen las tuberías de control de calidad manuales tradicionales.
Implicaciones para una adopción más amplia
Bajar el tiempo y el costo de la anotación democratiza el desarrollo de la visión por computadora. Una startup de AgriculteCh de diez personas podría etiquetar 50,000 imágenes de drones por menos de $ 200 en tiempo de GPU con un nivel de puntaje, repensarse de la noche a la mañana cada vez que cambia la taxonomía. Las organizaciones más grandes pueden combinar tuberías internas para datos confidenciales con proveedores externos para cargas de trabajo menos reguladas, reasignar el gasto de anotación guardada para evaluar la calidad o expansión del dominio.
Juntos, el etiquetado de cuadros cero de cero más revisión humana dirigida ofrece un camino práctico para la iteración más rápida. Este enfoque deja humanos (caros) para manejar las cajas de borde donde las máquinas aún pueden tropezar.
El marcado automático muestra que el etiquetado de alta calidad se puede automatizar a un nivel que una vez se pensó poco práctico. Esto debería llevar CVS avanzados al alcance de muchos más equipos y remodelar los flujos de trabajo de IA visuales en todas las industrias.
Sobre nuestro patrocinador: Voxel51 proporciona una plataforma de extremo a extremo para construir una IA de alto rendimiento con datos visuales. Confiadas por millones de desarrolladores y empresas de IA como Microsoft y LG, FiftyOne facilita la exploración, refinando y mejorando conjuntos de datos y modelos a gran escala. Nuestros equipos de código abierto y de herramientas comerciales ayudan a los equipos a ofrecer sistemas de IA precisos y confiables. Obtenga más información en voxel51.com.