Los seres humanos poseen juicios perceptivos extraordinarios innatos, y cuando los modelos de visión por computadora se alinean con ellos, el rendimiento del modelo se puede mejorar enormemente. Varios atributos, como el diseño de la escena, la ubicación del sujeto, la pose de la cámara, el color, la perspectiva y la semántica, nos ayudan a tener una imagen clara del mundo y los objetos que contiene. La alineación de los modelos de visión con la percepción visual los hace sensibles a estos atributos y más parecidos a los humanos. Si bien se ha establecido que moldear modelos de visión según las líneas de la percepción humana ayuda a lograr objetivos específicos en ciertos contextos, como la generación de imágenes, su impacto en roles de propósito general aún no se ha determinado. Las inferencias extraídas de la investigación hasta ahora están matizadas con una ingenua incorporación de las capacidades de percepción humana, dañando gravemente los modelos y distorsionando las representaciones. También se discute si el modelo realmente importa o si los resultados dependen de la función objetiva y de los datos de entrenamiento. Además, la sensibilidad y las implicaciones de las etiquetas complican aún más el rompecabezas. Todos estos factores complican aún más la comprensión de las capacidades de percepción humana con respecto a las tareas visuales.
Investigadores del MIT y la UC Berkeley analizan en profundidad esta cuestión. Su artículo “¿Cuándo beneficia la alineación perceptiva a las representaciones de la visión?” investiga cómo se desempeña un modelo alineado de percepción de la visión humana en diversas tareas visuales posteriores. Los autores perfeccionaron los modelos ViT de última generación sobre juicios de similitud humana para tripletes de imágenes y los evaluaron a través de puntos de referencia de visión estándar. Introducen la idea de una segunda etapa de preentrenamiento, que alinea las representaciones de características de modelos de visión grandes con juicios humanos antes de aplicarlos a tareas posteriores.
Para comprender esto mejor, primero analizamos los tripletes de imágenes mencionados anteriormente. Los autores utilizaron el renombrado conjunto de datos sintético NIGHTS con tripletes de imágenes anotados con juicios de similitud humana de elección forzada donde los humanos eligieron dos imágenes con la mayor similitud con la primera imagen. Formulan una función objetivo de alineación de parches para capturar representaciones espaciales presentes en tokens de parches y traducir atributos visuales de anotaciones globales; en lugar de calcular la pérdida solo entre los tokens CLS globales de Vision Transformer, enfocaron CLS y agruparon incrustaciones de parches de ViT con este propósito para optimizar las características del parche local junto con la etiqueta de imagen global. Después de esto, varios Vision de última generación Los modelos de transformadores, como DINO, CLIP, etc., se ajustaron con los datos anteriores mediante la adaptación de bajo rango (LoRA). Los autores también incorporaron imágenes sintéticas en tripletes con SynCLR para calcular el delta de rendimiento.
Estos modelos se desempeñaron mejor en tareas de visión que los Vision Transformers básicos. Para las tareas de predicción densa, los modelos alineados con humanos superaron a los modelos base en más del 75 % de los casos, tanto en el caso de la segmentación semántica como en la estimación de profundidad. Pasando al ámbito de la visión generativa y los LLM, las tareas de recuperación-generación aumentada se comprobaron humanizando un modelo de lenguaje de visión. Los resultados nuevamente favorecieron las indicaciones recuperadas por modelos alineados con humanos, ya que aumentaron la precisión de la clasificación en todos los dominios. Además, en la tarea de contar objetos, estos modelos modificados superaron a la base en más del 95 % de los casos. Una tendencia similar persiste en la recuperación de instancias. Estos modelos fallaron en las tareas de clasificación debido a su alto nivel de comprensión semántica.
Los autores también abordaron si los datos de entrenamiento tenían un papel más importante que el método de entrenamiento. Para ello, se consideraron más conjuntos de datos con tripletes de imágenes. Los resultados fueron sorprendentes: el conjunto de datos NIGHTS ofreció el impacto más considerable y el resto apenas se vio afectado. Las señales de percepción capturadas en NIGHTS juegan un papel crucial en esto con características como estilo, pose, color y recuento de objetos. Otros fracasaron debido a la incapacidad de capturar las características perceptivas de nivel medio requeridas.
En general, los modelos de visión alineados con humanos funcionaron bien en la mayoría de los casos. Sin embargo, estos modelos son propensos al sobreajuste y a la propagación de sesgos. Por lo tanto, si se garantiza la calidad y diversidad de las anotaciones humanas, la inteligencia visual podría ir un paso más allá.
Mira el Papel, GitHuby Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml.
[Upcoming Live Webinar- Oct 29, 2024] La mejor plataforma para ofrecer modelos optimizados: motor de inferencia Predibase (promocionado)
Adeeba Alam Ansari actualmente está cursando su doble titulación en el Instituto Indio de Tecnología (IIT) de Kharagpur, donde obtuvo una licenciatura en Ingeniería Industrial y una maestría en Ingeniería Financiera. Con un gran interés en el aprendizaje automático y la inteligencia artificial, es una lectora ávida y una persona curiosa. Adeeba cree firmemente en el poder de la tecnología para empoderar a la sociedad y promover el bienestar a través de soluciones innovadoras impulsadas por la empatía y una profunda comprensión de los desafíos del mundo real.