Los modelos de visión y lenguaje (VLM) representan un campo avanzado dentro de la inteligencia artificial, ya que integran la visión por computadora y el procesamiento del lenguaje natural para manejar datos multimodales. Estos modelos permiten que los sistemas comprendan y procesen simultáneamente imágenes y texto, lo que permite aplicaciones como imágenes médicas, sistemas automatizados y análisis de contenido digital. Su capacidad para cerrar la brecha entre datos visuales y textuales los ha convertido en una piedra angular de la investigación de inteligencia multimodal.
Uno de los principales retos a los que se enfrenta el desarrollo de los VLM es la garantía de seguridad de su salida. Los flujos de entrada visual seguramente contienen información maliciosa o insegura que a veces puede evadir los mecanismos de defensa del modelo, lo que resulta en respuestas peligrosas o insensibles. Las contramedidas textuales más fuertes brindan protección, pero ese no es todavía el caso en las modalidades visuales porque la incrustación visual es continua y, por lo tanto, vulnerable a tales ataques. En este sentido, la tarea se vuelve mucho más difícil de evaluar bajo flujos de entrada multimodales, especialmente en lo que respecta a la seguridad.
Los enfoques actuales para la seguridad de VLM son principalmente defensas basadas en inferencias y ajustes. Los métodos de ajuste incluyen el ajuste supervisado y el aprendizaje reforzado a partir de la retroalimentación humana, que es eficaz pero requiere muchos recursos y utiliza una gran cantidad de datos, trabajo y potencia computacional. Estos métodos también corren el riesgo de comprometer la utilidad general del modelo. Los métodos basados en inferencias utilizan evaluadores de seguridad para comparar los resultados con criterios predefinidos. Estos métodos, sin embargo, se centran principalmente en entradas textuales, descuidando las implicaciones de seguridad del contenido visual. Por lo tanto, las entradas visuales inseguras se transmiten sin evaluación, lo que conduce a un rendimiento y confiabilidad deficientes del modelo.
Investigadores de la Universidad Purdue introdujeron el marco “Evaluar y luego alinear” (ETA) para abordar estos problemas. Este nuevo método de tiempo de inferencia garantiza la seguridad de VLM sin necesidad de datos adicionales ni ajustes. ETA aborda las limitaciones de los métodos actuales dividiendo el mecanismo de seguridad en dos fases, a saber, evaluación multimodal y alineación de dos niveles. Los investigadores diseñaron ETA como una solución plug-and-play adaptable a varias arquitecturas VLM manteniendo al mismo tiempo la eficiencia computacional.
El marco ETA funciona en dos etapas. La etapa de evaluación previa a la generación verifica la seguridad de las entradas visuales mediante la aplicación de una protección de seguridad predefinida que se basa en puntuaciones CLIP. De este modo, filtra el contenido visual potencialmente dañino antes de generar la respuesta. Luego, en la etapa de evaluación posgeneración, se utiliza un modelo de recompensa para evaluar la seguridad de los resultados textuales. Si se detecta un comportamiento inseguro, el marco aplica dos estrategias de alineación. La alineación superficial utiliza prefijos de interferencia para cambiar la distribución generativa del modelo hacia resultados más seguros, mientras que la alineación profunda realiza una optimización a nivel de oración para refinar aún más las respuestas. Esta combinación garantiza tanto la seguridad como la utilidad de las salidas generadas.
Los investigadores probaron exhaustivamente ETA con múltiples puntos de referencia para evaluar su desempeño. El marco redujo la tasa de respuesta insegura en un 87,5% en ataques multimodales y superó significativamente a los métodos existentes como ECSO. ETA mejoró notablemente en experimentos con el conjunto de datos SPA-VL Harm, disminuyendo la tasa de inseguridad del 46,04 % al 16,98 %. En conjuntos de datos multimodales como MM-SafetyBench y FigStep, ETA mostró de manera confiable mejores mecanismos de seguridad en el manejo de entradas visuales adversas y dañinas. En particular, logró una tasa de empate del 96,6% en las evaluaciones de utilidad de GPT-4, lo que demuestra su capacidad para mantener la utilidad del modelo y una seguridad mejorada. Los investigadores también demostraron la eficiencia del marco, añadiendo sólo 0,1 segundos al tiempo de inferencia en comparación con los 0,39 segundos de sobrecarga de métodos competidores como ECSO.
Así es como el método propuesto logra seguridad y utilidad a través de la causa raíz de las vulnerabilidades en los VLM: la naturaleza continua de las incrustaciones de tokens visuales. El marco ETA alinea datos visuales y textuales de modo que los mecanismos de seguridad existentes puedan funcionar de manera efectiva al mapear incrustaciones de tokens visuales en incrustaciones textuales discretas. Esto garantiza que las entradas visuales y textuales se sometan a rigurosos controles de seguridad, lo que hace imposible que escape contenido dañino.
A través de su trabajo, el equipo de investigación ha proporcionado una de las soluciones escalables y eficientes para una de las tareas más desafiantes en multimodal. AI sistemas. El marco ETA muestra cómo la evaluación estratégica y las estrategias de alineación pueden cambiar la seguridad de los VLM manteniendo todas sus capacidades generales. Este avance aborda la seguridad actual y sienta las bases para futuros desarrollos y la implementación de VLM con mucha más confianza en aplicaciones reales.
Verificar el Papel y Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 65.000 ml.
🚨 Recomendar plataforma de código abierto: Parlant es un marco que transforma la forma en que los agentes de IA toman decisiones en escenarios de cara al cliente. (Promovido)
Nikhil es consultor interno en Marktechpost. Está cursando una doble titulación integrada en Materiales en el Instituto Indio de Tecnología de Kharagpur. Nikhil es un entusiasta de la IA/ML que siempre está investigando aplicaciones en campos como los biomateriales y la ciencia biomédica. Con una sólida formación en ciencia de materiales, está explorando nuevos avances y creando oportunidades para contribuir.