Los investigadores de Google Deepmind proponen Camel: una defensa robusta que crea una capa del sistema de protección alrededor del LLM, asegurándolo incluso cuando los modelos subyacentes pueden ser susceptibles a los ataques

Los modelos de idiomas grandes (LLM) se están volviendo integrales para la tecnología moderna, lo que impulsa sistemas de agente que interactúen dinámicamente con entornos externos. A pesar de sus impresionantes capacidades, los LLM son altamente vulnerables a ataques de inyección inmediatos. Estos ataques ocurren cuando los adversarios inyectan instrucciones maliciosas a través de fuentes de datos no confiables, con el objetivo de comprometer el sistema extrayendo datos confidenciales o ejecutando operaciones dañinas. Los métodos de seguridad tradicionales, como la capacitación modelo y la ingeniería rápida, han mostrado una efectividad limitada, lo que subraya la necesidad urgente de defensas robustas.

Los investigadores de Google Deepmind proponen Camel, una defensa robusta que crea una capa de sistema de protección alrededor del LLM, asegurándolo incluso cuando los modelos subyacentes pueden ser susceptibles a los ataques. A diferencia de los enfoques tradicionales que requieren modificaciones de reentrenamiento o modelo, Camel presenta un nuevo paradigma inspirado en las prácticas probadas de seguridad de software. Extrae explícitamente el control y los flujos de datos de las consultas de los usuarios, asegurando que las entradas no confiables nunca alteren la lógica del programa directamente. Este diseño aísla datos potencialmente dañinos, evitando que influya en los procesos de toma de decisiones inherentes a los agentes de LLM.

Técnicamente, Camel funciona al emplear una arquitectura de doble modelo: un LLM privilegiado y un LLM en cuarentena. El LLM privilegiado orquesta la tarea general, aislando operaciones confidenciales de datos potencialmente dañinos. La LLM en cuarentena procesa los datos por separado y está explícitamente despojado de capacidades de llamada de herramientas para limitar el daño potencial. Camel fortalece aún más la seguridad asignando metadatos o “capacidades” a cada valor de datos, definiendo políticas estrictas sobre cómo se puede utilizar cada información. Un intérprete de Python personalizado hace cumplir estas políticas de seguridad de grano fino, monitoreando la procedencia de datos y garantizando el cumplimiento a través de limitaciones explícitas de flujo de control.

Los resultados de la evaluación empírica utilizando el punto de referencia de Agentdojo resaltan la efectividad de Camel. En las pruebas controladas, Camel frustró con éxito ataques de inyección inmediata al hacer cumplir las políticas de seguridad a nivel granular. El sistema demostró la capacidad de mantener la funcionalidad, resolviendo el 67% de las tareas de forma segura dentro del marco AgentDojo. En comparación con otras defensas como “Sandwiching rápido” y “Detención”, Camel superó significativamente en términos de seguridad, proporcionando protección casi total contra los ataques al tiempo que incurre en gastos generales moderados. La sobrecarga se manifiesta principalmente en el uso de tokens, con aproximadamente un aumento de 2.82 × en tokens de entrada y un aumento de 2.73 × en los tokens de salida, aceptables teniendo en cuenta las garantías de seguridad proporcionadas.

Además, Camel aborda las vulnerabilidades sutiles, como las manipulaciones de flujo de datos a controles, al administrar estrictamente las dependencias a través de sus políticas basadas en metadatos. Por ejemplo, un escenario en el que un adversario intenta aprovechar las instrucciones de aspecto benigna de los datos de correo electrónico para controlar el flujo de ejecución del sistema se mitigará de manera efectiva por los rigurosos mecanismos de etiquetado de datos y aplicación de políticas de Camel. Esta protección integral es esencial, dado que los métodos convencionales pueden no reconocer tales amenazas de manipulación indirecta.

En conclusión, Camel representa un avance significativo en la obtención de sistemas de agente impulsados ​​por LLM. Su capacidad de hacer cumplir con robuste las políticas de seguridad sin alterar el LLM subyacente ofrece un enfoque poderoso y flexible para defenderse contra ataques de inyección rápidos. Al adoptar los principios de la seguridad del software tradicional, Camel no solo mitiga los riesgos de inyección rápida explícita sino también salvaguardas contra ataques sofisticados que aprovechan la manipulación de datos indirectos. A medida que la integración de LLM se expande en aplicaciones sensibles, la adopción de Camel podría ser vital para mantener la confianza del usuario y garantizar interacciones seguras dentro de los ecosistemas digitales complejos.

Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.