La generación de recuperación aumentada (RAG) es una estrategia potente que mejora las capacidades de los modelos de lenguajes grandes (LLM) mediante la integración de conocimiento externo. Sin embargo, RAG es propenso a un tipo particular de ataque conocido como corrupción de recuperación. En este tipo de ataques, los actores maliciosos introducen secciones destructivas en la colección de documentos recuperados, lo que hace que el modelo produzca respuestas erróneas o engañosas. Esta vulnerabilidad amenaza seriamente la confiabilidad de los sistemas que usan RAG.
En una investigación reciente de la Universidad de Princeton y UC Berkeley, se presentó RobustRAG, un marco de defensa único, para contrarrestar estas amenazas. El primero de su tipo, RobustRAG, se ha creado especialmente para proteger contra la corrupción en la recuperación. La táctica principal de RobustRAG es una metodología de aislar y luego agregar. Esto indica que para proporcionar respuestas distintas, el modelo primero analiza cada texto recuperado por separado. Luego, la solución final se crea combinando de forma segura estas respuestas discretas.
Se han ideado algoritmos basados en palabras clave y basados en decodificación para asegurar respuestas de texto agregadas no estructuradas y lograr RobustRAG. Estos algoritmos garantizan que la influencia de los pasajes contaminados pueda limitarse y disminuirse durante el proceso de agregación, incluso en el caso de que algunos se recuperen.
La capacidad de RobustRAG para lograr una robustez certificable es una de sus fortalezas clave. Esto significa que para tipos de consultas específicos, se puede demostrar utilizando medios formales que RobustRAG siempre generará resultados precisos, incluso en el caso de que un atacante conozca todos los detalles sobre las medidas de defensa y sea capaz de introducir un número finito de pasajes dañinos. Esta evidencia formal ofrece un alto grado de seguridad sobre la confiabilidad del sistema en caso de un ataque.
Estudios exhaustivos sobre una variedad de conjuntos de datos, incluida la respuesta a preguntas (QA) de dominio abierto y la producción de textos de formato largo, han demostrado la eficacia y versatilidad de RobustRAG. Estas pruebas han demostrado que RobustRAG no solo brinda una sólida protección contra la corrupción en la recuperación, sino que también funciona bien en términos de generalización en diversas cargas de trabajo y conjuntos de datos. Debido a esto, RobustRAG es una opción sólida para mejorar la seguridad y confiabilidad de los sistemas de generación aumentada de recuperación.
El equipo ha resumido sus principales contribuciones de la siguiente manera.
- RobustRAG es la primera arquitectura de defensa creada especialmente para oponerse a ataques de corrupción de recuperación en sistemas de generación de recuperación aumentada.
- Técnicas seguras de agregación de texto: para RobustRAG, el equipo ha creado dos técnicas sólidas de agregación de texto: algoritmos basados en decodificación y algoritmos basados en palabras clave. Estos métodos cuentan con una certificación oficial de que seguirán siendo precisos y confiables incluso en presencia de ciertos escenarios de amenaza que impliquen corrupción en la recuperación.
- Verificación del rendimiento de RobustRAG: el equipo ha realizado pruebas exhaustivas para verificar la solidez y generalización de RobustRAG. Se han evaluado tres LLM distintos: Misttral, Llama y GPT, así como tres conjuntos de datos diferentes: RealtimeQA, NQ y Bio. Esto ilustra cómo RobustRAG es ampliamente aplicable y eficiente en una variedad de entornos y trabajos.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 43k+ ML | Además, consulte nuestro Plataforma de eventos de IA
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería en Ciencias de la Computación con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.