Aprendizaje federado (FL) es entrenar modelos AI. En lugar de enviar todos sus datos confidenciales a una ubicación central, FL mantiene los datos donde está, y solo comparte actualizaciones del modelo. Esto conserva la privacidad y permite que la IA se acerque a donde se generan los datos.
Sin embargo, con el cálculo y los datos distribuidos en muchos dispositivos, surgen nuevos desafíos de seguridad. Los atacantes pueden unirse al proceso de entrenamiento e influir sutilmente, lo que lleva a una precisión degradada, salidas sesgadas o puertas traseras ocultas en el modelo.
En este proyecto, nos propusimos investigar cómo podemos detectar y mitigar tales ataques en FL. Para hacer esto, construimos un simulador de nodos múltiples que permite a los investigadores y profesionales de la industria reproducir ataques y probar las defensas de manera más eficiente.
Por qué esto importa
- Un ejemplo no técnico: Piense en un libro de recetas compartido al que contribuyan los chefs de muchos restaurantes. Cada chef actualiza algunas recetas con sus propias mejoras. Un chef deshonesto podría agregar deliberadamente los ingredientes incorrectos para sabotear el plato, o insertar silenciosamente un sabor especial que solo ellos saben cómo arreglar. Si nadie revisa las recetas cuidadosamente, todos los futuros comensales en todos los restaurantes podrían terminar con comidas en ruinas o manipuladas.
- Un ejemplo técnico: El mismo concepto aparece en FL como envenenamiento por datos (manipulación de ejemplos de entrenamiento) y envenenamiento del modelo (alteración de actualizaciones de peso). Estos ataques son especialmente perjudiciales cuando la Federación tiene distribuciones de datos no IID, particiones de datos desequilibradas o clientes que se unen tarde. Defensas contemporáneas como Múltiple, Media recortada y Dividir y conquistar todavía puede fallar en ciertos escenarios.
Construyendo el simulador de ataque de múltiples nodo FL
Para evaluar la resiliencia del aprendizaje federado contra las amenazas del mundo real, construimos un simulador de ataque de múltiples nodos además del Sistemas de escala Fedn Framework. Este simulador permite reproducir ataques, probar defensas y experimentos de escala con cientos o incluso miles de clientes en un entorno controlado.
Capacidades clave:
- Implementación flexible: Ejecuta trabajos de FL distribuidos usando Kubernetes, Helm y Docker.
- Configuración de datos realistas: Admite distribuciones de etiquetas IID/no IID, particiones de datos desequilibradas y clientes que se unen tarde.
- Inyección de ataque: Incluye la implementación de ataques de envenenamiento comunes (el volteo de la etiqueta, poco es suficiente) y permite definir nuevos ataques con facilidad.
- Benchmarking de defensa: Integra estrategias de agregación existentes (FedAVG, media recortada, multi-krum, divide y conquistar) y permite experimentar y probar una variedad de estrategias defensivas y reglas de agregación.
- Experimentación escalable: Los parámetros de simulación, como el número de clientes, los patrones de participación y participación maliciosos, se pueden ajustar desde un solo archivo de configuración.
Usando Arquitectura de Fedn significa que las simulaciones se benefician de la sólida orquestación de capacitación, la gestión del cliente y permite el monitoreo visual a través del Interfaz web de estudio.
También es importante tener en cuenta que el marco de FEDN admite Funciones del servidor. Esta característica permite implementar nuevas estrategias de agregación y evaluarlas utilizando el simulador de ataque.
Para comenzar con el primer proyecto de ejemplo usando Fedn, Aquí está la guía QuickStart.
El marco Fedn es gratuito para todos los proyectos académicos y de investigación, así como para pruebas y pruebas industriales.
El simulador de ataque está disponible y está listo para usar como software de código abierto.
Los ataques que estudiamos
- Flipping de etiquetas (envenenamiento de datos) – Los clientes maliciosos cambian las etiquetas en sus conjuntos de datos locales, como cambiar “gato” a “perro” para reducir la precisión.
- Poco es suficiente (envenenamiento del modelo) – Los atacantes realizan ajustes pequeños pero específicos a sus actualizaciones de modelo para cambiar la salida del modelo global hacia sus propios objetivos. En esta tesis aplicamos que el pequeño es suficiente ataque cada tercera ronda.
Más allá de los ataques: comprensión del impacto involuntario
Si bien este estudio se centra en los ataques deliberados, es igualmente valioso para comprender los efectos de las contribuciones marginales causadas por configuraciones erróneas o mal funcionamiento del dispositivo en las federaciones a gran escala.
En nuestro ejemplo de la receta, incluso un chef honesto podría usar accidentalmente el ingrediente incorrecto porque su horno está roto o su escala es inexacta. El error es involuntario, pero aún cambia la receta compartida de manera que podría ser perjudicial si muchos contribuyentes repetan.
En configuraciones de aprendizaje cruzado o de aprendizaje de flota, donde miles o millones de dispositivos heterogéneos contribuyen a un modelo compartido, sensores defectuosos, configuraciones obsoletas o conexiones inestables pueden degradar el rendimiento del modelo de manera similar a ataques maliciosos. Estudiar la resiliencia de ataque también revela cómo hacer que las reglas de agregación sean robustas para tal ruido involuntario.
Estrategias de mitigación explicadas
En FL, las reglas de agregación deciden cómo combinar las actualizaciones del modelo de los clientes. Las reglas de agregación robustas tienen como objetivo reducir la influencia de los valores atípicos, ya sea causado por ataques maliciosos o dispositivos defectuosos. Estas son las estrategias que probamos:
- FedAVG (línea de base) – Simplemente promedia todas las actualizaciones sin filtrar. Muy vulnerable a los ataques.
- Media recortada (Trmean) – clasifica cada parámetro entre los clientes, luego descarta los valores más altos y más bajos antes de promediar. Reduce los valores atípicos extremos, pero puede perder ataques sutiles.
- Múltiple – Califica cada actualización por lo cerca que está a sus vecinos más cercanos en el espacio de parámetros, manteniendo solo a aquellos con la distancia total más pequeña. Muy sensible al número de actualizaciones seleccionadas (k).
- Media recortada de EE (recientemente desarrollado) – Una versión adaptativa de TrMean que utiliza la programación de Epsilon -Greedy para decidir cuándo probar diferentes subconjuntos de clientes. Más resistente al comportamiento cambiante del cliente, llegadas tardías y distribuciones no IID.
Las tablas y las parcelas presentadas en esta publicación fueron diseñadas originalmente por el equipo de escamas.
Experimentos
En 180 experimentos evaluamos diferentes estrategias de agregación bajo tipos de ataque variables, relaciones maliciosas de clientes y distribuciones de datos. Para más detalles, lea el Tesis completa aquí .
La tabla anterior muestra una de las series de experimentos utilizando un ataque de flujo de etiquetas con etiquetas no IID distribuidas y particiones de datos parcialmente desequilibradas. La tabla muestra Precisión de la prueba y Pérdida de prueba AUCcalculado sobre todos los clientes participantes. Los resultados de cada estrategia de agregación se muestran en dos filas, correspondientes a las dos comodidades tardías (Clientes benignos que participan desde la quinta ronda o los clientes maliciosos que participan desde la quinta ronda). Las columnas separan los resultados en las tres proporciones maliciosas, produciendo seis configuraciones de experimentos por estrategia de agregación. El mejor resultado en cada configuración se muestra en atrevido.
Si bien la tabla muestra una respuesta relativamente homogénea en todas las estrategias de defensa, las gráficas individuales presentan una visión completamente diferente. En FL, aunque una federación puede alcanzar un cierto nivel de precisión, es igualmente importante examinar la participación del cliente, específicamente, que los clientes contribuyeron con éxito a la capacitación y que fueron rechazados como maliciosos. Las siguientes parcelas ilustran la participación del cliente bajo diferentes estrategias de defensa.
Con un 20% de clientes maliciosos bajo un ataque de flujo de etiqueta en datos no IID, parcialmente desequilibrados, media recortada (Fig-1) mantuvo la precisión general pero nunca bloqueó por completo a ningún cliente de contribuir. Si bien el recorte coordinado redujo el impacto de las actualizaciones maliciosas, filtró parámetros individualmente en lugar de excluir a los clientes enteros, lo que permite que los participantes benignos y maliciosos permanezcan en la agregación durante la capacitación.
En un escenario con 30% de clientes maliciosos de unión tardía y datos no desequilibrados, múltiples krum (Fig-2) seleccionó por error una actualización maliciosa de la ronda 5 en adelante. La alta heterogeneidad de datos hizo que las actualizaciones benignas parecieran menos similares, lo que permite que la actualización maliciosa se clasifique como una de las más centrales y persistentes en un tercio del modelo agregado para el resto del entrenamiento.
Por qué necesitamos estrategias de agregación adaptativa
Las reglas de agregación sólidas existentes, generalmente confían en los umbrales estáticos para decidir qué actualización del cliente incluir al agregar el nuevo modelo global. Esto destaca una deficiencia de las estrategias de agregación actuales, que pueden hacerlas vulnerables a los clientes participantes tardíos, distribuciones de datos que no son IID o desequilibrios de volumen de datos entre los clientes. Estas ideas nos llevaron a desarrollar una media recortada de EE (EE-TRMEAN).
EE-TRMEAN: una estrategia de agregación codiciosa de Epsilon
EE-TRMean se basa en la media recortada clásica, pero agrega una capa de exploración versus explotación, Epsilon codiciosa para la selección del cliente.
- Fase de exploración: Todos los clientes pueden contribuir y se ejecuta una ronda de agregación media recortada normal.
- Fase de explotación: Los clientes que han sido recortados menos se incluirán en la fase de explotación, a través de un sistema de puntaje promedio basado en rondas anteriores que participó.
- El cambio entre las dos fases está controlado por la política de greedia Epsilon con un Epsilon en descomposición y una rampa alfa.
Cada cliente gana un puntaje en función de si sus parámetros sobreviven a los recortes en cada ronda. Con el tiempo, el algoritmo favorecerá cada vez más a los clientes de mayor puntaje, al tiempo que ocasionalmente explorará a otros para detectar cambios en el comportamiento. Este enfoque adaptativo permite a EE-TRMean aumentar la resiliencia en los casos en que la heterogeneidad de los datos y la actividad maliciosa son altas.
En un escenario de flujo de etiqueta con un 20% de clientes maliciosos y unes benignos tardíos en datos no IID, parcialmente desequilibrados, EE-TrMean (Fig-3) Alternó entre las fases de exploración y explotación, permitiendo inicialmente a todos los clientes, luego bloqueando selectivamente los de baja puntuación. Si bien ocasionalmente excluyó a un cliente benigno debido a la heterogeneidad de los datos (aún mucho mejor que las estrategias conocidas), identificó y minimizó con éxito las contribuciones de los clientes maliciosos durante la capacitación. Esta modificación simple pero poderosa mejora las contribuciones del cliente. La literatura informa que mientras la mayoría de los clientes sean honestos, la precisión del modelo sigue siendo confiable.