Screenshot 2024 03 26 At 9.06.19 Pm.png

La privacidad de los datos es una preocupación importante en el mundo actual, y muchos países promulgan leyes como el Reglamento General de Protección de Datos (GDPR) de la UE para proteger la información personal. En el campo del aprendizaje automático, surge una cuestión clave cuando los clientes desean aprovechar modelos previamente entrenados transfiriéndolos a sus datos. Compartir características de datos extraídos con proveedores de modelos puede potencialmente exponer información confidencial del cliente a través de ataques de inversión de características.

Los enfoques anteriores para el aprendizaje por transferencia que preserva la privacidad se han basado en técnicas como la computación multipartita segura (SMPC), la privacidad diferencial (DP) y el cifrado homomórfico (HE). Si bien SMPC requiere una importante sobrecarga de comunicación y DP puede reducir la precisión, los métodos basados ​​en HE se han mostrado prometedores, pero adolecen de desafíos computacionales.

Un equipo de investigadores ha desarrollado ahora HETAL, un algoritmo eficiente basado en HE (que se muestra en la Figura 1) para el aprendizaje por transferencia que preserva la privacidad. Su método permite a los clientes cifrar funciones de datos y enviarlas a un servidor para realizar ajustes sin comprometer la privacidad de los datos.

En el centro de HETAL se encuentra un proceso optimizado para multiplicaciones de matrices cifradas, una operación dominante en el entrenamiento de redes neuronales. Los investigadores proponen algoritmos novedosos, DiagABT y DiagATB, que reducen significativamente los costos computacionales en comparación con los métodos anteriores. Además, HETAL introduce un nuevo algoritmo de aproximación para la función softmax, un componente crítico en las redes neuronales. A diferencia de enfoques anteriores con rangos de aproximación limitados, el algoritmo de HETAL puede manejar valores de entrada que abarcan intervalos exponencialmente grandes, lo que permite un entrenamiento preciso durante muchas épocas.

Los investigadores demostraron la eficacia de HETAL a través de experimentos en cinco conjuntos de datos de referencia, incluidos MNIST, CIFAR-10 y DermaMNIST (los resultados se muestran en la Tabla 1). Sus modelos cifrados lograron una precisión del 0,51% de sus homólogos no cifrados, al tiempo que mantuvieron tiempos de ejecución prácticos, a menudo inferiores a una hora.

HETAL aborda un desafío crucial en el aprendizaje automático que preserva la privacidad al permitir un aprendizaje por transferencia cifrado y eficiente. El método propuesto protege la privacidad de los datos del cliente mediante cifrado homomórfico y al mismo tiempo permite el ajuste del modelo en el lado del servidor. Además, los novedosos algoritmos de multiplicación de matrices y la técnica de aproximación softmax de HETAL pueden beneficiar potencialmente a otras aplicaciones que involucran redes neuronales y cálculos cifrados. Si bien pueden existir limitaciones, este trabajo representa un paso importante hacia soluciones prácticas que preserven la privacidad para el aprendizaje automático como servicio.


Revisar la Papel y Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro SubReddit de 39k+ ML


Vineet Kumar es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en el Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en Deep Learning, Computer Vision y campos relacionados.