En el aprendizaje automático, la privacidad diferencial (DP) y la clasificación selectiva (SC) son esenciales para salvaguardar los datos confidenciales. DP agrega ruido para preservar la privacidad individual mientras mantiene la utilidad de los datos, mientras que SC mejora la confiabilidad al permitir que los modelos se abstengan de realizar predicciones cuando no hay certeza. Esta intersección es vital para garantizar la precisión y confiabilidad del modelo en aplicaciones sensibles a la privacidad como la atención médica y las finanzas.
Se pueden citar varios desafíos importantes, cada uno de los cuales plantea un obstáculo importante para mantener la precisión y confiabilidad del modelo bajo restricciones de privacidad. Es difícil evitar que los modelos se sientan demasiado confiados y se equivoquen al mismo tiempo. Agregar DP para proteger los datos hace que sea aún más difícil mantener los modelos precisos porque agrega aleatoriedad. Algunos métodos populares para SC pueden filtrar más información privada cuando se utiliza DP. DP también suele reducir el funcionamiento de los modelos, especialmente para grupos más pequeños de datos. También hace que SC sea menos eficaz a la hora de decidir cuándo no predecir si el modelo no es seguro. Finalmente, las formas actuales de medir qué tan bien funciona SC no se comparan bien entre diferentes niveles de protección de la privacidad.
Para superar los desafíos citados, un reciente papel publicado en el prestigioso NeurIPS propone soluciones novedosas en la intersección de DP y SC, una técnica de aprendizaje automático en la que el modelo puede optar por no predecir si no tiene la suficiente confianza, lo que ayuda a evitar conjeturas potencialmente erróneas. El artículo aborda el problema del rendimiento predictivo degradado en los modelos de ML debido a la adición de DP. Los autores identificaron deficiencias en los enfoques de clasificación selectiva existentes bajo las limitaciones del PD mediante la realización de una investigación empírica exhaustiva. Introduce un nuevo método que aprovecha los puntos de control del modelo intermedio para mitigar la fuga de privacidad y al mismo tiempo mantener un rendimiento competitivo. Además, el artículo presenta una métrica de evaluación novedosa que permite una comparación justa de métodos de clasificación selectiva en diferentes niveles de privacidad, abordando las limitaciones de los esquemas de evaluación existentes.
Concretamente, los autores propusieron la Clasificación Selectiva mediante Conjuntos de Dinámica de Entrenamiento (SCTD), que presenta una desviación de los métodos tradicionales de conjunto en el contexto de PD y SC. A diferencia de las técnicas de ensamblaje convencionales, que sufren mayores costos de privacidad bajo DP debido a la composición, SCTD aprovecha las predicciones del modelo intermedio obtenidas durante el proceso de entrenamiento para construir un conjunto. Este novedoso enfoque implica analizar el desacuerdo entre estas predicciones intermedias para identificar puntos de datos anómalos y posteriormente rechazarlos. Al confiar en estos puntos de control intermedios en lugar de crear múltiples modelos desde cero, SCTD mantiene la garantía de DP original y mejora la precisión predictiva. Esta es una desviación significativa de los métodos tradicionales de conjunto que se vuelven ineficaces bajo DP debido al creciente costo de privacidad asociado con la composición. Básicamente, SCTD introduce un paso de posprocesamiento que utiliza la diversidad inherente entre los modelos intermedios para identificar y mitigar los riesgos de privacidad sin comprometer el rendimiento predictivo. Este cambio metodológico permite al SCTD abordar eficazmente los desafíos planteados por el DP y al mismo tiempo mejorar la confiabilidad y la confiabilidad de los clasificadores selectivos.
Además, los autores propusieron una nueva métrica que calcula una puntuación de clasificación selectiva normalizada con precisión comparando el rendimiento alcanzado con un límite superior determinado por la precisión y la cobertura de referencia. Esta puntuación proporciona un marco de evaluación justo, que aborda las limitaciones de esquemas anteriores y permite una comparación sólida de los métodos SC bajo restricciones de privacidad diferenciales.
El equipo de investigación llevó a cabo una evaluación experimental exhaustiva para evaluar el rendimiento del método SCTD. Compararon SCTD con otros métodos de clasificación selectiva en varios conjuntos de datos y niveles de privacidad que van desde no privado (ε = ∞) hasta ε = 1. Los experimentos incluyeron una regularización de entropía adicional y se repitieron en cinco semillas aleatorias para lograr significación estadística. La evaluación se centró en métricas como la compensación entre precisión y cobertura, la recuperación de la utilidad no privada mediante la reducción de la cobertura, la distancia al límite superior dependiente de la precisión y la comparación con la composición paralela utilizando conjuntos divididos. La evaluación proporcionó información valiosa sobre la eficacia del SCTD en el marco del PD y sus implicaciones para las tareas de clasificación selectiva.
En conclusión, este artículo profundiza en las complejidades de la clasificación selectiva bajo restricciones de privacidad diferenciales, presentando evidencia empírica y un método de puntuación novedoso para evaluar el desempeño. Los autores encuentran que, si bien la tarea es inherentemente desafiante, el método SCTD ofrece compensaciones prometedoras entre la precisión de la clasificación selectiva y el presupuesto de privacidad. Sin embargo, es necesario un análisis teórico más profundo y las investigaciones futuras deberían explorar las implicaciones de la equidad y las estrategias para conciliar la privacidad y la equidad de los subgrupos.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.
Únete a nuestro Canal de telegramas y LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 44k+ ML
Mahmoud es un investigador de doctorado en aprendizaje automático. También posee un
Licenciatura en Ciencias Físicas y Maestría en
sistemas de telecomunicaciones y redes. Sus áreas actuales de
Las investigaciones se refieren a la visión por computadora, la predicción del mercado de valores y la profundidad.
aprendiendo. Produjo varios artículos científicos sobre la relación de personas.
identificación y estudio de la robustez y estabilidad de profundidades
redes.