El aprendizaje federado ha surgido como un enfoque para la formación colaborativa entre instituciones médicas preservando al mismo tiempo la privacidad de los datos. Sin embargo, la naturaleza de los datos que no pertenecen al IID, derivada de diferencias en las especializaciones institucionales y la demografía regional, crea desafíos importantes. Esta heterogeneidad conduce a una desviación del cliente y a un rendimiento subóptimo del modelo global. Los métodos de aprendizaje federados existentes abordan principalmente este problema a través de enfoques centrados en modelos, como la modificación de los procesos de capacitación locales o las estrategias de agregación global. Aún así, estas soluciones a menudo ofrecen mejoras marginales y requieren comunicación frecuente, lo que aumenta los costos y plantea preocupaciones sobre la privacidad. Como resultado, existe una necesidad creciente de métodos sólidos y eficientes en la comunicación que puedan manejar escenarios severos no IID de manera efectiva.
Recientemente, los métodos de aprendizaje federado centrados en datos han llamado la atención para mitigar la divergencia a nivel de datos mediante la síntesis y el intercambio de datos virtuales. Estos métodos, incluidos FedGen, FedMix y FedGAN, intentan aproximar datos reales, generar representaciones virtuales o compartir datos entrenados por GAN. Sin embargo, enfrentan desafíos como datos sintetizados de baja calidad y conocimientos redundantes. Por ejemplo, los enfoques mixtos pueden distorsionar los datos, y la selección aleatoria para la síntesis de datos a menudo conduce a actualizaciones repetitivas y menos significativas del modelo global. Además, algunos métodos introducen riesgos para la privacidad y siguen siendo ineficientes en entornos con comunicación restringida. Abordar estos problemas requiere técnicas de síntesis avanzadas que garanticen datos de alta calidad, minimicen la redundancia y optimicen la extracción de conocimientos, lo que permite un mejor rendimiento en condiciones no IID.
Investigadores de la Universidad de Pekín proponen FedVCK (aprendizaje federado a través de valioso conocimiento condensado), un método de aprendizaje federado centrado en datos diseñado para el análisis colaborativo de imágenes médicas. FedVCK aborda los desafíos no relacionados con IID y minimiza los costos de comunicación al condensar los datos de cada cliente en un conjunto de datos pequeño y de alta calidad utilizando restricciones de distribución latentes. Un enfoque guiado por modelos garantiza que sólo se seleccione el conocimiento esencial y no redundante. En el lado del servidor, el aprendizaje contrastivo supervisado relacional mejora las actualizaciones del modelo global al identificar clases negativas estrictas. Los experimentos demuestran que FedVCK supera a los métodos de última generación en precisión predictiva, eficiencia de comunicación y preservación de la privacidad, incluso en presupuestos de comunicación limitados y escenarios severos sin IID.
FedVCK es un marco de aprendizaje federado que comprende dos componentes clave: condensación de conocimientos del lado del cliente y aprendizaje supervisado relacional del lado del servidor. En el lado del cliente, utiliza técnicas de coincidencia de distribución para condensar el conocimiento crítico de los datos locales en un pequeño conjunto de datos que se puede aprender, guiado por restricciones de distribución latentes y muestreo de importancia de muestras difíciles de predecir. Esto garantiza que el conjunto de datos condensado aborde las lagunas en el modelo global. El modelo internacional se actualiza en el lado del servidor mediante pérdida de entropía cruzada y aprendizaje contrastivo basado en prototipos. Mejora la separación de clases alineando características con sus prototipos y alejándolas de clases duras y negativas. Este proceso iterativo mejora el rendimiento.
El método FedVCK propuesto es un enfoque de aprendizaje federado centrado en datos diseñado para abordar los desafíos de la distribución de datos no IID en el análisis colaborativo de imágenes médicas. Se evaluó en diversos conjuntos de datos, que incluyen patología del colon, exploraciones OCT de retina, exploraciones por TC abdominal, radiografías de tórax y conjuntos de datos generales como CIFAR10 e ImageNette, que abarcan diversas resoluciones y modalidades. Los experimentos demostraron la precisión superior de FedVCK en todos los conjuntos de datos en comparación con nueve métodos de aprendizaje federados de referencia. A diferencia de los métodos centrados en modelos, que mostraron un rendimiento mediocre, o los métodos centrados en datos, que tuvieron problemas con la calidad de la síntesis y la escalabilidad, FedVCK condensó eficientemente conocimientos de alta calidad para mejorar el rendimiento global del modelo manteniendo bajos costos de comunicación y solidez en escenarios severos no IID. .
El método también demostró una importante preservación de la privacidad, como lo demuestran los experimentos de ataque de inferencia de membresía, en los que superó a los métodos tradicionales como FedAvg. Con menos rondas de comunicación, FedVCK redujo los riesgos de ataques temporales, ofreciendo mejores tasas de defensa. Además, los estudios de ablación confirmaron la eficacia de sus componentes clave, como la selección guiada por modelos, que optimizó la condensación de conocimientos para conjuntos de datos heterogéneos. Ampliar su evaluación a conjuntos de datos naturales validó aún más su generalidad y solidez. El trabajo futuro tiene como objetivo ampliar la aplicabilidad de FedVCK a modalidades de datos adicionales, incluidas las tomografías computarizadas en 3D, y mejorar las técnicas de condensación para una mayor eficiencia y eficacia.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.