《Journal of Information Security and Applications》:GDPFDL: A secure and efficient personalized federated distillation framework against inference attacks
编辑推荐:
摘要个性化联邦蒸馏学习(PFDL)能够缓解边缘计算中的数据与系统异质性问题。然而,现有的PFDL框架在样本级别的逻辑斯蒂交换过程中面临通信开销和隐私泄露风险。此外,引入显式的差分隐私噪声通常会显著降低模型效用。为了解决这些问题,我们提出了GDPFDL,一种利用生成网络和动态协调机
摘要
个性化联邦蒸馏学习(PFDL)能够缓解边缘计算中的数据与系统异质性问题。然而,现有的PFDL框架在样本级别的逻辑斯蒂交换过程中面临通信开销和隐私泄露风险。此外,引入显式的差分隐私噪声通常会显著降低模型效用。为了解决这些问题,我们提出了GDPFDL,一种利用生成网络和动态协调机制的个性化联邦蒸馏框架。GDPFDL将知识载体定义为一个压缩后的 类原型矩阵。它采用对比式条件生成对抗网络(CCGAN)来捕捉类级别的统计流形,从而降低生成器记忆样本的风险。此外,GDPFDL引入了一种动态协调机制,通过量化局部模型与全局基线之间的性能差异来适应性调节每个节点的知识上传频率。这种机制增强了异构环境中的收敛稳定性,并减少了系统通信开销。我们在模拟平台和包含真实移动设备的异构边缘测试床上使用MNIST、CIFAR和UCI-HAR数据集对GDPFDL进行了评估。实验结果表明,在CIFAR-100任务上,GDPFDL的准确率比最优基线提高了1.89%,且在严重的非独立同分布(non-IID)条件下仍能保持这一优势。该框架将成员推理攻击的准确率限制在约52.4%,并有效缓解了数据重构攻击,同时保持每轮通信的原型生成延迟低于100毫秒。这些发现表明,GDPFDL在资源受限的边缘环境中运行高效,同时保护了用户隐私。
引言
联邦学习(FL)[1]已成为异构边缘计算的一种分布式范式。在这一领域中,个性化联邦学习(PFL)解决了传统方法(如FedAvg [1]和FedProx [2])的局限性,这些方法在数据或任务异质性下往往表现不佳。尽管PFL在医疗保健[3]和自动驾驶[4]等行业具有潜力,但在真实世界的边缘设备上部署时仍面临安全与效率的瓶颈。
隐私威胁仍然是主要问题。传统的PFL依赖于频繁交换模型参数,为被动推理攻击[5]提供了直接攻击面。一个诚实但好奇的对手(例如被破坏的边缘服务器)可以利用这些信息进行成员推理或数据重构攻击,导致敏感信息的严重泄露。虽然存在同态加密[6]和差分隐私[7]等对策,但它们往往以较大的计算开销或模型效用降低为代价,难以在资源受限的移动设备上实现。
个性化联邦蒸馏学习(PFDL)解决了传统参数共享框架[9]的隐私和通信问题。然而,传统的PFDL通常依赖于交换样本级别的软标签。在边缘环境中,这会导致通信开销随代理数据集大小而增加,并存在域不匹配[10]的风险。尽管局部生成模型可以合成代理数据来缓解这种不匹配,但生成PFDL仍然面临两个主要挑战:
1.通信开销和客户端漂移:在非独立同分布(non-IID)环境中,局部优化不可避免地会导致客户端漂移。传统的PFDL通常在每轮通信中聚合所有客户端的知识。不断从漂移或偏置的模型上传知识会消耗有限的带宽和边缘电池电量,同时向全局共识引入噪声,从而导致负面传输。因此,需要一种适应性协调机制来调节客户端参与度并提高系统效率。
2.效用-隐私困境:标准生成模型容易记住训练数据,从而无意中再现了敏感局部样本的特定特征。这会使成员推理攻击(MIA)和数据重构攻击(DRA)变得容易。相反,为了防止记忆,显式注入噪声往往会降低代理数据的真实性。解决这个问题需要将知识载体从样本级特征转移到类级别统计表示,以实现隐私保护的同时保持效用。
为了解决资源受限边缘环境中的效用-隐私困境,我们提出了基于生成网络和动态协调机制的GDPFDL个性化联邦蒸馏框架。GDPFDL通过紧凑的类条件原型矩阵促进知识传输。通过将对比式生成网络与动态协调机制相结合,该框架实现了在异构数据分布下的安全、高效和稳健学习。本工作的主要贡献归纳如下:
1.用于安全数据合成的对比式条件生成对抗网络(CCGAN):通过优化对比学习目标,CCGAN捕捉了底层类级别的统计流形,而不是记住单个样本。将这些知识压缩成 原型矩阵,形成了高度压缩的多次映射,从而对MIA和DRA提供了内在防御。
2.自适应动态协调机制:我们引入了一种数学控制的师生角色切换策略,用于量化局部模型与全局基线之间的性能差异。该机制过滤了来自漂移客户端的噪声更新,稳定了个性化收敛过程。此外,它将系统瓶颈从通信密集型交换转移到轻量级本地计算,从而最小化了带宽消耗,并使系统能够抵御设备更换。
3.在高性能模拟和基于Flower的边缘测试床上的实验:我们使用视觉(MNIST、CIFAR)和传感器(UCI-HAR)数据集评估了GDPFDL。结果表明,在非独立同分布(non-IID)条件下,GDPFDL在CIFAR-100任务上的准确率比最优基线提高了1.89%。安全评估确认该框架将MIA的准确率限制在约52.4%,并有效缓解了DRA,达到了与严格隐私预算的DP-GAN相当的防御水平。硬件分析表明,该框架在每轮通信中的CCGAN原型生成延迟低于100毫秒,移动节点的能耗低于0.9焦耳(边缘网关为1.25焦耳),验证了其在实际边缘计算环境中的可行性。
本文的其余部分组织如下。第2节回顾了个性化联邦学习、联邦蒸馏以及使用生成模型保护隐私的先前工作。第3节详细介绍了提出的GDPFDL框架。第4节我们进行了实验,以评估GDPFDL框架的性能和安全性。最后,第5节总结了本文并讨论了未来的研究方向。
部分片段
相关工作
个性化联邦学习(PFL)旨在为个别客户端训练定制模型,使它们能够在适应本地数据分布的同时捕捉全局模式。已经提出了几种方法来改进PFL的不同方面。Wang等人[11]引入了Sym-CS-HFL,该框架利用对称同态加密和压缩感知,在保持准确性的同时显著降低了计算和通信开销。
方法论
方法论和收敛分析中使用的所有符号在表2中进行了总结。
实验设置
我们在四个不同的基准数据集上评估了GDPFDL,分别是MNIST、CIFAR-10、CIFAR-100和UCI-HAR。为了适应这些任务的不同复杂性,我们使用ResNet-18作为MNIST数据集的本地分类模型,MobileNetV3-Large作为CIFAR-10和CIFAR-100的模型,以及轻量级的1D-CNN作为UCI-HAR数据集的模型。为了确保与UCI-HAR传感器信号的1D时间特性兼容,局部CCGAN中的卷积组件(即编码器)
结论与未来工作
在本文中,我们提出了基于生成网络和动态协调机制的GDPFDL个性化联邦蒸馏框架。通过用类条件原型聚合代替传统的样本级别逻辑斯蒂交换,GDPFDL将通信负载减少到O(C2)矩阵。这种结构上的转变,利用对比式条件生成对抗网络(CCGAN),使得代理生成过程能够捕捉底层类级别的统计信息
CRediT作者贡献声明
Runlong Duan:撰写——原始草案、验证、方法论、概念化。Jie Ling:撰写——审稿与编辑、监督、项目管理。
利益冲突声明
作者没有与本文内容相关的利益冲突需要声明。
Runlong Duan|Jie Ling