通过压缩感知实现安全、高效且公平的联邦学习
《Future Generation Computer Systems》:Towards secure, efficient and fair federated learning via compressed sensing
【字体:
大
中
小
】
时间:2026年10月22日
来源:Future Generation Computer Systems 6.2
编辑推荐:
**摘要**
随着隐私保护法规的日益严格,联邦学习(FL)已成为缓解数据孤岛现象的关键分布式范式。然而,实际的大规模FL部署仍然受到高通信开销、隐私泄露风险以及公平性不足的制约,且现有研究很少同时解决这些挑战。为此,我们构建了一个安全高效的框架,其中压缩感知(CS)作为核心技
**摘要**
随着隐私保护法规的日益严格,联邦学习(FL)已成为缓解数据孤岛现象的关键分布式范式。然而,实际的大规模FL部署仍然受到高通信开销、隐私泄露风险以及公平性不足的制约,且现有研究很少同时解决这些挑战。为此,我们构建了一个安全高效的框架,其中压缩感知(CS)作为核心技术,实现了压缩域内的双层隐私保护和精确贡献评估。首先,该框架将CS与基于委员会的秘密共享(SS)相结合,提供双层隐私保护。通过将高维梯度投影到低维压缩空间,并使用选定的委员会成员传递秘密份额,所提出的方法在增强隐私保护的同时减少了通信开销。其次,为了解决在密文环境中测量公平性的难题,我们利用随机投影的距离保持特性设计了一种贡献评估机制,使服务器能够在不解密的情况下有效量化客户贡献。最后,通过执行差异化的模型分发策略,高贡献者获得了高质量模型,而低贡献者则获得了性能较低的模型,从而实现了激励相容性。在MNIST、GTSRB和CIFAR-10数据集上的实验结果表明,所提出的方法能够抵御梯度反转攻击,显著降低了传统全节点SS相关的通信开销,同时保持了竞争性的模型准确性,并且对免费搭便车攻击具有鲁棒性。
**引言**
联邦学习(FL)使客户端能够在不共享原始数据的情况下协作训练模型。然而,其实际部署面临着三个挑战:传输高维更新会带来巨大的通信成本;共享的梯度容易受到推理攻击;无论客户贡献如何,都分发相同的模型会抑制参与积极性并导致免费搭便车的现象。同时解决这些挑战需要高效的通信、梯度保护以及基于贡献的奖励机制。现有方法分别针对这些挑战的不同方面进行处理。基于扰动的防御措施可能会影响模型效用[1]、[2]、[3],而安全多方计算(SMPC)和同态加密(HE)则会引入额外的处理和通信成本[4]、[5]、[6]、[7]。Flamingo和LightSecAgg提高了安全聚合效率[8]、[9],但基于贡献的奖励机制仍然是一个独立的问题。许多FL框架不顾客户贡献的差异而采用统一的模型分发方式[5]、[10]、[11]、[12]、[13]。不可知联邦学习(AFL)和Ditto解决了分配公平性和个性化性能的问题[14]、[15];在这里,我们专注于使模型奖励与贡献相匹配。在保护更新的同时高效评估这些贡献仍然是一个核心挑战。在本文中,我们提出了一种通信效率高、公平且安全的FL框架。具体而言,该框架首先通过压缩感知(CS)技术对局部梯度进行降维处理。在此基础上,我们引入了基于委员会的秘密共享(SS)机制,从客户端中选举一部分节点作为委员会成员负责中间转发,从而确保梯度隐私并大幅减少数据传输量。随后,我们在压缩域内设计了贡献评估算法,使服务器能够在不需要解密或重构原始梯度的情况下直接计算每个客户的贡献分数。最后,根据评估结果,服务器执行差异化的模型分发策略,为高贡献者提供高质量的全局模型,从而有效抑制免费搭便车行为并实现激励相容的公平协作。总之,我们的主要贡献如下:
(1) **通信效率**:我们设计了一种双优化的传输机制,用于提高FL的通信效率。CS用于将高维梯度投影到低维空间,减少每次传输的数据量。同时,委员会机制取代了传统的全节点SS,因此客户端只需向少数委员会成员发送份额,从而减少网络连接和带宽使用。
(2) **隐私保护**:我们提出了一种基于委员会SS的隐私保护协议。利用(??,??)阈值SS方案,将客户压缩后的梯度分成多个份额。理论上,任何包含少于??个有效份额的集合都无法重构相应的压缩梯度,而任何??个有效份额都足以进行重构。在这种威胁模型下,该机制在委员会协助的聚合过程中保护了客户梯度的机密性,并有助于减轻梯度泄露风险。
(3) **公平聚合**:我们提出了一种基于压缩域评估的激励相容的公平机制。通过利用CS的距离保持特性,服务器可以直接计算压缩梯度之间的欧几里得距离,无需解压或重构即可量化客户贡献。根据贡献分数,采用差异化的聚合和模型分发策略来奖励高贡献者并抑制免费搭便车行为。
**第2-7节分别介绍了相关工作、预备知识、系统模型、提出方法、实验和结论。**
**通信高效的FL**
通信开销是大规模FL的主要瓶颈。现有研究通过模型压缩、聚合优化和资源调度来解决这一问题。模型压缩主要包括稀疏化和量化。Lin等人[16]提出了深度梯度压缩(DGC)来减少通信开销。Jiang和Borcea[17]提出了互补稀疏化,结合协作修剪和互补权重交换来捕获局部信息。
**联邦学习**
FL是一种分布式机器学习范式,旨在允许多个客户端在中央服务器的协助下协作训练全局模型,而无需共享他们的本地私有数据。在FL框架中,客户端使用本地数据集独立训练模型,并仅将模型参数更新(如梯度或模型权重)上传到服务器,而原始数据保留在本地。服务器负责汇总收集到的客户更新以优化全局模型。
**系统模型**
所提出的系统模型依赖于典型的FL框架,包括三个关键实体:客户端、委员会和中央服务器。每个实体的角色如下:
**客户端**:客户端是终端设备(例如移动设备、边缘服务器或企业节点),拥有私有本地数据并执行模型训练任务。在每轮训练中,客户端利用本地数据集进行训练并生成梯度更新。
**提出方法**
该框架集成了CS、基于委员会的阈值SS、压缩域贡献评估和差异化模型分发。客户端通过委员会压缩和共享本地更新,服务器评估贡献、执行加权聚合并在压缩域生成差异化更新。然后客户端使用子空间追踪(SP)从接收到的差异化压缩更新中重构高维梯度近似值。
**实验评估**
我们在MNIST、GTSRB和CIFAR-10数据集上评估了所提出的框架。MNIST和GTSRB使用轻量级MLP模型,CIFAR-10使用轻量级CNN模型。所有GTSRB图像被统一调整为32 × 32灰度图像。除非另有说明,实验使用20个客户端,委员会规模为??=4,以及数据量比例为1:2的非独立同分布(Non-IID)分组。
**结论**
在本文中,我们提出了一种新型FL框架,该框架利用CS同时解决了通信瓶颈、隐私泄露和公平性不足的关键挑战。具体而言,所提出的方法将CS与基于委员会的SS机制结合,保护了在指定威胁模型下的梯度机密性,同时减少了通信开销。此外,通过利用压缩域的距离保持特性,我们设计了基于贡献的公平机制。
**作者贡献声明**
Kunchao Jiang:撰写——原始草稿、验证、调查;
Hui Huang:撰写——审阅与编辑、监督;
Bo Hu:数据 curating;
Wanyi Yan:形式分析;
Hao Wang:形式分析;
Zhigang Yang:概念化。
**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
**致谢**
本研究部分得到了国家自然科学基金(项目编号62402078)、重庆市自然科学基金(项目编号CSTB2025NSCQ-GPX1281、CSTB2022NSCQ-MSX1588和CSTB2025NSCQ-GPX1270)以及重庆市教育委员会科技研究计划(项目编号KJQN202500630、KJQN202400657和关键项目KJZD-K202300601)的支持。本文的通讯作者是Hui Huang。
**作者信息**
Kunchao Jiang | Hui Huang | Bo Hu | Wanyi Yan | Hao Wang | Zhigang Yang
重庆邮电大学网络安全与信息法学院,中国重庆400065
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号