AD-FL: 基于注意力去噪的联邦学习对抗防御

《Connection Science》:AD-FL: adversarial defense in federated learning via attention denoising

【字体: 大 中 小 】 时间:2025年12月17日 来源:Connection Science 3.0

编辑推荐:

  联邦学习(FL)是一种典型的分布式机器学习框架,通过仅上传模型参数到服务器进行训练,可以有效保护用户的隐私信息。然而,FL容易受到对抗攻击,攻击者向样本添加不可察觉的扰动,使得对抗样本被错误分类为其他类别。现有的防御方法在检测和消除输入中嵌入的细微对抗扰动时遇

  
联邦学习(FL)是一种典型的分布式机器学习框架,通过仅上传模型参数到服务器进行训练,可以有效保护用户的隐私信息。然而,FL容易受到对抗攻击,攻击者向样本添加不可察觉的扰动,使得对抗样本被错误分类为其他类别。现有的防御方法在检测和消除输入中嵌入的细微对抗扰动时遇到困难,这使得它们对对抗样本无效,从而损害模型的整体性能。为了解决这些问题,本研究提出了AD-FL,一种有效的对抗防御方法,用于FL中的不同对抗攻击。AD-FL通过利用本地客户端级别的注意力去噪来缓解对抗攻击的影响。为了进一步提高模型性能,研究人员利用自适应决策边界策略来控制联邦学习训练的决策边界,基于消除对抗攻击的影响。在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100上,针对包括FGSM、MI-FGSM、PGD和AutoAttack在内的各种对抗攻击的大量实验表明,与最先进的防御方法相比,AD-FL始终达到更高的对抗准确性,同时保持有竞争力的计算效率。消融研究进一步验证了每个组件的有效性。
**论文解读文章**

**研究背景与问题**
联邦学习(FL)作为一种分布式机器学习框架,通过仅上传模型参数到服务器进行训练,有效保护用户隐私,已被部署于边缘计算、推荐系统和图像处理等分布式任务。然而,FL框架极易受到对抗样本(adversarial examples)的攻击,攻击者向输入样本添加不可察觉的微小扰动,导致模型在推理阶段将对抗样本误分类为其他类别,对实际部署构成严重威胁。现有的集中式防御方法(如对抗训练、输入预处理和特征空间变换)无法直接应用于FL场景,因为FL禁止访问其他客户端的数据,且对抗训练在边缘设备上计算开销巨大,常降低模型在干净样本上的性能。针对FL中的对抗攻击,现有决策边界导向的联邦对抗训练方案(DBFAT)未能精细处理本地客户端样本,导致防御性能薄弱。因此,研究人员需要解决两个关键挑战:①如何在不访问其他客户端数据集的情况下精确消除对抗样本的影响;②如何在消除对抗样本影响的同时保证全局模型对测试样本的准确性。

**研究内容与结论**
研究人员提出了AD-FL,一种基于注意力去噪的联邦学习对抗防御方法。该方法在本地客户端引入注意力去噪模块,计算每个输入图像的像素注意力重要度分数,依据该分数进行自适应去噪,以更精确地移除图像中的扰动。同时,引入双阶段训练策略(包括本地重加权和全局正则化),以改善全局模型对测试样本的准确性。具体而言,研究人员利用带重加权策略的对抗训练获得更高准确率,并通过全局正则化获得更精确的决策边界,进一步提升模型在干净样本上的准确率。在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100四个基准数据集上,针对FGSM、MI-FGSM、PGD和AutoAttack四种对抗攻击方法,以及LMPA、DnC、CDDL三种投毒攻击方法,AD-FL均持续取得比现有最先进防御方法更高的对抗鲁棒性,同时保持有竞争力的计算效率。消融实验进一步验证了注意力去噪和自适应决策边界各自的贡献。该工作发表在《Connection Science》。

**主要关键技术方法**(不超过250字)
研究人员采用的主要关键技术方法包括:①基于前向导数的重要性计算(FDIC)方法,计算输入图像像素相对于目标分类模型输出真实标签的梯度幅度,生成像素重要度分数;②卷积自编码器(CAE)与自适应去噪模块组成的像素去噪模型,根据重要度分数对图像进行去噪处理;③基于投影梯度下降(PGD)变体的决策边界距离评估方法,确定使样本误分类所需的最小PGD步骤数,并据此修改重加权权重ρ;④双阶段训练策略,包括本地重加权(对靠近决策边界的干净样本赋予更大权重)和全局正则化(利用全局模型预测分布与本地模型进行KL散度正则化)。实验在100个参与者(70个诚实客户端、30个恶意客户端)的联邦学习框架下进行,数据集来源包括MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100。

**研究结果**

**5.2 与基准防御方法的比较**
研究人员在四个数据集上,针对多种对抗攻击和投毒攻击,将AD-FL与TRADES、MMA、AVMixup、DBFAT(对抗防御)以及BRDL、FLTrust、Krum(投毒防御)等基准方法进行比较。

**5.2.1 与对抗防御方法的比较**
在MNIST数据集上,AD-FL在FGSM攻击(扰动界0.3)下准确率达84.82%,较未防御模型提高56.61%,优于AVMixup的58.46%。随着扰动界降低,准确率进一步提升。在Fashion-MNIST上趋势类似。在CIFAR-10(扰动界3/255)上,AD-FL在AA攻击下准确率51.96%,较未防御的5.79%提升46.17%。在CIFAR-100上,AD-FL在AA攻击下准确率43.67%,超过最强基线DBFAT 20.81%。在Non-IID(Dir(α=0.3))条件下,AD-FL在PGD攻击下准确率46.86%,远高于DBFAT的27.05%,证明其在异质环境中的鲁棒性。

**5.2.2 与投毒防御方法的比较**
AD-FL在MNIST上对抗LMPA、DnC、CDDL攻击准确率分别为92.74%、89.85%、85.27%,比BRDL、FLTrust、Krum高7-30个百分点。在Fashion-MNIST、CIFAR-10和CIFAR-100上,AD-FL同样显著优于所有基准方法,尤其在CIFAR-100这个最复杂的异质设置中,准确率分别达到75.44%、70.93%和63.29%。

**5.3 消融研究**
研究人员通过移除注意力去噪(w/o AD)和移除自适应决策边界(w/o ADB)进行消融实验。

**5.3.1 注意力去噪的影响**
在四个数据集及多种攻击方法上,AD-FL始终优于w/o AD。在MNIST上,AD-FL准确率比w/o AD高43.46%,表明注意力引导的去噪在防御中起关键作用。

**5.3.2 自适应决策边界的影响**
AD-FL在所有数据集上均优于w/o ADB。在CIFAR-10上,AD-FL比w/o ADB准确率高出近10%,证明自适应决策边界对增强模型鲁棒性至关重要。

**5.4 时间复杂度**
AD-FL的时间复杂度高于TRADES和MMA,但低于AVMixup和DBFAT。尽管注意力去噪带来一定计算开销,但AD-FL的防御性能显著优于TRADES和MMA,且兼具时间效率和防御效能,表明额外代价被鲁棒性提升所证明。

**结论部分翻译**
本文提出了一种新颖的联邦学习防御框架AD-FL,以应对联邦模型对对抗样本的关键脆弱性。AD-FL通过在本地客户端引入注意力去噪方法,针对性地移除对抗样本中的扰动,有效缓解了FL中对抗攻击带来的影响。然而,这仍会在联邦学习训练过程中导致模型性能下降。因此,在此基础上,研究人员提出了自适应决策边界方法,通过在联邦学习训练过程中控制决策边界,进一步提升模型性能。在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100上,针对包括FGSM、MI-FGSM、PGD和AutoAttack在内的各种对抗攻击的大量实验表明,AD-FL在维持模型性能的同时,持续实现了优越的对抗鲁棒性。在未来的工作中,研究人员将计划探索如何有效防御垂直联邦学习中的对抗攻击。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号