综述:带有噪声标签的联邦学习:当前方法论的全面而简洁的综述及未来发展方向

《Neural Networks》:Federated Learning with Noisy Labels: A Comprehensive and Concise Review of Current Methodologies and Future Directions

【字体: 大 中 小 】 时间:2026年03月24日 来源:Neural Networks 6.3

编辑推荐:

  联邦学习与噪声标签融合的研究综述,系统梳理了四个核心挑战:本地噪声识别、跨客户端噪声异质性、模型过拟合及基准测试不足,并构建了样本级、客户端级、模型级和基准测试四级分类体系,为未来研究提供方向指引。

  
Jia Dong|Rui Zhu|Xinyi Shang|Jing-Hao Xue
伦敦大学学院统计科学系,英国伦敦,WC1E 6BT

摘要

联邦学习是现代机器学习中的一个重要范式,它允许在私有和去中心化的环境中训练模型,这对于处理敏感数据至关重要。噪声标签学习是现代机器学习中的另一个重要范式,它关注的是利用可能带有错误标签的数据来训练模型。将这两种方法结合起来,即带噪声标签的联邦学习(FLNL),是一个新兴但具有挑战性的研究领域。然而,目前还缺乏对其研究进展的综述。本文旨在填补这一空白。我们首先总结了FLNL面临的四个核心挑战:局部标签噪声、客户端之间的标签噪声异质性、对标签噪声的局部过拟合以及不充分的基准测试。然后,我们提出了一种分类方法,将当前的FLNL研究分为四类,以分别应对这四个挑战:基于样本的方法、基于客户端的方法、基于模型的方法以及基于基准测试的研究。这项工作提供了第一份全面而简洁的FLNL综述;此外,我们还为这一快速发展的、具有实际意义的领域指出了未来的研究方向。

引言

联邦学习是现代机器学习中的一个去中心化范式,在这种范式中,多个客户端在中央服务器的协调下协作训练全局模型,同时不共享它们的本地数据。这种保护隐私的范式在医疗保健(Li等人,2025年)、金融(Kang等人,2024年)、移动应用(Gecer和Garbinato,2024年)以及智慧城市(Al-Huthaifi等人,2023年)等领域尤为重要,因为在这些领域数据隐私和安全至关重要。
在传统的机器学习中,训练数据的标签通常被认为是正确的。然而,在实际的机器学习实践中,由于注释错误和众包标注等原因,噪声标签并不少见,尤其是随着数据集的扩大和多样化(Johnson和Khoshgoftaar,2022年;Shi等人,2024年;Zhang等人,2025年)。不幸的是,从带有噪声标签的数据中训练出的模型可能会对这些噪声标签产生过拟合,从而导致泛化能力较差(Song, Zhao, Dang, Wang, Xu,2025年;Song, Kim, Park, Shin, Lee,2022年)。因此,在现代机器学习中,出现了另一种称为噪声标签学习(或标签噪声学习)的范式,它专注于从可能带有错误标签的数据中可靠地训练模型。
与传统(通常是集中式的)机器学习相比,从带有噪声标签的数据中学习模型的问题在联邦学习中更加具有挑战性。去中心化的数据所有权、隐私限制和噪声标签的结合引入了在联邦学习或噪声标签学习中很少遇到的复杂性。特别是,带噪声标签的联邦学习(FLNL)必须同时确保隐私保护、处理数据和噪声的异质性,并保持模型的稳健收敛性,这使得它比标准的噪声标签学习更具挑战性。我们首先总结了FLNL面临的四个核心挑战:
  • •
    首先,由于联邦学习中的隐私限制,带有噪声标签的数据被保留在各个客户端本地,无法在中央服务器处进行共享和统一识别及修正。例如,在一个联邦医疗系统中,每个医院可以本地标注他们的医学图像,但由于隐私限制,无法在中央层面修正错误的标签。因此,与可以在全局范围内进行数据清洗的集中式环境不同,FLNL的第一个挑战是如何开发有效的本地机制来识别和修正各个客户端中的局部噪声标签(Ji等人,2024年;Jiang等人,2024年;Jiang和Zhang,2025年)。
  • •
    其次,联邦学习中的标签噪声严重程度在各个客户端之间是异质的,因为每个客户端都持有在其不受控制的本地环境中收集和标注的私有数据。例如,在一个由质量参差不齐的注释者组成的电子商务平台联邦系统中,中央服务器需要防止低质量平台的噪声更新影响高质量平台的贡献(Ali和Arafa,2025年;Morafah等人,2025年;Zeng等人,2024a)。
  • •
    第三,深度神经网络容易被噪声标签过拟合,这会严重损害模型的泛化能力。在联邦学习环境中,这种过拟合现象由于缺乏中央控制、本地数据有限以及客户端之间的异质性而加剧。例如,在一个小而噪声较大的数据集上训练的移动设备模型可能会过拟合错误的模式,从而导致全局模型性能下降。因此,第三个挑战是如何为FLNL设计定制的优化方案来减轻对这些异质噪声标签的过拟合(Lu等人,2024年;Pu等人,2025年;Yu等人,2025年)。
  • •
    第四,目前的联邦学习或集中式噪声标签学习基准测试协议在FLNL环境中并不充分。集中式噪声标签学习的基准测试协议未能捕捉到联邦学习中固有的异质性和隐私限制,而联邦学习的基准测试协议通常假设所有客户端的数据都是干净的。因此,第四个挑战是开发一个适当的基准测试协议,以便对FLNL方法进行准确和公平的比较(Jiang等人,2025年;Liang等人,2023年)。
  • 虽然联邦学习和噪声标签学习作为机器学习中的两个独立范式各自都受到了广泛关注,但它们结合后的FLNL在调查中仍然研究不足。
    一方面,现有的联邦学习调查关注该框架的不同方面。例如,Ye等人(2023年)分析了异构联邦学习,指出了统计、模型、通信和设备异质性方面的挑战;Jia等人(2025年)强调了通信效率高的联邦学习,回顾了移动边缘环境中的压缩、客户端选择和空中聚合策略;Sabah等人(2024年)研究了个性化联邦学习,分析了平衡全局泛化和局部适应性的优化策略;Kim等人(2025年)探讨了公平联邦学习,提出了增强公平性的机制及其与隐私的权衡。Hu等人(2024年)关注联邦学习中的安全性和隐私威胁,涵盖了对抗性攻击和在安全聚合和差分隐私框架下的防御措施。然而,这些关于联邦学习的调查通常假设客户端数据是干净的,因此没有考虑标签噪声对联邦学习的影响,例如客户端本地更新对服务器端全局模型聚合的影响。因此,这些调查的结果对于FLNL的研究来说是不够的。
    另一方面,现有的噪声标签学习调查仅限于集中式学习。例如,Song等人(2022年)将带噪声标签的学习方法分为五类:鲁棒架构、鲁棒正则化、鲁棒损失函数、损失调整和样本选择;Li和Zhu(2024年)分析了分类领域的噪声标签学习,强调了半监督学习和对比学习作为最先进的方法;Shi等人(2024年)专注于医学图像分析,总结了处理注释不一致性和领域特定噪声的策略;Song等人(2025年)回顾了在噪声监督下的深度学习,涵盖了损失正则化、鲁棒回归、样本重新加权、噪声转换建模和半监督学习。然而,这些调查假设可以完全访问整个数据集,而在联邦学习中数据是分布式的,无法在中央层面访问。因此,它们的发现不能直接应用于FLNL,因为在FLNL中标签噪声既是去中心化的又是异质的。
    也就是说,到目前为止,还没有关于FLNL的综述。因此,本文旨在填补这一空白,提供第一份全面而简洁的FLNL综述,并为这一快速发展和具有实际意义的领域指明未来的研究方向。
    在这项调查中,如图1所示,我们将现有的FLNL方法分为四组。这一分类基于全面的文献分析,表明当前的研究已经努力解决上述四个核心挑战中的任何一个。第一组是基于样本的方法(第2节),主要在各个客户端本地处理噪声标签问题;第二组是基于客户端的方法(第3节),专注于在全球服务器端减轻客户端之间标签噪声的异质性影响;第三组是基于模型的方法(第4节),设计定制的优化方案来减轻对异质噪声标签的过拟合;第四组是专门针对FLNL进行的基于基准测试的研究(第5节)。需要注意的是,尽管这些类别代表了方法的主要关注点,但某些方法之间存在不可避免的重叠。我们对每项工作的分类基于其主要创新贡献及其主要解决的问题。

    方法片段

    基于样本的方法

    基于样本的方法主要在各个客户端本地解决标签噪声问题。在这个类别中,出现了三种方法:样本选择、样本加权和标签修正(如图1和图2所示)。样本选择(第2.1节)旨在识别标签干净的样本并移除可能带有噪声标签的样本;样本加权(第2.2节)在训练过程中调整样本的相对贡献

    基于客户端的方法

    基于客户端的方法在客户端层面而不是样本层面处理噪声标签。我们将基于客户端的方法分为两种类型:客户端选择和客户端加权(如图1和图3所示)。
    客户端选择(第3.1节)旨在识别可靠的客户端并排除那些噪声水平较高的客户端;客户端加权(第3.2节)不是丢弃噪声客户端,而是根据其估计的贡献调整每个客户端对全局模型的贡献

    基于模型的方法

    在FLNL中,深度神经网络容易发生局部过拟合,每个客户端模型倾向于记住自己的噪声标签,因为数据量有限且非独立同分布。这种现象在聚合过程中放大了噪声的影响,导致全局更新不稳定或偏置。基于模型的方法通过修改训练的优化目标来增强模型对标签噪声的鲁棒性。我们将这类方法分为两种类型:仅针对客户端的数据优化

    基于基准测试的研究

    与方法论提案不同,基于基准测试的FLNL研究旨在建立具有多种噪声分布和数据异质性设置的受控环境,以揭示和比较不同条件下FLNL方法的优点和缺点。
    有效的FLNL基准测试依赖于两个核心要素:噪声建模和数据划分协议。标签噪声起着关键作用,基准测试通常模拟几种类型的噪声

    基于样本的方法

    当前的基于样本的方法仍然存在困难样本的问题。困难样本虽然标签正确但难以分类,且在训练初期或不稳定阶段经常表现出高损失。因此,它们容易被误认为是噪声样本并从后续训练中排除,导致模型对这些样本的拟合能力较差,泛化能力不足。因此,未来的一个研究方向是在FLNL中更好地区分困难样本和噪声标签样本。一个具体的方法是开发

    讨论

    在表1中,每类现有的FLNL方法都根据三个额外维度进行了总结,这些维度值得进一步研究。在噪声类型方面,大多数方法假设标签噪声是类别依赖的且属于封闭集,而相对较少的研究考虑了实例依赖的或开放集噪声。这反映了现有方法中噪声多样性的缺乏,而实例级或分布外噪声仍然未得到充分探索。在对外部依赖性方面,只有少数方法依赖于

    结论

    本文首次提供了FLNL研究进展的全面而简洁的综述。我们确定了FLNL面临的四个核心挑战:局部标签噪声、客户端之间的标签噪声异质性、对标签噪声的局部过拟合以及不充分的基准测试。根据它们解决相应挑战的努力,我们将现有的FLNL研究分为四类:基于样本的方法、基于客户端的方法、基于模型的方法和基于基准测试的研究。

    CRediT作者贡献声明

    Jia Dong:撰写——原始草稿、可视化、方法论、调查、形式分析、概念化。Rui Zhu:撰写——审稿与编辑、验证、监督。Xinyi Shang:撰写——审稿与编辑、验证。Jing-Hao Xue:撰写——审稿与编辑、验证、监督、方法论、调查、概念化。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号