联邦学习是现代机器学习中的一个去中心化范式,在这种范式中,多个客户端在中央服务器的协调下协作训练全局模型,同时不共享它们的本地数据。这种保护隐私的范式在医疗保健(Li等人,2025年)、金融(Kang等人,2024年)、移动应用(Gecer和Garbinato,2024年)以及智慧城市(Al-Huthaifi等人,2023年)等领域尤为重要,因为在这些领域数据隐私和安全至关重要。
在传统的机器学习中,训练数据的标签通常被认为是正确的。然而,在实际的机器学习实践中,由于注释错误和众包标注等原因,噪声标签并不少见,尤其是随着数据集的扩大和多样化(Johnson和Khoshgoftaar,2022年;Shi等人,2024年;Zhang等人,2025年)。不幸的是,从带有噪声标签的数据中训练出的模型可能会对这些噪声标签产生过拟合,从而导致泛化能力较差(Song, Zhao, Dang, Wang, Xu,2025年;Song, Kim, Park, Shin, Lee,2022年)。因此,在现代机器学习中,出现了另一种称为噪声标签学习(或标签噪声学习)的范式,它专注于从可能带有错误标签的数据中可靠地训练模型。
与传统(通常是集中式的)机器学习相比,从带有噪声标签的数据中学习模型的问题在联邦学习中更加具有挑战性。去中心化的数据所有权、隐私限制和噪声标签的结合引入了在联邦学习或噪声标签学习中很少遇到的复杂性。特别是,带噪声标签的联邦学习(FLNL)必须同时确保隐私保护、处理数据和噪声的异质性,并保持模型的稳健收敛性,这使得它比标准的噪声标签学习更具挑战性。我们首先总结了FLNL面临的四个核心挑战:
•首先,由于联邦学习中的隐私限制,带有噪声标签的数据被保留在各个客户端本地,无法在中央服务器处进行共享和统一识别及修正。例如,在一个联邦医疗系统中,每个医院可以本地标注他们的医学图像,但由于隐私限制,无法在中央层面修正错误的标签。因此,与可以在全局范围内进行数据清洗的集中式环境不同,FLNL的第一个挑战是如何开发有效的本地机制来识别和修正各个客户端中的局部噪声标签(Ji等人,2024年;Jiang等人,2024年;Jiang和Zhang,2025年)。
•其次,联邦学习中的标签噪声严重程度在各个客户端之间是异质的,因为每个客户端都持有在其不受控制的本地环境中收集和标注的私有数据。例如,在一个由质量参差不齐的注释者组成的电子商务平台联邦系统中,中央服务器需要防止低质量平台的噪声更新影响高质量平台的贡献(Ali和Arafa,2025年;Morafah等人,2025年;Zeng等人,2024a)。
•第三,深度神经网络容易被噪声标签过拟合,这会严重损害模型的泛化能力。在联邦学习环境中,这种过拟合现象由于缺乏中央控制、本地数据有限以及客户端之间的异质性而加剧。例如,在一个小而噪声较大的数据集上训练的移动设备模型可能会过拟合错误的模式,从而导致全局模型性能下降。因此,第三个挑战是如何为FLNL设计定制的优化方案来减轻对这些异质噪声标签的过拟合(Lu等人,2024年;Pu等人,2025年;Yu等人,2025年)。
•第四,目前的联邦学习或集中式噪声标签学习基准测试协议在FLNL环境中并不充分。集中式噪声标签学习的基准测试协议未能捕捉到联邦学习中固有的异质性和隐私限制,而联邦学习的基准测试协议通常假设所有客户端的数据都是干净的。因此,第四个挑战是开发一个适当的基准测试协议,以便对FLNL方法进行准确和公平的比较(Jiang等人,2025年;Liang等人,2023年)。
虽然联邦学习和噪声标签学习作为机器学习中的两个独立范式各自都受到了广泛关注,但它们结合后的FLNL在调查中仍然研究不足。
一方面,现有的联邦学习调查关注该框架的不同方面。例如,Ye等人(2023年)分析了异构联邦学习,指出了统计、模型、通信和设备异质性方面的挑战;Jia等人(2025年)强调了通信效率高的联邦学习,回顾了移动边缘环境中的压缩、客户端选择和空中聚合策略;Sabah等人(2024年)研究了个性化联邦学习,分析了平衡全局泛化和局部适应性的优化策略;Kim等人(2025年)探讨了公平联邦学习,提出了增强公平性的机制及其与隐私的权衡。Hu等人(2024年)关注联邦学习中的安全性和隐私威胁,涵盖了对抗性攻击和在安全聚合和差分隐私框架下的防御措施。然而,这些关于联邦学习的调查通常假设客户端数据是干净的,因此没有考虑标签噪声对联邦学习的影响,例如客户端本地更新对服务器端全局模型聚合的影响。因此,这些调查的结果对于FLNL的研究来说是不够的。
另一方面,现有的噪声标签学习调查仅限于集中式学习。例如,Song等人(2022年)将带噪声标签的学习方法分为五类:鲁棒架构、鲁棒正则化、鲁棒损失函数、损失调整和样本选择;Li和Zhu(2024年)分析了分类领域的噪声标签学习,强调了半监督学习和对比学习作为最先进的方法;Shi等人(2024年)专注于医学图像分析,总结了处理注释不一致性和领域特定噪声的策略;Song等人(2025年)回顾了在噪声监督下的深度学习,涵盖了损失正则化、鲁棒回归、样本重新加权、噪声转换建模和半监督学习。然而,这些调查假设可以完全访问整个数据集,而在联邦学习中数据是分布式的,无法在中央层面访问。因此,它们的发现不能直接应用于FLNL,因为在FLNL中标签噪声既是去中心化的又是异质的。
也就是说,到目前为止,还没有关于FLNL的综述。因此,本文旨在填补这一空白,提供第一份全面而简洁的FLNL综述,并为这一快速发展和具有实际意义的领域指明未来的研究方向。
在这项调查中,如图1所示,我们将现有的FLNL方法分为四组。这一分类基于全面的文献分析,表明当前的研究已经努力解决上述四个核心挑战中的任何一个。第一组是基于样本的方法(第2节),主要在各个客户端本地处理噪声标签问题;第二组是基于客户端的方法(第3节),专注于在全球服务器端减轻客户端之间标签噪声的异质性影响;第三组是基于模型的方法(第4节),设计定制的优化方案来减轻对异质噪声标签的过拟合;第四组是专门针对FLNL进行的基于基准测试的研究(第5节)。需要注意的是,尽管这些类别代表了方法的主要关注点,但某些方法之间存在不可避免的重叠。我们对每项工作的分类基于其主要创新贡献及其主要解决的问题。