基于联邦半监督学习的方法对基础模型进行高效微调,以提升医学图像分类的准确性

《Knowledge-Based Systems》:Federated Semi-Supervised Calibrated Efficient Fine-Tuning of Foundation Models for Medical Image Classification

【字体: 大 中 小 】 时间:2025年12月31日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  提出 FedSemiCET 框架,通过分步聚合策略和指数移动平均平滑更新解决联邦半监督学习中客户端异构性问题,结合多二进制分类器评估伪标签可靠性,并采用参数高效微调方法减少计算通信开销,在三个医学数据集上验证其优于现有方法。

  
作者:何沿林、吴彦琳、沈琳琳、李涛、邹珂、傅华珠
单位:深圳大学大数据系统计算技术国家工程实验室人工智能学院,中国广东省深圳市518060

摘要

联邦学习提供了一种在不共享原始数据的情况下,跨分布式客户端训练模型的隐私保护机制。然而,单个客户端上标记数据的稀缺性对有效的本地模型训练构成了重大挑战。本文针对标记数据和非标记数据共存的实际情况,将其视为一个联邦半监督学习(FSSL)问题。我们提出了FedSemiCET,这是一种用于医学图像分类的联邦半监督校准高效调优框架,基于基础模型。我们的框架包括三个主要组成部分:首先,我们开发了一种逐步聚合和平滑更新策略,以减轻客户端异质性的负面影响;其次,我们设计了一种多二元分类方法来评估样本与类别之间的关系;当与传统的概率估计结合使用时,这种方法可以为非标记客户端提供更可靠的置信度分数,并减少不准确伪标签的影响;第三,我们采用了一种具有极少可训练参数的校准高效调优方法,以降低联邦学习中的计算和通信成本。在三个医学图像分类任务上的实验评估表明,我们的框架在保持强大的泛化能力的同时,始终优于当前的最先进方法。

引言

联邦学习(FL)[1]是一种有效的分布式方法,它能够在多个临床站点之间协作训练模型,同时保护数据隐私和安全性,这在医疗领域至关重要,因为患者数据不能集中汇总[2]、[3]。通过保持数据本地化并仅交换模型参数,FL已被广泛应用于训练各种病变和器官的医学模型[4]、[5]、[6]、[7]。
尽管现有的FL方法[1]、[8]、[9]、[10]取得了成功,但它们通常假设所有客户端都有标记数据。然而,在现实世界的医学FL中,标记数据往往非常稀缺,这就导致了联邦半监督学习(FSSL)的实际挑战,即一些客户端有标记数据,而其他客户端只有非标记数据。为了解决这个问题,提出了标记效率高的框架[11]、[12]以及几种FSSL方法[13]、[14]、[15]、[16]、[17]、[18],以在这种环境下提高性能。
此外,预先在大型数据集上训练的强大基础模型(FMs)为下游任务提供了出色的特征表示[19]、[20]、[21]、[22]、[23]。然而,现有的FL方法通常使用较小的模型架构,从而错过了这些优势。在资源受限的联邦环境中,直接微调大型FMs是不切实际的,因为计算和通信成本很高,而且需要大量的标记数据来防止过拟合——而在医学FSSL中这两者都十分稀缺。鉴于这些实际限制,设计一种减少通信和计算开销的方案变得至关重要。为此,提出了参数效率高的学习方法[24]、[25]、[26]、[27]、[28],这些方法仅更新一小部分参数,为FL中的高效服务器-客户端交互提供了有希望的解决方案。
在传统的FL中,直接用全局模型替换客户端模型会丢弃之前学习到的本地知识,从而破坏优化过程。这在医学数据[9]中尤其成问题,因为扫描设备、协议、注释专业知识和类别不平衡的变化会导致数据异质性显著增加。此外,不同疾病之间的类别分布极端不平衡会加剧数据异质性。因此,从全局模型开始可能不是处理异构本地数据的最佳方式。然而,之前的方法[15]、[16]、[17]、[18]未能考虑结合之前聚合的全局模型和客户端模型。类似于个性化联邦学习[29],每个本地模型都必须学习其相应本地数据分布的独特特征。结果,这可能导致客户端偏离最佳优化路径并阻碍模型收敛[30]。此外,为非标记数据生成伪标签是必要的,但这些标签的质量会严重影响训练的稳定性。大多数现有方法没有充分解决伪标签的可靠性问题[31],这可能会引入噪声并进一步破坏联邦训练过程。
这形成了一个重要且及时的研究空白:我们如何在FSSL框架内有效利用基础模型,确保参数调优的高效性,可靠处理客户端异质性,并可靠使用伪标签?解决这一空白至关重要,因为将FMs集成到FSSL中有望在标记数据较少的情况下实现更高的准确性,这对于可扩展和公平的医学AI至关重要。为了弥合这一空白,我们系统地重新审视了FSSL框架,并提出了FedSemiCET,这是一种用于基础模型校准高效微调的新方法。如图1所示,我们的方法引入了三项关键创新。首先,我们提出了一种逐步聚合策略,分别处理来自标记和非标记客户端的更新,并结合使用指数移动平均(EMA)的平滑更新机制。这使得每个临床站点能够维护与其独特数据分布更匹配的本地模型,这是文献中尚未探索的方法。其次,我们设计了一种多二元分类器来生成特定类别的置信度分数,从而更可靠地评估伪标签的质量并提高训练稳定性。第三,为了最小化计算和通信开销,我们引入了一种校准的参数效率高的调优方法,仅微调基础模型的一小部分参数。这种策略不仅可以在标记数据有限的情况下减轻过拟合,还能促进在资源受限的联邦环境中高效部署强大的基础模型。
我们通过实验表明,我们提出的方法可以在FSSL环境中显著提高模型的收敛性和鲁棒性。主要贡献包括:
  1. 我们提出了一种新的联邦半监督框架,采用逐步聚合和平滑EMA更新,提高了全局模型和客户端模型的收敛性。
  2. 我们的方法采用参数效率高的调优方法,大幅降低了通信和计算成本。引入了多二元分类器来评估伪标签的可靠性,确保了非标记客户端数据的有效使用。
  3. 该框架适用于多模态和单模态基础模型,在三个医学数据集上取得了最先进的结果,证明了其在半监督医学图像分类中的可行性和优越性。

节选内容

联邦半监督学习

联邦学习允许在不共享本地数据的情况下从多个分布式客户端进行学习,从而保护数据隐私。最广泛使用的FL算法是FedAvg [1]。然而,它假设客户端是独立同分布的,因此在处理异构客户端时模型容易发散。因此,一些工作提出了解决方案[8]、[9]、[30]、[32]、[33]、[34]、[35]。此外,它们还假设数据...

问题设置和初步准备

问题设置基于基础模型的最新进展[19]、[41],我们专注于医学图像分类的基础模型的FSSL,它包括一个中央服务器和多个本地客户端。在FSSL设置中,有M个标记客户端,表示为Cl={C1, C2, .., CM},每个私有客户端的标记图像对表示为Dm={(xim, yim),以及N个非标记客户端Cu={C1, C2, ..., CN,其中Dn={xjn}。每个客户端都有一个预训练的基础模型

实验

在本节中,我们通过实验展示了所提出方法在医学图像分类的联邦半监督学习设置中的优势。此外,我们还进行了消融研究以验证每个提出模块的有效性。

结论与未来工作

结论:在这项工作中,我们提出了FedSemiCET,这是一种用于医学图像分类的基础模型校准高效调优的新框架。我们的主要目标是解决在标记数据稀缺且客户端高度异构的真实联邦环境中利用强大预训练模型的关键挑战。我们的具体贡献包括:一种新的逐步聚合和平滑更新策略,以及通过多二元分类器实现可靠的伪标签过滤...

CRediT作者贡献声明

何沿林:撰写——原始草稿,方法论。吴彦琳:撰写——原始草稿。沈琳琳:撰写——审阅与编辑。李涛:撰写——审阅与编辑。邹珂:撰写——审阅与编辑。傅华珠:撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号