通过特征优化实现半监督医学图像分类的渐进式机器学习
《Pattern Recognition》:Gradual machine learning for semi-supervised medical image classification via feature optimization
【字体:
大
中
小
】
时间:2026年10月08日
来源:Pattern Recognition 9.1
编辑推荐:
•逐步机器学习减少了对严格独立同分布(i.i.d.)假设的依赖。•进化多任务特征优化增强了广义机器学习(GML)的推理性能。•监督损失和一致性损失联合评估个体表现。•信息共享模块引导进化搜索。•实验证明了该方法具有竞争性性能。
**引言**
深度神经网络(DNNs)在许多
•逐步机器学习减少了对严格独立同分布(i.i.d.)假设的依赖。•进化多任务特征优化增强了广义机器学习(GML)的推理性能。•监督损失和一致性损失联合评估个体表现。•信息共享模块引导进化搜索。•实验证明了该方法具有竞争性性能。
**引言**
深度神经网络(DNNs)在许多计算机视觉任务(包括医学图像分类MIC)中都能取得令人满意的表现,前提是拥有充足的、高质量的标注数据 [1], [2], [3]。然而,医学图像的精确标注需要经验丰富的放射科医生投入大量时间和精力,而在临床环境中,未标注图像的丰富性是不言而喻的。因此,半监督学习(SSL)成为一种流行的技术,它利用有限的标注数据和丰富的未标注数据来增强模型训练,旨在超越仅使用标注数据训练的模型 [4], [5], [6]。
当前最先进(SOTA)的SSL方法通常基于伪标签训练 [7], [8] 和一致性学习 [9], [10], [11]。对于伪标签方法,选择高置信度的伪标签样本仍然是一个关键挑战 [12]。对于一致性学习方法,这类方法基于平滑性假设有效地利用了未标注数据,无需显式标注 [13]。然而,其主要局限性在于自强化错误;即使不依赖伪标签,模型也可能在未标注数据的扰动版本与未标注数据中噪声引起的错误预测之间的概率分布上强制一致性。随着训练过程中错误的逐步累积,模型的特征提取能力退化,产生过度自信的错误预测 [14]。此外,大多数现有的SSL方法依赖于i.i.d.假设,即标注数据和未标注数据来自同一分布 [15], [16]。然而,未标注数据的分布不确定性导致在半监督医学图像分类中性能次优。
在本工作中,我们通过进化特征优化研究了一种用于半监督医学图像分类的非i.i.d.学习范式——GML。如图1所示,典型的基于一致性的SSL方法使用标注数据计算监督损失 LS,并计算未标注数据 Ud 与其增强版本 N(Ud) 之间的数据一致性损失 LD。相比之下,我们提出的EMT采用一个进化种群来模拟一组模型(个体),并通过整合监督损失、数据一致性损失和模型一致性损失来综合评估种群中个体的表现。此外,我们设计的FET和FST分别从CCD和KNN的角度联合优化基础特征向量。然后,FET和FST优化后的特征向量被用于提取CCD和KNN因子,以供GML对测试图像进行逐步推理。图1展示了GML的一般框架,它由三个步骤组成:简单实例标注、特征提取与影响建模以及逐步推理。在半监督医学图像分类任务中,有限的标注数据和测试数据分别被视为初始简单证据变量和推理变量。在第二阶段,特征因子通常被视为证据变量与推理变量之间知识传播的媒介。为了提取互补因子,我们为测试图像推导了CCD因子(直接提供类别偏差信息)和KNN因子(从邻近样本提供类别信息)。此外,此处采用了一个单调sigmoid函数来衡量某因子的值对测试图像属于特定类别的贡献影响。在最后一步,GML融合测试图像的多个因子,并通过因子图推理对其进行迭代标注,而不是学习一个全局统一的分类器来执行一次性批量分类。
事实上,GML在测试图像上的推理性能取决于其因子的质量。然而,现有的GML工作直接从深度学习生成的特征向量中提取因子,这些特征向量缺乏有针对性的优化,从而限制了其性能 [17], [18]。为了解决这一局限性,我们定义了GML在半监督医学图像分类中的两类因子。此外,为了提升其质量,我们提出了一种新颖的进化多任务优化方法,该方法从CCD和KNN的角度联合优化基础特征向量,从而为GML计算具有判别性和互补性的因子。EMT采用统一的优化目标,并通过基于种群的搜索和进化算子执行全局搜索,从而探索更广泛的搜索空间并降低陷入局部最优的风险。凭借灵活的个体编码,它可以同时处理连续和离散变量,并且我们提出了一个信息共享模块来协助任务之间的协同进化,这与我们混合优化任务相匹配(FET是连续优化,FST是离散优化)。此外,它对噪声和超参数表现出相对较高的鲁棒性,从而实现了稳定的优化过程和可靠的医学图像数据性能。总结而言,我们的主要贡献如下:
•我们提出了一种基于GML范式的新颖半监督医学图像分类方法,使其能够在标注数据有限的情景下有效学习,并展现出对分布偏移的鲁棒性。•我们设计了一种新颖的特征优化方法(即EMT),从CCD和KNN的角度联合优化基础特征向量,为GML生成高质量的特征因子。•我们在两个广泛使用的医学图像数据集上进行了大量实验,结果表明我们的方法与其他现有方法相比达到了竞争性的性能。
**各章节摘录**
**半监督学习**
**伪标签SSL。** 例如,PEFAT [4] 提出了一种基于伪损失估计和特征对抗训练的半监督框架,以提升多类别和多标签医学图像分类的性能。ACPL [13] 以反课程方式训练模型,并通过分类器集成向选定的信息量丰富的未标注样本分配伪标签,以提高伪标签的准确性。HABIT [19] 设计了三个独立模块来优化特征提取中的偏差、伪标签...
**所提方法**
**问题定义。** 在半监督医学图像分类场景中,通常给定一个标注集 Dl={(li, yi)},其中 i=1 到 Nl,以及一个未标注集 Du={ui},其中 i=1 到 Nu,其中 li∈Rd 表示输入的标注医学图像,yi∈{1,…,K} 是对应的标签,K 为类别数,ui∈Rd 表示输入的未标注医学图像,Nl 和 Nu 分别为标注和未标注图像的数量,且 Nl?Nu。半监督医学图像分类的目标是学习一个分类器 f:Rd→{1,…,K},以有效利用标注数据和...
**算法复杂度分析**
GML-EMT分两个独立的阶段运行。首先,EMT从CCD和KNN的角度优化基础特征向量,为所有测试图像计算两组高质量因子,然后将这些因子输入GML进行逐步推理。
我们首先分析EMT的时间复杂度。在EMT中,初始化阶段基于实值编码和二进制编码通过随机初始化生成两个种群(每个种群包含N个d维个体),时间复杂度为 O(Nd)...
**实验**
我们在以下两个广泛使用的医学数据集上进行了实验。
NCT-CRC-HE [29] 是一个组织学图像数据集,包含100,000张跨越9个类别的结直肠癌组织学切片。每张图片关联一个标签,构成多类别分类任务。与对比方法 [4], [11], [30] 一致,我们随机将数据集划分为70%/10%/20%用于训练/验证/测试,并报告在100和200张标注图像条件下的结果。
**结论**
本文提出了一种名为GML-EMT的新颖半监督医学图像分类方法。与对全部测试图像进行一次性批量推理的传统分类模型不同,GML采用因子图上的逐步推理机制。它从少量标注图像开始计算测试图像的特征因子。通过因子融合,GML按照测试图像的证据置信度顺序进行推理,同时动态优化推理模型参数...
**局限性与未来工作**
所提方法的主要局限性在于其时间成本。我们的方法不是端到端训练的,而是每个步骤需要顺序执行,这导致了相对较高的时间成本。本工作优先考虑提升分类性能,并未对计算效率与最先进方法进行系统性比较。
未来工作将聚焦于两个关键方向。首先,我们将进一步改进特征因子优化...
**CRediT作者贡献声明**
Wangwang Li:初稿撰写、可视化、验证、资源、方法论、调查、形式化分析。Sheeraz Gul:形式化分析、数据管理。Qun Chen:审阅与编辑、监督、项目管理、资金获取。Fengjin Zhou:审阅与编辑、监督、资源。
**利益冲突声明**
作者声明不存在任何已知的竞争性经济利益或个人关系,这些关系可能会影响本文所报告的工作。
**致谢**
本研究得到了中国国家重点研发计划(2023YFB4503600)和华为产学研合作项目(D5204250929)的支持。
Wangwang Li | Sheeraz Gul | Qun Chen | Fengjin Zhou
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号