《Neurocomputing》:Deep semi-supervised learning for medical image analysis: A survey
编辑推荐:
医学领域的标注数据通常昂贵且难以获取。深度半监督学习(DSSL)已成为应对医学图像分析中有限标注数据相关挑战的变革性方法。本综述全面概述了其基本原理以及与传统的监督和无监督方法相比的优势。系统考察了关键技术和框架,重点关注它们在利用标注和未标注医学影像数据方面
医学领域的标注数据通常昂贵且难以获取。深度半监督学习(DSSL)已成为应对医学图像分析中有限标注数据相关挑战的变革性方法。本综述全面概述了其基本原理以及与传统的监督和无监督方法相比的优势。系统考察了关键技术和框架,重点关注它们在利用标注和未标注医学影像数据方面的有效性。研究人员对最新进展进行了批判性回顾,包括针对医学应用定制的新型架构和学习范式。实际应用证明了深度半监督学习在提高诊断准确性、加速分析和减少对大量标注依赖方面的潜力。与以往仅关注分类或分割等孤立方面的综述不同,本研究提供了一项系统性的全面综述,统一了DSSL在医学图像分析中的关键维度,涵盖技术、应用、挑战和未来方向。这项工作为研究人员和从业者提供了有价值的参考,概述了该领域当前的趋势和未来方向。
医学图像分析在临床诊疗中至关重要,但医学图像的专家标注成本高昂、耗时且存在观察者间变异,导致高质量标注数据严重稀缺。传统监督学习依赖大规模标注数据集,难以应对这一瓶颈;无监督学习虽可利用未标注数据,却缺乏语义指导;弱监督学习和自监督学习等方法也各有局限。为在标注受限条件下实现接近监督学习的诊断精度,深度半监督学习(DSSL)被提出,它通过联合少量标注数据和大量未标注数据,有效降低标注依赖并提升模型泛化能力。然而,现有综述多聚焦单一任务或单一模态,缺乏对DSSL技术、应用和挑战的系统整合。为此,研究人员开展了本项系统综述,遵循PRISMA框架,从IEEE Xplore、ACM Digital Library、SpringerLink、ScienceDirect和MDPI等数据库系统检索2017至2024年间相关文献,最终纳入146项研究,旨在全面梳理DSSL在医学图像分析中的发展现状。
研究人员首先阐述了DSSL的基本原理,包括监督损失、一致性正则化损失和伪标签损失的联合优化;随后按技术类别系统比较了各种方法。主要技术方法有:一致性正则化(如Mean Teacher、虚拟对抗训练VAT)、自监督预训练(如SimCLR、BYOL)、伪标签(如置信度阈值、软标签)、基于图的方法(如图卷积网络GCNs),以及多模态半监督学习。这些方法通过不同机制从未标注数据中提取监督信号,以减少对人工标注的依赖。
研究结果部分,按技术类别分述如下:
**4.1 一致性正则化**:该技术通过惩罚模型对输入扰动前后预测不一致来增强鲁棒性。综述显示,Mean Teacher和VAT在皮肤病变、乳腺、肺和前列腺等疾病的分类和分割中应用广泛,例如在ISIC2018皮肤数据集上,VAT达到96.04%的AUC,Mean Teacher获得89.28%的Dice系数。但跨数据集评估显示性能下降显著,如乳腺超声AUC从85.79%降至61.71%,表明一致性正则化性能高度依赖数据集和模态,标准化基准比较仍缺乏。
**4.2 自监督预训练**:该方法先通过对比性或生成式预任务学习通用表征,再以少量标注数据微调。在皮肤癌中,SimCLR和BYOL在HAM10,000上准确率约71%–72%;乳腺癌显微镜图像上对比预训练达94.28%准确率;肺癌CT上生成式预训练和预测式预训练均有应用,准确率最高超97%。但性能受预训练任务与下游任务对齐程度影响,且计算成本较高。
**4.3 伪标签**:该方法利用模型预测为未标注数据生成代理标签,并通过置信度阈值或软标签筛选。在皮肤病变分类中,置信度阈值法在ISIC2018上达到94.12%的AUC;乳腺超声中软标签法获得93.9%的准确率。不过,伪标签易受确认偏误影响,在类不平衡数据上可能导致错误累积和传播。
**4.4 基于图的方法**:图卷积网络通过建模样本间关系进行标签传播,在皮肤病变鉴别诊断和乳腺超声分割中显示出潜力,例如CNN-GCN混合系统在皮肤图像上达到93.6%的top-5准确率。但目前基于图的DSSL应用较少,主要受限于图像到图构建的复杂性和临床可解释性不足。
**4.5 与基础模型集成**:视觉基础模型(如SAM)可作为教师模型生成高质量伪标签或初始化DSSL模型,其医学适配版(MedSAM等)展示出提示驱动分割能力。但基础模型计算开销大,对罕见病理或噪声模态(如超声)泛化有限,需要领域适配和不确定性阈值化。
**4.6 多模态半监督学习**:通过跨模态一致性或协同训练利用多模态数据(如PET-CT、多参数MRI),使不同模态间相互监督。但该方法要求配对且配准的多模态数据,而临床中常因患者运动或扫描时间差异导致模态缺失,开发能处理未配对或不完整模态的架构是当前重点。
在应用方面,DSSL已用于计算机辅助诊断(CAD)、移动健康、远程医疗、自动放射报告、临床决策支持系统(CDSS)和机器人手术辅助等场景,证明了其在提高诊断准确性和减少标注依赖方面的实际价值。然而,综述也指出当前主要挑战:数据质量(噪声、伪影、类不平衡)、跨人群泛化不足(域偏移)、解释性差(XAI),以及监管和伦理问题(如伪标签可追溯性和自动化偏倚)。这些因素阻碍了DSSL的临床转化。
讨论部分强调,尽管DSSL在受控基准下能接近全监督性能,但算法优越性不足以保证临床落地;缺乏标准化多中心验证和可解释AI仍是主要瓶颈。研究结论指出,未来应开发稳健、可解释的DSSL模型,将DSSL与联邦学习结合以克服隐私限制,并整合不确定性感知的XAI以对抗自动化偏倚。这将是推动AI驱动的医学图像分析系统在临床中可靠应用的关键方向。