基于多专家图神经主动学习的多标签视网膜疾病诊断增强
《Biomedical Signal Processing and Control》:Enhancing Multi-Label retinal Disease diagnosis via Multi-Expert graph neural active learning
【字体:
大
中
小
】
时间:2026年10月10日
来源:Biomedical Signal Processing and Control 5.7
编辑推荐:
摘要
准确识别视网膜疾病通常需要领域专家的多个标签注释,然而高质量标签仍然昂贵且在不同专家之间不一致。为应对这一挑战,我们提出了一种知识驱动的多专家主动学习框架,该框架整合了基于图的推理和自适应注释策略,用于多标签视网膜疾病诊断。该框架在异质病理信息网络(HPIN)中建模了专
摘要
准确识别视网膜疾病通常需要领域专家的多个标签注释,然而高质量标签仍然昂贵且在不同专家之间不一致。为应对这一挑战,我们提出了一种知识驱动的多专家主动学习框架,该框架整合了基于图的推理和自适应注释策略,用于多标签视网膜疾病诊断。该框架在异质病理信息网络(HPIN)中建模了专家知识和病理相关性,其中图卷积传播捕获了疾病与图像之间的语义依赖。随后采用损失预测网络来估计未标记样本的信息量。此外,引入了一种多专家协作机制,以模拟现实世界的眼科诊断流程,其中每位专家在其专业领域内贡献部分标签。这种设计不仅减少了冗余的注释工作,还增强了标签的完整性和一致性。在两个公开视网膜数据集上进行的实验表明,与最先进多标签主动学习方法相比,所提出的框架显著提高了注释效率和诊断准确性。结果突出了该框架作为可扩展医学图像理解智能知识库系统的潜力。
引言
医学成像可视化了解剖结构和病理过程。它还提供了病灶检测、诊断、治疗规划和手术干预的关键信息。近年来,随着人工智能浪潮的兴起,医学图像分析取得了巨大成功。用于医学图像分析的 AI 系统在特定临床任务中的性能已接近人类专家。代表性示例包括皮肤癌分类 [1]、[2]、CT 肺癌筛查 [3]、结肠镜检查期间的息肉检测 [4] 以及全切片图像中的前列腺癌检测 [5]。因此,这些 AI 系统可以集成到现有临床工作流程中,这有助于提高临床专家的诊断准确性 [6] 并协助经验较少的临床医生 [7]。
深度学习(DL)模型是这些 AI 系统的核心,用于从原始图像中学习复杂的特征表示并将其泛化到以前未见过的案例。利用其强大的特征提取和泛化能力,DL 模型在医学图像分析领域也取得了显著成功 [8]。尽管标注医学图像数据集使 DL 方法能够达到最先进(SOTA)的性能,但由于所需的专业知识和高昂的注释成本,医学数据标注具有挑战性。此外,尽管医学图像数据集的规模目前正在增加,但与自然图像数据集相比仍然相对较小。例如,脑肿瘤分割数据集 BraTS 由多个连续的 3D MRI 扫描组成。BraTS 数据集已从 2013 年的 65 名患者 [9] 扩展到 2021 年的超过 1,200 人 [10]。高昂的注释成本限制了大规模医学图像数据集的构建。主要挑战可总结如下:
1. 医学图像标注是一个耗时且费力的任务。在临床实践中,自动分割有助于临床医生更准确地勾勒不同的解剖结构和病灶。然而,训练这样的分割模型需要逐像素标注,这极其繁琐 [11]。另一个代表性示例是数字病理。病理学家通常需要在高倍显微镜下详细检查和解释病理组织切片。由于组织形态的复杂性,病理学家必须不断调整显微镜的放大倍数。因此,产生准确的标注变得更加困难。简言之,医学图像分析中的标注过程需要大量的时间和人力投入。
2. 医学图像标注的高标准要求导致高成本。在计算机视觉中,像目标检测和分割这样的任务也需要细粒度标注。尽管众包平台的广泛使用显著降低了这些任务中获取高质量标注的成本。然而,众包平台在医学图像标注中存在一些局限性。首先,标注医学图像需要医学知识和临床经验。复杂病例甚至需要多位资深专家共同讨论。其次,即使在相对简单的任务中,医学图像分析中众包工人提供的标注质量通常低于专业标注人员。此外,通常会有单个医生对同一病例进行多次标注,或者由多位医生进行标注,以最大限度地减少个体偏差。多轮标注和多个标注者引入了标注者内和标注者间的变异性,处理这种变异性会导致额外的标注成本 [12]。总之,高质量标注通常需要经验丰富的医生参与,这固有地增加了医学图像标注的成本。
综上所述,高昂的标注成本是医学图像分析中深度学习的主要瓶颈之一。主动学习(AL)被认为是一种减少标注成本的有效方法。主动学习的主要思想是选择信息量最大的样本进行标注,随后使用这些样本以有监督方式训练模型。在主动学习的常规实践中,标注数据集的一部分可以获得与标注所有样本相当的性能。主动学习通过查询尽可能少的信息量大的样本进行标注来节省标注成本。主动学习过程如图 1 所示。
此外,虽然大量研究探索了主动学习(AL)在单标签任务中的应用,但将 AL 扩展到多标签医学图像分析仍然具有挑战性。多标签图像通常表现出复杂的标签间依赖关系,不同的疾病类别往往表现出不同的标注难度,这对样本选择策略提出了更高要求。更重要的是,在现实临床实践中,诊断专业知识通常分布在多位专家中,没有任何单一专家拥有涵盖所有疾病类别的综合知识。因此,现有主动学习方法通常采用的假设——单一预言机总能提供完整且可靠的标注——在现实临床环境中很少成立。关于多标签主动学习的现有研究主要关注应该查询哪些样本,而很大程度上忽视了在异质专家专业知识和相关标注成本下应如何标注被查询的样本。
为应对这些挑战,本文提出了一种基于图的专长感知多标签主动学习框架。首先,构建了一个异质病理信息网络(HPIN),以显式建模疾病相关性以及图像 - 标签关系,从而更有效地利用疾病类别之间的语义依赖。其次,损失预测网络与多标签分类器联合优化,以估计样本信息量并指导主动样本选择过程。最后,我们引入了一种专长感知的多专家标注机制,其中每个预定义的疾病类别都分配给具有相应诊断专业的专家。通过利用多位专家互补的诊断知识,所提出的框架不仅提高了标注质量,还通过专长感知的标注分配减少了标注成本。
与现有将主动学习仅 formulation 为单一预言机假设下样本选择问题的多标签主动学习方法不同,我们将多标签医学主动学习重新 formulation 为一个涉及信息量样本选择和专长感知标注分配的联合优化问题。这种新的 formulation 更好地反映了现实的临床标注工作流程,并为多专家医学图像标注提供了解决方案。
本研究的主要贡献总结如下:
1. 我们为多标签医学图像标注制定了一个新的主动学习问题,其中诊断专业知识分布在多位专家中,而不是集中在单一全知预言机中。与假设每个被查询样本都能被一位专家完美标注的现有主动学习方法不同,我们的框架在标注获取过程中显式建模了异质诊断专业知识。据我们所知,这是首个显式研究多标签视网膜疾病诊断中专长感知主动学习的研究。
2. 我们提出了一种统一的专长感知主动学习框架,该框架联合建模疾病相关性、标注不确定性和异质专家专业化。与仅优化信息量样本选择的现有方法不同,所提出的框架在统一学习范式下同时优化样本查询和专家分配。具体而言,异质病理信息网络捕获疾病依赖,损失预测模块估计样本信息量,多专家协作机制根据专家专业化分配标注任务。这些组件在统一的专长感知主动学习框架内联合优化,而不是作为独立模块运行。
3. 我们在两个公开可用的视网膜数据集(ODIR-5K 和 MuReD)上进行了大量实验。实验结果表明,所提出的框架始终优于最先进多标签主动学习方法,同时显著减少了标注成本。此外,我们引入了一种基于疾病特定专家能力建模的条件多专家分歧模拟,从而能够在异质专家标注下比传统随机标签腐败实验更临床真实地评估所提出的框架。
本文组织如下:第 2 节回顾相关工作并概述现有方法。第 3 节详细描述所提出的框架。第 4 节进行实验研究,将所提方法的性能与几种流行方法进行比较,并通过大量实验验证所提方法的有效性。第 5 节总结并讨论研究。
章节片段
多标签图像分类
随着深度神经网络的快速发展,多标签图像分类(MLIC)任务取得了显著进步。其中,基于卷积神经网络(CNN)的方法在多标签图像分类中表现出卓越的性能 [13]、[14]、[15]。SCO-DCNN [13] 设计了一个多分支多目标分类框架,充分利用了目标本身的判别信息以及其周围的空间上下文信息。
方法
当前主动学习方法已发展为适用于具有多个疾病标签的场景,如胸部 X 光。然而,在现实世界中,由于对应不同疾病的复杂专业知识,单一医生可能无法完全覆盖所有标签,导致标注不完整。而现有主动学习方法通常假设医生能够提供完整标注,这一假设在现实中并不成立。为解决上述现有问题,本文引入...
实验设置与结果
在本节中,我们在两个公开可用的多标签视网膜数据集上评估了所提出的方法。首先介绍了评估指标、数据集以及实验实现细节,包括网络结构和超参数设置,然后在两个数据集上进行对比实验并分析对比结果。
结论
本文基于现有主动学习方法的缺点和多标签任务的特点,提出了一种有效的多专家多标签主动学习策略,该策略由异质病理信息网络、损失预测网络和多专家标注设置组成,并通过与深度分类模型联合训练,有效选择了信息量最大的未标记样本。特别是,为了理解不同的...
CRediT 作者贡献声明
宁子豪:写作 – 审阅与编辑,写作 – 原始草稿,可视化,验证,软件。杨佳胜:写作 – 审阅与编辑,监督,方法学,调查,资金获取,构思。
利益冲突声明
作者声明,他们没有已知的竞争财务利益或个人关系,这些利益或关系可能被认为影响了本文中报告的工作。
宁子豪 | 杨佳胜
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号