用于评估和分析医学图像分割神经网络的内在维度
《Computer Methods and Programs in Biomedicine》:Intrinsic dimension for evaluating and analyzing neural networks for medical image segmentation
【字体:
大
中
小
】
时间:2026年10月12日
来源:Computer Methods and Programs in Biomedicine 6.4
编辑推荐:
# 摘要
## 背景与目标
评估医学图像分割模型通常依赖专家标注,而标注数据获取稀少、成本高昂且耗时。内在维度(ID),定义为描述高维数据所需的最小参数数量,已证明与分类任务中的模型泛化能力相关,但这一关系是否适用于分割任务仍不明确。
## 方法
本研究系统地将ID作为无
# 摘要
## 背景与目标
评估医学图像分割模型通常依赖专家标注,而标注数据获取稀少、成本高昂且耗时。内在维度(ID),定义为描述高维数据所需的最小参数数量,已证明与分类任务中的模型泛化能力相关,但这一关系是否适用于分割任务仍不明确。
## 方法
本研究系统地将ID作为无标注指标来评估分割性能,包括标准分割模型的泛化能力和提示驱动基础模型(即基于SAM的模型)的适应能力。我们还进行了逐层ID分析,以表征潜在表征复杂性的变化。此外,我们提出了一种新颖的计算和内存高效ID计算策略,以拓宽其应用范围。
## 结果
我们揭示了以下发现:1)对于标准分割,训练样本表征的较低ID值与在未见过的测试样本上的更好泛化性能(以DSC衡量)始终相关。2)对于提示驱动分割,测试数据的ID相比熵值(一种通常被认为可以预测性能的指标),能始终反映模型对特定目标数据的适应能力。3)分割任务中逐层ID呈现先升后降的模式,与分类任务中的模式相似。
## 结论
我们的发现表明,ID具有作为无标注指标来评估分割模型泛化能力和适应能力的潜力,从而支持标注稀缺临床环境中的模型选择。
---
# 引言
深度神经网络(DNN)在处理非线性和复杂问题方面取得了显著成功,已成为计算机辅助诊断的有效工具。尽管DNN不断发展,主要瓶颈已从能力转向部署。具体而言,DNN固有的复杂性和大量参数对其训练和验证过程的解释带来了挑战。高维参数空间中的非凸优化使得内部学习动态不透明[1][2],而仅依赖额外数据集进行评估限制了模型对模型内在行为和泛化机制的理解。因此,可解释AI对于揭示学习动态和泛化行为至关重要,特别是在需要可靠AI驱动诊断的医学应用中。
探索泛化的突出可解释AI技术主要包括特征归因和理论分析。特征归因以基于CAM的可视化为代表,通过分析激活模式和基于梯度的归因来探究模型内部并阐明决策过程[3][4][5]。相比之下,理论分析提供了更详细和量化的网络内部表征描述,引起了越来越多的关注和应用。在这些分析工具中,主成分分析(PCA)作为一种广泛使用的前处理程序,已被广泛用于探索深度神经表征。此外,更正式的理论框架,包括信息瓶颈方法和互信息分析,提供了信息论视角来表征网络如何在输入、内部表征和输出之间编码、压缩和传递相关信息[6][7][8]。
基于内在维度(ID)的特征分析作为一种理论方法,已成为量化和理解深度特征复杂性的有力工具[9]。在高维环境中,如现实世界图像和DNN中的潜在特征,数据通常位于低维子流形上,这意味着只有部分维度是有效的。为量化真实数据复杂度,ID刻画了描述这些潜在流形上数据所需的最小参数数量[10]。具体而言,我们在图1中展示了ID的一个示例,其中较大的ID对应更复杂的数据结构。这种低维结构为理解DNN内部表征的几何组织提供了有意义的见解,是理解深度模型行为和学习动态的关键分析工具[11][12]。然而,大多数基于ID的分析仅针对标准分类任务进行,尚不清楚这些发现能否扩展到分割任务。
尽管已证明ID与分类中以准确率衡量的泛化性能相关[11],但该发现不能直接迁移到分割任务中,因为准确率在严重的前景背景不平衡情况下无法可靠评估分割性能。因此,为了研究分割任务中ID与泛化性能的关系,更有意义的分析指标是Dice相似系数(DSC),它衡量预测区域与真实区域之间的重叠程度。此外,将ID分析应用于分割任务面临特定挑战:空间密集的特征图的维度远高于分类中常用的全局池化表征,这使得在保留空间信息的同时高效估计ID变得困难。这促使了针对分割任务的专门ID分析和改进的ID估计方法。
本研究据我们所知,首次系统地评估了ID在分割任务中的作用。我们超越通过ID分析潜在特征嵌入,考察了ID在实用约束下(即缺乏验证集或有标注的测试数据[13])模型选择中的作用。这种场景对于医学图像分割等应用至关重要,在这些应用中,标注数据往往稀缺,传统验证不可行[14]。图2展示了我们基于ID的模型选择流程与现有方法的比较。我们的研究首先将之前基于分类的ID分析扩展到标准医学图像分割,通过考察训练数据ID与在未见过的测试数据上的泛化性能(以DSC衡量)之间的关系,以及潜在表征的逐层ID轮廓。此外,我们通过调查ID是否能作为提示驱动分割基础模型(即Segment Anything Model(SAM)[15])对特定目标数据适应能力的补充无标注指标,并与熵作为替代无标注度量进行比较,提供了新的见解。我们的结果为评估模型泛化性能提供了基于ID的实证框架,并为不同应用场景下的模型选择提供了实用指导。
我们的主要贡献总结如下:
- **我们将基于ID的特征分析从分类扩展到分割。** 结果表明,ID可以作为两种场景下模型选择的补充性能指标:(1)无验证数据的标准分割,和(2)无真实标签的提示驱动分割。
- **我们确认了与之前分类研究的一致性。** 具体而言,我们发现训练数据ID与模型在未见过的测试样本上的性能(例如Dice相似系数DSC)相关,使得仅使用训练数据即可利用ID进行模型选择。此外,我们观察到跨网络层的ID分布遵循与分类任务相同的趋势——随深度先增加后减少。
- **我们提供了关于提示驱动分割任务中新ID与基础模型适应能力关系的新见解。** 值得注意的是,我们发现预测熵不能反映模型性能(例如,模型可能变得任意过度自信),突显了ID在该场景中的有效性。
- **为了实现对分割中像素级密集特征的 efficient ID估计,我们提出了一种基于主成分分析(PCA)的近似方法。** 该方法产生的结果与原始估计方法高度一致,同时将计算成本降低了几个数量级。
---
# 小节片段
## 内在维度与估计方法
ID日益被认为是数据分析中潜在动力学复杂性的基本度量。通过将ID估计直接嵌入流形学习框架中,最近的研究表明,可以从高维时间序列数据中提取有意义的动态建模坐标[10]。替代地,在学习潜在表征后估计ID,可以从观测数据中自动推断底层状态变量的数量[16]。
## 问题设置
我们考虑基于DNN的语义分割问题。设??表示图像空间,??表示相应的掩码空间。任务目标是学习一个模型,将输入图像映射到相应的分割掩码。关于模型学习内容的本质,当前分割模型通常以两种不同的范式开发和部署。在本工作中,我们探索了两种设置下ID的作用。
## 实验设计
在第5.1节中,我们聚焦于设置I(标准分割任务),考察ID是否能在不依赖外部验证集的情况下促进性能比较。实验在多种训练集配置上,使用代表性分割网络进行,包括基于CNN的U-Net变体(Res-UNet [34]、VGG-UNet [35]和Eff-UNet [36])、基于Transformer的架构SegFormer [37],以及广泛采用的基准框架nnU-Net [38]。
第5.2节展示了一个提示驱动分割任务……
## 标准分割:训练数据ID反映在未见数据上的分割性能
ID随训练数据集增大而减小。对于标准分割任务,我们使用不同数量的数据和架构训练模型,以模拟不同的训练条件(表1)。将所有架构的训练数据比例从2%增加到100%,均持续降低了估计的ID。例如,SegFormer的ID从20.56 ± 2.01(2%训练)降低到8.78 ± 0.72(100%训练),nnU-Net的ID从41.69 ± 1.84(2%训练)降低到23.58 ± 0.73(100%训练)。
## 局限性与未来工作
尽管有令人鼓舞的发现,仍有若干局限值得进一步考虑:
**(1) ID比较依赖于网络架构和数据。** ID估计不能在不同网络架构或数据集之间进行普遍比较。对于标准分割,ID比较仅限于共享相同架构的模型;而在提示驱动分割中,我们的结果仅支持SAM模型家族内部的比较。这一局限性源于ID是……
## 结论
我们全面研究了ID作为医学图像分割的无监督性能指标。我们提出的Redu-Two-NN方法实现了分割任务中常见的高维嵌入的计算高效ID估计。跨多种架构的实验揭示了ID在分割任务中的若干独特特征:(1)训练数据ID与测试集分割性能强相关。(2)ID可靠地指示提示驱动分割……
---
# CRediT作者贡献声明
- **Wutong Li:** 初稿撰写,软件,方法论,调查
- **Zeju Li:** 审稿与编辑,概念构思
- **Jie Xu:** 软件,调查
- **Shichong Zhou:** 数据整理
- **Yi Guo:** 监督,概念构思
- **Qian Tao:** 审稿与编辑,方法论
- **Yuanyuan Wang:** 监督,项目管理
---
# 伦理声明
已从所有参与者或其法定代表处获得书面知情同意,同意参与本研究并发表文章。参与者隐私权已得到尊重。
本研究遵守相关法规、监管框架和指南。本研究经复旦大学上海肿瘤中心批准。(批准号:050432-4-2108)
本研究使用了在复旦大学收集的私人回顾性数据集。
---
# 利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
---
# 致谢
本工作由上海市科学技术委员会基金资助(项目编号:22DZ1100101和22ZR1404800)。
Wutong Li | Zeju Li | Jie Xu | Shichong Zhou | Yi Guo | Qian Tao | Yuanyuan Wang
复旦大学生物医学工程学院,上海,中国
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号