《Neurocomputing》:MsD-UMamba: Boundary-aware multi-scale mamba network for efficient medical image segmentation
编辑推荐:
•差分状态空间模型(SSM)响应抑制共享激活并强调过渡变化。•自适应多尺度门控在解码前选取互补特征。•边界感知监督与表征级差模建模相辅相成。•评估涵盖2D和3D MRI、皮肤镜以及腹部CT分割任务。引言医学图像分割仍然面临巨大挑战,因为目标结构在尺度和形态上差异显著,同时其边
- •
差分状态空间模型(SSM)响应抑制共享激活并强调过渡变化。
- •
自适应多尺度门控在解码前选取互补特征。
- •
边界感知监督与表征级差模建模相辅相成。
- •
评估涵盖2D和3D MRI、皮肤镜以及腹部CT分割任务。
引言
医学图像分割仍然面临巨大挑战,因为目标结构在尺度和形态上差异显著,同时其边界可能较弱、不规则或因成像伪影而退化[30]。尽管心脏、脑肿瘤和皮肤镜分割任务具有不同的维度特性和成像特征,这些困难依然普遍存在[2]、[5]。解决这些问题需要既能捕获长程上下文又保留局部结构过渡的表征。单尺度或外观主导的特征通常难以维持这种平衡,因此需要统一处理尺度变化和边界模糊问题。
基于U-Net的成功[8]、[24],医学图像分割的深度学习模型主要沿两个架构方向演进:基于卷积神经网络(CNN)的模型和基于Transformer的模型。CNN类框架(如nnU-Net[13])通过精心标准化的训练和预处理流程提供了稳健且广泛适用的基线模型。然而,其依赖局部感受野的特性天然限制了长程空间依赖的建模能力。基于Transformer的架构通过自注意力机制捕获全局上下文信息[12],克服了这一局限。尽管具有此优势,Transformer中常用的基于图像块的离散化处理和注意力驱动的特征聚合可能破坏精细解剖结构的连续性。随着特征逐步聚合,高频边界细节往往被削弱或丢失。从底层学习机制的角度来看,基于token的全局聚合引入的显式归纳偏置很少用于保持空间连续性或局部差异信息,而这两者对于医学图像中的精确边界建模至关重要。近期研究进一步表明,互补的频域表征可有效弥补精细结构语义的损失,并在具有挑战性的医学图像分割场景中改善跨域特征建模[44]。当分割薄解剖结构或低对比度区域时,这一缺陷尤为突出,因为精确的边界定位对于可靠的解剖学和病理学表征至关重要。
近年来,Mamba[10]作为典型的用于序列建模的状态空间模型(SSM)架构备受关注,并激发了计算机视觉和医学图像分析领域大量基于Mamba的方法研究[22]、[38]。Mamba将线性序列复杂度与长程序列建模能力相结合,使其成为高分辨率输入下自注意力机制的计算上具有吸引力的替代方案。尽管Mamba具有这些优势,但当前基于Mamba的分割框架尚未充分研究多尺度特征交互的显式机制[25]。此外,精确的医学图像分割往往取决于细粒度边界建模,尤其是在临床图像中常见的显著尺度变化和模糊边界情况下[40]。近期研究进一步表明,局部空间上下文建模不足和跨尺度语义融合无效会显著损害微小病灶和复杂解剖结构的分割效果[16]。这些观察表明,需要对架构进行进一步改进,以更好地利用状态空间模型在边界敏感、多尺度医学图像分割中的潜力。
为应对这些挑战,我们提出了多尺度差分UMamba(MsD-UMamba),一种用于医学图像分割的边界感知多尺度Mamba网络。该贡献不仅在于多尺度表征——这在近期的视觉状态空间模型中已有探索[26]——还在于其与差分状态空间建模的耦合。该框架的核心是差分注意力Mamba(DAMamba),它通过两条路径修改Mamba块的内部选择性状态空间计算,这两条路径共享状态动力学但采用不同的输入相关投影。它们的减法运算充当结构化差分算子,旨在减少共享响应并保留对比性成分。该设计在低对比度区域的边界定位方面进行了评估,在这些区域中局部过渡难以区分。作为DAMamba的补充,多尺度门控融合(MsGF)模块在多个空间分辨率上构建并行特征序列,并通过可学习的逐通道门控机制进行组合。这两个模块在编码器中耦合:DAMamba在每个尺度特定分支上运行,MsGF聚合生成的表征。这种设计使得差分特征在进入解码之前的尺度融合过程中发挥作用。我们在代表性的2D和3D医学图像分割基准上评估了该设计是否提供了有用的精度-效率权衡。在公开数据集上的实验表明,在所评估的设置下,该模型具有具有竞争力的平均分割性能。
我们的主要贡献总结如下。
- •
MsD-UMamba在共享编码器中将差分表征学习置于自适应跨尺度融合之前。
- •
DAMamba通过减法运算减去两条具有共享动力学的SSM响应,以衰减共同的、低判别性激活。
- •
MsGF使用逐通道门控在不同空间尺度上选取互补的DAMamba特征。
- •
跨2D和3D基准的评估刻画了分割精度、边界定位和效率。
章节摘要
挑战与架构范式
过去十年间,医学图像分割一直是热门研究领域,自U-Net提出以来,U形编码器-解码器架构逐渐成为主流设计范式[24]、[28]。后续研究进展主要集中在通过更高效的编码器-解码器架构改进特征提取和信息聚合。其中,基于CNN的方法(如nnU-Net[13]、[14])建立了稳健且与任务无关的基线模型。
方法
本节介绍MsD-UMamba的架构,包括整体框架、多尺度编码器、DAMamba、训练目标以及评估指标。MsGF在尺度特定的编码器分支之间执行自适应融合,而DAMamba在每个分支内构建差分状态空间响应。为便于阐述,以下方法描述以2D输入作为代表性示例。对于3D输入,关键操作(包括图像块嵌入)
实验设计
我们在四个公开基准上评估MsD-UMamba,涵盖不同的解剖结构、输入维度和成像模态。所评估的任务包括:电影式心脏磁共振成像(cine CMR)中的心脏结构分割、多模态磁共振成像(MRI)中的脑肿瘤分割、RGB皮肤镜图像中的皮肤病灶分割,以及3D计算机断层扫描(CT)体积中的腹部多器官分割。
心脏结构分割任务聚焦于
结论
我们提出了MsD-UMamba——一种边界感知的多尺度Mamba网络,在统一的状态空间框架内协同设计差分边界建模与多尺度特征融合,用于医学图像分割。通过将双路径差分SSM模块与自适应多尺度门控融合相结合,所提出的框架建立了一个结构化表征空间,同时强调边界敏感性和全局上下文一致性。在四个公开数据集上的实验结果
CRediT作者贡献声明
周睿:撰写——原稿,软件,方法,概念设计。赵欣怡:撰写——审阅与编辑,可视化。田云:指导,项目管理,资金获取。赵士峰:验证,软件,数据整理。徐东荣:撰写——审阅与编辑,可视化,形式化分析。段金铭:验证,方法,形式化分析。吴连明:验证,资源支持。
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系,这些可能对本论文报告的工作产生影响。
致谢
本工作得到了北京市自然科学基金联合基金重点项目(编号L256012、L251020)和中央高校基本科研业务费专项资金(编号2243200003)的支持。
周睿目前正在北京师范大学(中国北京)人工智能学院攻读博士学位,其研究聚焦于医学图像分析和表征学习。他于2017年获得哈尔滨工业大学电子信息科学与技术学士学位,并于2022年获得中国地质大学(北京)理学硕士学位。
周睿|赵欣怡|田云|赵士峰|徐东荣|段金铭|吴连明