基于先验增强的轴向TransUNet:融合MedSAM先验与稀疏区域感知注意力用于肾脏肿瘤分割

《Frontiers in Artificial Intelligence》:Prior-Enhanced Axial TransUNet: integrating MedSAM priors and sparse region-aware attention for kidney-tumor segmentation

【字体: 大 中 小 】 时间:2026年09月30日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  准确的肾脏及肾肿瘤分割具有挑战性,因为病灶大小、位置、形态和边界对比度在不同腹部CT扫描中差异显著。现有大多数方法依赖单一形式的局部证据,在恢复小病灶边界的同时维持全局解剖一致性方面存在困难。本文提出先验增强轴向TransUNet(Prior-Enhanced

  
准确的肾脏及肾肿瘤分割具有挑战性,因为病灶大小、位置、形态和边界对比度在不同腹部CT扫描中差异显著。现有大多数方法依赖单一形式的局部证据,在恢复小病灶边界的同时维持全局解剖一致性方面存在困难。本文提出先验增强轴向TransUNet(Prior-Enhanced Axial TransUNet,PEAT),将基础模型的广泛医学表征与任务特异性判别学习相结合。PEAT引入三个核心组件:瓶颈语义对齐(Bottleneck Semantic Alignment,BSA)使用冻结的MedSAM图像编码器作为训练阶段特征参考,通过L1对齐约束引导任务网络瓶颈表征的语义组织;双路径注意力增强融合(Dual-path Attention-enhanced Fusion,DAF)通过级联坐标注意力和SENetV2自适应融合CNN局部特征与MaxViT全局上下文特征;双粒度区域感知注意力(Bi-granular Region-Aware Attention,BRA)通过Top-k窗口路由和块级稀疏交互实现高效非局部上下文建模。MedSAM分支仅参与训练,推理时仅运行任务特异性网络。在所有对比方法采用相同预处理和评估协议的条件下,PEAT在KiTS21上肾脏和肿瘤Dice分数分别达到97.69%和91.83%,在KiTS23上分别达到96.80%和92.58%。在所有四个任务中,PEAT在对比方法中取得最高Dice;消融研究进一步表明,BSA、DAF和BRA的渐进式整合带来一致增益,完整模型优于所有单一及两两组合配置。这些结果表明,将训练阶段广泛特征引导与任务特异性表征学习相结合,能有效改善肾脏和肾肿瘤分割,为基础模型先验与轻量任务网络的协同设计提供了可行路径。

论文解读

一、研究背景与问题

医学图像分割通常以Dice系数等像素级重叠指标评估,但临床上有用的预测还应在噪声、伪影、低对比边界和解剖变异下保持语义连贯性。仅依赖像素级监督可能过度强调局部纹理和短程判别线索,产生边界不连续、空洞或器官粘连等伪影。这一问题在肾脏-肿瘤联合分割中尤为突出:肾脏是相对较大的器官,具有可识别的整体布局;而肾肿瘤可能体积小、多灶性、外生性或深埋于实质中,模型必须区分肾脏与周围腹部结构,同时保留大小和形态差异显著的病灶细节。因此,研究人员逐步将可优化的高层一致性约束嵌入训练范式:一方面增强全局上下文建模以捕获长程依赖和整体形态一致性;另一方面利用拓扑保持和连通性惩罚等结构先验,在关键层引导网络形成稳定、解剖感知的表征。这促使研究人员将表征级引导纳入训练目标,而非仅依赖后处理。
视觉基础模型提供了从异构数据中学习的广泛医学表征,而任务特异性模型可从聚焦应用的丰富标注中获益。MedSAM基于1,570,263对涵盖10种成像模态和30余种癌症类型的医学图像-掩膜对开发。PEAT将这种广泛表征与任务特异性学习相结合:冻结的MedSAM编码器提供训练阶段语义参考,而较小的分割网络直接从KiTS标注中学习肾脏和肿瘤判别特征。广泛表征与任务特异性表征之间的区别是本文设计的核心。MedSAM能编码多种组织和病灶,但通用表征未必对每个狭义分割任务最优。用大量匹配的肾脏-肿瘤标签训练的专用模型能学习更精细的任务特异性决策边界。因此,所提模型不用MedSAM生成伪标签或最终掩膜,而是将其冻结的图像嵌入作为PEAT瓶颈处的参考,预测路径仍直接由KiTS标注监督。
高层语义约束只解决稳健医学分割的一个方面。在高分辨率图像中,模型应保留小结构的边界和纹理线索,同时利用更广泛的解剖上下文减少假阳性和不合理区域分配。CNN提供局部归纳偏置和层级特征提取,而视觉Transformer及相关架构促进上下文聚合。每种范式在局部模糊性和全局结构复杂性并存时都有权衡。计算成本也是将全局建模应用于高分辨率医学图像时的相关问题。标准全局自注意力的复杂度为O(N2),会增加训练时间和GPU内存需求。高效注意力研究探索稀疏化、窗口划分和路由以减少选定的token交互。

二、研究内容与核心方法

针对上述问题,研究人员提出PEAT(Prior-Enhanced Axial TransUNet),采用混合编码器-解码器架构,结合外部训练阶段语义参考、双路径特征提取和稀疏区域感知注意力。研究在KiTS21和KiTS23两个公共多中心基准的四个肾脏和肿瘤分割任务上进行系统验证,PEAT在所有对比方法中取得最高Dice分数,并通过系统消融证明三个组件的增益具有可加性。

三、关键技术方法

研究人员主要采用以下关键技术方法。第一,瓶颈语义对齐(Bottleneck Semantic Alignment,BSA):使用冻结的MedSAM图像编码器作为固定训练阶段特征参考,通过轻量线性投影将PEAT瓶颈表征映射到MedSAM嵌入空间,以L1损失进行对齐,同时Dice和交叉熵监督保持肾脏-肿瘤任务特异性。第二,双路径编码与注意力增强融合(Dual-path Encoding with Attention-enhanced Fusion,DAF):用并行ResNet-50 CNN流和MaxViT流替换单一编码路径,在每一尺度通过Merge Block融合两流多尺度特征,Merge Block级联坐标注意力(Coordinate Attention,CoordAtt)、卷积变换和SENetV2通道重标定。第三,双粒度区域感知注意力(Bi-granular Region-Aware Attention,BRA):采用双粒度稀疏注意力设计,窗口级Top-k路由先选择相关区域,再进行块级交互;深度可分离卷积局部增强项补充路由注意力输出,保留局部位置信息。第四,系统验证组件互补性:在KiTS21和KiTS23的四个任务上进行基线和三种组件消融实验。

四、研究结果

Bottleneck Semantic Alignment(BSA):通过对比L1/L2/余弦对齐方式,匹配比较显示L1在每项任务上相对最强替代方案取得0.13-0.21个百分点的Dice优势。研究结果表明,L1对齐在特征层面将广泛医学特征组织迁移到任务网络,同时不干扰肾脏-肿瘤特异性判别。
Dual-path Encoding with Attention-enhanced Fusion(DAF):CNN路径强调局部纹理和边缘信息,MaxViT提供上下文建模。融合特征在瓶颈和编码器跳跃连接中使用,使上下文信息和空间细节在整个重建过程中整合。研究结果表明,并行双路径设计在浅层保留高分辨率CNN响应用于轮廓恢复,深层利用Transformer响应携带更广泛的上下文关系。
Bi-granular Region-Aware Attention(BRA):通过内容感知路由在保留块级注意力的同时限制每个查询窗口的候选区域,适用于腹部CT中两个语义相关区域可能被背景分隔的情况。研究结果表明,路由设计相对标准全局注意力减少了密集token交互,并行局部增强路径保留稀疏路由可能未选中的短程信息。
系统消融验证:研究人员进行基线和三个单独模块、三个两两组合及完整模型的系统消融。结果表明,每个两两组合均超过其较强的组成模块,完整模型超过最强的两两配置,说明BSA、DAF和BRA作用于表征学习的不同阶段,其增益具有可加性。在KiTS21上肾脏和肿瘤Dice分数分别达到97.69%和91.83%,在KiTS23上分别达到96.80%和92.58%。

五、讨论与结论

讨论部分指出,输出级结构约束和表征级引导作用于不同阶段。拓扑或中心线损失显式惩罚预测掩膜的属性,适用于已知期望拓扑的情况;特征引导则影响编码器在最终分类器之前组织图像内容的方式,不需要手工设计的肾脏或肿瘤模板,可与普通分割目标结合。PEAT采用后一种策略,因为肾肿瘤的形态和数量在患者间差异显著。特征级迁移适用于本设置,因为两个网络不共享相同的解码器或输出机制,对齐中间嵌入允许PEAT编码器利用MedSAM的医学表征而无需提示模拟或两个最终掩膜之间的一致性。冻结参考在优化过程中提供稳定目标,而所有任务相关预测参数在KiTS标签下保持可训练。
研究结论部分可翻译为:将训练阶段广泛特征引导与任务特异性表征学习相结合,能有效改善肾脏和肾肿瘤分割,为基础模型先验与轻量任务网络的协同设计提供了可行路径。BSA、DAF和BRA三个组件在不同阶段发挥作用且增益可加,完整模型在KiTS21和KiTS23的全部四个任务上取得最高Dice分数,验证了该方法的有效性和通用性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号