《Information Fusion》:MoME-SAM: SAM with Mixture-of-Modality-Experts for Universal Medical Image Segmentation
编辑推荐:
•MoME-SAM 缓解了通用医学图像分割中的模态冲突。•MoME 通过先验引导的门控将模态路由到不同的专家子集。•模态解耦训练策略实现了稳健的多模态协调。•OAMA 通过正交感知模态适应缓解了灾难性遗忘。•MoME-SAM 在 14 个公共数据集上优于最先进的方法。引言医学
- •
MoME-SAM 缓解了通用医学图像分割中的模态冲突。
- •
MoME 通过先验引导的门控将模态路由到不同的专家子集。
- •
模态解耦训练策略实现了稳健的多模态协调。
- •
OAMA 通过正交感知模态适应缓解了灾难性遗忘。
- •
MoME-SAM 在 14 个公共数据集上优于最先进的方法。
引言
医学图像分割是医学图像解释中的基本任务,旨在描绘各种成像模态(如计算机断层扫描 (CT)、磁共振成像 (MRI) 和超声)中的器官、病变和组织 [1]。准确的分割提供了促进精确疾病诊断、定量分析、治疗计划和手术干预所需的关键信息 [2],[3],[4],[5],[6]。基础模型 Segment Anything Model (SAM) [7] 最初在 1100 万张自然图像上训练,在图像分割任务中展现出了强大的泛化性和适应性。因此,许多研究将 SAM 及其更新版本(包括 SAM2 和 SAM3)转移到医学图像分割领域,产生了特定的医学图像 SAM 模型,例如 MedSAM [8]、Medical SAM2 [9]、Medical SAM3 [10]、Medical SAM Adapter [11] 和 GauSAM [12]。
尽管 SAM 及其医学变体取得了显著进展,但其模态共享架构使其难以缓解模态冲突(即,多模态训练期间的模态不平衡和持续学习期间的灾难性遗忘),这限制了跨模态的泛化性和适应性。(1) 模态不平衡:现有的 SAM 系列模型采用模态共享架构,导致所有模态在统一的参数空间中进行优化,不可避免地导致模态之间出现严重的梯度冲突。此外,优化方向可能会偏向于主导模态,例如,具有更多训练样本或更易处理的特征表示的模态。因此,复杂模态中代表性不足的特征会阻碍模型在不同模态间的泛化能力。(2) 灾难性遗忘:由于模态共享架构,在持续学习过程中,由新引入的模态驱动的梯度更新会系统地覆盖存储先前学习模态知识的参数。此类更新在新旧表示之间造成了破坏性干扰,从而导致过去知识的快速退化。
为了解决上述挑战,我们提出了 MoME-SAM,通过在我们设计的混合模态专家 (MoME) 模块集成到 SAM 主干中。类似于混合专家 (MoE) 架构 [13],一个 MoME 模块由多个专家网络和一门控网络组成。但在 MoME 中,我们设计了先验引导的门控网络,其中专家路由由数据驱动的门控分布和模态先验之间的凸组合引导,这与 MoE 有显著不同。基于此,每种模态的令牌主要激活一小部分特定的专家子集,而不是在专家池中进行广泛路由。因此,激活的专家子集明确地建模了特定的模态。对应于异构模态的专家子集之间的重叠相对较低,从而实现了平衡的知识协作并减少了模态间的破坏性干扰。此外,我们采用模态解耦训练策略来训练模型。该策略分为两个阶段。在第一阶段,我们为每种模态训练一个专家,确保每个专家学习稳定且模态一致的表示。在第二阶段,我们使用多模态数据微调模型,以增强模态协调并提高模型的泛化性。更重要的是,当引入新模态时,MoME-SAM 采用正交感知模态适应 (OAMA) 通过约束更新保持与关键方向正交,从而保留门控模块先前学习的知识。同时,它仅微调新添加的专家和门控模块,确保新模态的高效集成。
如图 1 所示,MoME-SAM 在统一医学图像分割的 11 个公共数据集中的 9 个上取得了最佳性能,并进一步展示了其在同时缓解灾难性遗忘和保持强大分割性能方面的卓越能力。我们工作的主要亮点如下。
- •
我们提出了 MoME-SAM 模型,该模型能够缓解跨模态的统一医学图像分割中的模态冲突。与具有模态共享架构的现有 SAM 系列模型不同,我们在 MoME-SAM 中设计了 MoME 模块,将不同的模态路由到不同的专家子集。
- •
与 MoE 不同,我们设计的 MoME 模块的门控机制既考虑了数据驱动的门控分布,也考虑了模态先验信息。因此,不同的模态可以激活不同的专家子集,以减少模态间的干扰并缓解模态不平衡。
- •
我们利用模态解耦训练策略。首先,为每种模态独立预训练每个专家,以确保专家建立稳定且模态一致的表示。然后,使用多模态图像联合微调模型,以实现稳健的模态协调并提高模型的泛化性。
- •
我们提出了用于正交感知模态适应的 OAMA 方法。具体来说,OAMA 对参数更新引入了正交约束,以明确保留门控模块的现有知识,同时仅微调新添加的专家和门控模块以实现高效适应。
- •
广泛的实验表明,MoME-SAM 的分割性能在多模态训练的 11 个公共数据集和持续学习的 3 个公共数据集上始终优于最先进的方法。
章节摘要
医学 SAM 模型
SAM 是一个专注于图像分割任务的基础模型。它采用编码器 - 解码器架构,包括基于 ViT 的图像编码器、交互式提示编码器(点、框、掩码)和轻量级掩码解码器(生成高质量分割掩码和置信度)。在庞大的 SA-1B 数据集上训练,该数据集包含超过 1100 万张精心策划的图像和超过 10 亿个掩码,SAM 在各种分割任务中展现出出色的零样本性能,
MoME-SAM 架构
为了缓解模态冲突,我们保留了 SAM 的原始提示编码器并将 MoME 集成到模型中。我们的 MoME-SAM 框架如图 2 所示。MoME 每个 MoME 由 N 个独立且结构相同的专家 E1、E2、...、EN 组成,后接一个先验引导的门控 P,其中 N 对应于图像模态的数量。正式地,MoME 可以公式化为:其中 x 是 MoME 模块的输入,P(x)i 表示第 i
实验设置
数据集 我们的研究使用了来自十一个公共数据集的医学图像,如表 1 所示,涵盖四种不同的模态,即计算机断层扫描 (CT)、磁共振成像 (MRI)、内窥镜检查和皮肤镜检查。所有图像形成一个综合数据集,包含 217,673 张图像,每张图像均标准化为 256 × 256 像素的尺寸,以确保处理和分析的一致性。
模态 数据集主要由 CT 和 MRI 图像组成,两者合计占
结论
在本工作中,我们提出了 MoME-SAM,这是一个旨在解决双重模态冲突(即,多模态训练期间的模态不平衡和持续适应期间的灾难性遗忘)的新框架。通过将数据驱动的门控分布与模态 - 类别先验结合以执行 top-k 专家路由,MoME-SAM 明确地将模态特定的令牌分配给专用的专家子集,从而缓解梯度冲突并改善多模态平衡。我们的
CRediT 作者贡献声明
王源:写作 - 审阅与编辑,写作 - 原稿,可视化,方法论,形式分析,概念化。张瑞征:数据整理。陈铮:调查。李明:资源。刘娟:监督,资金获取。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些关系可能会影响本文报告的工作。
王源|张瑞征|陈铮|李明|刘娟