通过对比流形正则化自监督学习和YOLO提示增强的任意对象分割模型在肝肿瘤分割中的适配
《Artificial Intelligence in Medicine》:Adaptation of Segment Anything Model enhanced by contrastive-manifold-regularised SSL and YOLO prompting for liver tumour segmentation
【字体:
大
中
小
】
时间:2026年10月14日
来源:Artificial Intelligence in Medicine 7.8
编辑推荐:
• 在MSD肝脏数据集上,仅10小时训练即达到93.26%的肿瘤Dice系数
• YOLO提示将标注时间缩短29%(同一标注者试点研究)
• 对比流形正则化提升了泛化能力
• 在肝脏、脑部和皮肤数据集上均表现出强大的跨数据集性能
引言
肝脏是人体最大的实质性器官,在代谢和消
• 在MSD肝脏数据集上,仅10小时训练即达到93.26%的肿瘤Dice系数
• YOLO提示将标注时间缩短29%(同一标注者试点研究)
• 对比流形正则化提升了泛化能力
• 在肝脏、脑部和皮肤数据集上均表现出强大的跨数据集性能
引言
肝脏是人体最大的实质性器官,在代谢和消化中发挥着至关重要的作用。在全球范围内,原发性肝癌是最致命的恶性肿瘤之一,占全球癌症相关死亡人数的很大比例[1],[2],[3]。早期检测对于成功的临床管理和改善生存率至关重要[1]。肿瘤负荷评估——即评估肿瘤的大小和位置——是分期和治疗决策的核心。CT和MRI为非侵入性评估和治疗规划提供了精确工具,但由于边界不清晰和组织异质性,肿瘤检测仍然困难。
计算机辅助诊断(CAD)系统有助于标准化影像学评估[4],[5]。医学图像分割支持自动化肿瘤定位和边界描绘,从而提高治疗规划并减少误诊。在消融术和穿刺手术等影像引导下操作中,精确的肝脏肿瘤分割对于手术成功和治疗反应监测至关重要[6]。
卷积神经网络(CNNs)通过分层特征学习推动了医学图像分析的发展[4],[7]。全卷积网络(FCNs)在多种任务中实现了像素级精度[8],[9]。肝脏肿瘤分割的深度学习方法主要分为两大类:(i) 2D FCN,包括U-Net及其变体[10],[11],以及(ii) 使用体素卷积的3D FCN[12]。二维FCN缺乏层间上下文信息[10],[11],[12],而解决这一局限性的三平面和循环架构则会产生大量的计算和内存开销[13],[14]。
为应对这些挑战,我们提出了MED-SAM,一个结合了CMR正则化与YOLO引导点击提示的2D半监督学习框架。我们的贡献如下:
• 方法学贡献:CMR在再生核希尔伯特空间(RKHS)框架内集成了对比学习与流形正则化。通过在所学特征空间中强制平滑性约束,CMR在标注数据稀缺时提高了分割精度和泛化能力。
• 技术贡献:自动化YOLO-SAM流水线无需人工输入即可生成精确的点击提示。在受控的同一标注者条件下(N=25个切片,同一标注者),该方法将标注时间减少了29.0%(从97.8秒降至69.4秒)。消除人工提示步骤也可能减少与提示相关的观察者间变异性,但这仍有待在多标注者研究中加以验证。
• 效率贡献:MED-SAM针对实时使用进行了优化,与3D模型相比计算需求大幅降低,使其适用于资源受限的临床环境。
在MSD挑战赛[15]、ISIC[16]、BUSI[17]、BraTS 2020[18]和LiTS[3]数据集上的实验表明,MED-SAM在MSD数据集上达到93.26%的肿瘤Dice系数,超越了现有方法,训练时间为10小时,每张图像推理时间为0.33秒。
本文组织如下:第2节回顾相关工作,第3节描述MED-SAM框架,第4节提供理论分析,第5节报告实验结果,第6节讨论局限性,第7节为结论。
各节摘要
肝脏肿瘤分割
已有大量深度学习架构被提出用于肝脏和肿瘤分割,包括CNNs、U-Net、U-Net++、特征金字塔网络以及带有预训练编码器的变体[5],[19]。FCNs、多路径CNN和生成对抗网络也展现了强劲的性能[4],[5]。基于Transformer的模型如TransUNet通过全局上下文建模取得了最优结果。
关键开放挑战为:标注数据有限、肿瘤形态异质性。
方法
所提出的框架将SSL与基于RKHS的流形正则化及YOLO辅助标注相结合。图1展示了整体训练架构。
理论分析
不完全数据的极大似然法奠定了EM算法的基础;SSL本质上是一个缺失数据问题。给定采样密度f(x|?),完全数据规范满足g(y|?)=∫X(y)f(x|?)dx。
定理1 SSL伪标签的EM单调性
对于算法1中的伪标签EM循环,L(M(?))≥L(?)对所有?∈Ω成立。
证明 L(M(?))?L(?)={Q(M(?)|?)?Q(?|?)}+{H(?|?)?H(M(?)|?)}。M步选择M(?)=argmaxθQ(θ|?),确保Q(M(?)|?)≥Q(?|?);因此第一项≥0。H函数差值根据琴生不等式非负,具体为...
实验与结果
评估涵盖:(i) SSL与全监督的对比;(ii) 与2D和3D基线方法的比较;(iii) 跨数据集泛化;以及(iv) 消融研究。
局限性与未来工作
MED-SAM存在若干局限性,激发了进一步的研究:
1. 2D处理。逐切片方法缺乏层间上下文。对于小肿瘤(<10毫米),z轴范围有限意味着肿瘤可能仅出现在1-2个切片中,降低了体积覆盖率。混合2D-3D或伪3D架构是自然的扩展方向。
2. 小肿瘤检测与YOLO选择偏差。YOLO无法检测小于5毫米的病变(检测率62.3%,假正率85.7%),需要回退至人工提示。置信...
结论
MED-SAM是一个用于肝脏肿瘤分割的半监督2D框架,结合了CMR正则化与YOLO生成的点击提示。在MSD数据集上,仅使用30%的可用标注数据,其达到93.26%的肿瘤Dice系数——超越了2D全监督基线(nnU-Net 62.77%,TransUNet,SwinUNet),并在单次实验方差范围内比肩全监督LoRA r=16(93.34%)。MED-SAM的竞争优势在于标注受限的场景:它能够提供高精度...
CRediT作者贡献声明
Congbin Zhu:指导、方法学、概念设计。Hui Zhu:项目管理、方法学、调查。Qiliang Wang:软件、资源、方法学、形式分析。Cong Hu:资源、调查。Hongwei Huang:验证、指导、资源。Tianyin Shao:验证、资源。Huiying Zhu:写作——审阅与编辑、写作——初稿、项目管理、方法学、概念设计。Qi Cheng:项目管理。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:Huiying Zhu是珠海横琴AllStar Medical Technology Ltd.的创始人及股东,该机构是本研究部分工作的执行单位。其余作者声明不存在已知的可能影响本论文所述工作的竞争财务利益或个人关系。
没有任何资金机构拥有任何...
Congbin Zhu | Hui Zhu | Qiliang Wang | Cong Hu | Hongwei Huang | Tianyin Shao | Huiying Zhu | Qi Cheng
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号