从自动检测到分割:一种面向乳腺超声的基于特征引导星形先验的标注高效SAM流程

《Biomedical Signal Processing and Control》:From automatic detection to segmentation: A label-efficient SAM pipeline with feature-guided star-shape priors for breast ultrasound

【字体: 大 中 小 】 时间:2026年10月12日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

   **摘要** 乳腺超声图像中乳腺病变的精确分割对于病变的定量评估至关重要,但由于低对比度、噪声和伪影的存在,该任务仍然具有挑战性。任意事物分割模型(SAM)提供了一种灵活的基于提示的分割框架,但其在超声图像上的性能强烈依赖于提示质量,且可能需要进一步的边界精化。我们提出了一

  

**摘要**

乳腺超声图像中乳腺病变的精确分割对于病变的定量评估至关重要,但由于低对比度、噪声和伪影的存在,该任务仍然具有挑战性。任意事物分割模型(SAM)提供了一种灵活的基于提示的分割框架,但其在超声图像上的性能强烈依赖于提示质量,且可能需要进一步的边界精化。我们提出了一种标注高效的自动化流水线,仅使用边界框标注训练一个目标检测器,保持SAM冻结,并在基准评估中仅使用像素级掩膜。检测器输出的边界框通过Chan-Vese(CV)模型进行精化,前景/背景点提示自动生成,无需手动点击或真实标签提示。在SAM预测之后,一个基于冻结SAM特征图构建的CV启发式自适应能量泛函与多中心星形约束进行联合优化。该设计利用了SAM预训练的零样本分割能力,无需目标域掩膜微调,同时保留了显式且可解释的推理时精化过程。该方法在三个公开乳腺超声数据集上进行了评估,并额外包含一个皮肤镜皮肤病变数据集作为辅助的跨域验证。与所列最佳SAM系列基线相比,在BUSI、BUS-UCLM和UDIAT上的Dice分数分别提高了2.60、1.93和1.07个百分点。代码可在 https://github.com/JeffJFZ/SAMwithStarShape 获取。

**引言**

乳腺癌是全球女性中最常见的恶性肿瘤之一[1]。在乳腺超声中,病变定位和分割支持定量评估,但手动勾画耗时且可能因操作者经验不同而变化。因此,自动分割可以减少勾画工作量并提高测量一致性,尽管其临床价值仍需通过专门的前瞻性研究加以验证。

图像分割方法大致可分为模型驱动方法和数据驱动方法。模型驱动方法,包括Potts模型[2]、Chan-Vese模型[3]、Snakes[4]和水平集方法[5],提供了显式的能量表述和可解释的轮廓演化,但对初始化、参数选择和简化的外观假设较为敏感。数据驱动方法,如U-Net[6]、DeepLabV3+[7]和Vision Transformers[8],能够学习更丰富的图像表示,但通常需要像素级监督且决策机制的透明度较低。

混合方法试图将学习到的表示与显式轮廓模型相结合。已有研究引入了学习型能量项[9][10],利用网络预测初始化活动轮廓[11][12][13][14],或将语义特征嵌入基于区域的精化中[15][16]。然而,与我们的设置最相关的方法仍可能需要手动ROI选择、像素级训练掩膜或基于图像强度的后处理,这促使我们寻求一种用于乳腺超声的自动提示生成和特征级精化策略。

SAM[17]引入了一种通用的基于提示的分割接口,但其输出取决于提供的边界框或点,在域偏移下性能可能下降。如图1所示,传统CV分割可能受超声噪声影响,而不准确的提示可能导致SAM产生不完整或不精确的掩膜。这些观察结果提出了两个实际问题:如何在不使用真实标签掩膜的情况下生成自动提示,以及如何在SAM预测后精化残余的边界误差。

SAM主要从自然图像数据开发,在超声图像上存在已知局限[18][19]。医学适应包括大规模掩膜监督训练[20]、参数高效调优[21][22][23][24]、SAM与活动轮廓的结合[25],以及医学SAM应用的广泛综述[26]。在与我们的设置最相关的研究中,自动提示生成、特征空间区域建模和显式形状正则化并未在冻结SAM流程中得到联合解决。我们并非修改SAM架构或其参数,而是探索一种互补的标注高效路线来利用其预训练的零样本分割能力。检测器和CV模型自动生成并精化边界框和点提示,无需手动点击,而在SAM预测后,基于冻结SAM特征构建的CV启发式自适应能量泛函与多中心星形约束进行联合优化。因此,技术贡献在于此自动提示到优化的机制及其特征空间能量表述,而非提出新的基础模型架构。主要任务是乳腺超声病变分割;皮肤病变实验仅作为辅助的跨域验证保留。我们的主要贡献总结如下:

- 我们开发了一个无点击自动提示生成模块,将YOLOv11检测与基于CV的边界框精化相结合。检测器仅使用边界框级监督,而边界框和前景/背景点提示在不需手动交互或真实标签提示的情况下自动生成。
- 我们构建了一个SAM特征自适应的后分割能量泛函,将CV启发的区域项与多中心星形约束相结合。图像特定的特征统计量、选定的通道和概率图在推理期间更新,不引入额外的可训练参数。该设计避免了分割模型的额外训练或微调,从而在保留预训练SAM骨干网络及其学习到的表示的同时降低了模型适配的计算成本。
- 我们在三个乳腺超声数据集上评估了完整流水线及其组件,并使用配对的BUSI统计量和受控敏感性分析来量化性能差异和参数稳定性。

本文其余部分组织如下:第2节回顾相关文献,第3节描述提出的框架,第4节报告实验结果,第5节讨论局限性和临床考虑,第6节总结研究。

**章节摘要**

Chan-Vese(CV)模型

Chan-Vese模型[3]是一种基于区域的活动轮廓模型,源自经典活动轮廓框架[4],通常通过水平集演化[5]实现。它将图像分割重新表述为能量最小化问题。

设 Ω ? ?2 为图像域,I: Ω → [0,1] 为灰度强度函数,其中 I(x,y) 表示空间位置 (x,y) ∈ Ω 处的强度。设 C ? Ω 为演化闭合轮廓,Ω? 表示由 C 包围的区域。

按照标准的Chan-Vese

概述

如图2所示,所提出的乳腺超声分割框架保持SAM冻结,并添加两个组件:具有基于CV的边界框精化的自动提示生成,以及具有多中心星形约束的特征驱动后SAM掩膜精化。

第一个组件将检测器输出转换为CV精化的边界框提示和自动生成的点提示,消除了推理时手动点击的需要。第二个组件将CV风格的区域能量扩展到冻结的SAM

数据集

主要评估使用了三个外部乳腺超声数据集:BUSI[36]、BUS-UCLM[37]和UDIAT(数据集B)[38]。乳腺超声检测器仅在BLUVD-186[39]上进行训练。另有一个皮肤病变检测器在ISIC-2017[40]上训练,ISIC-2018[40][41]仅用于辅助跨域评估。对于乳腺超声,当数据集同时包含正常病例时,仅纳入良性和恶性病变图像。

对于乳腺超声实验,

讨论

本研究的主要启示是,分割基础模型可以在不进行目标域掩膜微调或手动提示的情况下适配乳腺超声。许多医学SAM适应方法依赖于掩膜监督训练或参数高效微调[20][21][22][23][24][26],而我们的流水线仅使用边界框标注训练目标检测器,保持SAM冻结,仅在评估中使用像素级掩膜。因此,完整系统不是

结论

我们提出了一种标注高效的乳腺超声分割流水线,结合了自动YOLOv11提示、基于CV的边界框精化、冻结SAM推理和特征驱动的多中心星形精化。在评估的三个乳腺超声数据集上,完整流水线的Dice分数高于所列SAM系列基线,配对统计支持仅针对BUSI报告。敏感性分析将默认的中心、通道和阈值设置

**CRediT作者贡献声明**

Shoujun Huang:原稿撰写、方法论、调查研究、形式化分析、数据整理、概念化。Junjie Liu:原稿撰写、方法论、调查研究、形式化分析、数据整理、概念化。Shousheng Luo:审阅与编辑、监督、项目管理。Huafeng Xie:审阅与编辑、验证、资源、调查研究、数据整理。Jing Yuan:可视化、监督、形式化分析。Dexing Kong:审阅与编辑、声明

**利益冲突声明**

作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。

**致谢**

作者感谢编辑和审稿人提供的宝贵意见。本研究受天元数学研究中心学术交流的启发,并得到中国国家自然科学基金(批准号12301676和12371429)、中国浙江省自然科学基金(批准号LQ24A010018)以及金华市重点科技计划项目(批准号2024-3-031)的支持。

Shoujun Huang | Junjie Liu | Shousheng Luo | Huafeng Xie | Jing Yuan | Dexing Kong | Jianfeng Zhang
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号