Map2VidSeg再探:一项关于基于分类器生成的医疗视频分割提示的渐进式升级研究

《Artificial Intelligence in Medicine》:Map2VidSeg Revisited: A controlled-upgrade study of classifier-derived prompts for medical video segmentation

【字体: 大 中 小 】 时间:2026年10月13日 来源:Artificial Intelligence in Medicine 7.8

编辑推荐:

  •源自分类器的提示支持无需掩码训练的医疗视频分割。•在固定的224 × 224分辨率下,全面升级并没有超越对照组的表现。•主要的SUN-SEG损失发生在SAM-3之前,而不是在细化阶段。•CholecSeg8k是一个诊断性迁移研究,而不是一个预留的基准测试。•具有类别意识的跟踪消

  •源自分类器的提示支持无需掩码训练的医疗视频分割。•在固定的224 × 224分辨率下,全面升级并没有超越对照组的表现。•主要的SUN-SEG损失发生在SAM-3之前,而不是在细化阶段。•CholecSeg8k是一个诊断性迁移研究,而不是一个预留的基准测试。•具有类别意识的跟踪消除了SAM-3在多工具片段上的回归问题。

引言
视频对象分割在医疗视频分析中非常重要,因为在有限的注释条件下,必须定位和分割出临床相关的结构。在结肠镜检查中,息肉掩码可以帮助测量病变、时间审查和辅助注释。帧级掩码的成本很高,因为长视频需要时间上一致的专业轮廓。完全监督的系统如ResUNet++、PraNet和MSRF-Net展示了密集监督下可实现的性能[1]、[2]、[3],但它们仍然依赖于像素级标签。最近的工作已将息肉分割扩展到真实的视频环境中,并在內鏡檢查期间采用基于提示的方法[4]、[5]。这些方法提供了相关的最新基准测试,尽管它们的监督和提示设置与这里研究的图像级分类器提示不同。因此,医疗视频分割是一个自然的环境,适用于在保持空间准确性的同时减少提示或掩码监督的方法。

可提示的分割模型为此问题提供了一个实用的接口。SAM、SAM-2和SAM-3将提示与掩码生成分开,并支持从点、框、掩码、文本或视频记忆中进行分割[6]、[7]、[8]。如Grounding DINO与Grounded SAM这样的链式开放词汇管道表明,提示也可以由上游模型自动生成[9]、[10]。然而,在医疗成像中,现成的性能通常对提示敏感,并且在领域转换时会下降,这使得提示质量成为了一个实际的瓶颈[11]、[12]。

解决这一瓶颈的一种方法是从图像级监督生成提示。我们最近的单图像研究表明,源自分类器的激活信号可以转换为用于无需分割训练的医疗分割的有用提示[13]、[14]。最初的Map2VidSeg论文将这一想法扩展到视频,并报告了在没有掩码监督的情况下进行了强大的SUN-SEG未见案例分析[15]、[16]。基于检测器的自我提示是另一个相关方向,但它依赖于检测器或掩码的监督[17]。相反,Map2VidSeg从图像级分类监督中派生提示。

在这篇期刊扩展中,一个开放的问题是较新的组件是否能够改进相同的链式系统。DINOv3旨在比早期的自我监督ViTs更好地保留密集的视觉特征[18],YOLOE扩展了基于提示的有效检测和分割[19],而SAM-3结合了识别和基于记忆的视频跟踪[8]。然而,在一个链式系统中,分类器定义了提示的几何形状,提示约束了YOLOE的分割阶段,细化阶段只对在前几个阶段中存活下来的掩码进行操作。因此,一个在孤立状态下更强的组件在完整的链中的表现可能会有所不同。

本文通过一项受控升级研究扩展了CBMS 2025论文。我们评估了三个替换方案:
- 在分类和地图生成阶段将DINOv2升级为DINOv3,
- 在基于提示的分割阶段将YOLOE-11升级为YOLOE-26,
- 在时间细化阶段将SAM-2升级为SAM-3。

在评估的固定224 × 224视觉提示范围内,升级后的DINOv3 + YOLOE-26 + SAM-3堆栈并没有超过DINOv2 + YOLOE-11 + SAM-3对照组的表现。完成的2 × 2因子分析表明,这种回归不能归因于单一组件,因为它反映了YOLOE-26阶段的负面效应以及提示来源与YOLOE阶段的负面交互作用。因此,该研究在受控设计下检验了链式医疗视频管道中的组件迁移。

本文版本的主要贡献包括:
- 对SUN-SEG未见案例进行受控升级的因子分析,以在同一四阶段Map2VidSeg链中隔离提示来源、YOLOE阶段和细化器轴;
- 组件交换分析表明,在相同的操作范围内,较新的基础模型组件可能不会改善链式管道;
- 在CholecSeg8k二元仪器分割上进行的第二任务验证,使用相同的DINOv2 → CAM → YOLOE-11 → SAM-3链;
- 对任务依赖的SAM-3行为的机制诊断,表明在共享身份跟踪器下身份混淆导致了多工具回归,而具有类别意识的跟踪消除了这种回归;
- 介绍提示和跟踪阶段之间的类别因子分析,作为提示质量和提示-模型兼容性的第三个设计轴。

我们将该管道描述为无需分割训练的。YOLOE分割和基于SAM的跟踪阶段并非在目标域掩码上进行了微调。它们使用现成的权重在目标视频上运行。分类器阶段在来自公共内镜数据集的图像级标签上进行微调,验证掩码仅用于通过CAM-IoU选择检查点(第3.10节,表1)。没有任何阶段消耗来自目标视频的像素级监督。

本文扩展增加了三个实质性元素,超出了CBMS 2025论文[15]的内容。首先,它完成了2 × 2提示来源×YOLOE阶段的因子分析,并报告了123个SUN-SEG未见案例的95%偏差校正加速自助置信区间(第5.1.4节),包括在缓存的DINOv2 + YOLOE-11掩码上进行的SAM-2与SAM-3细化器的对比。其次,它增加了一个CholecSeg8k诊断性迁移研究,包括对SAM-3任务依赖性的每个片段的分析、多工具共现诊断和具有类别意识的跟踪救援(第5.2节)。第三,它将提示和跟踪阶段之间的类别因子分析作为提示质量和提示-模型兼容性的第三个设计轴。

本文的其余部分组织如下。第2节将Map2VidSeg置于源自分类器的提示、可提示分割、结肠镜视频基准和内镜基础模型中。第3节描述了管道和三个升级轴。第4节详细介绍了数据集、因子设计和评估协议。第5节报告了SUN-SEG基准、完成的因子分析、细化器隔离结果和CholecSeg8k诊断性迁移研究。第6节分析了提示来源差距、YOLOE阶段不匹配和细化器行为。第7节收集了其余的探索性检查。第8、9、10和11节总结了本文。

从弱监督定位到源自分类器的提示
弱监督定位长期以来一直使用图像级标签从分类器中提取粗略的空间先验。类激活映射(CAM)表明,全局平均池化的CNN分类器在其最终特征图中包含空间热图和类权重[20]。Grad-CAM通过基于梯度的加权将这一想法推广到了更广泛的CNN类别[21]。这些方法确立了我们管道中使用的基本假设:图像级分类监督包含空间信息。

原始的Map2VidSeg管道
图1总结了本研究中评估的三种配置。前导系统[15]将每帧分割分解为四个阶段:分类器定位、提示提取、基于提示的高效分割以及可选的细化。分类器生成一个每帧地图,其空间支持成为提示来源。该地图被二值化并转换为一个或多个提示。然后YOLOE使用BoT-SORT跟踪[37]和双向掩码传播来运行。

数据集
本研究使用了三组数据集:一个用于所有主要和因子结果的主要息肉视频基准(SUN-SEG),一个用于微调分类器骨架的组合静态图像池,以及一个用于二元仪器第二任务验证的腹腔镜胆囊切除数据集(CholecSeg8k)。我们依次描述每个数据集。表2总结了每个数据集的作用,图2展示了代表性帧。在整个过程中,SUN-SEG评估帧从未被用于结果部分。

结果
我们以三组形式报告结果。第5.1节涵盖了主要的SUN-SEG基准,包括主要表格、2 × 2受控升级因子分析和SAM-3细化器隔离结果。第5.2节报告了在CholecSeg8k二元仪器分割上的第二任务诊断性迁移研究。由于CholecSeg8k没有规范的测试分割,分类器门阈值是在评估语料库上事后选择的,因此这些数字在这里被用作机制分析,而不是作为...

诊断分析
第5节报告了定量比较。本节使用这些结果作为机制分析的输入。我们关注三个问题:DINOv3是否改进了源自分类器的地图,YOLOE-26是否与固定的视觉提示设置不匹配,以及为什么SAM-3在息肉上有效但在多工具仪器片段上出现回归。

探索性扩展
本节报告了两个探索性方向:在SUN-SEG提示堆栈之上添加了视觉-语言验证器,以及在SUN-SEG上直接进行SAM-3文本提示。

讨论
期刊扩展表明,在链式医疗视频管道中替换每个组件并不一定会提高端到端的性能。分类器地图、提示提取、高效分割阶段和时间细化阶段仍然紧密耦合。

限制
在主要发现的同时,还应阅读几个范围限制。首先,SUN-SEG 2 × 2受控升级因子分析是单种子实验。四个单元格中的每一个都只在匹配的设置下运行一次,因此观察到的?0.0376 IoU交互估计是一个点估计,其中包含了运行间变异的未知贡献。匹配的SAM-2与SAM-3细化器对比也是一个缓存输出比较:其p值量化了成对案例级别的变化,而不是跨案例的变异性。

未来工作
几项后续研究将进一步阐明当前结果的因果解释以及管道的实际范围。在SUN-SEG上,最紧迫的任务是重复种子的2 × 2受控升级因子分析,并报告每个案例IoU和Dice的置信区间,以便将YOLOE阶段效应和负的提示来源×YOLOE阶段交互作用与运行间变异分开。在固定条件下重复执行SAM-2和SAM-3细化器。

结论
本文扩展在受控设计下使用更新一代模型重新审视了Map2VidSeg。在SUN-SEG息肉基准上,升级后的DINOv3 + YOLOE-26 + SAM-3堆栈是可行且有竞争力的。在评估的固定224 × 224提示范围内,它并没有超越最强的DINOv2基础配置,主要的损失在于高效分割阶段的提示质量和提示-模型兼容性,而不是在细化阶段。

CRediT作者贡献声明
Hanna Borgli:写作 - 审稿与编辑、撰写 - 原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。
Michael Riegler:写作 - 审稿与编辑、监督、概念化。
H?kon Kvale Stensland:写作 - 审稿与编辑、监督、资金获取。
P?l Halvorsen:写作 - 审稿与编辑、监督、概念化。

伦理声明
本研究仅使用了公开可用的、之前发布的基准数据集,没有涉及新的招募、干预或收集可识别的人类受试者数据。因此,本研究不需要新的机构伦理批准或知情同意程序。该工作遵循了源数据集的使用条款和许可。

手稿准备过程中生成式AI和AI辅助技术的声明
在准备这项工作时,作者使用了生成式AI工具来辅助实现实验代码,并帮助撰写和编辑手稿。这些工具是在作者的直接监督下使用的:所有的实验设计、数据分析、结果解释和科学结论均为作者自己的工作。使用这些工具后,作者根据需要审查和编辑了内容,并对发表文章的内容负全责。

资金
这项研究没有从公共、商业或非营利部门的资金机构获得任何特定资助。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
作者感谢维护这些公共基准数据集和开源软件的维护者。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号