一种面向免训练伪装目标分割的实例感知提示框架

《Expert Systems with Applications》:An Instance-Aware Prompting Framework for Training-free Camouflaged Object Segmentation

【字体: 大 中 小 】 时间:2026年10月21日 来源:Expert Systems with Applications 9.4

编辑推荐:

   • 提示粒度不匹配限制了无需训练的伪装分割。 • 实例感知提示无需训练即可分离多个伪装物体。 • 框枚举和多重背景线索为每个实例优化提示。 1. 引言 伪装物体分割(Camouflaged Object Segmentation, COS)是一个具有挑战性但重要的问题,在

  

• 提示粒度不匹配限制了无需训练的伪装分割。
• 实例感知提示无需训练即可分离多个伪装物体。
• 框枚举和多重背景线索为每个实例优化提示。

1. 引言

伪装物体分割(Camouflaged Object Segmentation, COS)是一个具有挑战性但重要的问题,在农业(Wang, Yang, Zhang, Wang, Zheng, 2024, Yang, Wang, Zheng, Chen, Leonardis, Fan, 2025)、医学(Fan et al., 2020b)和军事侦察(Truong & Tran, 2024)等领域具有广泛应用。其难度在于前景物体有意或自然地融入周围环境,即使在高阶语义线索可用的情况下也难以区分。尽管全监督COS方法(Fan, Ji, Sun, Cheng, Shen, Shao, 2020a, Jiang, Cai, Ding, Wang, Hong, Di, Gao, 2024, Wang, Zhang, Wang, Wang, Xiao, Wang, 2025, Yin, Yang, Li, Li, Wu, 2024)取得了强劲的性能,但它们严重依赖密集的像素级标注,这些标注获取成本高昂且限制了实际场景中的可扩展性。弱监督和无监督替代方案(Du, Hao, Yu, Kong, Wu, Wang, Xu, Li, 2025a, Du, Wang, Hao, Yu, Chen, Wu, Wang, Xu, Li, 2025b, Jiang, Zhang, Tan, Yin, Pan, 2026, Liu, Li, Dong, Li, Zhang, Xu, Han, 2025, Ni, Zhang, Jiang, Lv, Zhang, Yuan, 2026)在一定程度上缓解了标注成本,但随着监督信息的稀疏化,其性能仍然下降。

可提示分割模型的最新进展,以Segment Anything Model(SAM)(Kirillov et al., 2023)为代表,为无需训练的分割开辟了一条有前景的途径。在给定合适的视觉提示(即点和框)的情况下,此类模型可以在无需任务特定重新训练的情况下生成高质量掩膜。然而,手动为感兴趣的物体指定提示严重限制了其在实际部署中的适用性。这一局限性推动了越来越多关于无需训练分割的研究,旨在无需额外监督即为SAM自动生成视觉提示。在这一范式下,几项最近的研究探讨了无需训练的COS(Du, Wu, Kong, Hao, Xu, Li, 2026, Hu, Lin, Gong, Cai, 2024a, Hu, Lin, Yan, Gong, 2024b, Tang, Jiang, Shen, Zhang, Chen, Li, 2024, Yang, Tian, Zhang, Cao, 2026, Yin, Li, Yang, Li, Zhu, Li, 2025),通常通过任务通用提示(如"伪装动物")来指导冻结的多模态模型,然后推导出SAM所需的视觉提示。

尽管取得了令人鼓舞的进展,但现有的无需训练COS方法(Hu, Lin, Gong, Cai, 2024a, Hu, Lin, Yan, Gong, 2024b, Tang, Jiang, Shen, Zhang, Chen, Li, 2024, Yin, Li, Yang, Li, Zhu, Li, 2025)共享一个共同但尚未充分探索的局限性:它们向SAM提供语义级视觉提示,而可靠的多实例伪装分割需要实例级视觉提示。换句话说,关键瓶颈在于提示粒度不匹配。当前流程通常仅为整张图像生成一个粗略框,或一个从掩膜推导出的框。如图1a所示,无论框是通过通过VQA直接查询MLLM获得,还是通过MaxIOUBox从中间语义掩膜推导而来,多个实例经常被合并为一个区域。一旦发生实例合并,SAM将无法恢复完整且可分离的实例掩膜。图1b也定量验证了这一局限性:尽管在宽松标准下,语义级策略仍可能产生看似合理的粗略定位,但其框质量在更严格的实例级IoU阈值下急剧下降。相比之下,我们的实例感知策略实现了更高的框精度,尤其是在高IoU下。这些结果表明,先前无需训练COS流水线的主要障碍在于其无法生成精确的实例级视觉提示。这些观察结果促使我们提出一种显式的实例级提示方案,结合候选实例枚举与逐实例提示优化,同时保持所有基础模型冻结。

下载:下载高分辨率图片(956KB)
下载:下载全尺寸图片

图1. 所提出的IAPF的动机。(a)MLLM、MaxIOUBox和我们的方法生成的框提示可视化。现有语义级策略将多个实例合并为一个粗略区域,而我们的实例感知策略产生多个实例级框。(b)COD10K上的定量结果,显示我们的方法产生更精确的框提示,尤其是在高IoU阈值下。

这些观察结果促使我们从新的角度重新审视无需训练的COS。现有方法向SAM提供语义级视觉提示,这对于粗略的物体级定位已经足够,但对于可靠的多实例伪装分割则不够。因此,我们将无需训练的COS定义为在冻结的多模态模型下将视觉提示粒度从语义级升级为实例级的问题。目标不是为整张图像生成一个粗略提示,而是构建一组保留实例身份且能被SAM忠实解释的判别性实例级视觉提示。从这个角度来看,有效的无需训练COS方法应解决三个耦合的推理挑战:如何枚举候选伪装实例、如何抑制每个实例的混淆背景证据,以及在冻结推理下如何选择最稳定的解决方案。

为此,我们提出了实例感知提示框架(Instance-Aware Prompting Framework, IAPF),如图2所示。IAPF首先使用MLLM生成图像特定的语义线索,包括前景和背景标签。基于这些语义线索,实例掩膜生成器为SAM构建实例级视觉提示。它首先执行检测器引导的实例框枚举,产生多个实例框假设而非单一语义框,从而显式地解决了先前工作中观察到的实例合并问题。然后引入单前景多背景提示(Single-Foreground Multi-Background Prompting, SFMBP)策略,在每个候选框内通过对比前景与多个混淆背景线索来执行干扰感知的点优化。所生成的框-点提示在推理过程中保留实例身份,并使SAM能够产生实例感知掩膜。最后,我们采用自一致性实例掩膜投票机制,在同义任务通用提示中选择最稳定的实例感知解决方案。

下载:下载高分辨率图片(816KB)
下载:下载全尺寸图片

图2. 所提出的IAPF框架,包含三个步骤:(1) 文本提示生成器:MLLM将任务通用提示和图像转换为前景/背景标签。(2) 实例掩膜生成器(底部):检测器无关的枚举器产生N个实例级框提示;SFMBP使用CLIP构建前景/多背景热图,并采样区域约束的逐框点;SAM将N个框-点对转换为候选实例掩膜。(3) 自一致性实例掩膜投票:选择语义投影在重复中最一致的那个候选作为最终COS预测(其实例掩膜提供CIS)。

IAPF不修改底层基础模型。相反,它将其输出组织为结构化的逐实例视觉提示。框枚举器定位候选实例,而SFMBP在每个候选框内生成局部校准的前景和多背景点提示。这些组件共同为SAM推理前的每个实例形成框-点提示三元组。因此,IAPF通过将语义类别线索显式转换为实例级视觉指导来解决提示粒度不匹配问题。

我们的贡献总结如下:

1. 我们将提示粒度不匹配确定为现有无需训练COS方法的核心瓶颈:它们向SAM提供语义级视觉提示,而可靠的多实例分割需要实例级视觉提示。
2. 我们提出了IAPF,一个实例感知的推理框架,在冻结模型下将视觉提示粒度从语义级升级为实例级。其核心实例掩膜生成器通过实例框枚举和干扰感知的点优化构建实例级视觉提示。
3. 我们进一步引入了自一致性实例掩膜投票机制,在同义提示变体中选择最稳定的实例感知解决方案。
4. 在三个COS基准、两个伪装实例分割(CIS)基准和两个下游应用数据集上的大量实验表明,IAPF在无需训练方法中取得了最先进的性能。

2. 相关工作

2.1. 伪装物体分割

早期的全监督COS模型(Fan, Ji, Sun, Cheng, Shen, Shao, 2020a, Hu, Wang, Qin, Dai, Ren, Luo, Tai, Shao, 2023, Jiang, Cai, Ding, Wang, Hong, Di, Gao, 2024, Wang, Zhang, Wang, Wang, Xiao, Wang, 2025)使用密集像素掩膜实现了强劲的准确率,但其高昂的标注成本限制了向新领域的可扩展性。最近,代表性的基于训练的方法,如RUN(He et al., 2025b)和CurriSeg(He et al., 2026b),通过任务特定模型优化和不确定区域精细化进一步推动了COS的发展。弱监督和不完整监督方法(Chen, Shao, Guo, Gao, 2024a, He, Li, Zhang, Yang, Pang, Tang, Fang, Zhang, Kong, Li, et al., 2025a, He, Dong, Lin, Lau, 2023b, Li, Liu, Qi, Dong, 2025b, Ni, Zhang, Jiang, Lv, Zhang, Yuan, 2026)通过利用稀疏或部分监督降低了标注需求。特别是,WS-SAM(He et al., 2023b)使用稀疏标注作为SAM提示生成伪标签,而SEE(He et al., 2025a)通过均值教师学习和基于SAM的伪标签生成统一了弱监督和半监督COS。SCALER(He et al., 2026a)进一步在标签不足监督下引入了任务特定分割器和可学习SAM之间的协同学习。无监督流水线(Du, Hao, Yu, Kong, Wu, Wang, Xu, Li, 2025a, Shou, Liu, Wang, Sun, Zheng, Zhu, Yan, 2025, Zhang, Wu, 2023)消除了手动标注但仍需要任务特定模型优化。尽管监督水平不同,这些方法仍以训练为中心,并遵循与本工作所考虑的零样本、无需训练设定不同的评估协议。这促使我们提出一种无需训练的替代方案,完全使用冻结模型和零任务特定标签,在推理时将文本线索转换为有效的视觉提示。

2.2. 用于COS的Segment Anything Model

SAM(Kirillov et al., 2023)在提供显式视觉提示(点/框)时能交付精确掩膜。COS适配分为两条路线:(i) 基于训练的变体,使用密集(Chen, Zhu, Deng, Cao, Wang, Zhang, Li, Sun, Zang, Mao, 2023, Gao, Zhou, Yan, Chen, Hu, 2025)或稀疏(Chen, Wei, Guo, Gao, 2024b, He, Li, Zhang, Xu, Tang, Zhang, Guo, Li, 2023a)监督微调SAM(也探索了相关的基于提示学习的SAM适配(Hou, Li, Ren, Zhou, Wu, Cao, 2025, Li, Hou, Ren, Wu, 2025a)),以及(ii) 在推理阶段合成提示的无需训练流水线。代表性的无需训练方法包括:GenSAM(Hu et al., 2024a),使用MLLM产生文本标签并通过CLIP热图推导视觉提示;ProMaC(Hu et al., 2024b),利用幻觉先验稳定MLLM生成的标签;UpGen(Du et al., 2025c),引入生成先验增强无需训练的定位和提示形成;INT(Hu, Cheng, & Gong, 2025),通过负样本挖掘提高任务通用可提示分割的判别力;以及RDVP-MSD(Yin et al., 2025),通过在单一区域约束框内采样点来缓解噪声热图。尽管取得了这些进展,现有无需训练方法仍停留在语义级(全局或单框提示),缺乏显式实例枚举——当图像包含多个伪装物体时面临困难。

3. 方法

3.1. 框架概述

我们提出了实例感知提示框架(IAPF),一个用于COS的无需训练流水线,在保持所有组件冻结(无需任务特定训练)的情况下将提示粒度从语义级升级为实例级。给定测试图像X和任务通用提示$p_{ig}$(如"伪装动物"),IAPF使用同义提示$p_{ig}^{(i)}$($i=1,...,I$)重复流水线I次,并分三个阶段进行,全部使用冻结模型实现。(1) 文本提示生成器。MLLM回答一组从$p_{ig}$(及其同义变体)推导出的文本查询,返回图像特定的类别标签:一组前景标签$\text{tag}_{fg}^{i}$和一组背景标签$\text{tag}_{bg}^{i}$。(2) 实例掩膜生成器。检测器无关的框枚举器通过统一的框-分数-标签接口将$\text{tag}_{fg}^{i}$转换为N个实例级框提示$B^{i}=\{B_{i,n}\}_{n=1}^{N}$。这里,检测器无关指的是接口级的模块化,而非对检测器质量的性能不变性。以$\text{tag}_{fg}^{i}$和$\text{set}(\text{tag}_{bg}^{i})$为条件,单前景多背景提示(SFMBP)策略使用基于CLIP的热图在每个框内推导区域约束的前景/背景点提示,产生逐框点$\{p_{i,n}^{fg}, p_{i,n}^{bg}\}$。所有框-点提示三元组$\langle B_{i,n}, p_{i,n}^{fg}, p_{i,n}^{bg} \rangle$($n=1,2,...,N$)构成N个实例级视觉提示,供SAM使用,后者为图像产生候选实例掩膜。(3) 自一致性实例掩膜投票。重复此流水线I次,产生多个候选实例掩膜集;选择语义投影最接近平均预测的那个候选作为最终COS输出。

3.2. 文本提示生成器

文本提示生成器使用冻结的多模态大语言模型(MLLM)(Liu, Li, Li, & Lee, 2024)将同义任务通用提示$p_{ig}^{(i)}$(重复索引$i \in \{1, \cdots, I\}$)转换为为每个输入图像定制的图像特定类别标签。

形式化地,给定图像 $X \in \mathbb{R}^{H \times W \times 3}$ 和文本查询 $Q$,MLLM 以自回归方式生成响应序列 $y$:

$$p(y|X, Q; \theta) = \prod_{t=1}^{T} p(y_t | y_{ 0 \\ \{B_{\text{global}}\}, & \text{if } |B_i| = 0 \end{cases}$$

其中 $B_{\text{global}}$ 表示覆盖整个图像的全局框。当有效框被保留时,它们提供实例级定位,并用检测器引导的候选实例枚举取代传统的单框假设。它们的质量也可以通过框提示精度直接评估,如图 1b 所示。当没有框被保留时,全局框确保后续提示和 SAM 推理仍然良定义。然而,这种回退将预测退化为语义级定位,无法恢复因检测器失败而丢失的实例分离。

### 3.3.2 点提示

**动机。** 先前的免训练 COS 方法要么从图像级热图中绘制点(Hu et al., 2024a, 2024b),要么将采样限制在每张图像的一个区域约束(RC)框内(Yin et al., 2025)。这两种策略在多实例场景中均不可靠:(i) 背景是异质的(植被/沙地/岩石等),因此单一背景标签提供的负样本较弱且频繁产生混淆;(ii) 单框设置会合并实例并阻止逐实例分数校准,因此全局阈值可能遗漏小目标或在大型目标周围产生过多的误报。

**语义级与实例级:** 早期方法产生语义级点提示(全局或单区域),而我们显式为每个保留框生成实例级点提示,以使点提示与个别伪装实例对齐。重要的是,当没有有效实例框可用时,提示过程优雅地退化为全局回退框,而非变得未定义。

**SFMBP(我们的方法)。** 我们引入单前景多背景提示(Single-Foreground Multi-Background Prompting, SFMBP),这是一种实例感知的多背景方案,在第 $i$ 次重复中对每个保留框 $\tilde{B}_{i,n}$ 操作,使用前景标签 $tag_i^{fg}$ 和多个背景标签 $\text{set}(tag_i^{bg})$。具体而言,使用空间 CLIP(Spatial CLIP, Hu et al., 2024a)生成前景热图 $H_i^{fg}$ 和多个背景热图 $H_i^{bg} = \{H_{i,1}^{bg}, H_{i,2}^{bg}, \cdots, H_{i,L}^{bg}\}$,其中每个 $H_{i,l}^{bg}$ 对应来自 $\text{set}(tag_i^{bg})$ 的特定背景标签 $tag_{i,l}^{bg}$,$\text{set}(\cdot)$ 表示在热图计算前对背景标签列表进行去重,$L$ 是 $\text{set}(tag_i^{bg})$ 的长度:

$$H_i^{fg} = \text{SpatialCLIP}(X, tag_i^{fg})$$

$$H_{i,l}^{bg} = \text{SpatialCLIP}(X, tag_{i,l}^{bg}), \quad l = 1, 2, \cdots, L$$

框阶段和热图阶段是互补的而非相互依赖的:保留的框 $\tilde{B}_{i,n}$ 定义候选区域(当有效实例框可用时为实例级,当使用回退框时为图像级),而热图提供该区域内的前景和背景证据。

给定输入分辨率 336×336,CS-ViT-L/14 在排除类别 token 后产生原生 24×24 的空间相似度图。在点选择之前,我们将每个相似度图双线性插值到 48×48。此操作减少了当选择的位置投影回输入图像时由粗粒度原生 CLIP 分辨率引起的坐标量化误差,同时保持了远低于原始像素网格的分辨率。

然后我们执行逐框 min-max 归一化,以在每个保留框内局部校准相似度响应。通过阈值化归一化相似度图获得高置信度的前景和背景点提示:

$$p_{i,n}^{fg} = \{(x,y) \mid \text{Norm}(H_i^{fg} | \tilde{B}_{i,n})(x,y) \geq 0.9\}$$

$$p_{i,n}^{bg} = \bigcup_{l=1}^{L} \{(x,y) \mid \text{Norm}(H_{i,l}^{bg} | \tilde{B}_{i,n})(x,y) \geq 0.9\}$$

此处 $(x, y)$ 索引插值热图网格上的一个位置,随后映射到输入图像中对应的坐标。$\text{Norm}(H | \tilde{B}_{i,n})$ 表示在 $\tilde{B}_{i,n}$ 内对热图 $H$ 的 min-max 归一化至 $[0,1]$。对于每个有效的非退化热图,此归一化将最大值赋予 1;因此,0.9 的阈值保证从每个前景或背景热图中至少保留一个高响应候选。由于点选择在 48×48 网格上进行而非原始像素格上,每个热图最多包含 2304 个候选位置。高阈值进一步限制选中的子集,而从该网格到原始图像的投影维持了结果提示的非像素密集空间分布。并集 $\bigcup_{l=1}^{L}$ 将 $L$ 个背景标签获得的候选聚合为实例级背景点提示 $p_{i,n}^{bg}$。

SFMBP 沿两个互补维度缓解了全局 CLIP 热图有限的实例定位能力:实例局部性——通过逐保留框归一化和点选择;以及多背景对比——通过聚合多个背景标签的响应。此设计将前景证据限定在候选实例区域内,并相对于同一区域定义背景证据,从而减少了不相关外围响应的影响。当有效实例框可用时,$p_{i,n}^{fg}$ 和 $p_{i,n}^{bg}$ 为 SAM 提供框条件下的实例级提示。当回退框被激活时,相同的公式仍然良定义并产生图像级语义提示,但无法恢复框枚举过程中丢失的实例分离。

### 3.3.3 掩码预测

给定第 $i$ 次重复的前景标签 $tag_i^{fg}$ 及其枚举的框,SFMBP 为每个检测到的实例产生一个实例级提示三元组 $\langle \tilde{B}_{i,n}, p_{i,n}^{fg}, p_{i,n}^{bg} \rangle_{n=1}^{N}$——一个框及其前景和多背景点提示。与先前的语义级提示(向 SAM 输入单一全局/区域线索)不同,这些逐实例三元组保留了实例身份并减少了跨相邻伪装对象的掩码泄漏。每个三元组被送入冻结的 SAM 以获得实例掩码:

$$m_{i,n} = \text{SAM}(X | \langle \tilde{B}_{i,n}, p_{i,n}^{fg}, p_{i,n}^{bg} \rangle), \quad n = 1, \cdots, N$$

其中 $N$ 是与 $tag_i^{fg}$ 关联的实例级框提示数量。结果集 $\{m_{i,1}, \ldots, m_{i,N}\} \subset \{0,1\}^{H \times W}$ delineates 第 $i$ 次重复中发现的 $N$ 个伪装实例。

为了保留下游使用的实例粒度(例如逐实例分析和后续自一致性投票),我们沿新维度堆叠掩码以形成候选实例掩码:

$$mask_i = [m_{i,1}; m_{i,2}; \ldots; m_{i,N}]$$

其中 $mask_i \in \{0,1\}^{N \times H \times W}$。

## 3.4 自一致性实例掩码投票

在全冻结设置下,同义任务通用提示的变化和 MLLM 解码的随机性可能会扰动生成的描述和类别标签,进而影响检测器框和 SFMBP 点提示。由于 SAM 对其视觉提示敏感,此类扰动可能导致不完整掩码、边界泄漏或相邻实例的不一致分离。为了在不更新任何模型参数的情况下提高整体流水线的稳定性,我们引入了一种基于多提示条件预测的自一致性实例掩码投票策略。

为了在重复之间进行公平比较,我们首先通过沿实例维度 $N$ 执行逐像素逻辑或 $\bigvee$ 将每个候选实例掩码 $mask_i \in \{0,1\}^{N \times H \times W}$ 投影为语义掩码 $M_i \in \{0,1\}^{H \times W}$:

$$M_i(x,y) = \bigvee_{n=1}^{N} mask_i(n, x, y)$$

运行流水线 $I$ 次(默认 3 次)产生 $\{M_1, \cdots, M_I\}$。然后我们选择与群组最为自一致的重复:

$$\hat{i} = \arg\min_i \|M_i - \frac{1}{I}\sum_{j=1}^{I} M_j\|_2$$

其中 $\|\cdot\|_2$ 表示二值掩码上的逐像素 $\ell_2$ 距离。最后,$M_{\hat{i}}$ 和对应的 $mask_{\hat{i}}$ 分别作为 COS 和 CIS 输出报告——投票在语义投影上进行以保证可比性,而选中的索引 $\hat{i}$ 返回完整的实例感知解决方案。

## 4 实验

### 4.1 实验设置

#### 4.1.1 数据集与评价指标

我们在 NC4K(Lv et al., 2021)(4,121 张)、COD10K-TEST(Fan et al., 2020a)(2,026 张)和 CAMO-TEST(Le et al., 2019)(250 张)上评估 COS,使用结构度量 $S_\alpha$(Fan et al., 2017)、加权 F 度量 $F_\beta^\omega$、平均 E 度量 $E_m^\varphi$ 和平均绝对误差 $M$(除 $M$ 外越高越好)。对于 CIS,我们遵循 COCO 风格指标,在 NC4K 和 COD10K-TEST 上报告 $AP$、$AP_{50}$ 和 $AP_{75}$。对于下游应用,我们额外在 ACOD-12K-TEST(1,492 张;隐蔽裁剪检测;RGB-D,仅使用 RGB)(Wang et al., 2024)和 PlantCamo(1,250 张;植物伪装)(Yang et al., 2025)上评估——同样在免训练设置下——使用与上述相同的 COS 指标。

#### 4.1.2 实现细节

在实验中,我们使用 LLaVA-1.5-13B(Liu et al., 2024)作为 MLLM,Grounding DINO(Liu et al., 2023)作为与检测器无关的框枚举器的默认实现。CS-ViT-L/14@336px 用作 CLIP 编码器(Radford et al., 2021),HQ-SAM(Ke et al., 2023)搭配 ViT-H backbone 用作掩码生成器。我们设置 $I=3$ 并使用固定的任务通用提示集 $\{$"camouflaged animal", "disguised animal", "hidden animal"$\}$,该提示集在所有输入图像之间共享。对于 CIS 评估,每个在类别无关的框级 NMS 后保留的检测框被转换为一个 SAM 掩码,掩码的置信度分数继承自对应的检测器预测。我们的方法完全免训练,无需微调。所有实验均使用 PyTorch 框架进行,并使用两块各配备 24GB 显存的 NVIDIA GeForce RTX 3090 GPU 进行评估。

### 4.2 与最先进方法的比较

#### 4.2.1 定量与定性比较

我们在 NC4K、COD10K-TEST 和 CAMO-TEST 数据集上将提出的 IAPF 与无监督、弱监督和免训练方法进行比较,如表 1 所示。在零样本免训练设置下,我们的方法持续优于所有比较的免训练方法,包括更高的 $S_\alpha$、$F_\beta^\omega$ 和 $E_m^\varphi$ 值。IAPF 超过了无监督基线,并在 NC4K 和 COD10K 上超过了若干弱监督方法,所有这些都是在没有任何监督或微调的情况下实现的。

**表 1.** 三个基准数据集上 COS 方法的定量比较。该表比较了基于无监督、弱监督和免训练设置的最先进方法。"U"表示无监督设置,弱监督设置包括"P"(点)、"S"(scribble)和"B"(框)。"ZS"表示应用于 COS 的零样本免训练方法。"×"表示相应论文中代码不可用。"↑"表示越高越好,"↓"表示越低越好。


不同设置下的最佳结果以粗体显示。

| 方法 | 会议/期刊 | 设置 | NC4K | COD10K-TEST | CAMO-TEST |
|---|---|---|---|---|---|
| | | | $S_\alpha\uparrow$ $F_{\beta\omega}\uparrow$ $M\downarrow$ $E_m\phi\uparrow$ | $S_\alpha\uparrow$ $F_{\beta\omega}\uparrow$ $M\downarrow$ $E_m\phi\uparrow$ | $S_\alpha\uparrow$ $F_{\beta\omega}\uparrow$ $M\downarrow$ $E_m\phi\uparrow$ |
| UCOS-DA (Zhang & Wu, 2023) | ICCV23 | U | .755 .656 .085 .819 | .689 .513 .086 .739 | .700 .605 .127 .784 |
| SdalsNet (Shou et al., 2025) | AAAI25 | U | .739 .642 .085 .824 | .697 .525 .072 .780 | .697 .601 .117 .799 |
| EASE (Du et al., 2025a) | CVPR25 | U | .800 .735 .056 .884 | .773 .656 .040 .866 | .749 .684 .098 .831 |
| WS-SAM (He et al., 2023a) | NeurIPS23 | P | .813 .734 .057 .859 | .790 .663 .039 .856 | .718 .602 .102 .757 |
| P-COD (Chen et al., 2024a) | ECCV24 | P | .822 .748 .051 .889 | .784 .650 .042 .859 | .798 .727 .074 .872 |
| SAM-COD (Chen et al., 2024b) | ECCV24 | P | .858 .802 .041 .918 | .831 .725 .031 .901 | .820 .760 .066 .885 × |
| BoxSAM (Li et al., 2025b) | IVC25 | P | .810 – .069 .823 | .808 – .042 .851 | .745 – .102 .749 |
| SS (Zhang et al., 2020) | CVPR20 | S | .723 .584 .090 .803 | .684 .466 .068 .774 | .684 .538 .119 .760 |
| SCWS (Yu, Zhang, Xiao, & Lim, 2021) | AAAI21 | S | .757 .659 .072 .846 | .708 .535 .059 .813 | .719 .616 .105 .810 |
| CRNet (He et al., 2023b) | AAAI23 | S | .775 .688 .063 .855 | .733 .576 .049 .832 | .735 .641 .092 .815 |
| WS-SAM (He et al., 2023a) | NeurIPS23 | S | .829 .757 .052 .886 | .803 .680 .038 .877 | .759 .667 .092 .818 |
| MINet (Niu, Yang, Xu, Li, & Chen, 2024) | ACM MM24 | S | .793 .709 .061 .869 | .749 .596 .049 .840 | .750 .669 .091 .840 |
| WSMD (Zha et al., 2024) | AAAI24 | S | .797 .700 .064 .868 | .761 .600 .049 .839 | .793 .704 .079 .866 |
| SAM-COD (Chen et al., 2024b) | ECCV24 | S | .859 .795 .039 .912 | .833 .728 .029 .904 | .836 .779 .060 .903 × |
| BoxSAM (Li et al., 2025b) | IVC25 | S | .860 – .052 .894 | .836 – .044 .883 | .830 – .084 .860 |
| SAM-COD (Chen et al., 2024b) | ECCV24 | B | .867 .813 .037 .923 | .842 .745 .028 .914 | .837 .786 .062 .901 × |
| BoxSAM (Li et al., 2025b) | IVC25 | B | .877 – .037 .925 | .857 – .027 .919 | .859 – .057 .908 |
| LLaVA1.5+SAM (Liu et al., 2024) | CVPR23 | ZS | .609 .543 .253 .676 | .653 .551 .193 .719 | .571 .526 .292 .631 |
| CLIP_Surgey+SAM (Li, Wang, Duan, Zhang, & Li, 2025c) | PR25 | ZS | .712 .626 .152 .755 | .661 .531 .174 .699 | .671 .601 .179 .729 |
| Grounded SAM (Ren et al., 2024) | Arxiv24 | ZS | .771 .721 .135 .806 | .745 .667 .146 .784 | .683 .654 .203 .723 × |
| MMCPF (Tang et al., 2024) | ACM MM24 | ZS | .768 .681 .082 – | .733 .592 .065 – | .749 .680 .100 – |
| GenSAM (Hu et al., 2024a) | AAAI24 | ZS | .805 .745 .066 .863 | .783 .682 .055 .845 | .727 .648 .105 .799 |
| ProMaC (Hu et al., 2024b) | NeurIPS24 | ZS | .814 .762 .056 .884 | .803 .710 .042 .875 | .745 .685 .100 .830 × |
| UpGen (Du et al., 2025c) | TIP25 | ZS | .838 .788 .054 .887 | .806 .708 .051 .856 | .779 .718 .091 .833 × |
| INT (Hu et al., 2025) | IJCAI25 | ZS | – – – – | .808 .722 .037 .883 | .772 .734 .086 .853 |
| RDVP-MSD (Yin et al., 2025) | ACM MM25 | ZS | .823 .764 .056 .873 | .825 .743 .038 .877 | .796 .750 .081 .848 |
| **本文方法** | | ZS | **.862 .828 .043 .916** | **.856 .799 .033 .917** | **.803 .768 .081 .864** |

图3中的定性结果表明,随着伪装实例数量增加,先前的免训练COS方法(Hu, Lin, Gong, Cai, 2024a; Hu, Lin, Yan, Gong, 2024b; Yin, Li, Yang, Li, Zhu, Li, 2025)难以准确分割目标,而本文方法在所有场景下均保持强劲性能。

![图3](图3)
图3. 本文提出的IAPF与三种代表性免训练COS方法的定性对比。从左至右,随着场景中伪装实例数量增加,现有免训练方法通常会遗漏一个或多个伪装对象。相比之下,IAPF始终能产生高质量的实例掩膜,即使面对多个伪装实例也是如此。

### 4.2.2 在CIS数据集上的评估

我们进一步在伪装实例分割(CIS)任务上评估了本文方法,在表2中报告了NC4K和COD10K-TEST数据集上的定量结果。与近期全监督('F')CIS方法(包括OSFormer(Pei et al., 2022)、CLPNet(Cui, Sun, & Yuan, 2023)、QFormer(Dong et al., 2023)、DCNet(Luo et al., 2023)、AQSFormer(Dong, Wang, Luo, & Wang, 2024)和Mask2Camouflage(Phung & Shuai, 2024))以及图像级监督('I')方法TPNet(He, Xia, Qiao, & Li, 2024)相比,本文方法取得了具有竞争力甚至更优的性能,尤其在NC4K和COD10K-TEST两个数据集上均获得了最高的AP50分数。这些结果无需任务特定训练或标注即获得,证明了所提出的实例感知提示能够同时支持语义级和实例级伪装分割。

表2. 在NC4K和COD10K-TEST数据集上CIS任务的定量评估。'F'和'I'分别表示全监督方法和图像级监督方法。'ZS'表示零样本免训练设置。

| 方法 | 设置 | NC4K | | | COD10K-TEST | | |
|---|---|---|---|---|---|---|---|
| | | AP | AP50 | AP75 | AP | AP50 | AP75 |
| OSFormer | F | .444 | .737 | .451 | .420 | .713 | .428 |
| CLPNet | F | .451 | .748 | .455 | .433 | .719 | .432 |
| QFormer | F | .501 | .768 | .528 | .454 | .718 | .479 |
| DCNet | F | .528 | .771 | .565 | .453 | .707 | .475 |
| AQSFormer | F | .505 | .768 | .535 | .465 | .738 | .485 |
| Mask2Camouflage | F | .538 | .776 | .583 | .468 | .725 | .490 |
| TPNet | I | .214 | .483 | .166 | .183 | .418 | .143 |
| **本文方法** | ZS | **.511** | **.807** | **.555** | **.448** | **.748** | **.475** |

### 4.2.3 推理效率分析

除分割精度外,我们还将IAPF的单张图像推理时间与代表性免训练COS方法(包括GenSAM(Hu et al., 2024a)、ProMaC(Hu et al., 2024b)和RDVP-MSD(Yin et al., 2025))进行比较。如表3所示,本文提出的IAPF每张图像仅需12.75秒,显著低于GenSAM(72.43秒)和ProMaC(167.86秒),也明显快于RDVP-MSD(19.85秒)。这些结果表明,尽管IAPF利用了多个冻结组件,其实例感知提示流程在实际中仍具有计算效率。特别是,IAPF通过直接为SAM构建实例级视觉提示,避免了先前方法中观察到的沉重推理开销,同时仍提供优越的分割性能,展现了精度与效率之间的良好权衡。

表3. 单张图像推理效率比较。

| | GenSAM | ProMaC | RDVP-MSD | **本文方法** |
|---|---|---|---|---|
| | 72.43s | 167.86s | 19.85s | **12.75s** |

### 4.3 消融研究

#### 4.3.1 各模块的有效性

我们进行消融研究,检验IAPF框架中每个关键组件的有效性:文本提示生成器(TPG)、Grounding DINO(G)、单前景多背景提示(SFMBP)以及自一致性实例掩膜投票(SIMV)。如表4所示,移除TPG(设置1)、G和SFMBP(设置2.1?2.3)或SIMV(设置3)都会明显降低性能,验证了每个模块的必要性。设置(2.1与2.3)和(2.2与4)的对比表明,Grounding DINO通过引入实例级框提示提供了最大的性能增益。重要的是,SFMBP带来的$S_\alpha$增益从没有Grounding DINO时的+0.009增加到有Grounding DINO时在NC4K上的+0.015,在COD10K-TEST上也呈现类似趋势。这表明实例级框枚举使SFMBP能够生成更有效的实例级点提示。因此,Grounding DINO和SFMBP提供了构建SAM实例级视觉提示所需的互补框和点元素。完整方法(设置4)在NC4K和COD10K-TEST两个数据集上均始终优于所有变体,证实了每个所提出的组件都为最终COS性能做出了显著且有效的贡献。

表4. IAPF有效性的消融研究。

| 方法变体 | NC4K | | | | COD10K-TEST | | | |
|---|---|---|---|---|---|---|---|---|
| | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| (1) 无TPG | .855 | .816 | .046 | .909 | .840 | .768 | .036 | .902 |
| (2.1) 无G且无SFMBP | .788 | .707 | .074 | .840 | .760 | .626 | .064 | .815 |
| (2.2) 无G且有SFMBP | .797 | .714 | .062 | .850 | .766 | .627 | .053 | .822 |
| (2.3) 有G且无SFMBP | .847 | .802 | .051 | .900 | .835 | .760 | .041 | .894 |
| (3) 无SIMV | .850 | .812 | .042 | .902 | .844 | .780 | .031 | .904 |
| **(4) 本文方法** | **.862** | **.828** | **.043** | **.916** | **.856** | **.799** | **.033** | **.917** |

#### 4.3.2 对重复次数的敏感性

我们评估了重复次数$I$对方法稳定性和性能的影响。如表5所示,增加重复次数可改善分割结果。当$I=3$时取得最佳性能,更高的重复次数带来的收益递减。

表5. 对重复次数$I$敏感性的消融研究。

| 重复次数 | NC4K | | | | COD10K-TEST | | | |
|---|---|---|---|---|---|---|---|---|
| | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| 1 | .850 | .812 | .042 | .902 | .844 | .780 | .031 | .904 |
| 2 | .857 | .820 | .045 | .912 | .852 | .789 | .034 | .913 |
| **3** | **.862** | **.828** | **.043** | **.916** | **.856** | **.799** | **.033** | **.917** |
| 4 | .861 | .827 | .044 | .914 | .855 | .798 | .033 | .915 |
| 5 | .859 | .824 | .044 | .912 | .855 | .796 | .034 | .914 |

#### 4.3.3 对NMS阈值的敏感性

我们进一步研究了NMS阈值的影响,比较了六种设置:无NMS以及$\tau_{NMS} \in \{0.1, 0.2, 0.3, 0.5, 0.8\}$。其他所有组件和超参数均与主实验中使用的一致。如表6所示,应用NMS相比无NMS设置可改善整体分割性能,表明重复提案抑制有利于后续的实例级提示过程。在所评估的阈值中,$\tau_{NMS}=0.2$在报告的指标上取得了最佳整体性能,尽管它并非对每个单独指标或数据集都是最优的。这一结果表明,0.2在移除冗余重叠提案和保留对评估COD基准有价值的实例假设之间提供了有利的权衡。

表6. NMS IoU阈值的敏感性分析。"无"表示移除了后处理抑制步骤。其他所有设置与主实验中使用的相同。

| $\tau_{NMS}$ | NC4K | | | | COD10K-TEST | | | |
|---|---|---|---|---|---|---|---|---|
| | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| 无 | .858 | .822 | .045 | .912 | .853 | .793 | .035 | .911 |
| 0.8 | .861 | .826 | .044 | .914 | .854 | .794 | .035 | .911 |
| 0.5 | .862 | .827 | .044 | .914 | .855 | .795 | .035 | .912 |
| 0.3 | .863 | .828 | .044 | .916 | .856 | .797 | .034 | .918 |
| **0.2** | **.862** | **.828** | **.043** | **.916** | **.856** | **.799** | **.033** | **.917** |
| 0.1 | .862 | .827 | .043 | .916 | .855 | .798 | .034 | .916 |

#### 4.3.4 SIMV候选选择策略的消融

为评估SIMV的选择组件,我们为每张图片生成$I$次随机预测,并仅改变用于选择最终掩膜的规则。默认SIMV遵循公式14。随机选择从$i=1,\ldots,I$中均匀采样一个预测,而最大置信度选择选择$i_{conf}=\arg\max_i s_i$,其中$s_i$表示第$i$次预测的最大置信度。SIMV(带置信度)保留公式14中的共识距离$d_i$,并选择$i_{cw}=\arg\min_i d_i/(s_i+\epsilon)$。为进行基于正确性的分析,Oracle在选择$i_{oracle}=\arg\max_i \text{IoU}(M_i, G)$时使用真实掩膜$G$,但仅在预测生成后才使用真实值。

如表7所示,SIMV在两个数据集上均始终优于随机和最大置信度选择。在COD10K-TEST上,与最大置信度选择相比,SIMV将$F_{\beta\omega}$从.783提高到.799,并将$M$从.035降低到.033。置信度加权产生了可比但并不始终更好的结果,表明检测器置信度本身无法可靠地解决共识错误。Oracle进一步将$F_{\beta\omega}$提高到.820,为候选选择阶段提供了基于正确性的上界。Oracle与SIMV之间不容忽视的差距表明,即使使用相同的候选集,设计更合适的选择策略仍有进一步改善最终分割质量的余地。

表7. SIMV选择策略的消融。

| 方法 | NC4K | | | | COD10K-TEST | | | |
|---|---|---|---|---|---|---|---|---|
| | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| 随机 | .851 | .814 | .047 | .902 | .845 | .779 | .036 | .905 |
| 最大置信度 | .858 | .821 | .046 | .910 | .848 | .783 | .035 | .909 |
| **SIMV** | **.862** | **.828** | **.043** | **.916** | **.856** | **.799** | **.033** | **.917** |
| SIMV(带置信度) | .862 | .829 | .043 | .915 | .856 | .798 | .033 | .914 |
| Oracle | .876 | .850 | .037 | .929 | .869 | .820 | .029 | .928 |

#### 4.3.5 不同检测器的消融

为检验我们的框枚举框架能否兼容不同检测器,我们将默认的Grounding DINO(Liu et al., 2023)替换为OWLv2(Minderer, Gritsenko, & Houlsby, 2023)、GLIP(Li et al., 2022)和LLMDet(Fu et al., 2025),同时保持后续的提示、掩膜生成和评估流程不变。如表8所示,该框架在所有四个检测器上均能一致运行,表明其不依赖于特定检测器的架构或内部特征。

表8. 在NC4K和COD10K-TEST上不同开放词汇检测器的消融。AP表示各检测器的框检测mAP,其余指标评估所得掩膜。Grounding DINO是本文框架中使用的默认检测器。

| 检测器 | NC4K | | | | | COD10K-TEST | | | | |
|---|---|---|---|---|---|---|---|---|---|---|
| | AP | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | AP | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| OWLv2 | .487 | .846 | .804 | .048 | .899 | .366 | .829 | .758 | .042 | .887 |
| GLIP | .622 | .857 | .819 | .046 | .910 | .530 | .839 | .772 | .039 | .899 |
| **默认** | **.695** | **.862** | **.828** | **.043** | **.916** | **.609** | **.856** | **.799** | **.033** | **.917** |
| LLMDet | .733 | .865 | .832 | .042 | .917 | .668 | .859 | .800 | .032 | .919 |

此外,下游分割性能总体上随框检测AP的提高而改善。在两个数据集上,AP的增加始终伴随$S_\alpha$、$F_{\beta\omega}$和$E_m\phi$的提高以及$M$的降低。特别是,将默认的Grounding DINO替换为LLMDet后,COD10K-TEST上的框AP从.609提高到.668,并相应改善了分割结果。这些结果表明,本文提出的框架提供了模块化的检测器接口,并能直接从更强的开放词汇检测器中受益。

#### 4.3.6 不同伪装实例数量的性能比较

表9报告了在COD10K-TEST上按伪装实例数量对图像进行分层后的COS性能:(1)单实例,(2)双实例,(3)三实例及以上。对于每个指标,我们还列出了相对于单实例基线(每种方法的第1行)的相对变化(%)。

表9. COD10K-TEST上不同伪装实例数量的性能比较。

| 方法 | 实例数 | COD10K-TEST | | | |
|---|---|---|---|---|---|
| | | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| **GenSAM** | (1) | .789 | .690 | .055 | .852 |
| | (2) | .730 -7.48% | .622 -9.86% | .064 -16.36% | .820 -3.76% |
| | (3) | .632 -19.90% | .443 -35.80% | .077 -40.00% | .700 -17.84% |
| **ProMaC** | (1) | .814 | .725 | .040 | .881 |
| | (2) | .760 -6.63% | .667 -8.00% | .051 -27.50% | .855 -2.95% |
| | (3) | .634 -22.11% | .457 -36.97% | .073 -82.50% | .750 -14.87% |
| **RDVP-MSD** | (1) | .833 | .756 | .038 | .886 |
| | (2) | .774 -7.08% | .674 -10.85% | .042 -10.53% | .834 -5.87% |
| | (3) | .648 -22.21% | .455 -39.81% | .079 -107.89% | .672 -24.15% |
| **本文方法** | (1) | **.860** | **.804** | **.033** | **.918** |
| | (2) | **.840 -2.33%** | **.788 -1.99%** | **.032 +3.03%** | **.921 +0.33%** |
| | (3) | **.777 -9.65%** | **.697 -13.31%** | **.050 -51.52%** | **.846 -7.84%** |

本文提出的IAPF随着实例密度增长始终保持较高精度。所有方法在$M$上较大的百分比波动是可以预期的,因为绝对MAE值非常小;然而,IAPF的绝对MAE仍保持最低。这些结果证实,实例感知提示流程——特别是基于检测器无关的框枚举器的框提示和SFMBP点采样——为应对包含大量伪装对象的杂乱场景提供了强韧性。

#### 4.3.7 与其他最先进方法的公平比较

为确保公平比较,我们使用相同的模型配置评估所有方法,包括作为MLLM的LLaVA-1.5-13B、用于CLIP的CS-ViT-L/14@336px,以及基于ViT-H构建的HQ-SAM,如4.1.2节所述。表10的结果表明,本文方法显著优于GenSAM(Hu et al., 2024a)和ProMaC(Hu et al., 2024b)。RDVP-MSD(Yin et al., 2025)保持与本文方法相同的配置,未显示性能改善,证实了本文设置的稳定性。即使模型配置相同,本文方法在所有指标上均始终领先,充分展现了其在处理多实例伪装和产生准确免训练分割方面的优越能力。

表10. 本文方法与其他最先进方法的公平比较。

| 方法 | NC4K | | | | COD10K-TEST | | | |
|---|---|---|---|---|---|---|---|---|
| | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| GenSAM | .827 | .774 | .054 | .880 | .811 | .721 | .041 | .867 |
| ProMaC | .826 | .779 | .053 | .890 | .818 | .738 | .038 | .887 |
| RDVP-MSD | .823 | .764 | .056 | .873 | .825 | .743 | .038 | .877 |
| **本文方法** | **.862** | **.828** | **.043** | **.916** | **.856** | **.799** | **.033** | **.917** |

### 4.4 下游应用

我们在两个真实的多实例数据集上进行了评估——ACOD-12K(密集农作物,仅RGB)和PlantCamo(植物伪装)。在这些场景中,目标较小且分散;其他将SAM语义级提示作为输入的免训练基线会将多个对象合并或泄漏到纹理背景中,而IAPF则保持了实例分离(图4)。定量上,IAPF在两个数据集的所有指标上均取得了最佳结果,且优势明显(见表11),证明了将提示从语义级升级到实例级对于多分散对象的下游任务的鲁棒泛化至关重要。

![图4](图4)
图4. ACOD-12K和PlantCamo上的下游定性结果。

表11. ACOD-12K和PlantCamo上的下游定量结果。

| 方法 | ACOD-12K | | | | PlantCamo | | | |
|---|---|---|---|---|---|---|---|---|
| | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ | $S_\alpha\uparrow$ | $F_{\beta\omega}\uparrow$ | $M\downarrow$ | $E_m\phi\uparrow$ |
| GenSAM | .478 | .202 | .193 | .517 | .670 | .540 | .114 | .743 |
| ProMaC | .457 | .175 | .225 | .499 | .651 | .521 | .124 | .757 |
| RDVP-MSD | .453 | .147 | .202 | .505 | .704 | .582 | .100 | .761 |
| **本文方法** | **.603** | **.406** | **.103** | **.660** | **.758** | **.664** | **.086** | **.829** |

### 4.5 失败案例与局限性

尽管有效,IAPF依赖可靠的实例级框提示来定位伪装对象。如图5所示,重度伪装的物体可能被分配低于检测阈值的置信度分数,导致过滤后没有有效候选框。IAPF随后启用全图回退框以保持推理流程定义明确。尽管这一安全机制仍能实现语义级分割,但它无法提供有效目标框所传达的实例级定位。

![图5](图5)
图5. IAPF在全图回退下的代表性失败案例,其中缺乏可靠的实例级框导致远处的背景提示和不准确的目标边界。

在全图回退下,热图归一化和点选择在整个图像上进行。因此,所选背景点可能距离目标边界很远,并为SAM提供不足的局部对比度,如图5第三行所示。这种弱的空间约束使微妙的前景-背景边界难以区分,导致前景预测不完整以及泄漏到周围背景区域。

这些案例揭示了当前从基于置信度的框过滤到全图回退的硬切换的一个局限性。一个有前景的方向是保留低置信度提案并根据其与高响应前景点的空间一致性重新评估。将检测器置信度与点-框一致性相结合可能在调用全图回退之前恢复更有信息量的物体级框,从而为后续分割提供更强的局部化提示。

### 5. 结论

我们提出了IAPF,一个面向免训练COS的实例感知提示框架,在完全冻结模型下将视觉提示粒度从语义级升级到实例级。具体而言,IAPF通过两个耦合步骤为SAM构建实例级视觉提示:基于图像特定前景标签的实例框枚举,以及单前景多背景提示(SFMBP),后者利用多个背景线索在每个候选框内进行干扰感知点细化。

为了进一步提升鲁棒性,我们引入了一种自一致性实例掩码投票机制,用于在同义任务通用提示中选择最稳定的解决方案。这些设计共同实现了可靠且精细的多实例伪装目标分割,且无需任何任务特定训练或标注。在三个伪装目标分割基准、两个实例分割基准以及两个下游数据集上的大量实验表明,该方法在免训练方法中取得了最先进性能,并展现出强大的跨域泛化能力,突显了实例感知提示在可提示伪装目标分割中的重要性。CRediT作者贡献声明:Yin Chao:概念设计、方法设计、软件实现、调查研究、形式化分析、数据整理、可视化、验证、原稿撰写、审阅与编辑。Li Jide:可视化、调查研究、审阅与编辑。Yao Hang:形式化分析、数据整理、审阅与编辑。Li Xiaoqiang:资源提供、监督指导、项目管理、经费获取、审阅与编辑。Yin Chao | Li Jide | Yao Hang | Li Xiaoqiang
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号