《Optics & Laser Technology》:SVSFusion: Semantic-prior visual self-prompted learning for infrared and visible image fusion
编辑推荐:
摘要红外与可见光图像融合(IVIF)旨在整合来自异构模态的互补信息,以提升在低光照和遮挡环境下的场景感知能力。然而,现有方法往往难以在感知质量和下游任务性能之间取得平衡:产生视觉上美观融合结果的算法可能会削弱语义可区分性,而面向任务的方法则可能损害视觉保真度。针对这一问题,我
摘要
红外与可见光图像融合(IVIF)旨在整合来自异构模态的互补信息,以提升在低光照和遮挡环境下的场景感知能力。然而,现有方法往往难以在感知质量和下游任务性能之间取得平衡:产生视觉上美观融合结果的算法可能会削弱语义可区分性,而面向任务的方法则可能损害视觉保真度。针对这一问题,我们提出了 SVSFusion,一个由三个协调组件构成的视觉-语义先验引导自提示框架。首先,我们引入了一种几何感知的二维多方向扫描策略,以替代现有状态空间模型和 Transformer 模型中采用的传统一维令牌展平方法。通过在特征传播过程中保持空间连续性,所提出的逐块递归架构能够通过门控双向交互实现更有效的长程依赖建模。其次,我们设计了一个双分支先验提取模块,用于生成互补的视觉提示,包括从预训练分割网络中提取的红外图像语义先验,以及通过结构张量引导的增强分支获取的可见光图像结构增强提示。第三,一个记忆门控空间条件模块构建了瞬态提示条件记忆,并将模态特定的分层视觉提示选择性地注入融合编码器,从而在减少先验诱导的特征退化的同时实现受控的单向先验转移。在多数据集上的大量实验表明,该方法在感知指标以及语义分割和物体检测等下游任务上均实现了持续改进。所提出的框架在视觉质量、空间结构完整性和任务适应性之间实现了卓越平衡。代码地址为:
https://github.com/Gumpford/IVIF-SVSFusion。
引言
红外与可见光图像融合(IVIF)将同一场景的红外图像和可见光图像合并为单张融合图像,以保留互补的热显著性和丰富的视觉细节。红外传感器独立于环境光照捕获热辐射,能够在黑暗、烟雾、雾霾和其他视觉退化环境中实现可靠的感知。相比之下,可见光相机在光照条件良好时能提供丰富的纹理、结构细节和高分辨率。通过利用这些互补特性,IVIF 受益于自动驾驶 [1]、机器人感知 [2] 和远程监控 [3], [4] 等应用。
现有 IVIF 方法可沿三条演化路线进行组织,每种方法解决质量与任务张力之间的不同方面,但均未能完全解决该问题。传统方法 [5], [6] 将融合建模为对手工设计目标(如信息保留、结构相似度)的优化问题,实现了确定性和可解释的结果。然而,其固定的融合规则无法适应场景特定内容,导致源图像呈现复杂退化时性能次优。表征学习方法由深度卷积架构 [7], [8] 和 Transformer 架构 [9], [10] 驱动,从数据中学习融合映射,大幅提升了细节保留和感知质量。然而,这些方法在面向感知的训练范式下运行,其损失函数(重建、梯度、SSIM)并未明确鼓励下游任务性能,且融合输出往往存在语义不一致,从而降低分割和检测精度。任务驱动方法 [11], [12] 直接将分割或检测监督纳入融合训练,从而缩小了特定应用中质量与任务之间的差距。
一个近期且前景广阔的方向是利用预训练视觉模型作为红外-可见光图像融合的语义先验来源 [13], [14]。语义引导使融合网络能够聚焦于任务相关区域,从而提升感知质量和下游感知能力。近期方法探索了将语义先验融入融合过程的不同策略。然而,仍有若干挑战尚未解决。首先,大多数现有方法通过简单的拼接或相加引入先验,这可能导致融合过程中的空间失真和结构退化。其次,近期基于状态空间模型的方法将二维特征图序列化为以一维扫描序列,破坏了局部空间连续性并削弱了边缘和纹理保留。第三,红外和可见光图像具有根本不同的成像特性,即热辐射与反射光,而当前方法通常采用统一的先验提取策略,无法有效捕捉此类模态差异。
现有基于提示的 IVIF 方法通常依赖于外部指定的文本描述、特定任务的语义监督,或为两种模态使用单一共享先验提取器。尽管这些策略提供了高层指导,但文本提示可能需要人工构建且可能无法准确描述空间变化的图像内容,而任务驱动的语义引导通常在融合训练期间需要额外标注。此外,使用统一的先验提取策略忽略了红外和可见光图像的不同成像特性,且将提示直接拼接或加到融合特征中可能会引入无关的先验信息。相比之下,我们的方法从输入图像对中自动生成模态特定的视觉提示:预训练分割分支提取红外图像的语义线索,而结构引导增强分支捕捉可见光图像的细粒度结构线索。这些互补提示通过基于 MGSC 的单向传输机制注入多个特征层级,而非通过直接特征拼接或相加。因此,所提出的方法在提示来源、模态特异性、先验传输机制和空间特征传播方面与现有基于提示的方法有所不同。
为了解决现有方法的局限性,我们提出了一个利用预训练模型语义先验的自提示视觉融合框架,以联合优化视觉质量和任务适应性。引入了一种增强的二维多方向扫描策略,用于捕捉长程依赖和局部交互,有效平衡全局语义和细粒度细节,同时保持空间结构。此外,我们设计了一个先验引导的双分支视觉提示生成器,包括用于红外图像的语义分割分支和用于可见光图像的细节增强分支,在融合过程中形成互补的多模态先验。为进一步提升先验利用效率,采用了一个记忆门控空间条件模块,以实现从预训练模型到融合网络的单向知识转移,增强稳定性和效率。整体框架如图 1 所示。我们的贡献总结如下:
- •
我们将水波视觉传播重新表述为原生二维图像网格,联合建模长程依赖和局部交互,同时保持空间拓扑和几何一致性。
- •
我们构建了一个模态特定的视觉自提示机制,将语义目标建模分配给红外分支,将结构细节建模分配给可见光分支,在融合训练期间无需下游任务标注即可产生互补的多层级提示。
- •
我们开发了一个记忆门控空间条件模块,选择性地注入分层视觉提示到融合表示中,协调语义引导、结构保持和跨模态交互。
在多数据集上的大量实验系统性地证明了我们的框架的有效性和优越性。
章节摘要
基于学习的 IVIF 方法
基于深度学习的方法。 近年来,基于深度学习的红外可见光图像融合(IVIF)方法在提升视觉质量方面取得了相当大的进展,在细节保留、结构一致性和噪声抑制方面具有增强的能力 [15]。早期方法主要依赖于卷积编码器-解码器架构和无监督学习框架。代表性工作如 DenseFuse [7] 和 U2Fusion [8] 在跨模态特征提取方面表现出色
问题定义
所提出的框架(图 2)通过语义先验和自提示增强了局部空间建模,并通过多层次提示集成改善了跨模态融合。采用了一种增强的二维多方向扫描策略来捕捉长程和短程依赖。一个双分支视觉提示生成器,包括用于红外语义的语义分割分支和用于可见光结构特征的细节增强分支,提供了互补的分层
实验与结果
在本节中,我们全面概述了 IVIF 任务的实现和配置。通过大量实验,我们展示了模型的性能并验证了所选架构的有效性。
结论
在本研究中,我们提出了 SVSFusion,一种用于红外与可见光图像融合的语义先验视觉自提示框架。通过结合几何感知的二维传播、模态特定的视觉提示和基于 MGSC 的提示交互,所提出的方法有效保留了热显著性、纹理细节和空间结构。在多基准上的实验证明了其强大的融合性能,并确认融合图像提供了更具区分度的语义
CRediT 作者贡献声明
Mingchuan Tan:原创草稿撰写、验证、方法论。Rencan Nie:方法论、形式化分析。Jinde Cao:方法论。Li Yang:验证。
利益冲突声明
作者声明他们没有已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。
致谢
本工作得到了国家自然科学基金资助,项目编号62562062和62576098,云南省科技计划项目资助,项目编号202402AA310054和202502AC080005,云南省基础研究计划项目资助,项目编号202301AS070025和202401AT070467,以及云南省教育厅科学研究基金项目2025Y0096和2026Y0181。
Mingchuan Tan|Rencan Nie|Jinde Cao|Li Yang