SGWAFusion:用于红外与可见光图像融合的语义引导小波注意力融合网络

《Optics & Laser Technology》:SGWAFusion: A semantic-guided wavelet attention fusion network for infrared and visible image fusion

【字体: 大 中 小 】 时间:2026年10月01日 来源:Optics & Laser Technology 4.6

编辑推荐:

   - 提出了一种语义引导的小波注意力融合网络,用于红外与可见光图像融合。- 引入小波域多尺度门控建模,以增强结构特征与细节表征。- 整合冻结的SigLIP先验、FiLM调制以及空间-通道注意力,实现语义引导的深度融合。 引言 红外与可见光图像融合(IVIF)是多模态图像处理

  

- 提出了一种语义引导的小波注意力融合网络,用于红外与可见光图像融合。- 引入小波域多尺度门控建模,以增强结构特征与细节表征。- 整合冻结的SigLIP先验、FiLM调制以及空间-通道注意力,实现语义引导的深度融合。

引言

红外与可见光图像融合(IVIF)是多模态图像处理中的重要任务,旨在将异构传感器捕获的互补信息整合为更具信息量的图像[1]、[2]、[3]、[4]。可见光图像包含丰富的纹理、清晰的结构细节和自然场景外观,但在低光照或复杂环境条件下容易产生退化。相比之下,红外图像能够捕获目标与背景之间的热辐射差异,从而在复杂场景中突出行人和车辆等显著目标,但通常存在纹理表征较弱、背景细节有限的问题。因此,在复杂场景中同时保留可见光结构细节与红外显著目标响应仍然是红外与可见光图像融合的一项关键挑战。

近年来,红外与可见光图像融合方法逐渐从手工设计规则驱动的框架演变为数据驱动的深度学习模型。传统方法主要包括多尺度变换、稀疏表示、显著性建模以及基于优化的方法,这些方法通常依赖于显式的特征分解和预定义的融合规则[5]、[6]、[7]。尽管这些方法具有一定的可解释性,但其手工设计的特点限制了它们在复杂场景中的适应性和泛化能力。随着深度学习的发展,基于卷积神经网络(CNN)、自编码器(Autoencoder)、生成对抗网络(GAN)、Transformer、自监督学习以及对比学习等融合的模型逐渐成为主流[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]。这些方法能够以数据驱动的方式学习非线性特征映射,降低对人工融合规则的依赖,推动红外与可见光图像融合从像素级规则设计向自适应特征表征转变。

尽管现有方法已取得显著进展,但在复杂场景中红外与可见光图像融合仍面临若干挑战。首先,由于成像机制不同,两种模态之间存在固有的模态差异:可见光图像主要提供纹理和结构表征,而红外图像主要反映热辐射强度。因此,如何充分建模其互补关系仍然具有挑战性[17]、[18]。其次,许多方法主要依赖像素强度、梯度分布或低层和中层视觉特征来约束融合过程。尽管这些策略在一定程度上可以提高局部清晰度和边缘保真度,但其利用高频细节、全局语义关系和场景级结构先验的能力仍然有限。现有的语义感知和任务驱动方法已表明,高层语义信息有助于增强融合图像的场景理解能力[19]、[20]、[21]、[22]、[23]、[24]。然而,如何有效地将稳定的视觉语义先验注入深度跨模态融合过程,并自适应地协调红外显著目标增强与可见光结构细节保留,仍需进一步研究。

为解决上述问题,我们提出了SGWAFusion——语义引导的小波注意力融合网络。该方法采用模态特定的层级编码器分别建模可见光和红外图像特征,其中可见光分支专注于纹理细节和背景结构表征,而红外分支则通过方向感知卷积增强显著目标和结构轮廓。为提高深度特征的结构表征能力,在深度特征阶段引入离散小波变换,将深度特征组织为低频结构信息和高频细节信息,从而为跨模态互补融合提供更显式的频域表征。如图1所示,融合结果和指标曲线提供了对本文方法如何平衡红外显著目标增强与可见光结构细节保留的直观概述;系统性的实验比较在第4节中给出。

在此基础上,我们设计了语义引导的注意力融合模块(SGAFM)。冻结的SigLIP视觉编码器[25]从可见光图像中提取场景级语义表征,通过FiLM调制[26]映射为逐通道的缩放和平移参数,以重新校准联合深度特征。由于这些特征保留了从可见光和红外分支提取的空间结构和模态特定线索,SCAB进一步精炼其通道依赖性和空间响应。通过这种渐进式调制过程,场景级语义上下文影响通道级的特征选择,而红外分支提供的空间和热线索支持局部目标响应的精炼。因此,SGAFM在促进语义一致性的同时,保留了红外显著性和可见光结构细节。

此外,浅层细节聚合与解码器重建相结合,充分利用互补的深度语义信息和浅层局部纹理信息。浅层特征用于补充边缘、纹理和局部细节,而深度特征则提供语义相关的目标响应和结构表征。这两类特征通过跳跃连接进行集成,并共同参与最终图像重建。为进一步从多个层面约束融合结果,我们构建了多损失联合优化策略,包括强度保持损失、结构相似性损失、梯度细节损失、小波频率损失和语义一致性损失,从而提升融合图像的视觉质量及其对下游任务的适应性。

本文的主要贡献总结如下:

- 我们提出了SGWAFusion,一种语义引导的小波注意力融合网络,该网络在端到端框架内统一了模态特定编码、小波域深度特征组织和语义引导注意力融合,以同时表征红外显著目标、可见光结构细节和高层场景语义。
- 我们构建了模态特定的小波多尺度表征机制。通过整合可见光纹理-结构建模、红外显著目标增强、小波域高低频组织和基于MS-GCRM的多尺度门控表征,所提出的机制提升了深度特征的结构表征能力。
- 我们设计了语义引导的注意力融合模块(SGAFM),该模块通过冻结的SigLIP编码器提取场景级语义条件,利用基于FiLM的通道调制将其引入联合深度特征,并采用SCAB在调制后的特征图上精炼空间和通道响应,从而协调语义条件化、特征调制和局部响应精炼。
- 我们在TNO、M3FD和RoadScene数据集上与各种最先进的融合方法进行了定性及定量比较,并通过目标检测和语义分割任务进一步验证了融合结果的下游应用价值。实验结果表明,所提方法在主观视觉质量、客观评价指标和下游视觉任务中均取得了优异的综合性能。

本文其余部分组织如下:第2节综述现有红外-可见光图像融合方法。第3节详细介绍所提出的SGWAFusion框架及相应的损失函数设计。第4节报告实验设置、与最先进方法的比较、下游任务验证及消融实验,随后对实验结果进行详细分析。最后,第5节总结全文并讨论可能的未来研究方向。

小节摘要

传统方法以及基于深度学习的融合方法

早期的红外与可见光图像融合方法主要依赖手工设计的图像分解模型和融合规则,如多尺度变换、稀疏表示和显著性建模。现有的综述已系统地总结了红外与可见光图像融合方法的发展[1]以及基于深度学习的图像融合框架[2]。对于具有代表性的传统方法,Ma等人[7]利用视觉显著性图和加权最小二乘优化……

整体架构

如图2所示,所提出的SGWAFusion采用统一的框架进行红外与可见光图像融合。输入的可见光亮度通道和红外灰度图像分别表示为IvisY和Iir。整体网络主要由模态特定的层级编码器、语义先验提取分支、语义引导的注意力融合模块(SGAFM)、浅层细节聚合模块(SDAM)和图像重建解码器组成。具体而言,可见光分支……

实验设置与数据集

所提出的方法使用PyTorch实现,并在NVIDIA GeForce RTX 5090 GPU上进行训练。在训练过程中,批量大小设为4,训练轮数设为20。网络参数使用Adam优化器进行优化,初始学习率设为1×10?3。训练过程中采用StepLR学习率衰减策略,步长设为10,衰减因子设为0.1。损失项的权重分别设为10、5、5、5和1。

……

结论

在本文中,我们提出了SGWAFusion,一种用于红外与可见光图像融合的语义引导小波注意力融合网络。通过整合模态特定的层级编码、小波域多尺度表征学习和语义引导注意力融合,所提出的方法旨在解决同时保留频域细节、红外目标显著性和高层语义一致性的难题。特别是,SGAFM引入了场景级……

CRediT作者贡献声明

张文瑞:撰写——初稿、可视化、验证、软件、方法论、正式分析、概念构思。孙桂玲:撰写——审阅与编辑、监督、方法论。刘佳伟:撰写——审阅与编辑、数据管理。刘世豪:撰写——审阅与编辑、可视化。

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系,这些关系可能影响到本文所报告的工作。

致谢

本研究部分得到了国家自然科学基金重大项目(批准号:92473208)的资助,并得到了天津光电传感器与传感网络技术重点实验室的支持。

张文瑞 | 孙桂玲 | 刘佳伟 | 刘世豪
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号