引言
图像融合旨在将来自不同源头的图像合并为单一信息丰富的结果,使融合结果在信息丰富度和视觉清晰度上均超越各自的输入。通过对不同模态协同特征的综合,图像融合增强了场景感知能力,并为下游任务提供了更为可靠的输入,例如目标检测Liu et al. (2022)和语义分割Liu et al. (2023); Tang, Yuan, & Ma (2022a)。图像融合涵盖了多个专门领域,如高光谱图像融合Dian, Guo, & Li (2023a); Dian, Shan, He, & Liu (2023b)、遥感泛锐化Cao, Deng, Wang, Hou, & Vivone (2024); Wang, Zhang, Tian, & Ma (2024a)以及IVIF Huang et al. (2022)。在这些任务中,IVIF凭借其在中远距离军警监控和各类民用场景中的重要应用,近年来一直是广受研究关注的热点话题Han et al. (2023)。
红外成像能够有效捕捉物体在低光照或复杂条件下发出的热辐射,在目标检测和显著区域增强方面具有独特优势。相比之下,可见光成像提供了丰富的纹理和结构细节,对于场景理解和视觉识别至关重要。因此,整合红外与可见光模态能够在保留红外图像中显著热信息的同时,丰富可见光图像中的细粒度空间细节Ma, Ma, & Li (2019a)。尽管具有这些优势,两种模态在成像机制、光谱特征和信息表示方面存在显著差异,给跨模态特征对齐和信息互补带来了相当大的挑战。具体而言,红外图像通常缺乏纹理细节,而可见光图像在低光照条件下易受噪声影响Ma, Tang, Xu, Zhang, & Xiao (2021)。此外,两种模态之间的动态范围差异还可能进一步降低融合结果的稳定性和感知质量。因此,开发一种既能实现互补集成、又能保持结构一致性和细节保真度的融合框架,仍然是该领域亟待解决的关键且具有挑战性的研究问题。
为应对上述挑战,近年来已发展出多种图像融合策略。早期研究主要依赖手工特征和手工设计的融合规则,代表性方法包括多尺度变换技术Awad, Elliethy, & Aly (2019); Chen, Li, Luo, Mei, & Ma (2020)和稀疏表示模型Wang, Peng, Feng, He, & Fan (2014); Zhu, Yin, Chai, Li, & Qi (2018)。随着深度学习的快速发展,许多数据驱动的图像融合方法被提出。特别是基于卷积神经网络Huang et al. (2022); Liu, Fan, Jiang, Liu, & Luo (2021)、生成对抗网络Gao, Ma, & Liu (2022); Liu et al. (2022)和Transformer架构Ma et al. (2022); Wang, Chen, Shao, Li, & Zhang (2022b)的模型得到了广泛研究,在跨模态特征提取和融合性能方面展现了显著改进。此外,近年来研究开始探索将双分支架构应用于IVIF。在这些方法中,Zhao等人Zhao et al. (2023a)采用相关性驱动损失实现特征解耦,而Li等人Li et al. (2025)则聚焦于空间域内的差异相关性。然而,这些方法仅限于在空间域内进行处理。相比之下,Hu等人Hu, Zhang, Yuan, & Zhang (2024)和Fan等人Fan et al. (2025)已开始引入频域信息。Hu等人Hu et al. (2024)引入基于快速傅里叶变换(FFT)的特征,但其架构在结构分量与细节分量之间的交互有限。Fan等人Fan et al. (2025)试图构建双域解耦框架,但跨域交互和特征一致性对齐方面仍有提升空间。
本文开发了一种DADR框架来解决IVIF任务。该框架通过解耦特征提取和跨域对齐,联合建模空间域和频域中的互补信息,从而增强全局结构表示,同时有效保留细粒度纹理细节。具体而言,DADR的处理流程包括以下几个关键步骤。首先,利用RestormerZamir et al. (2022)模块从双模态源图像中捕获低层特征,为后续特征处理提供初始表示。其次,在空间域中,分别使用可逆神经网络(INN)和Restormer提取局部和全局特征,已有研究Zhao et al. (2023a)表明这两者在特征提取方面有效。在频域中,通过高斯高通和低通滤波获取高频和低频特征,滤波后的示例图像如图1所示。为了充分融合跨模态信息,采用动态权重融合机制进行自适应特征融合,随后由解码器组合双域特征以生成最终的融合图像。
从方法论角度,我们进一步引入了域内解耦与跨域对齐损失函数,以抑制同一域内局部与全局特征之间的冗余相似性,同时增强跨域特征的一致性。这使得域内特征解耦与跨域特征对齐的协同优化成为可能。该机制在提升合成结果感知保真度的同时,也为后续任务提供了更具鲁棒性和信息丰富的表示。
本文的主要贡献总结如下:
- •
我们设计了一种双域表示学习机制,在空间域和频域中解耦局部细节和全局结构特征。为了充分利用这些互补特征,采用DWF模块自适应地融合两个域的特征。
- •
引入了域内解耦与跨域对齐损失,以抑制同一域内特征间的冗余相关性,同时增强空间域与频域表示之间的一致性。该设计实现了域内特征解耦与跨域特征对齐的协同优化。
- •
进行了实验验证和下游任务应用。该方法在多个公开数据集上进行了系统评估,结果表明DADR在定量和定性指标上均优于现有的红外-可见光融合算法。此外,该方法显著提升了目标检测和语义分割等高层视觉任务的性能,验证了其在实际应用中的有效性和泛化能力。