DADR:面向红外与可见光图像融合的解耦-对齐双域表示学习

《Expert Systems with Applications》:DADR:Decoupled and Aligned Dual-Domain Representation Learning for Infrared and Visible Image Fusion

【字体: 大 中 小 】 时间:2026年08月28日 来源:Expert Systems with Applications 9.4

编辑推荐:

   摘要红外与可见光图像融合(IVIF)旨在整合两种模态的互补优势,生成具有清晰目标轮廓和丰富结构细节的高质量图像。实现这一目标需要联合建模全局结构和局部纹理。然而,大多数现有方法主要依赖空间域表示。尽管这些方法能够捕捉低频处的结构信息和高频处的细粒度细节,但它们无法显式地将二者

  

摘要

红外与可见光图像融合(IVIF)旨在整合两种模态的互补优势,生成具有清晰目标轮廓和丰富结构细节的高质量图像。实现这一目标需要联合建模全局结构和局部纹理。然而,大多数现有方法主要依赖空间域表示。尽管这些方法能够捕捉低频处的结构信息和高频处的细粒度细节,但它们无法显式地将二者解耦。相比之下,频域表示提供了一种显式且可解释的先验,用于将低频结构分量与高频细节分量分离开来,从而为跨模态融合中的全局–局部建模提供互补线索。受此启发,我们提出了一种解耦与对齐双域表示学习框架(DADR)。DADR首先采用Restormer从输入的红外和可见光图像中提取浅层特征。随后利用这些特征分别在空间域和频域中派生局部与全局表示,并通过动态权重融合(DWF)机制自适应地将其组合。此外,DADR引入了域内解耦与跨域对齐损失,该损失抑制了域内全局与局部特征之间的冗余,同时强化了跨模态表示的一致性,从而实现了更有效的协同优化。最后,解码器融合精炼后的双域特征以生成最终的融合图像。大量实验表明,DADR在多个公开数据集上取得了优异的定量和定性性能。此外,融合结果在下游计算机视觉任务中,包括目标检测和语义分割,也带来了性能提升。代码可在 https://github.com/echobytes17/DADR 获取。

引言

图像融合旨在将来自不同源头的图像合并为单一信息丰富的结果,使融合结果在信息丰富度和视觉清晰度上均超越各自的输入。通过对不同模态协同特征的综合,图像融合增强了场景感知能力,并为下游任务提供了更为可靠的输入,例如目标检测Liu et al. (2022)和语义分割Liu et al. (2023); Tang, Yuan, & Ma (2022a)。图像融合涵盖了多个专门领域,如高光谱图像融合Dian, Guo, & Li (2023a); Dian, Shan, He, & Liu (2023b)、遥感泛锐化Cao, Deng, Wang, Hou, & Vivone (2024); Wang, Zhang, Tian, & Ma (2024a)以及IVIF Huang et al. (2022)。在这些任务中,IVIF凭借其在中远距离军警监控和各类民用场景中的重要应用,近年来一直是广受研究关注的热点话题Han et al. (2023)。
红外成像能够有效捕捉物体在低光照或复杂条件下发出的热辐射,在目标检测和显著区域增强方面具有独特优势。相比之下,可见光成像提供了丰富的纹理和结构细节,对于场景理解和视觉识别至关重要。因此,整合红外与可见光模态能够在保留红外图像中显著热信息的同时,丰富可见光图像中的细粒度空间细节Ma, Ma, & Li (2019a)。尽管具有这些优势,两种模态在成像机制、光谱特征和信息表示方面存在显著差异,给跨模态特征对齐和信息互补带来了相当大的挑战。具体而言,红外图像通常缺乏纹理细节,而可见光图像在低光照条件下易受噪声影响Ma, Tang, Xu, Zhang, & Xiao (2021)。此外,两种模态之间的动态范围差异还可能进一步降低融合结果的稳定性和感知质量。因此,开发一种既能实现互补集成、又能保持结构一致性和细节保真度的融合框架,仍然是该领域亟待解决的关键且具有挑战性的研究问题。
为应对上述挑战,近年来已发展出多种图像融合策略。早期研究主要依赖手工特征和手工设计的融合规则,代表性方法包括多尺度变换技术Awad, Elliethy, & Aly (2019); Chen, Li, Luo, Mei, & Ma (2020)和稀疏表示模型Wang, Peng, Feng, He, & Fan (2014); Zhu, Yin, Chai, Li, & Qi (2018)。随着深度学习的快速发展,许多数据驱动的图像融合方法被提出。特别是基于卷积神经网络Huang et al. (2022); Liu, Fan, Jiang, Liu, & Luo (2021)、生成对抗网络Gao, Ma, & Liu (2022); Liu et al. (2022)和Transformer架构Ma et al. (2022); Wang, Chen, Shao, Li, & Zhang (2022b)的模型得到了广泛研究,在跨模态特征提取和融合性能方面展现了显著改进。此外,近年来研究开始探索将双分支架构应用于IVIF。在这些方法中,Zhao等人Zhao et al. (2023a)采用相关性驱动损失实现特征解耦,而Li等人Li et al. (2025)则聚焦于空间域内的差异相关性。然而,这些方法仅限于在空间域内进行处理。相比之下,Hu等人Hu, Zhang, Yuan, & Zhang (2024)和Fan等人Fan et al. (2025)已开始引入频域信息。Hu等人Hu et al. (2024)引入基于快速傅里叶变换(FFT)的特征,但其架构在结构分量与细节分量之间的交互有限。Fan等人Fan et al. (2025)试图构建双域解耦框架,但跨域交互和特征一致性对齐方面仍有提升空间。
本文开发了一种DADR框架来解决IVIF任务。该框架通过解耦特征提取和跨域对齐,联合建模空间域和频域中的互补信息,从而增强全局结构表示,同时有效保留细粒度纹理细节。具体而言,DADR的处理流程包括以下几个关键步骤。首先,利用RestormerZamir et al. (2022)模块从双模态源图像中捕获低层特征,为后续特征处理提供初始表示。其次,在空间域中,分别使用可逆神经网络(INN)和Restormer提取局部和全局特征,已有研究Zhao et al. (2023a)表明这两者在特征提取方面有效。在频域中,通过高斯高通和低通滤波获取高频和低频特征,滤波后的示例图像如图1所示。为了充分融合跨模态信息,采用动态权重融合机制进行自适应特征融合,随后由解码器组合双域特征以生成最终的融合图像。
从方法论角度,我们进一步引入了域内解耦与跨域对齐损失函数,以抑制同一域内局部与全局特征之间的冗余相似性,同时增强跨域特征的一致性。这使得域内特征解耦与跨域特征对齐的协同优化成为可能。该机制在提升合成结果感知保真度的同时,也为后续任务提供了更具鲁棒性和信息丰富的表示。
本文的主要贡献总结如下:
  • •
    我们设计了一种双域表示学习机制,在空间域和频域中解耦局部细节和全局结构特征。为了充分利用这些互补特征,采用DWF模块自适应地融合两个域的特征。
  • •
    引入了域内解耦与跨域对齐损失,以抑制同一域内特征间的冗余相关性,同时增强空间域与频域表示之间的一致性。该设计实现了域内特征解耦与跨域特征对齐的协同优化。
  • •
    进行了实验验证和下游任务应用。该方法在多个公开数据集上进行了系统评估,结果表明DADR在定量和定性指标上均优于现有的红外-可见光融合算法。此外,该方法显著提升了目标检测和语义分割等高层视觉任务的性能,验证了其在实际应用中的有效性和泛化能力。

章节摘要

相关工作

受深度学习演进的推动,图像融合已突破了手工特征工程和手动规则设计的瓶颈,为多样化的网络架构铺平了道路。当前方法论主要涉及以卷积神经网络(CNN)、生成对抗网络(GAN)和基于Transformer的模型为核心的范式。
基于CNN的方法通过端到端学习自动提取跨模态特征,生成融合图像。Long等人Long,

方法

本节介绍了DADR的架构及其整体工作流程,随后详细描述了各阶段的模块设计。最后,对工作所用目标函数进行了全面分析。

实验

本节对提出的融合方法进行评估。通过在不同数据集上进行定量和定性分析,对生成的图像进行了全面评估,并通过下游应用进行验证。此外,为分析各架构组件的作用,还进行了消融实验。

结论

本文提出了一种新颖的图像融合框架,该框架利用了空间域和频域中的协同学习。该框架集成了Restormer、INN和FFT模块,以有效建模双域表示空间中来自双模态输入的多尺度局部和全局依赖关系。为了进一步增强特征表示,设计了域解耦损失和跨域对齐损失,以抑制域内冗余特征并加强

ORCID

高兆泽:(ORCID: 0009-0008-4230-8077)
崔天昊:(ORCID: 0009-0006-5239-6459)
姬浩彬:(ORCID: 0009-0009-7355-9263)
李先帅:(ORCID: 0009-0000-6945-7437)
陶泽:(ORCID: 0000-0003-4009-194X)
张建:(ORCID: 0000-0001-5418-0455)

CRediT作者贡献声明

高兆泽:概念化、方法论、软件、验证、形式化分析、数据管理、原始稿件撰写、审稿与编辑、可视化、项目管理。崔天昊:审稿与编辑、项目管理、可视化。姬浩彬:审稿与编辑、数据管理。李先帅:可视化、项目管理。陶泽:验证、形式化分析。张建:审稿与编辑、监督、项目管理、资金获取。

利益冲突声明

作者声明不存在任何已知的竞争财务利益或个人关系,这些关系可能影响本文所述工作的发表。
高兆泽|崔天昊|姬浩彬|李先帅|陶泽|张建
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号