SACIFuse:一种用于红外图像与可见光图像融合的自适应显著特征增强及跨模态注意力交互方法
《Signal Processing: Image Communication》:SACIFuse: Adaptive enhancement of salient features and cross-modal attention interaction for infrared and visible image fusion
【字体:
大
中
小
】
时间:2025年12月27日
来源:Signal Processing: Image Communication 3.4
编辑推荐:
红外与可见光图像融合中冗余信息抑制及显著特征增强方法研究,提出SACIFuse框架,通过特征预测增强模块(SFEM)量化冗余信息并自适应加权,结合跨模态注意力交互模块(SFIM)优化特征融合,引入新损失函数强化显著目标,实验表明优于现有方法。
郝斋|李安宇|颜伟|谭华山|茹一阳
重庆师范大学计算机与信息科学学院,中国重庆,401331
摘要
红外与可见光图像融合的目标是在具有挑战性的光照条件下,生成既能突出红外热目标又能保留纹理信息的图像。然而,在浓雾或过度曝光等极端环境中,可见光图像通常包含冗余信息,这会对融合结果产生负面影响。为了更好地突出红外图像中的显著目标并减少冗余信息的干扰,本文提出了一种用于红外和可见光图像的自适应显著增强融合方法,称为SACIFuse。首先,我们设计了一个显著特征预测增强模块(SFEM),该模块通过边缘运算符提取图像梯度,并生成一个量化冗余信息概率的掩码。该掩码用于自适应地加权源图像,从而抑制冗余的可见光信息,同时增强红外目标。此外,我们引入了一个显著特征交互注意力模块(SFIM),该模块能够结合残差注意力机制和空间及通道注意力机制来引导增强后的显著特征与源图像特征之间的交互,确保融合结果既能突出红外目标又能保留可见光的纹理。最后,我们提出的损失函数构建了融合图像的二值掩码,以对显著目标施加约束,有效防止冗余信息对关键区域产生不利影响。在公共数据集上的广泛测试表明,SACIfuse在定性和定量评估中均优于现有的最先进方法。此外,在其他数据集上进行的泛化实验也证明了所提出模型的强大泛化能力。
引言
由于设备技术的限制,单模态图像无法完全表达复杂的场景信息。不同模态的图像通常具有互补的特征。例如,可见光图像可以提供丰富的场景纹理细节,但在光线不足、遮挡或目标不显眼的情况下,其性能会受到限制。相比之下,红外图像可以通过捕捉物体的红外辐射来有效突出前景目标,而不受环境光线条件的影响。因此,红外和可见光图像之间的互补性使得它们的融合成为增强图像表达能力的重要手段[1]。经过数十年的发展,已经提出了多种图像融合模型,现有的图像融合技术大致可以分为传统方法和基于深度学习的融合方法。
传统图像融合方法大致可以分为四类:基于稀疏表示的融合模型[2]、[3]、[4],基于多尺度变换域的融合模型[5]、[6],基于显著性的融合模型[7],以及基于子空间的融合模型[8]。基于显著性的方法通过从图像中提取显著区域来指导融合,这可以突出重要信息,但可能会忽略细节,导致融合结果中丢失一些关键信息。多尺度变换方法通过将图像转换为频率或其他变换域来进行融合,虽然可以保留特定特征,但在变换和逆变换过程中容易引入伪影和失真。稀疏表示方法通过构建字典并在该字典上表示图像来进行融合,有效压缩信息,但稀疏表示过程可能会忽略图像中的细节。基于子空间的方法将图像分解为不同的子空间(如低频和高频子空间),分别在不同尺度上处理信息,最后合并结果。然而,这种方法严重依赖于子空间的分解和选择,可能会引入伪影和失真。传统融合方法主要受其设计的限制,通常针对特定任务,缺乏通用性和灵活性,在处理复杂场景时难以平衡目标对象和场景背景的信息。这些方法通常关注图像的整体一致性,忽略了图像中不同区域之间的差异和重要性,导致在处理多样化的图像任务时性能不佳。
基于深度学习的图像融合方法大致可以分为三类:基于自动编码器(AE)的方法[9],基于Transformer网络的方法[10]、[11]、[12],以及基于生成对抗网络(GAN)的方法[13]、[14]、[15]。基于AE的方法通常在大型数据集上训练自动编码器作为特征提取器和图像重建器。它们使用特征提取器从两种模态中提取融合图像所需的互补信息,然后使用级联、逐元素最大值、逐元素加法和逐元素加权求和等方法合并这些特征。最后,图像重建器使用这些特征来构建融合图像。然而,基于AE的融合方法依赖于手工制定的融合规则进行特征合并,这带来了一定的局限性。GAN源自博弈论中的对抗模型,旨在增强融合图像中的源图像信息。它们通过强制融合图像与源图像在纹理和强度上的相似性来实现这一目标。然而,GAN的训练相对复杂,网络收敛速度慢,可能存在模式崩溃等问题,导致生成图像的质量不稳定。Transformer凭借其模拟全局特征交互的显著能力,越来越多地被用于构建图像融合的权重图。这些权重图捕捉图像中不同区域之间的关系,使模型能够更好地关注重要区域,从而提高融合效果。
尽管基于深度学习的方法在图像融合任务中取得了令人满意的结果,但仍存在一些不足之处。现有技术更多关注如何设计精细的融合规则和损失函数,以及如何修改网络以获得更详细的图像特征。然而,如何评估和减少可见光图像中冗余信息的影响,同时保留可见光图像的纹理细节并突出红外图像中的重要特征,已成为一个亟需解决的问题。为了解决这些问题,本文提出了一种用于红外和可见光图像融合中显著目标自适应增强的方法,称为SACIFuse。该方法通过预测可见光图像中冗余信息存在的概率来生成具有增强显著目标的图像,并用于图像融合。这一过程有效地减少了冗余信息对融合图像的干扰,同时突出了显著目标的特征。我们提出方法的贡献如下:
- •
我们设计了一个显著特征增强模块(SFEM),其中包括一个显著特征预测模块和一个显著特征增强模块,能够自适应地预测和增强红外图像中的独特非冗余信息特征,从而生成具有增强显著特征的图像。
- •
为了更好地突出模块中的显著特征,我们设计了一个跨模态注意力交互模块(SFIM),该模块与可见光和红外图像的特征进行交互,从增强后的图像中提取特征,从多个角度获取关键区域信息和全局交互信息。
- •
我们提出了一种新的损失函数,以确保融合图像包含需要从红外图像中突出的显著特征。
- •
我们在主流数据集上进行了广泛的实验,结果表明SACIFuse模型在定性和定量评估中均优于其他方法。
本文的其余部分安排如下。第2节介绍相关工作和研究动机。第3节详细描述了所提出的网络结构,第4节展示了实验结果。第5节总结了本文。
部分摘录
传统图像融合方法
传统图像融合方法通过三个核心步骤系统地整合不同模态的信息:特征提取、融合和重建。基于稀疏表示的方法利用稀疏基函数表示自然图像特征,通过融合稀疏系数来整合信息。这包括联合稀疏表示[3]、卷积稀疏表示[4]和潜在低秩表示[16]。多尺度变换方法
网络结构
所提出的SACIFuse架构由三个分支组成,如图1所示。上下两个分支分别由五个模态特征提取模块(MFEM)和一个通道注意力模块(CA)组成,它们分别从红外和可见光图像中提取原始特征。中间分支通过显著特征增强模块(SFEM)和密集卷积模块增强显著特征,然后将显著对象的特征输入到显著特征模块中
训练数据集
为了全面评估所提出的SACIfuse模型的有效性,在多个公共数据集上进行了广泛的实验。具体来说,选择了TNO [43]和MSRS [44]数据集进行这项研究。这两个数据集具有不同的特点,可以全面考察模型在不同场景和条件下的性能和适应性。我们从这两个数据集中下载了340对红外和可见光图像进行训练
结论
本文提出了一种用于红外和可见光图像融合的自适应显著特征增强和跨模态注意力交互方法(SACIFuse),有效解决了由于冗余信息遮挡可见光图像中的显著对象而导致融合效果不佳的问题。我们的方法预测可见光图像中冗余信息存在的概率,从而生成具有增强显著特征的图像,然后用于图像融合。此外,通过
CRediT作者贡献声明
郝斋:写作——审稿与编辑、软件、方法论、资金获取、数据管理。李安宇:写作——初稿撰写、概念构思。颜伟:写作——审稿与编辑、监督。谭华山:写作——审稿与编辑、验证。茹一阳:写作——审稿与编辑、验证。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究得到了国家自然科学基金(资助编号:62003065)、重庆市自然科学基金(普通项目)(资助编号:CSTB2024NSCQ-MSX0527)、重庆市教育委员会科学技术研究计划(资助编号:KJQN202200564)和重庆市教育委员会科学技术研究计划(资助编号:KJZD-K202200504)以及重庆师范大学基金项目(资助编号:21XLB032)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号