CCFusion:一种用于红外与可见光图像融合的新型通道-卷积神经网络
《IEEE Access》:CCFusion: A Novel Channel-Convolutional Neural Network for Infrared and Visible Image Fusion
【字体:
大
中
小
】
时间:2026年03月11日
来源:IEEE Access 3.6
编辑推荐:
摘要:近年来,基于深度学习的方法在红外和可见光图像融合方面取得了显著进展。这些方法通过设计复杂的网络结构和损失函数提高了融合质量,但忽略了多模态图像融合的表示机制。这导致了可解释性的不足以及关键信息的丢失,例如红外图像中的热目标或可见光图像中的纹理细节。为了解决这个问题,我们提出
摘要:近年来,基于深度学习的方法在红外和可见光图像融合方面取得了显著进展。这些方法通过设计复杂的网络结构和损失函数提高了融合质量,但忽略了多模态图像融合的表示机制。这导致了可解释性的不足以及关键信息的丢失,例如红外图像中的热目标或可见光图像中的纹理细节。为了解决这个问题,我们提出了一种基于通道卷积神经网络的新红外和可见光图像融合方法,称为CC Fusion。该框架包括两个阶段:特征提取和特征融合。采用DenseNet来提取特定模态的特征,同时设计了一种交叉匹配拼接策略来增强特征信息的表达。此外,还集成了一个优化的多尺度通道注意力模块与通道卷积神经网络,以融合特征图,从而增强显著信息的表达并减少冗余。最后,通道卷积神经网络利用加权特征图生成融合图像。在两个公共数据集(RoadScene、TNO)和一个复杂场景图像融合数据集(AVMS)上进行了实验。结果表明CC Fusion的有效性。比较结果显示,CC Fusion在定性和定量评估中都优于现有的最先进红外和可见光图像融合方法。CCBY - IEEE不是该材料的版权所有者。请通过https://creativecommons.org/licenses/by/4.0/遵循说明以获取全文文章和API文档中的规定。
第一节 引言
随着信息时代的发展,数字应用需要丰富的场景信息来提高对外部环境的理解。信息融合技术通过整合多个传感器提供的信息,解决了单个传感器无法提供完整信息的局限性[1]。红外和可见光图像融合作为信息融合的一个重要分支,引起了人们的广泛关注。它是工业机器人、智能制造、智能交通、医学诊断、智能监控和军事应用等高级处理任务的重要基础[2]。红外传感器可以捕捉场景的热辐射信息,基本上不受外部环境(如光线、烟雾、雾等)的影响。因此,红外图像(IR)具有很强的目标检测能力。然而,IR通常分辨率较低,导致特定目标的位置和环境背景不够清晰[3]。相比之下,可见光图像(VIS)能够捕捉场景的丰富光谱信息。不过,VIS容易受到照明、伪装、遮挡等环境因素的影响。红外和可见光图像融合技术结合了两种来源图像的优势[4]。通过整合IR和VIS模态的互补信息,融合图像可以同时突出热目标并保留周围场景的丰富细节。这提高了系统识别和定位目标的准确性[5]。
为了满足不断增长的应用需求,开发了越来越多的IR和VIS融合方法。这些方法通常可以分为两类:传统融合方法和基于深度学习的方法。传统方法通常涉及图像变换、活动级测量和融合规则设计。Ma等人提出了GTF算法,通过梯度传递和总变分最小化来融合红外和可见光图像[5]。数据保真度损失项用于保持红外图像的主要强度分布,而正则化项用于保留可见光图像的梯度变化。Jie等人提出了一种新的多模态图像融合方法,结合了模糊集理论和补偿字典学习,该方法结合了结构-背景分解、模糊显著性驱动的融合和细节补偿,实现了 superior 的融合性能和对复杂场景及下游视觉任务的强适应性[6]。Li等人引入了一种新的红外和可见光图像融合方法,结合了域变换滤波和稀疏表示,有效保留了显著结构和边缘细节[7]。传统方法为特定应用场景设计了特定的融合步骤[8]。然而,在实际应用中,由于环境因素(如照明和背景)的变化,传统图像融合方法需要手动调整融合策略以达到所需的融合效果[4]。因此,传统图像融合方法的通用性受到限制。
深度神经网络,也称为深度学习(DL),在计算机视觉和图像处理挑战方面取得了显著进展。它已成功应用于图像融合,取得了有希望的结果[9][10]。与传统图像融合方法相比,基于DL的方法具有明显的优势。在大规模训练数据的支持下,基于DL的方法表现出更好的泛化能力。通过损失函数的约束,基于DL的融合方法可以在融合图像和源图像之间建立复杂的关系映射[11]。最初,在2017年,Prabhakar提出了DeepFuse,一种用于多曝光图像融合的无监督卷积神经网络(CNN)[12]。DeepFuse利用CNN从多曝光图像中提取多尺度特征图并将它们合并成融合图像。它使用结构相似性指数(SSIM)作为损失函数,确保融合图像与源图像非常相似。2018年,提出了一种基于密集连接卷积网络的IR和VIS图像融合方法[13]。在编码过程中,密集连接神经网络结构从源图像中提取更深入的特征信息。这种方法解决了深度学习网络训练中的梯度消失和训练不稳定问题。基于生成对抗网络(GAN),Ma等人提出了一种新的方法,将图像融合建模为生成器和鉴别器之间的对抗竞争[14]。通过对抗学习,融合图像保留了红外热辐射,同时保持了可见光纹理细节。由于简单网络在提取深度特征方面的局限性,引入了如STDFusionNet[15]、SwinFusion[16]、UP-Fusion[17]等新的学习方法来提高融合质量。此外,基于深度学习的方法引入了注意力模块和损失函数,以增强提取和保留详细信息的能力。例如,Yang等人提出了一种基于GAN的框架,用于多曝光图像融合,其中生成器和鉴别器竞争以保留和整合源图像的互补信息[18]。Li等人引入了MA Fusion用于红外和可见光图像融合[19]。MA Fusion采用多尺度注意力机制来增强红外图像中的热目标,同时保留可见图像中的精细纹理。尽管如此,MA Fusion仅用于特征提取,并不能为不同深度特征提供权重。Tang等人开发了DIVFusion,合理增强了图像的对比度并促进了互补信息的聚合[20]。近年来,复杂场景图像融合问题已成为图像融合领域的一个熱門研究课题。Li等人提出了一个统一的红外和可见光图像融合框架,适用于多种复杂场景[21]。总体而言,基于深度学习的融合方法采用了复杂的网络结构和巧妙的损失函数来获得有希望的结果。然而,由于深度特征的非可解释性,融合策略难以为这些特征分配适当的权重[22]。大多数基于深度学习的方法依赖于手动设计的融合策略,如拼接[12]、像素平均[23]、像素求和[18]、像素加权求和[24]和最大选择操作[22]等。然而,这些融合策略无法为深度特征提供可移植的权重图,从而限制了融合性能。
为了克服这些挑战,我们引入了CC Fusion,一种新的无监督红外和可见光图像融合框架。CC Fusion包括三个组件:用于特征提取的编码器、用于特征整合的融合策略和用于图像重建的解码器。具体来说,编码器网络执行多尺度特征提取,从输入图像中捕获深度表示。在融合策略中,我们设计了一种交叉匹配拼接操作,将来自源图像的相同卷积核提取的特征图连接起来。这种融合策略增强了特征图的相关性,并结合了多尺度卷积通道注意力机制来强调特征图的显著信息,进一步丰富了特征图的信息内容。结合这种融合策略,我们使用通道卷积神经网络来融合处理后的特征图。与传统卷积神经网络中的融合操作相比,通道卷积神经网络为不同通道维度的特征图融合提供了适当的权重,从而可以保留更多有效的源图像信息。总之,本工作的主要贡献可以总结如下:为了更有效地处理特征信息,我们引入了一种新的交叉匹配拼接操作,可以提高来自源图像的特征图的相关性。提出了一种优化的多尺度通道注意力模块,该模块采用多尺度卷积来增强显著信息的保留,同时抑制源图像中的冗余特征,从而提高图像融合的效率。在解码器中,使用通道卷积神经网络融合处理后的特征图,为同一卷积内核内的红外和可见光特征图提供自适应的维度权重。这种方法有助于保留更多来自源图像的有价值信息。
本文的其余部分组织如下:第二节介绍相关工作,包括基于深度学习的图像融合方法、通道注意力机制和3D卷积神经网络。第三节详细描述了CC Fusion,包括网络架构、损失函数和训练细节。第四节展示了消融实验和比较实验的结果。最后,第五节总结了论文并概述了未来工作的潜在方向。
第二节 相关工作
本节提供了现有基于深度学习的图像融合方法的简要概述。考虑到CC Fusion应用了多尺度通道注意力模块和通道卷积神经网络,下一节将介绍通道注意力机制和通道卷积神经网络的基本原理。
A. 基于深度学习的图像融合方法
不可否认,传统融合方法已经取得了有希望的进展。然而,这些方法需要精心设计的活动评估机制和有效的融合来提高融合性能。此外,由于融合任务的复杂性以及环境因素的变化,传统方法的成功有限。为了解决这些限制,多年来提出了基于深度学习的融合方法。使用大规模训练数据,深度学习技术大大提高了它们的泛化性能。同时,这些方法通过设计有效的网络结构和损失函数实现了这一点,无需设计复杂的融合过程。与传统图像融合方法相比,基于深度学习的融合技术在工作量上显著减少,因为它们自动化了整个融合过程,无需任何人工干预,从而提高了执行的便捷性。在下一节中,将介绍代表性的基于深度学习的图像融合方法。
最初,在2017年,Liu等人引入了一个用于多焦点图像融合的卷积神经网络模型,将融合任务视为一个分类问题,利用卷积神经网络(CNN)区分图像中的焦点区域和非焦点区域[25]。Ram Prabhakar等人引入了DeepFuse,一种专门为多曝光图像融合任务设计的创新卷积神经网络架构[12]。DeepFuse利用CNN结构提取并融合来自源图像的特征。结构相似性指数度量(SSIM)[26]被用作损失函数,确保融合图像尽可能多地包含来自源图像的有效信息。2018年,Li和Wu开发了一种基于密集连接卷积架构的红外和可见光图像方法(DenseNet)[13]。密集连接架构能够从源图像中提取更全面的特征,同时缓解了梯度消失和训练不稳定等常见的深度学习挑战。2019年,Ma等人首次应用生成对抗网络(GAN)进行红外-可见光图像融合,将该方法称为FusionGAN[14]。在FusionGAN中,生成器和鉴别器之间建立了对抗关系。生成器网络用于保留红外图像的热辐射信息,而鉴别器鼓励融合图像捕获更多来自可见光图像的纹理细节。这种对抗机制促进了最佳信息整合,保留了红外图像的热特征,同时保持了可见光图像的高保真度纹理细节。深度学习的快速发展为创新网络架构的出现提供了催化剂,包括基于Transformer的模型[27]、U-net结构[28]和Diffusion框架[29]。近年来,基于这些网络结构的出色特征提取能力,许多基于深度学习的融合方法取得了有希望的融合结果[13][16][24]。然而,融合操作仍然是手动设计的。深度特征往往缺乏可解释性,这使得手动设计的融合策略难以为深度特征分配适当的权重,这可能限制了基于深度学习的融合算法的性能提升。具体来说,现有的基于深度学习的融合方法使用连接操作来合并来自源图像的深度特征。连接操作只是简单地将特征信息堆叠在一起,然后由后续的卷积核对这些堆叠的特征信息进行加权并平均。然而,由于忽略了来自不同来源的特征的可变性,这种融合策略可能会损害组合表示的完整性。为了解决这一缺点,我们提出了一种新颖的可学习融合策略,该策略通过考虑它们深度表示的相对重要性来实现了多源图像特征的加权融合。这种可学习融合策略包括三个部分:交叉匹配连接操作、优化的多尺度通道注意力和通道-卷积融合网络。详细来说,交叉匹配连接操作将相同卷积核提取的特征图组合在一起。优化的多尺度通道注意力为这些特征图分配适当的权重,以增强显著信息并忽略冗余信息。最后,利用通道-卷积神经网络来融合处理后的特征图。
B. 通道注意力机制
受到人类视觉系统在复杂场景中定位重要区域的自然高效方式的启发,研究人员采用了基于注意力的策略来改进视觉信息处理。注意力机制指的是计算机视觉系统能够高效地优先处理和聚焦图像中的显著区域[30]。通常,注意力机制分为五种主要类型,包括通道注意力、时间注意力和分支注意力。本文介绍了用于处理特征图的通道注意力机制。因此,下一节将讨论通道注意力机制的发展和原理。
在深度神经网络中,特征图中的各个通道通常对应于不同的语义实体或对象。通过自适应地加权每个通道,通道注意力起到了特征选择的作用。Hu等人最初提出了通道注意力机制,称为SENet[31]。SENet通过对每个通道的特征进行全局平均池化,然后通过全连接层激活这些特征,使网络能够动态调节每个通道的重要性。2018年,Wang等人提出了基于RNN的注意力网络结构,该结构利用非局部操作通过加权求和来计算给定位置的响应[32]。Woo等人[33]提出了卷积块注意力模块(CBAM),该模块引入了全局池化以提高计算效率。Yue等人报告称,非局部网络为同一图像中的各种查询位置产生了几乎一致的全局上下文表示。因此,开发了一个简化模型,使用与查询无关的策略,在保持非局部网络性能的同时大幅减少了计算量[34]。近年来,变换器在自然语言处理领域取得了巨大进展[27]。基于变换器,Dosovitskiy提出的视觉变换器(ViT)是第一个完全基于变换器架构构建的图像处理模型。它在ImageNet-21K等大规模数据集上展示了比传统CNN更优越的性能[36]。
在本文中,为了在保留可见光和红外图像之间的相关性的同时有效处理融合特征,我们应用了全局平均池化来获得一维张量。然后,使用具有不同感受野的两个卷积网络来提取多尺度权重。最后,通过融合多尺度权重来获得通道权重。
C. 3D-卷积神经网络
2D-卷积神经网络利用卷积核来计算平均特征值(如图1(a)所示)。然而,2D卷积操作仅在空间域中提取特征,忽略了空间依赖性,导致深度相关信息的丢失。与2D-卷积神经网络相比,3D-卷积神经网络的核可以在通道之间滑动,从而能够有效地处理具有大量通道的特征图(如图1(b)所示)。这种策略不仅提取了空间特征,还通过空间维度捕获了特征图之间的相关性。因此,3D-卷积神经网络保留了深度维度中的信息,以更好地捕捉全局结构特征。
众所周知,多模态图像融合需要具备丰富的空间信息。为了有效利用这些信息,我们设计了一个3D CNN模型,使网络能够学习更全面的特征。
III. 提出的方法
我们介绍了一种用于红外和可见光图像融合的新通道-卷积神经网络,称为CCFusion。与传统红外和可见光图像融合方法类似,CCFusion主要设计用于将可见光图像的Y通道与红外图像融合。可选地,融合图像还可以与可见光图像的Cr和Cb通道结合,以重建RGB融合图像。
在本节中,将详细介绍CCFusion的细节,包括网络架构、损失函数和训练细节。如图2所示,整体框架由三个部分组成:编码器、特征融合操作和解码器。首先,编码器采用DenseNet结构从红外和可见光图像中获取初始特征图。其次,特征融合操作将源图像的初始特征图转换为包含重要信息的特征图。最后,解码器使用通道-卷积神经网络执行精细融合,以整合预处理后的特征图。
A. CCFusion
现有的基于深度学习的融合方法主要通过两种方式提高它们的融合性能。一方面,这些方法采用先进的网络架构来增强特征提取能力。另一方面,设计了复杂的损失函数来保留融合图像中的有价值信息。然而,这些方法忽略了图像融合中的一个关键步骤,即特征融合操作。图像融合的本质在于构建源图像之间的自适应权重图。基于深度学习的融合方法通常采用手动设计的融合策略来整合深度特征,例如像素加法、像素加权求和和最大值选择策略。然而,深度特征往往表现出非可解释的特性,使得手动设计的融合策略无法为这些特征适当地分配权重。这一限制阻碍了此类算法的性能提升。
为了解决这个问题,提出了CCFusion。CCFusion采用了一种可学习的融合策略,该策略利用交叉匹配连接操作和通道注意力机制为来自不同源图像的特征提供适当的权重。交叉匹配连接操作将来自源图像的相同卷积核提取的特征图连接在一起。这种方法保留了特征图之间的相关性。通道注意力机制增强了特征的显著性并减少了特征图的冗余。
B. 损失函数
众所周知,基于深度学习的融合方法使用损失函数来优化网络参数,以促使融合图像保留更多来自源图像的信息。传统的损失函数,包括强度损失、梯度损失、结构相似性度量损失、感知损失、对比度损失和语义损失,被用来强化融合图像与源图像之间的相似性。正如引言中提到的,VIS图像包含丰富的纹理信息,IR图像呈现场景的热辐射信息。图像中的纹理细节通过图像梯度计算,而亮度信息则通过计算图像的平均像素强度来评估。为了保留源图像的纹理细节和亮度信息,CCFusion的损失函数包括内容损失和梯度损失,定义如下:
LOSS = Lcon + γLgrad. (1)
其中γ是一个权重,用于控制内容损失和梯度损失之间的权衡,在CCFusion中设置为0.8。内容损失(Lcon)的计算公式为:
Lcon = 1/h?w[∑|If?Ivis|F + α?∑|If?Iir|F]. (2)
融合图像、VIS图像和IR图像分别用If∈Rs×w×c、Ivis∈Rs×w×c、Iir∈Rs×w×c表示。h和w表示图像的大小。|?|F是Frobenius范数,用于比较真实矩阵和估计矩阵之间的相似性。sum(?)h?w用于计算矩阵的平均像素值。α用于平衡VIS图像和IR图像之间的内容损失。鉴于在IR和VIS图像融合任务中热辐射信息的重要性较大,α在CCFusion中经验性地设置为2。梯度损失的公式如下:
Lgrad = 1/h?w∑|If→?max(Ivis→,Iir→)|l2. (3)
通过操作??,可以从矩阵中获取梯度信息,从而揭示图像的纹理细节。max(?,?)用于获取VIS图像和IR图像的最大梯度信息。
C. 网络结构
如图2所示,CCFusion的总体结构包括三个部分:编码器、特征融合操作和解码器,将在本节中进行介绍。
1) 编码器
编码器用于从源图像中提取多尺度特征表示。我们将VIS图像和IR图像输入编码器以获得特征图。编码器包括两部分:传统卷积块和密集连接块,如图3所示。
为了处理不同尺寸的图像,所有编码器块的核大小和步长分别设置为3×3和1。为了缓解梯度消失和爆炸问题,每个块中都使用了批量归一化和ReLU。卷积块下的数字1×48表示输入和输出通道分别为1和48。在密集块中,采用了密集连接网络[37]的结构来提取更深层次的特征,解决了梯度消失问题,增强了特征传播并促进了特征的重用。
2) 特征融合操作
特征融合操作是基于深度学习的融合方法中不可或缺的一部分。传统的特征融合操作,如连接、像素平均、像素求和、像素加权求和和最大值选择操作等,忽略了特征图之间的一致性。因此,我们提出了一种新的特征融合操作,包括两个部分:交叉匹配连接操作和通道注意力机制。
提出了一种交叉匹配连接操作,它将相同卷积核提取的特征图堆叠在一起。交叉匹配连接操作的详细信息如图4所示。通过编码器,我们获得了具有240个通道的IR和VIS特征图。如图4所示,每个通道都被标记以指示其对应的卷积核。具有相同标签的特征图表示由相同卷积核获得的特征。通过交叉匹配连接操作,增强了处理后特征图之间的相关性。
通过整合一种新的通道注意力机制,可以灵活调整光谱通道的权重,以放大或抑制不同通道,从而使后续解码器能够更有效地融合光谱特征。在传统的通道注意力机制中,输入数据经过全局平均池化后被压缩成一维张量,然后使用激活层生成特定于通道的掩码,从而实现通道加权。然而,这种策略在图像融合中存在局限性,因为它未能捕获特征图之间的固有相关性。因此,我们改进了传统的通道注意力机制。首先,通过全局平均池化获得的一维张量经过多尺度卷积。随后,整合卷积操作的输出。然后,通过激活器模块获得通道权重。最终,通过将通道权重与原始图像的特征图相乘来获得最终结果。通道注意力机制的结构如图5所示。
在图5中,H、W、C分别表示输入数据F的长度、宽度和通道维度。经过全局平均池化后,可以获得输入数据Fc的一维向量,计算公式如下:
Fc = ∑h=1∑j=1F(i,j)h×w (l=1,2,3…,c), = [F1,F2,F3…,Fc], (4)
其中F(i,j)表示特征图的像素强度。然后,我们采用不同尺寸的一维卷积核(1×1×3和1×1×5)。卷积核的步长设置为1。卷积产生的值代表了3个或5个通道之间的相关性。零填充确保卷积后的大小与原始大小相同,并应用了ReLU激活函数。为了获得多尺度权重图,通过一维卷积核获得的通道相关性结果沿通道合并,其定义如下:
$$F_{avg}=|F_{C},F_{C1},F_{C2}|_{avg}, \tag {5}$$
其中$F_{avg}$表示处理后的多尺度权重图,$FC$表示原始的一维权重向量,$FC1$和$FC2$表示通过两个不同的一维卷积核获得的结果。$|?|avg$是平均值操作。处理后的一维权重向量($Favg$)既包含原始的特征信息,也包含来自相邻通道的相关特征。为了得到特征图的最终权重,将$Favg$输入到由两个全连接层组成的激活器模块中。交叉匹配串联操作和通道注意力机制的结合减轻了多个信息源之间的相关性问题,同时也有助于后续的3D CNN学习提取更有效的特征。
3) 解码器
与二维卷积神经网络(2D CNN)不同,三维卷积神经网络(3D CNN)的卷积核可以在空间维度和通道上滑动。这一特性有助于处理具有多个通道的数据,完美符合图像融合任务的特点。在CCfusion的解码器中,我们提出了一种新颖的多尺度3D CNN模块,可以在不同的步长下提取有效的特征。使用较小的步长进行特征融合可以获得丰富的信息,但可能会引入一些冗余。相反,使用较大的步长可以减少冗余,但也可能降低特征的细节。因此,我们结合这两种方法以获得更好的融合效果。解码器的第一个模块显示在图6中。后续模块应用卷积操作来降低融合特征图的维度并获得最终的融合图像。图6. 通道注意力机制的结构。
4) 训练
训练数据集是一个名为RoadScene的VIS-IR图像数据集,包含221对图像[38]。为了加快训练效率,我们移除了场景相似的图像对。训练数据集包含88对图像。两个数据集(RoadScene和TNO)中的28对图像被视为例测数据集。训练数据集中的一部分图像显示在图7中。图7. 红外线和可见光图像训练数据集。
我们对源图像对进行下采样,并将它们裁剪成7439个大小为84×84的补丁对。应用RMSPropOptimizer来更新CCfusion的参数。经过参数消融实验后,最终设置的网络参数如下:Learning_rate = 10^-4;ECHOS = 8;BATCH_SIZE = 14。
V. 实验结果与分析
在本节中,我们使用六种先进的图像融合方法对两个公共数据集(RoadScene、TNO)和一个复杂场景图像融合数据集(AVMS)[39]进行了定性和定量实验。在这些方法中,一种是传统的代表性融合方法(GTF [5]),其余的是基于深度学习的方法(FusionGAN [14]、STDFusionNet [15]、SwinFusion [16]、DivFusion [20] 和 UP-Fusion [17])。所有实验都在配备3.2 GHz Intel Core CPU I9-12900K、RTX 4090和128 GB内存的桌面上进行。
A. 定量实验
在图像融合领域,结构相似性(SSIM)[40]是常用的定量评估指标。此外,我们还选择了四个图像质量指标,包括平均梯度(MG)、峰值信噪比(PSNR)[41]、相关系数(CC)[42]和差异相关性总和(SCD)[26]来评估融合结果。这些指标的详细信息如下:
SSIM是一个衡量融合图像与源图像相似性的指标,从三个因素来评估:相关性、亮度和对比度失真。SSIM的定义如下:
$$
{SSIM}_{X,F}=\sum _{x,f}{\frac {2\mu _{x}\mu _{f}+C_{1}}{{\mu _{x}}^{2}+{\mu _{f}}^{2}+C_{1}}} \cdot \frac {2\sigma _{x}\sigma _{f}+C_{2}} {{\sigma _{x}}^{2}+{\sigma _{f}}^{2}+C_{2}}\cdot \frac {\sigma _{xf}+C_{3}}{{\sigma _{x}\sigma }_{f}+C_{3}}
$$
其中x和f表示源图像和融合图像的滑动块。$\sigmaxf$表示x和f的协方差。$\sigmax$表示标准差(SD)。$\mu^*$表示图像的平均值操作。C1、C2和C3是稳定性参数。当C1 = C2 = C3=0时,SSIM可以被视为通用的图像质量指标。SSIM的值越大,表示x和f的相似性越强。
MG表示图像的梯度信息。我们知道,梯度信息代表了图像的纹理细节。较高的MG值表示图像具有更清晰的边缘纹理信息。MG的数学计算公式如下:
$$
M=\frac {1}{(W-1)(H-1)} \times \sum _{x=1}^{W-1}\sum _{y=1}^{H-1} (\left (F(x,y)?F(x-1,y) \right )^{2}+\left (F(x,y)?F(x,y-1) \right )^{2})//2
$$
其中H和W表示图像的大小(高度和宽度)。$F(x,y)$表示(x,y)的灰度值。
PSNR是一个图像评估指标,通过计算峰值功率与噪声功率的比率来反映失真情况。较大的PSNR表示源图像和融合图像之间的失真较小。PSNR的公式如下:
$$
PSNR=10\log _{10}{\frac {r^{2}}{MSE}
$$
其中r表示图像的最大值。均方误差(MSE)衡量源图像和融合图像的相似性,其定义如下:
$$
MSE_{XF}=\frac {1}{WH}\sum _{i=1}^{W}\sum _{j=1}^{H}(GX(x,y)?GF(x,y))^{2}
$$
CC表示两张图像之间的相关性。较大的CC表示两张图像之间的强相关性。其计算公式如下(见下页底部):
$$
r_{XF}=\frac {\sum _{x=1}^{M}\sum _{y=1}^{N}{(X(x,y)-\bar {X})(F(x,y)-\bar {F})}} {\sqrt {\left ({{\sum _{x=1}^{M}\sum _{y=1}^{N}{(X(x,y)}-\bar {X})}^{2}}}\left ({{\sum _{x=1}^{M}\sum _{y=1}^{N}{(F\left ({{x,y}}\right )-\bar {S_{k}})}^{2}}}\right)}
$$
SCD是一个相对新颖的融合结果评估指标,由Aslantas等人在2015年提出。根据SCD,融合图像(F)与源图像(S1)之间的差异主要归因于另一个源图像(S2)。通过计算图像之间的像素级差异来获得这些差异,其公式如下:
$$
D_{1}=F-S_{2},
$$
$$
SCD=r(D1,S1)+r(D2,S2)
$$
其中$r(Dk,Sk)$表示Dk和Sk之间的相似性。其公式如下(见下页底部):
$$
r(Dk,Sk)=\frac {\sum _{i=1}^{W}\sum _{j=1}^{H}{(D_{k}(i,j)-\bar {D_{k}})(S_{k}(i,j)-\bar {S_{k}})} {\sqrt {\left ({{\sum _{i=1}^{W}\sum _{j=1}^{H}{(D_{k}(i,j)}-\bar {D_{k}})}^{2}}}\right )}
$$
高值的SCD表明源图像和融合图像之间的相关性更强,说明融合图像包含了更多来自源图像的信息。
为了确保定量实验的可信度,在定量实验中进行了置信区间分析。具体来说,我们从测试集中随机选择28个融合结果五次,并计算每种比较方法的评估指标的95%置信区间。三个公共数据集上每个评估指标的五次随机比较实验的置信区间结果显示在表1-表3中,其中最大值和第二大的值分别用红色和蓝色标记。如表1-表3所示,我们的方法取得了有希望的结果。具体来说,CCfusion在TNO和RoadScene数据集的PSNR、SSIM、CC和SCD指标上排名第一。对于AVMS数据集的融合结果,CCfusion在MG指标上表现较差,而其他指标均取得了最佳结果。如上所述,MG衡量图像中的纹理细节丰富程度。然而,如图8-图11所示,MG值高的方法倾向于强调可见图像的纹理细节,而部分忽略了红外图像的强度信息。
B. 定性实验
在本节中,我们展示了定性比较结果。我们从RoadScene、TNO和AVMS的比较结果中选择了三个对比明显的有效融合图像,分别显示在图8-图11中。由于GTF的视觉效果不令人满意,并且为了使实验图表更加直观和有条理,图中仅包括其余比较方法的结果。从两个角度评估融合结果:整体视觉效果和图像的纹理细节。
从整体视觉效果来看,SwinFusion和CCfusion的融合结果实现了照明的和谐分布,与实际场景非常相似。STDFusionNet和FusionGAN存在图像模糊问题,导致物体边缘不清晰。STDFusionNet和UP-Fusion的亮度过高,导致细节信息丢失。DivFusion显示出高对比度的有希望的结果。然而,DIVFusion侧重于保留可见图像的纹理细节,可能会导致热辐射信息的丢失。至于CCfusion,它在保持合理图像对比度的同时保留了热辐射信息。
具体来说,在图8的红色框区域内,CCfusion中的汽车和行人的纹理细节更加清晰,灰度分布合理。对于我们在图9中标记的窗户,CCfusion提供了额外的纹理信息,如品牌文字和自行车边缘。在图10的红色矩形区域内,CCfusion保留了面部特征,同时保持背景中的栏杆清晰可见。在图11的红色框区域内,CCfusion更清晰地显示了路面上的轮胎痕迹。
C. 消融实验
在本节中,我们进行了消融实验来验证CCfusion的各个组成部分。具体来说,在消融实验1中,展示了没有交叉匹配串联操作的CCfusion的结果。在消融实验2中展示了移除了多尺度通道注意力模块的CCfusion结果。在消融实验3中,我们使用卷积神经网络而不是通道卷积神经网络来融合特征图。在比较实验4中,我们移除了CCfusion的所有模块。与定量比较实验类似,从测试集中随机选择30个融合结果五次,并计算每个消融实验的评估指标的均值和方差。消融实验的定量评估结果显示在表4中,表明CCfusion取得了最佳性能。消融实验的定性比较显示在图12中。如图12所示,CCfusion的融合结果具有更优的对比度和丰富的纹理细节,更符合人类视觉标准。总体而言,与其他消融实验相比,CCfusion提供了更好的融合结果和有希望的视觉效果。
V. 结论与未来工作
在这项工作中,我们提出了一种新颖的网络架构,称为CCfusion,用于红外和可见光图像的融合。与现有的深度学习融合方法不同,CCfusion专注于融合策略,设计了三个模块(包括交叉匹配串联模块、多尺度通道注意力模块和通道卷积模块)以保留更多的源图像信息。从实验分析的角度来看,与其他代表性的IR和VIS图像融合方法相比,我们的方法取得了有希望的性能。然而,在复杂场景融合数据集(AVMS)上,CCfusion在保留可见图像信息方面存在一定的差距。在未来的工作中,我们将重点提升系统在复杂环境中的鲁棒性,并引入自适应机制以更好地平衡多模态信息,同时改善所提出方法的实时性能,从而使其能够应用于实际的工程场景中。致谢:段向军(Xiangjun Duan)和刘云祺(Yunqi Liu)对这项工作的贡献是平等的。