《Pattern Recognition Letters》:DECFusion: A Lightweight Decomposition Fusion Method for Luminance Artifact Removal in Infrared and Visible Images
编辑推荐:
红外与可见光图像融合中存在亮度差异导致的伪影问题,本文提出轻量级可学习分解融合方法DECFusion,通过Retinex理论分离并调整亮度信息,有效消除伪影并提升视觉效果,实验表明其效率和质量优于现有方法。
作者:Xiao Quanquan | Jin Haiyan | Su Haonan | Zhang Yuanlin
西安工业大学,中国陕西省西安市南金华路5号,邮编710048
摘要
红外图像与可见光图像的融合是多模态图像融合领域当前的研究热点,其目标是通过有效的融合技术提高对场景的感知和理解能力。然而,现有的基于深度学习的融合方法往往未能充分考虑可见光亮度与红外图像热信息之间的差异,导致融合图像中出现亮度伪影,严重影响了融合图像的视觉效果。为了解决这一问题,我们提出了一种轻量级的红外与可见光图像分解融合方法(DECFusion)。该方法通过一个可学习的轻量级网络将可见光图像的亮度信息和红外图像的热信息分解为光照成分和反射成分,并自适应调整光照成分以去除不必要的亮度干扰。在重构阶段,我们结合Retinex理论对图像进行重建。实验结果表明,该方法生成的融合图像不仅避免了亮度伪影的产生,而且更加轻量级,在融合图像的视觉质量方面优于现有的最先进方法。我们的代码可访问地址为:
https://github.com/tianzhiya/DECFusion
引言
在红外图像与可见光图像的融合过程中,经常会出现亮度伪影,这一现象主要源于两者在成像原理、光照条件及信息表示方面的差异[1]。红外图像是通过捕捉物体发出的热辐射来形成的,通常亮度较低且对比度较为均匀,尤其是在低光或夜间环境下拍摄时,图像中的亮度主要反映了物体的温度差异[2];而可见光图像则是通过反射的可见光形成的,在标准光照条件下,图像的亮度变化较大,受光照和环境因素的影响更为显著。
由于红外图像和可见光图像的成像机制不同,它们的亮度范围和对比度存在较大差异。当直接融合这两种图像时,这些差异未能得到有效处理,常常导致图像某些区域的亮度不匹配[3]。特别是在融合过程中未进行适当的亮度归一化或自适应调整时,融合结果可能会出现不自然的亮度过渡,表现为过亮或过暗的区域,从而形成亮度伪影,进而影响融合图像的视觉效果[4]。图1展示了现有最先进的红外(IR)与可见光图像融合方法生成的融合图像中亮度伪影的普遍存在情况。
现有的融合算法往往未能充分考虑这些亮度差异,导致融合过程中出现显著的亮度伪影。因此,如何在融合过程中有效消除亮度伪影已成为红外与可见光图像融合领域的一个紧迫挑战。为此,我们提出了一种基于图像分解和自适应调整的方法(DECFusion),该方法通过去除亮度干扰来消除由亮度不匹配引起的图像伪影,从而提升融合图像的视觉效果。该方法利用Retinex理论,通过一个紧凑的神经网络分别处理可见光图像的亮度和红外图像的热信息,最终基于Retinex理论重建融合图像。本研究的主要贡献如下:
1.我们提出了一种可学习的融合表示模型,用于红外图像与可见光图像的分解与重构,解决了由于可见光亮度与红外图像热信息差异导致的伪影问题。
2.该方法采用了一个轻量级的图像融合框架,与现有的深度学习融合方法相比,显著减少了参数数量和计算开销。
3.在公开基准数据集上的实验结果表明,该方法在模型效率方面表现出色,生成的融合图像在视觉质量上也优于现有的最先进图像融合算法。
相关研究
在图像增强领域,已经提出了许多常用的方法并得到了广泛应用。例如,基于递归滤波[5]和对比度拉伸[6]的技术,结合像素分布的统计特性[7](在对数图像处理模型下),可以有效提升图像的对比度和亮度。尽管这些方法在提升图像质量方面具有一定的优势,但它们主要是为单模态图像设计的
提出的方法
在方法部分,我们详细介绍了用于红外图像与可见光图像的轻量级、可学习的分解与重构融合模型及其损失函数设计。
实验结果
我们的方法在MSRS数据集[17]上进行了训练和测试。该数据集包含1444对红外图像与可见光图像,涵盖了白天和夜间场景,空间分辨率为480 × 640。为了验证该方法的有效性,我们将其与九种目前公认的最先进或最具代表性的图像融合方法进行了比较,这些方法包括DIDFuse、U2Fusion、RFNest、UMF-CMGR、PAIF、IRFS、HoLoCo、TIM和CoCoNet
结论
总结来说,本文提出了一种用于红外图像与可见光图像的可学习Retinex分解与重构融合模型。该模型不仅有效解决了融合图像中的亮度伪影问题,而且具有轻量级和高效率的特点,同时保证了融合图像的高质量。尽管本文提出的方法在红外图像与可见光图像的融合方面取得了良好的效果,但仍存在一些局限性。
未引用的参考文献
[36], [37], [38], [39], [40], [41], [42], [43], [44]
CRediT作者贡献声明
Xiao Quanquan:撰写初稿、可视化处理、验证、监督、软件开发、项目管理、方法论设计、数据整理。
Jin Haiyan:可视化处理、验证、资源获取、形式化分析。
Su Haonan:软件开发、数据整理。
Zhang Yuanlin:可视化处理、验证。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
Jin Haiyan报告
致谢
本研究得到了国家自然科学基金(项目编号:62272383、62371389、6220147)、陕西省教育厅资助的科研计划(项目编号:23JP105)以及贵州省基础研究计划(自然科学)(项目编号:QianKeHe Basic Youth -[2025]314)的支持。