利用增强型注意力图循环神经网络模型进行图像去雾处理

《Signal Processing: Image Communication》:Image De-Hazing Using Enhanced Attentive Graph Recurrent Neural Network Model

【字体: 大 中 小 】 时间:2026年04月02日 来源:Signal Processing: Image Communication 3.4

编辑推荐:

  图像去雾是恢复雾天图像清晰度的关键技术,传统方法存在特征提取不足、边缘保留差等问题。本文提出EA-GNN模型,融合注意力机制、循环单元和图神经网络,通过改进的Lotus Effect优化算法调参,在RESIDE、SOTS等数据集上实现99.33%准确率,显著优于现有方法。

  
Sunder Rao | Dilip Kumar
全职研究所研究员,电子与通信工程系,贾姆谢德布尔国立理工学院,贾坎德邦,贾姆谢德布尔 831014,印度

摘要

图像去雾是一项关键的图像恢复任务,旨在从模糊的图像中恢复清晰的图像。该过程适用于安全监控和航空摄影等应用。现有的去雾技术在特征提取、边缘保留、雾去除以及颜色可靠性方面面临挑战。为了克服这些挑战,本文提出了一种基于增强注意力图循环神经网络(EA-GNN)的深度学习模型用于图像去雾。所提出的模型通过EA-GNN提取了去除雾所需的特征。损失函数通过使用改进的莲花效应优化算法(ILEOA)对参数进行微调进行了优化。首先,从公开可用的数据集中收集的雾图像经过直方图均衡化预处理,然后进行伽马校正以提高图像质量。接着,提出的混合模型结合了协调注意力机制、简单循环单元和图神经网络,通过特征学习有效去除了雾。因此,所提出的方法具有增强的泛化能力。实验使用Python编程工具进行,该模型达到了99.33%的准确率和99.27%的精确度。在公共的RESIDE、RESIDE-6K和合成目标测试集(SOTS)数据集上的广泛实验表明,所提出的模型在视觉质量和定量指标方面显著优于当前的去雾技术。

引言

图像去雾是一种旨在提高在雾天或阴天条件下捕获的图像清晰度的技术。当光线被空气中的颗粒散射时,会导致视觉和对比度降低[1]。传统的图像处理方法通常依赖于先验知识,例如暗通道先验(DCP);然而,这些方法在复杂情况下可能会失败。深度学习(DL)作为一种强大的替代方案出现,因为它能够从数据中理解复杂的设计,而无需明确的假设[2,3]。用于去雾的DL算法通常使用卷积神经网络(CNN)或变换器,这些模型在大量雾天和清晰图像的数据集上表现良好[4]。这些模型通过最小化损失函数(如像素级差异或感知质量指标)来学习将模糊输入映射到无雾输出。许多先进的方法结合了编码器-解码器架构、注意力机制和生成对抗网络(GAN),从而提高了恢复细节的能力[5,6]。
一个重要的突破是将物理雾模型(包括大气散射模型)引入训练过程,以确保结果准确。例如,创建网络来预测传输图和大气光照,然后使用这些信息重建清晰图像[7,8]。像领域适应这样的技术的集成使得这些模型即使在具有未见过的雾特性的图像上也能表现良好[9,42]。图像去雾的应用范围从自动驾驶和监控到户外摄影和遥感。深度学习的使用显著提高了去雾性能,在各种环境条件下提供了实时处理和鲁棒性。这使得它成为提高受雾影响场景中视觉数据质量的关键工具[10,11]。
存在多种图像去雾方法用于去除雾。在交通和监控等应用中,去除雾非常重要。恶劣的天气条件会导致图像质量下降。图像去雾方法包括:单图像去雾、多图像去雾和基于偏振滤镜的图像去雾[12,13]。单图像去雾方法不需要从不同条件下捕获额外的信息。单图像去雾采用基于学习和基于先验的方法进行图像去雾。基于先验的方法通过使用从图像中收集的统计数据来评估传输图[[14], [15], [16]]。暗通道、颜色注意力和其他先验方法取得了进展,但所做的假设影响了输出结果。因此,这些模型被证明效果不佳。然而,基于学习的技术利用机器学习或DL来进行去雾[16,43]。
神经网络,如卷积神经网络(CNN)、AlexNet、DehazeNet和AODNet,从图像中学习去雾所需的雾特性和场景深度。基于神经网络的模型生成了清晰的图像,但在处理现实世界的雾场景时遇到了困难[17,18]。这些不是轻量级的神经网络模型(如CNN、AlexNet、AODNet和DehazeNet)缺乏全局建模能力,导致颜色图像不理想且不平衡。仅靠局部信息不足以进行预测;因此,基于注意力的模型由于其简化能力而在视觉任务中受到关注[19,20]。这些方法通过学习更大的数据集来创建复杂的表示,显示出显著的性能。
雾和霾会显著降低户外环境中捕获的图像质量,限制了能见度,并影响许多应用,包括自动驾驶、监控和遥感。传统的基于软件的去雾技术往往难以满足嵌入式系统的严格实时需求和资源限制。如今,深度学习模型被用来执行去雾任务以提高图像质量。然而,计算复杂性、处理复杂关系的效率低下以及去除不准确等问题都降低了模型的性能。此外,为了创建一个可以在资源受限的硬件平台上实时高效去除雾的硬件加速图像去雾解决方案,计算复杂性和更高的处理速度限制了图像去雾的性能。因此,引入了基于深度学习的图像去雾方法。然而,模型的感知质量、较差的泛化能力和过拟合问题限制了它们的性能。为了克服这些问题,本研究开发了一种优化的深度学习方法。
本研究的动机源于现有研究的局限性。传统的DL模型未能捕捉到图像的颜色、对比度和纹理特征[25,26]。因此,需要一个关注图像感知质量的稳健模型。大多数模型在不同照明条件下对特定数据过度拟合[27,44]。因此,需要一个更具泛化能力的模型。资源受限的应用需要更多的内存和计算能力;因此,需要一个轻量级模型。为了提供更准确的去雾结果,通过优化算法对参数进行了微调。
为了解决细节信息丢失和颜色失真的问题,使用了高效的预处理步骤,如直方图均衡化和伽马校正。然后引入了EA-GNN模型,该模型通过从给定输入图像中学习复杂特征来有效进行图像去雾。与其他现有算法相比,该模型更有效地提高了去雾图像的质量。最后引入了ILEOA,它以高收敛速度微调参数,且不会导致解决方案陷入局部最优解。
本研究的主要目标如下:
  • •
    开发一种增强注意力图循环神经网络(ED-GNN),能够高效识别模糊图像中的长距离结构关系和局部视觉特征。与传统基于CNN的去雾技术相比,ED-GNN通过结合基于图的关系推理和注意力及循环建模,提供了更全面的图像信息表示。这提高了去雾效果,同时保持了精细的结构特征。
  • •
    所提出的方法将基于GNN的全局依赖建模与基于CNN的局部特征提取紧密结合。通过克服传统CNN的受限感受野,并促进上下文信息在整个图像中的有效传输,这种混合方法提高了学习韧性和效率,而不会显著增加计算复杂性。
  • •
    提出了一种称为莲花效应优化的改进损失优化技术,该技术稳定了训练过程并减少了混合CNN–GNN架构中的过拟合。通过改善收敛行为和训练效率,这种修改使ED-GNN适用于实际图像去雾应用。
本文的结构如下:第2节概述了最近的图像去雾方法及其局限性;第3节详细描述了所提出的方法;第4节分析了所提出方法和现有方法的结果。最后,第5节总结了研究的未来方向。

相关工作

Pavethra等人[21]设计了一种基于图形神经网络(GNN)的DL技术,用于准确去除图像中的雾。所设计的模型在GNN中结合了CNN,以捕获图像的局部和全局特征。此外,还利用了层间连接来细化去雾过程。在预处理阶段,使用直方图均衡化来增强对比度和提高可见度。最后,使用改进的

提出的方法

去雾过程提高了图像质量。因此,本研究采用了一个优化的DL模型来提高从公开可用数据集获取的图像质量。然后,通过直方图均衡化和伽马校正进行图像预处理。接着,使用增强注意力图循环神经网络模型进行图像去雾,其中提取特征以提高去雾精度。改进的莲花效应

结果与讨论

使用RESIDE、SOTS和RESIDE-6K数据集分析了所提出方法和当前方法的实验结果。实验使用Python编程语言在以下系统规格上进行:Intel(R) Core(TM) i7-4790 @ 3.60GHz CPU、16GB RAM和64位操作系统。实验选择的超参数在表2中描述。

结论与未来方向

本研究通过集成CA、SRU、GNN并通过ILEOA进行优化,引入了一种新的图像去雾框架。CA在不同尺度上执行特征提取,保留了图像中的边缘和纹理细节。GNN捕获了像素间关系,显著提高了全局图像一致性。SRU实现了上下文感知的恢复,从而提高了内存效率。通过ILEOA进行参数微调,实现了更快的收敛速度和减少

资助

本手稿的编写没有获得任何资助。

伦理批准

本文不包含任何作者进行的涉及人类参与者或动物的研究。

参与同意

所有参与的作者都同意参与本文的撰写。

出版同意

所有参与本手稿的作者都同意发表本文。

作者贡献

所有作者都阅读并批准了最终版本的手稿。

数据可用性声明

本文不适用数据共享。

CRediT作者贡献声明

Sunder Rao:撰写——原始草稿、软件、资源管理、资金获取、正式分析、数据管理、概念化。Dilip Kumar:撰写——审阅与编辑、可视化、验证、监督、方法论、调查。

利益冲突声明

作者们没有需要声明的利益冲突。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号