图像去雾是一种旨在提高在雾天或阴天条件下捕获的图像清晰度的技术。当光线被空气中的颗粒散射时,会导致视觉和对比度降低[1]。传统的图像处理方法通常依赖于先验知识,例如暗通道先验(DCP);然而,这些方法在复杂情况下可能会失败。深度学习(DL)作为一种强大的替代方案出现,因为它能够从数据中理解复杂的设计,而无需明确的假设[2,3]。用于去雾的DL算法通常使用卷积神经网络(CNN)或变换器,这些模型在大量雾天和清晰图像的数据集上表现良好[4]。这些模型通过最小化损失函数(如像素级差异或感知质量指标)来学习将模糊输入映射到无雾输出。许多先进的方法结合了编码器-解码器架构、注意力机制和生成对抗网络(GAN),从而提高了恢复细节的能力[5,6]。
一个重要的突破是将物理雾模型(包括大气散射模型)引入训练过程,以确保结果准确。例如,创建网络来预测传输图和大气光照,然后使用这些信息重建清晰图像[7,8]。像领域适应这样的技术的集成使得这些模型即使在具有未见过的雾特性的图像上也能表现良好[9,42]。图像去雾的应用范围从自动驾驶和监控到户外摄影和遥感。深度学习的使用显著提高了去雾性能,在各种环境条件下提供了实时处理和鲁棒性。这使得它成为提高受雾影响场景中视觉数据质量的关键工具[10,11]。
存在多种图像去雾方法用于去除雾。在交通和监控等应用中,去除雾非常重要。恶劣的天气条件会导致图像质量下降。图像去雾方法包括:单图像去雾、多图像去雾和基于偏振滤镜的图像去雾[12,13]。单图像去雾方法不需要从不同条件下捕获额外的信息。单图像去雾采用基于学习和基于先验的方法进行图像去雾。基于先验的方法通过使用从图像中收集的统计数据来评估传输图[[14], [15], [16]]。暗通道、颜色注意力和其他先验方法取得了进展,但所做的假设影响了输出结果。因此,这些模型被证明效果不佳。然而,基于学习的技术利用机器学习或DL来进行去雾[16,43]。
神经网络,如卷积神经网络(CNN)、AlexNet、DehazeNet和AODNet,从图像中学习去雾所需的雾特性和场景深度。基于神经网络的模型生成了清晰的图像,但在处理现实世界的雾场景时遇到了困难[17,18]。这些不是轻量级的神经网络模型(如CNN、AlexNet、AODNet和DehazeNet)缺乏全局建模能力,导致颜色图像不理想且不平衡。仅靠局部信息不足以进行预测;因此,基于注意力的模型由于其简化能力而在视觉任务中受到关注[19,20]。这些方法通过学习更大的数据集来创建复杂的表示,显示出显著的性能。
雾和霾会显著降低户外环境中捕获的图像质量,限制了能见度,并影响许多应用,包括自动驾驶、监控和遥感。传统的基于软件的去雾技术往往难以满足嵌入式系统的严格实时需求和资源限制。如今,深度学习模型被用来执行去雾任务以提高图像质量。然而,计算复杂性、处理复杂关系的效率低下以及去除不准确等问题都降低了模型的性能。此外,为了创建一个可以在资源受限的硬件平台上实时高效去除雾的硬件加速图像去雾解决方案,计算复杂性和更高的处理速度限制了图像去雾的性能。因此,引入了基于深度学习的图像去雾方法。然而,模型的感知质量、较差的泛化能力和过拟合问题限制了它们的性能。为了克服这些问题,本研究开发了一种优化的深度学习方法。
本研究的动机源于现有研究的局限性。传统的DL模型未能捕捉到图像的颜色、对比度和纹理特征[25,26]。因此,需要一个关注图像感知质量的稳健模型。大多数模型在不同照明条件下对特定数据过度拟合[27,44]。因此,需要一个更具泛化能力的模型。资源受限的应用需要更多的内存和计算能力;因此,需要一个轻量级模型。为了提供更准确的去雾结果,通过优化算法对参数进行了微调。
为了解决细节信息丢失和颜色失真的问题,使用了高效的预处理步骤,如直方图均衡化和伽马校正。然后引入了EA-GNN模型,该模型通过从给定输入图像中学习复杂特征来有效进行图像去雾。与其他现有算法相比,该模型更有效地提高了去雾图像的质量。最后引入了ILEOA,它以高收敛速度微调参数,且不会导致解决方案陷入局部最优解。
本研究的主要目标如下:
- •
开发一种增强注意力图循环神经网络(ED-GNN),能够高效识别模糊图像中的长距离结构关系和局部视觉特征。与传统基于CNN的去雾技术相比,ED-GNN通过结合基于图的关系推理和注意力及循环建模,提供了更全面的图像信息表示。这提高了去雾效果,同时保持了精细的结构特征。
- •
所提出的方法将基于GNN的全局依赖建模与基于CNN的局部特征提取紧密结合。通过克服传统CNN的受限感受野,并促进上下文信息在整个图像中的有效传输,这种混合方法提高了学习韧性和效率,而不会显著增加计算复杂性。
- •
提出了一种称为莲花效应优化的改进损失优化技术,该技术稳定了训练过程并减少了混合CNN–GNN架构中的过拟合。通过改善收敛行为和训练效率,这种修改使ED-GNN适用于实际图像去雾应用。
本文的结构如下:第2节概述了最近的图像去雾方法及其局限性;第3节详细描述了所提出的方法;第4节分析了所提出方法和现有方法的结果。最后,第5节总结了研究的未来方向。