PFS-DiffNet:面向真实场景图像去雾的物理引导频率感知语义潜在扩散网络

《Signal Processing: Image Communication》:PFS-DiffNet: Physics-Guided Frequency-Aware Semantic Latent Diffusion for Real-World Image Dehazing

【字体: 大 中 小 】 时间:2026年09月30日 来源:Signal Processing: Image Communication 3.4

编辑推荐:

   - PFS-DiffNet:一种物理引导的潜在扩散框架,用于图像去雾。 - PFSGM融合物理、频率和语义先验,实现自适应引导。 - 采用层次化先验条件扩散进行去雾和纹理恢复。 - 统一的客观优化提升重建效果和大气的真实性。 - 在合成和真实世界去雾基准测试中实现了卓越性能。

  

- PFS-DiffNet:一种物理引导的潜在扩散框架,用于图像去雾。
- PFSGM融合物理、频率和语义先验,实现自适应引导。
- 采用层次化先验条件扩散进行去雾和纹理恢复。
- 统一的客观优化提升重建效果和大气的真实性。
- 在合成和真实世界去雾基准测试中实现了卓越性能。

**引言**

由于户外图像的视觉质量和后续高层视觉任务的可靠性至关重要,图像去雾已成为低层计算机视觉中最基本的研究问题之一。雾霾、雾气、薄雾和烟雾等大气颗粒会在反射光到达成像传感器之前引起散射和吸收,导致能见度降低、对比度下降、颜色失真以及结构细节的严重退化。这些退化对许多实际应用的性能产生了严重影响,包括自动驾驶、智能交通系统、视觉监控、机器人、遥感、无人机和智能环境监测等领域,在这些领域中可靠的场景感知是必不可少的。因此,工业界和学术界都对开发鲁棒的单图像去雾算法表现出极大的兴趣,以便在各种大气条件下恢复清晰的场景信息。

大气散射模型(ASM)被广泛用于描述雾图像的物理形成过程。该模型将退化过程视为衰减的场景辐射与散射大气光的总和[1]。基于这一物理模型,早期的图像去雾算法主要依赖手工设计的统计先验来估计透射率和大气光。最常见的方法包括暗通道先验(DCP)[2]、利用边界约束的高效去雾[3]、基于颜色线的去雾[4]和非局部图像去雾[5]。这些方法在中等雾霾条件下展现了令人满意的恢复能力,并提供了具有物理可解释性的结果。然而,它们的性能高度依赖于对自然图像统计特性的假设,而在实际场景中,由于不均匀雾霾、密集大气散射、亮物体和复杂光照,这些假设经常被违反。因此,这些方法通常会产生光晕伪影、颜色恢复不准确以及对多样化场景的泛化能力差等问题。

深度学习的巨大成功极大地推动了图像去雾的发展,数据驱动的特征学习取代了手工设计的先验。早期的基于卷积神经网络(CNN)的方法,如DehazeNet[6]和AOD-Net[7],将去雾建模为端到端的学习问题,并在恢复精度方面相比传统先验方法取得了显著改进。后来,更复杂的架构如GridDehazeNet[8]、FFA-Net[9]、MSBDN[10]和AECR-Net[11]融合了多尺度特征聚合、注意力机制、密集特征融合和对比表征学习,以提高重建保真度。基于CNN的方法在合成和真实世界基准数据集上始终取得了更好的定量结果,使深度学习成为图像去雾的主导范式。然而,由于卷积操作的局部感受野限制,这些方法往往无法捕捉长距离上下文依赖关系和全局场景关系,尤其是在严重且空间变化的雾霾条件下。

视觉Transformer的最新进展通过自注意力机制有效建模长距离空间依赖关系,进一步推动了图像去雾的发展。与传统CNN不同,基于Transformer的结构能够同时捕捉局部纹理特征和全局上下文关系,这更适合空间变化的雾霾分布。DehazeFormer[12]、RIDCP[13]、UCL-Dehaze[14]和DEA-Net[15]等方法显著恢复了结构细节并保持了感知质量。最近,DNMGDT[16]提出了一种双归一化多粒度Transformer架构,以进一步提高对密集和非均匀雾霾的恢复鲁棒性。基于Transformer的方法比传统CNN架构更好地捕捉了全局上下文信息,但它们仍然是本质上确定性的恢复模型。因此,由于大气图像形成的本质病态性,在密集雾霾下仍然难以精确恢复严重退化的精细纹理和重建缺失的图像细节。

与此同时,扩散概率模型近年来被开发为解决各种逆成像问题的强大生成框架,通过迭代随机去噪实现。自去噪扩散概率模型(DDPM)[17]及其后续工作如去噪扩散隐含模型(DDIM)、基于分数的生成模型[18]、潜在扩散模型(LDM)[19]、DiffIR[20]和IR-SDE[21]以来,在各种图像恢复任务(包括图像去噪、去模糊、超分辨率、图像修复和盲图像恢复)上取得了显著的性能。潜在扩散模型通过在紧凑的潜在表示中以渐进精炼的方式对退化观测进行随机去噪,在保持恢复质量的同时大幅降低了计算复杂度。因此,基于扩散的恢复已迅速成为低层视觉中最有前景的研究方向之一。

在上述成功的驱动下,近期几篇论文将扩散模型引入图像去雾,并展现了令人满意的恢复结果。与确定性恢复网络相比,基于扩散的方法具有更强的生成能力和更好的鲁棒性,能够恢复缺失的纹理和结构细节。然而,当前的基于扩散的去雾方法主要将恢复过程建模为受大规模数据分布引导的潜在特征优化。虽然这些方法利用了扩散模型的表达能力,但它们很少融入关于大气图像形成的领域特定先验知识。这导致了一个数据驱动的扩散过程,通常无法保持物理一致的场景区,尤其是在具有非均匀雾霾、变化光照和复杂场景几何的挑战性真实世界场景中。

尽管基于扩散的图像恢复方法取得了最新进展,但仍有许多重要的局限性尚未解决。首先,大多数现有方法没有明确地将大气散射原理融入潜在扩散过程,导致对控制雾霾形成的宝贵物理线索利用不足。其次,雾霾极大地衰减了图像的高频分量,而高频分量富含边缘、纹理和结构信息,但当前的潜在扩散框架通常学习空间表示,而没有明确建模频率域的互补特性。第三,雾霾的空间分布与场景语义、物体类别、深度变化和光照条件密切相关。然而,现有方法很少利用语义上下文信息来根据场景的不同区域自适应地引导恢复。因此,在潜在扩散优化中,大气物理、频谱信息和语义上下文通常被分开处理或完全被忽略。由于缺乏有效联合建模这些互补先验的机制,现有去雾框架在挑战性真实世界场景中面临着有限的恢复能力和泛化性能。

基于这些观察,我们提出了一种PFS-DiffNet——物理引导频率感知语义潜在扩散网络,用于鲁棒的真实世界图像去雾。本研究的主要假设是大气物理、频率域表示和语义上下文信息为基于潜在扩散的图像恢复提供了互补的引导。具体而言,大气先验根据图像形成模型约束恢复过程;频率感知表示有助于恢复被雾霾严重破坏的精细纹理和高频结构;语义引导通过利用高层场景理解和上下文关系实现自适应恢复。而不是分别利用这些互补线索,PFS-DiffNet将它们融合到一个连贯的物理-频率-语义引导模块(PFSGM)中,为潜在扩散过程提供自适应引导。所提出的框架联合建模这些异构先验,逐步重建无雾的潜在表示,同时保持大气一致性、结构完整性和感知真实性。

此外,采用了一种层次化潜在扩散方法,从粗粒度语义结构到精细图像细节迭代细化退化图像表示。与传统确定性恢复网络相比,所提出的扩散框架有效地利用了潜在扩散的强大生成能力,同时受益于物理有意义的约束和频率感知的特征增强。所提出的设计使网络能够在具有挑战性的真实世界大气条件下恢复视觉保真的图像,具有改善的纹理保持、边缘重建和鲁棒性。因此,PFS-DiffNet呈现了一个统一的多先验潜在扩散框架,将物理建模和数据驱动的生成恢复相结合,用于单图像去雾。

本工作的主要贡献可总结为:

- 我们提出了PFS-DiffNet,一种新颖的物理引导频率感知语义潜在扩散网络,将大气物理先验、频率域表示和语义上下文信息整合到统一的潜在扩散框架中,用于鲁棒的真实世界图像去雾。
- 我们提出了一种新颖的物理-频率-语义引导模块(PFSGM),有效地融合了互补的物理、频谱和语义先验,为基于层次化潜在扩散的图像恢复生成自适应引导。
- 我们提出了一种层次化潜在扩散恢复策略和统一的优化框架,逐步恢复无雾图像,在各种退化水平下实现精细纹理、结构细节、感知一致性和大气保真度。
- 我们在合成和真实世界基准数据集上广泛评估了所提出的框架,在定量和定性方面均取得了具有竞争力的整体性能。广泛的消融研究进一步证明了每个提出组件的有效性,并验证了多先验引导机制的贡献。

本文其余部分组织如下。第2节回顾了基于物理、基于CNN、基于Transformer和基于扩散的图像去雾方法的近期文献,并指出了现有的研究空白。第3节介绍了所提出的PFS-DiffNet框架,包括整体架构、物理-频率-语义引导模块(PFSGM)、先验条件层次化潜在扩散(PHLD)框架、渐进多尺度重建解码器(PMRD)以及所提出的多目标优化策略。第4节描述了实验设置,并在合成和真实世界基准数据集上呈现了全面的定量比较、定性评估、消融研究和计算复杂度分析。最后,第5节总结了全文并概述了几个有前景的未来研究方向。

**基于物理的图像去雾**

单图像去雾在过去十年中一直是一个活跃的研究话题。早期工作主要依赖于大气光传播的物理模型。大多数经典方法基于大气散射模型(ASM),该模型将观测到的雾图像建模为经过大气散射衰减的场景辐射与来自大气散射的大气光的混合。在这些方法中,He等人[2]提出的暗通道先验(DCP)是其中之一。

**整体架构**

单图像去雾是一个病态逆问题,因为多个无雾场景可能对应于同一张观测到的雾图像。设观测到的雾图像表示为$I_h \in \mathbb{R}^{H \times W \times 3}$,其中$H$、$W$和3分别表示图像的高度、宽度和RGB颜色通道。根据大气散射模型,图像退化过程公式化为:$I_h(x) = I_c(x) \cdot t(x) + A \cdot (1 - t(x))$,其中$I_c$表示未知的无雾图像,$t(x)$是透射率图,$A$代表全局大气光。

**实验**

本节讨论了所提出的基于物理-频率-语义潜在扩散网络的单图像去雾(PFS-DiffNet)的性能。我们在合成和真实世界基准数据集上进行了广泛的实验。我们进行了定量评估、定性比较、消融研究和计算复杂度分析,以展示所提出框架相对于最新先进图像去雾方法的有效性。

**结论**

在本文中,我们提出了一种新颖的物理-频率-语义潜在扩散网络,用于单图像去雾,命名为PFS-DiffNet。与仅依赖确定性特征学习的传统去雾方法不同,所提出的框架有效地将大气物理先验、频率域表示和语义上下文信息整合到层次化潜在扩散框架中。具体而言,我们提出了一种物理-频率-语义引导模块(PFSGM),以……

**作者贡献声明(CRediT)**

Vipal Kumar Sharma:方法论、调查研究、概念化。Tathagata Bhattacharya:监督、资源。Ruhika Sharma:可视化、项目管理。

**利益冲突声明**

作者声明他们不存在可能影响本文报告工作的已知竞争性财务利益或个人关系。

作者进一步确认:
- 本研究在没有可被视为潜在利益冲突的任何商业或财务关系下进行。
- 没有任何资助机构、商业实体或外部组织参与研究设计、数据收集、分析、结果解释或……

Vipal Kumar Sharma | Tathagata Bhattacharya | Ruhika Sharma
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号