《Applied Sciences》:Spatially Adaptive Frequency-Decoupled Diffusion for Image Dehazing
编辑推荐:
单图像去雾在雾霾退化和场景结构空间变化时仍然具有挑战性,而基于扩散的恢复在满分辨率下执行迭代去噪时计算开销大。这项工作提出了一种围绕自适应低通残差分解构建的频率解耦条件扩散框架。通过轻量级空间路由组合预定义的高斯低通滤波器组,构建依赖于输入的降维表示和互补的全
单图像去雾在雾霾退化和场景结构空间变化时仍然具有挑战性,而基于扩散的恢复在满分辨率下执行迭代去噪时计算开销大。这项工作提出了一种围绕自适应低通残差分解构建的频率解耦条件扩散框架。通过轻量级空间路由组合预定义的高斯低通滤波器组,构建依赖于输入的降维表示和互补的全分辨率残差。降维表示由使用隐式采样的条件扩散模型恢复,而确定性高频细化分支保留局部结构和纹理。两条恢复通路随后通过空间特征融合模块,利用方向性跨频率注意和自适应空间细化进行整合。该设计将迭代去噪限制在紧凑表示中,同时保留用于残差信息的全分辨率路径。在合成和真实世界基准上的实验表明,相较于代表性的基于先验、确定性和基于扩散的方法,该方法持续改进。消融和采样分析进一步证实了空间自适应分解、高频细化、跨频率融合以及由此产生的质量—效率权衡的有效性,支持所提出框架在实用图像去雾场景中的适用性。
该研究提出了一种用于图像去雾的空间自适应频率解耦扩散框架,论文发表在《Applied Sciences》。单图像去雾旨在从大气散射退化的观测中恢复场景辐射度,由于观测图像受场景内容、透射率和大气光共同影响,该逆问题具有内在歧义性。早期研究通过暗通道先验、颜色线规律等统计或物理先验降低歧义,但这类方法的有效性依赖假设与场景的一致性。深度学习方法通过数据驱动或端到端映射取得进展,但当局部结构和退化模式空间变化时,去雾仍对表示方式敏感。此外,扩散模型在满分辨率上迭代去噪的计算成本较高。针对这些问题,研究人员提出了空间自适应频率解耦扩散框架,通过任务导向的表示分配协调迭代扩散与确定性恢复,在保证全分辨率细节的同时限制迭代去噪的计算开销。
研究人员围绕自适应低通残差分解(ALRD)构建框架。ALRD使用预定义的多尺度高斯低通滤波器组,并通过轻量级空间路由网络预测逐位置的混合权重,从而构造位置相关的降维表示和互补的全分辨率残差。降维表示由条件扩散模型使用隐式采样(DDIM)恢复,高频残差由确定性高频特征细化(HFFR)分支处理,随后通过空间特征融合(SFF)模块整合两条通路。该设计不假设雾霾属于特定频带,而是将图像信息分配给具有不同恢复功能的子表示。实验在合成基准HAZE4K以及真实世界基准NH-HAZE和O-HAZE上进行,结果表明所提方法在峰值信噪比(PSNR)、结构相似性指数(SSIM)和感知相似性指标(LPIPS)上均优于代表性的基于先验、确定性和扩散方法。消融研究验证了空间自适应分解、高频细化、跨频率融合及采样配置的有效性,并展示了质量与效率的平衡。该框架避免了全分辨率上的迭代扩散,同时保留全分辨率残差路径,为实际图像去雾提供了一种可行的混合恢复方案。
在技术方法上,研究人员主要采用了以下关键方法:一是ALRD,它通过预定义高斯滤波器组结合轻量级空间路由,生成降维低频表示和互补全分辨率残差;二是低频条件扩散分支,以成对降维表示作为条件和目标,使用DDIM采样恢复低频分量;三是HFFR模块,采用U形编码器—解码器结构,结合深度可分离卷积、可变形卷积和Sobel引导增强,细化边缘和纹理特征;四是SFF模块,通过多头窗口跨频率注意(MWCA)、窗口自注意(WSA)和可变形卷积细化,实现低频结构信息与高频细节信息的自适应融合。训练目标包括噪声估计、低频重建和图像级重建三项,在完整框架上联合优化。样本数据来源于HAZE4K(3000对训练、1000对测试)、NH-HAZE(50对训练、5对测试)和O-HAZE(40对训练、5对测试)。
研究结果方面,共分为以下部分:
4.2.1 合成数据集结果:在HAZE4K上,定量比较表明传统先验方法如MSR和DCP精度有限;学习方法的PSNR随架构演进逐步提升,DEA-Net在确定性方法中取得最高指标。基于扩散的方法中,LPCDiff通过拉普拉斯金字塔分解达到较强性能。所提方法获得34.67 dB PSNR、0.9838 SSIM和0.361 LPIPS,在所有对比方法中最佳,相比LPCDiff在PSNR和SSIM上分别提升0.36 dB和0.0017,LPIPS降低0.011。
4.2.2 真实世界数据集结果:在NH-HAZE上,所提方法取得22.79 dB PSNR、0.7542 SSIM和0.1907 LPIPS,优于所有基线,相比LPCDiff在PSNR上提升0.34 dB,相比DEA-Net在LPIPS上降低0.0058。在O-HAZE上,所提方法取得27.09 dB PSNR、0.8538 SSIM和0.1032 LPIPS,均优于LPCDiff等基线。这说明框架同时改善像素保真度、结构保持和感知质量。
4.2.3 计算效率:比较了参数量、FLOPs和推理时间。所提方法在1600×1200输入下推理时间为1.848秒,相比LPCDiff增加少量成本(1.11 M参数、3.18 G FLOPs、0.031秒),但恢复质量显著提高。模块级延迟分析显示扩散分支约占78%推理时间;峰值显存随分辨率近似线性增长,在2048×1536下为10.42 GB。
4.3 定性比较:在HAZE4K、NH-HAZE、O-HAZE以及未见过的真实雾天图像上比较视觉效果,所提方法在抑制残余雾霾、保持全局色调和恢复细薄结构方面更接近参考图像,且避免了过度增强和局部变色。
4.4 消融研究:
4.4.1 ALRD的有效性和可解释性:与固定尺度、均匀混合等固定分解策略相比,ALRD在NH-HAZE上相比均匀混合提升PSNR 0.28 dB、SSIM 0.0044,LPIPS降低0.0058;在O-HAZE上提升0.14 dB、0.0027和0.0035。路由权重可视化和频谱分析表明ALRD产生具有互补频谱特性的表示。
4.4.2 扩散时间步和DDIM采样步数的影响:在固定S=10时,将T从200增至400可显著提升指标,增至600收益逐渐饱和。在T=400时,S从10增至15进一步提升性能;S从15增至20性能基本饱和而耗时线性增加。因此选择T=400、S=15作为平衡点。
4.4.3 HFFR中高频增强的作用:比较了直达捷径、3×3卷积、坐标注意力和HFE四种捷径处理。使用HFE获得最佳结果,在NH-HAZE和O-HAZE上PSNR分别为22.79 dB和27.09 dB,高于坐标注意力,表明显式结构响应增强更适合HFFR的细节恢复角色。
4.4.4 SFF中跨频率交互的作用:将MWCA替换为逐元素相加、拼接和SE融合。交叉注意(MWCA)获得最佳指标,相比SE融合在NH-HAZE上PSNR提升0.21 dB,在O-HAZE上提升0.13 dB。方向性比较表明以高频特征作为查询、低频特征作为键值的方向配置最优。
4.4.5 损失配置的影响:将各损失权重从1.0降至0.5导致性能变化有限,等权重配置最佳。引入显式高频辅助损失仅带来微小提升,说明图像级重建目标已能有效监督高频分支,因此保留原始紧凑目标。
在讨论部分,研究人员指出:空间自适应分解相比固定分解在非均匀雾霾场景下获益更大;扩散推理时间仍高于确定性模型,主要开销来自迭代去噪;未来工作将加速采样并探索该框架在检测、分割等下游任务中的应用。研究结论部分翻译如下:这项工作提出了一种用于单图像去雾的频率解耦扩散框架。ALRD结合预定义的多尺度高斯低通基和空间路由,构造位置自适应的降维表示及互补的全分辨率残差。条件扩散恢复降维表示,HFFR细化残差结构,SFF通过方向性跨频率交互整合两条通路。在可用数据集上的实验表明,该方法相较于代表性的基于先验、确定性和基于扩散的方法获得了一致提升,消融研究验证了空间路由、高频增强和跨频率融合的贡献。这种任务导向分配不假设频率上的绝对分离,且避免了全分辨率扩散。然而,迭代推理仍比直接确定性模型慢。未来工作将聚焦加速扩散采样,并进一步探索该框架在更广泛的真实场景和下游视觉任务中的适用性,包括目标检测、语义分割和场景理解。