通过双分支特征交互与融合实现的高分辨率图像去噪

《Neural Networks》:High-Resolution Image Deraining via Dual-Branch Features Interaction and Fusion

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neural Networks 6.3

编辑推荐:

  高分辨率图像去雨存在计算成本高和特征提取困难问题,本文提出双分支去雨网络DDNet,通过CNN提取局部高频特征,Transformer提取全局低频特征,结合自适应频率互反模块AFRM增强频域特征交互,离散余弦变换多光谱融合模块MSFM动态融合多频域信息,以及双差分交叉注意力模块DDCAM缓解分支间特征差异,实验证明在保持低计算成本的同时显著提升去雨效果。

  
黄伟龙|梅佳学|严涛|王英辉|常晓军
江南大学人工智能与计算机科学学院,中国江苏省无锡市214122

摘要

现有的图像去雨方法主要针对低分辨率图像,应用于高分辨率图像时存在固有的局限性。首先,直接在高分辨率图像上进行特征提取会显著增加计算成本和内存消耗。其次,高分辨率雨天图像的复杂性导致雨痕与背景严重混合或遮挡,这对模型捕捉局部特征和全局上下文依赖性提出了很高的要求。因此,许多现有模型在去除雨迹时倾向于过度平滑高频细节,从而导致图像模糊和关键结构信息的丢失。为了解决这些问题,我们提出了一种高效的双分支去雨网络(DDNet),该网络结合了频域特征交互和动态特征融合,以增强其CNN和Transformer分支的表示能力。具体来说,我们提出了自适应频率倒数模块(AFRM),该模块能够自适应生成频率谱滤波器,以实现两个分支之间的相互增强和交互。我们还提出了基于离散余弦变换(DCT)的多光谱融合模块(MSFM),以动态融合两个分支解码的特征,从而促进多光谱信息的有效聚合。此外,为了解决CNN和Transformer架构之间可能存在的特征差异和知识差距,我们提出了双差分交叉注意力模块(DDCAM)来减轻由此产生的不利影响。在真实世界和合成高分辨率雨天数据集上进行的广泛实验证明了我们模型的有效性和效率。我们的代码和模型可在以下链接获取:https://github.com/YT3DVision/HRDerain

引言

雨痕是常见的图像退化现象,常常导致视觉质量下降,如模糊和遮挡,严重影响后续计算机视觉任务的性能,包括物体检测、分割和跟踪。在现代高分辨率成像系统中,如4K(3840×2160)高清摄像头和智能监控设备,捕获的图像内容更加丰富,高频细节也更加丰富。然而,雨痕具有更复杂、多样和精细的结构,并且在图像中的分布更加不均匀。因此,从高分辨率图像中去除雨痕对现有的基于深度学习的去雨方法提出了严峻挑战。
近年来,基于深度学习的图像去雨方法取得了显著进展。基于卷积神经网络(CNN)和Transformer的去雨方法(Li, Araujo, Ren, Wang, Tokuda, Junior, Cesar-Junior, Zhang, Guo, Cao, 2019, Xiao, Fu, Liu, Wu, Zha, 2022)在多个基准数据集上表现出优异的性能(Fu, Huang, Zeng, Huang, Ding, Paisley, 2017, Quan, Yu, Liang, Yang, 2021, Yang, Tan, Feng, Liu, Guo, Yan, 2017)。然而,当前主流方法主要是为低分辨率图像设计的(Zhang and Patel, 2018),在应用于高分辨率图像时遇到重大挑战。首先,由于奈奎斯特-香农采样定理(Nyquist, 1928, Shannon, 1949)的限制,低分辨率图像在 downsampling 过程中不可避免地会丢失大量高频细节信息,而低频信息的丢失相对较小。尽管高分辨率图像具有丰富的频率和空间信息,但图像分辨率的提高导致特征图大小呈二次增长,大幅增加了计算复杂性和内存消耗。这种显著的增长不仅使模型训练变得复杂,还阻碍了在资源受限平台上的部署(Cai et al., 2023a)。其次,现有方法通常侧重于提取空间域特征(Yan et al., 2024),如局部细节和全局语义关联,而忽略了频域信息在建模图像退化过程中的关键作用。
尽管一些图像去雨方法(Jiang, Jiang, Liu, Xu, Ma, 2024, Xiao, Xia, 2025)利用了傅里叶变换(Cooley et al., 1969)、小波变换(Mallat, 1989)和离散余弦变换(Ahmed et al., 1974)等传统技术进行频域特征提取,但这些方法存在固有的局限性。具体来说,它们依赖于预定义的变换公式和固定参数,导致对多样化图像内容的适应性较差。此外,训练和测试分辨率之间的差异导致模型泛化能力下降(Touvron et al., 2019)。当在低分辨率图像上预训练的模型直接应用于高分辨率图像时,往往会产生次优的恢复结果,从而加剧了伪影和细节模糊。
在本文中,为了利用空间域和频域中嵌入的互补信息进行高分辨率图像去雨,我们提出了一种高效的双分支去雨网络DDNet,该网络由基于CNN的高分辨率分支和基于Transformer的低分辨率分支组成。具体来说,利用CNN的权重共享机制和局部信息提取能力(LeCun, Bottou, Bengio, Haffner, 1998, Luo, Li, Urtasun, Zemel, 2016),CNN基于的高分辨率分支处理高分辨率输入,专注于提取输入图像的局部和高频特征。另一方面,鉴于Transformer的高计算复杂性(Vaswani et al., 2017),首先对高分辨率输入进行 downsampling,然后将其输入到基于Transformer的低分辨率分支中以提取全局上下文信息。利用Transformer的固有低通滤波特性(Park and Kim, 2022),低分辨率分支自然提取低频信息。
特别是为了有效提取和增强双分支编码特征中的有益频率信息,我们提出了AFRM来自适应预测频谱滤波器,并选择性地细化对背景恢复有积极贡献的频率成分。我们还提出了MSFM,将低分辨率分支的解码器频率特征动态注入高分辨率分支,以实现有效的频率特征聚合。为了减轻由于CNN(局部信息建模)和Transformer(全局上下文聚合)的归纳偏差导致的特征分布不对齐的不利影响(Benjdira, Ali, Koubaa, 2023, Park, Kim, 2022),我们提出了DDCAM来缓解这些特征差异。与其他最先进方法的全面比较证明了我们模型的有效性和效率,如图1所示。
本文的主要贡献可以总结如下:
  • •
    首先,我们提出了一种高效的双分支去雨网络(DDNet),该网络结合了频域特征交互和动态特征融合,以增强其CNN和Transformer分支的表示能力。
  • •
    其次,我们提出了自适应频率倒数模块(AFRM),该模块能够自适应生成频率谱滤波器,以实现两个分支之间的相互增强和交互。
  • •
    第三,我们提出了基于DCT的多光谱融合模块(MSFM)用于信息聚合,以及双差分交叉注意力模块(DDCAM)用于减轻特征差异的不利影响。
  • •
    最后,在真实世界和合成高分辨率雨天数据集上进行的广泛实验表明,我们的模型在计算复杂性和资源消耗方面优于现有的最先进方法。
  • 相关工作

    相关工作

    在本节中,我们首先回顾了单图像去雨方法,然后概述了高分辨率图像恢复,最后调查了基于频率感知的图像去雨方法。

    整体流程

    在这项工作中,我们将雨痕视为一种加性退化现象。用于这一假设的经典且广泛采用的数学模型是:I=B+R,其中 I 是观测到的雨天图像,B 是干净的背景图像,R 是雨痕层。我们的双分支去雨网络(DDNet)的结构如图2所示,主要由一个非对称的双编码器-解码器结构组成。

    实验数据集

    我们在两个真实世界数据集上进行实验,包括真实世界的高分辨率雨天数据集LHP-Rain(Guo et al., 2023)和RealRain1K(Li et al., 2022),该数据集包含两个子集:RealRain1K-H(大雨版本)和RealRain1K-L(小雨版本)。此外,我们还使用了另一个合成高分辨率雨天数据集RainDirection(Liu et al., 2021)。详细信息见表1。

    实现细节

    DDNet采用双分支架构。

    局限性

    尽管我们的方法在多种场景下取得了有竞争力的性能,但在极端条件下也存在局限性。如图10所示,当处理具有密集雨痕(特征为广泛聚集和斑块状)的图像时,我们的方法无法完全去除所有雨痕。此外,某些背景结构会出现模糊或变形。这种局限性源于图10中的雨痕具有广泛的聚集和斑块状特征。

    结论

    在本文中,我们提出了一种新颖的基于频率感知的双分支去雨网络(DDNet),用于高分辨率图像去雨,该网络包括CNN和Transformer分支架构以及三个关键模块。具体来说,自适应频率倒数模块(AFRM)旨在交互并增强双分支的频域特征表示,而多光谱融合模块(MSFM)有效聚合频域信息并动态融合

    CRediT作者贡献声明

    黄伟龙:撰写——原始草案、软件、方法论、概念化。梅佳学:验证、数据整理。严涛:撰写——审稿与编辑、监督。王英辉:撰写——审稿与编辑、监督。常晓军:撰写——审稿与编辑、调查。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了国家自然科学基金(61902151)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号