雨痕是常见的图像退化现象,常常导致视觉质量下降,如模糊和遮挡,严重影响后续计算机视觉任务的性能,包括物体检测、分割和跟踪。在现代高分辨率成像系统中,如4K(3840×2160)高清摄像头和智能监控设备,捕获的图像内容更加丰富,高频细节也更加丰富。然而,雨痕具有更复杂、多样和精细的结构,并且在图像中的分布更加不均匀。因此,从高分辨率图像中去除雨痕对现有的基于深度学习的去雨方法提出了严峻挑战。
近年来,基于深度学习的图像去雨方法取得了显著进展。基于卷积神经网络(CNN)和Transformer的去雨方法(Li, Araujo, Ren, Wang, Tokuda, Junior, Cesar-Junior, Zhang, Guo, Cao, 2019, Xiao, Fu, Liu, Wu, Zha, 2022)在多个基准数据集上表现出优异的性能(Fu, Huang, Zeng, Huang, Ding, Paisley, 2017, Quan, Yu, Liang, Yang, 2021, Yang, Tan, Feng, Liu, Guo, Yan, 2017)。然而,当前主流方法主要是为低分辨率图像设计的(Zhang and Patel, 2018),在应用于高分辨率图像时遇到重大挑战。首先,由于奈奎斯特-香农采样定理(Nyquist, 1928, Shannon, 1949)的限制,低分辨率图像在 downsampling 过程中不可避免地会丢失大量高频细节信息,而低频信息的丢失相对较小。尽管高分辨率图像具有丰富的频率和空间信息,但图像分辨率的提高导致特征图大小呈二次增长,大幅增加了计算复杂性和内存消耗。这种显著的增长不仅使模型训练变得复杂,还阻碍了在资源受限平台上的部署(Cai et al., 2023a)。其次,现有方法通常侧重于提取空间域特征(Yan et al., 2024),如局部细节和全局语义关联,而忽略了频域信息在建模图像退化过程中的关键作用。
尽管一些图像去雨方法(Jiang, Jiang, Liu, Xu, Ma, 2024, Xiao, Xia, 2025)利用了傅里叶变换(Cooley et al., 1969)、小波变换(Mallat, 1989)和离散余弦变换(Ahmed et al., 1974)等传统技术进行频域特征提取,但这些方法存在固有的局限性。具体来说,它们依赖于预定义的变换公式和固定参数,导致对多样化图像内容的适应性较差。此外,训练和测试分辨率之间的差异导致模型泛化能力下降(Touvron et al., 2019)。当在低分辨率图像上预训练的模型直接应用于高分辨率图像时,往往会产生次优的恢复结果,从而加剧了伪影和细节模糊。
在本文中,为了利用空间域和频域中嵌入的互补信息进行高分辨率图像去雨,我们提出了一种高效的双分支去雨网络DDNet,该网络由基于CNN的高分辨率分支和基于Transformer的低分辨率分支组成。具体来说,利用CNN的权重共享机制和局部信息提取能力(LeCun, Bottou, Bengio, Haffner, 1998, Luo, Li, Urtasun, Zemel, 2016),CNN基于的高分辨率分支处理高分辨率输入,专注于提取输入图像的局部和高频特征。另一方面,鉴于Transformer的高计算复杂性(Vaswani et al., 2017),首先对高分辨率输入进行 downsampling,然后将其输入到基于Transformer的低分辨率分支中以提取全局上下文信息。利用Transformer的固有低通滤波特性(Park and Kim, 2022),低分辨率分支自然提取低频信息。
特别是为了有效提取和增强双分支编码特征中的有益频率信息,我们提出了AFRM来自适应预测频谱滤波器,并选择性地细化对背景恢复有积极贡献的频率成分。我们还提出了MSFM,将低分辨率分支的解码器频率特征动态注入高分辨率分支,以实现有效的频率特征聚合。为了减轻由于CNN(局部信息建模)和Transformer(全局上下文聚合)的归纳偏差导致的特征分布不对齐的不利影响(Benjdira, Ali, Koubaa, 2023, Park, Kim, 2022),我们提出了DDCAM来缓解这些特征差异。与其他最先进方法的全面比较证明了我们模型的有效性和效率,如图1所示。
本文的主要贡献可以总结如下:
•首先,我们提出了一种高效的双分支去雨网络(DDNet),该网络结合了频域特征交互和动态特征融合,以增强其CNN和Transformer分支的表示能力。
•其次,我们提出了自适应频率倒数模块(AFRM),该模块能够自适应生成频率谱滤波器,以实现两个分支之间的相互增强和交互。
•第三,我们提出了基于DCT的多光谱融合模块(MSFM)用于信息聚合,以及双差分交叉注意力模块(DDCAM)用于减轻特征差异的不利影响。
•最后,在真实世界和合成高分辨率雨天数据集上进行的广泛实验表明,我们的模型在计算复杂性和资源消耗方面优于现有的最先进方法。