《Mathematics》:Frequency-Domain Feature Learning Network for Joint Image Demosaicing and Denoising
Donghui Zhang,
Feiyu Li,
Jun Yang and
Le Yang
编辑推荐:
摘要:本文提出一种基于频域特征融合块(Frequency-domain Feature Block, FFB)的端到端深度神经网络——FFNet(Frequency-domain Fusion Network),用于解决彩色图像联合去马赛克(Joint Dem
摘要:本文提出一种基于频域特征融合块(Frequency-domain Feature Block, FFB)的端到端深度神经网络——FFNet(Frequency-domain Fusion Network),用于解决彩色图像联合去马赛克(Joint Demosaicking and Denoising, JDD)问题。传统空域卷积神经网络(CNN)难以高效捕获全局纹理与周期性噪声模式,而FFNet通过在频率域(Frequency Domain, FD)引入可学习的全局傅里叶滤波块(Global Fourier Block, GFB)与局部傅里叶卷积块(Local Fourier Block, LFB),利用二维快速傅里叶变换(2D Fast Fourier Transform, 2D-FFT/IFFT)将空域卷积等价转换为频域逐点乘法操作,从而以O(HWlogHW)的计算复杂度建模长程依赖关系与局部频域特征。网络采用浅层特征提取、深层残差注意力分组(Residual Feature Aggregation Group, RFAG含通道注意力Cab及特征注意力Fab模块)及像素洗牌(Pixel-Shuffle)上采样重构三阶段架构。损失函数由L1像素损失与频域L1约束项(‖?(IH(R))??(Igt)‖1)加权组成。实验在McMaster、Kodak及Urban100数据集上表明,FFNet在不同噪声水平下较现有JDD方法取得更高峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity Index, SSIM),且参数量与计算量(FLOPs)具竞争优势。
研究背景与意义
彩色图像经单传感器获取需经拜耳(Bayer Color Filter Array, CFA)滤色得到单通道马赛克图,还原为全分辨率RGB图需去马赛克(Demosaicking, DM);若伴随传感器噪声则需联合去马赛克与去噪(Joint Demosaicking and Denoising, JDD)。传统方法与早期CNN多局限于空域局部感受野,难以有效抑制混叠(Aliasing)伪色与高频噪声,且对全局周期纹理恢复能力不足。频域视角下,图像全局结构与噪声呈特定频谱分布,2D-FFT可使空域循环卷积等价于频域点乘,适合引入可学习频域滤波器捕获全局信息。该研究在《Mathematics》发表,提出FFNet嵌入频域特征融合块(FFB含GFB与LFB),旨在兼顾全局频域建模与局部特征学习,提升JDD复原质量并控制计算开销。
主要关键技术方法
研究人员以DIV2K(800幅训练/100幅验证)为训练集,McMaster(18幅)、Kodak(24幅)、Urban100(100幅)为测试集;Bayer RGGB CFA采样加[0,20]/255高斯白噪(AWGN)。FFNet流程:①浅层1×1卷积提取初始特征;②深层由六组残差特征聚合组(RFAG——每组含六特征注意块FAB、通道注意块CAB及3×3卷积)处理,其中插入FFB模块——先2D-FFT变换至频域得复数张量(实部虚部分开或拼接),经全局傅里叶块(GFB:可学习复滤波器K与频域特征逐点相乘?再IFFT)与局部傅里叶块(LFB:频域实虚部拼接→1×1卷积+GELU+1×1卷积提取局部频域模式),两路输出经1×1卷积融合回空域;③Pixel-Shuffle上采样输出三通道RGB图。损失函数为Ltotal=Lpixel(‖IH(R)?Igt‖1)+λLF(‖?(IH(R))??(Igt)‖1),λ=0.05。Adam优化器训练,随机128×128裁剪及翻转增强,评测指标为PSNR、SSIM及感知相似度(Learned Perceptual Image Patch Similarity, LPIPS)。
研究结果
3.2. FFB(Frequency-domain Feature Block)
FFB由GFB与LFB并联构成。输入先经1×1卷积+GELU激活分两路:GFB对特征做2D-FFT得X=?(x)(尺寸H×(?W/2?+1)×C双共轭对称压缩),与可学习复滤波器K(H×(?W/2?+1)×C)逐元素相乘实现全局频选滤波,再IFFT回空域,复杂度O(HWlogHW);LFB将?(x)实部虚部Concat后接两层级1×1卷积(GELU激活)挖掘局部频域非线性,最后与GFB输出1×1卷积融合并残差连接。研究表明频域可学习滤波可有效捕获空域大感受野难以建模的周期纹理与全局结构,LFB补充局部频带特征,二者协同提升复原保真度。
3.3. Loss Function
除常规L1像素损失外加入频域L1损失约束重建图与真值在FFT幅谱上的一致,引导网络关注高频细节恢复。λ取0.05时效果最优,过大致像素域失真、过小频域约束无效。
4.1. Datasets and Training Information
详述所用数据集划分、噪声注入方式(Bayer mosaic+AWGN σ∈[0,20])、裁剪增强(128×128, 50%翻折)及Adam(β1=0.9, β2=0.999)训练超参,评测指标PSNR/SSIM/LPIPS。
4.2–4.4 实验结果(模块消融与对比)
- •
GFB与LFB均对性能有贡献,仅用其一低于二者共存;不同LFB卷积核经测试3×3局部卷积在频域块前后无额外增益,故采用1×1卷积降低参量。
- •
与经典及SOTA JDD方法(包括传统Hamilton-Adams类算法、Deep Joint Demosaic Denoise Network等)对比,FFNet在各噪声水平(σ=0,5,10,15,20)下McMaster/Kodak/Urban100数据集获最高或次高PSNR/SSIM,LPIPS更低(感知更优),参数量与FLOPs显著少于同精度大模型。
- •
无噪DM任务中FFNet亦超越多数对比DM方法,证明频域特征对插值伪彩抑制有效。
讨论与结论
研究人员证实将2D-FFT/IFFT嵌入CNN构建可微分频域处理分支(FFB),可在接近空域小卷积计算成本(O(HWlogHW))下获得近似全局感受野与选择性频带抑制能力,有效缓解JDD中高频混叠伪色与噪声残留。所提FFNet通过GFB学全局频域滤波器、LFB学局部频域非线性、辅以空域残差注意分组细化,配合频域L1损失,在多个基准库达SOTA性能。该频域—空域混合范式拓展了图像复原网络设计思路,为低层级视觉任务引入物理可解释的频率选择性机制,发表于《Mathematics》可为后续基于Fourier神经算子的图像复原研究提供参考基础。