《Pattern Recognition Letters》:Image Demoiréing via Relative Pose Guidance and Low-Frequency Aware Networks
编辑推荐:
•我们提出一个框架来建模相机到屏幕的姿态以及摩尔纹形态。•LFA 有效抑制低频摩尔纹并校正色彩失真。•TGN 生成自适应先验,提升摩尔纹提取与纹理保留能力。•我们的方法在多个标准与突发去摩尔纹基准上取得 SOTA 性能。引言摩尔纹是数字成像设备捕捉精细周期性表面时产生的干涉伪
- •
我们提出一个框架来建模相机到屏幕的姿态以及摩尔纹形态。
- •
LFA 有效抑制低频摩尔纹并校正色彩失真。
- •
TGN 生成自适应先验,提升摩尔纹提取与纹理保留能力。
- •
我们的方法在多个标准与突发去摩尔纹基准上取得 SOTA 性能。
引言
摩尔纹是数字成像设备捕捉精细周期性表面时产生的干涉伪影。在物理上,摩尔纹源于相机传感器栅格与所摄周期性结构之间采样失配,会严重降低图像质量且难以避免。摩尔纹最常出现在使用数码相机拍摄屏幕的场景中,因此本工作专注于屏幕拍摄的去除摩尔纹。去摩尔纹的核心挑战在于对相机-屏幕相对姿态的高度敏感性:微小的旋转或倾斜都可能大幅改变摩尔纹的频率、色彩与结构。如图 1 所示,相机旋转会改变干涉的空间频率;在某些角度下,主导的低频分量会扩散到大片区域。这类情形尤其棘手:其宽大、不均匀的条纹与真实图像内容极为相似,难以识别与去除。这一困难还被伴随的色彩偏移与亮度衰减所加剧——它们在频谱上与低频摩尔纹重叠,二者的强耦合阻碍了分离,导致现有方法在内容扭曲或色彩还原不准方面表现不佳。大多数现有方法[1]、[2]将去摩尔纹视为一般的图像到图像翻译问题,忽略了相机姿态与摩尔纹形态之间的几何依赖,因此在真实条件下难以泛化。我们观察到,尽管摩尔纹形态各异,它们本质上是由相机-屏幕几何关系决定的确定性干涉条纹。受此启发,我们构建了一个姿态感知的修复框架。我们首先构建一个姿态引导网络(Pose Guidance Network),通过估计的相对姿态增强修复效果。随后引入一个摩尔纹模板引导模块(Moiré Template Guidance module),利用姿态先验来建模并去除空间变化的伪影。为处理低频分量及其对应的色彩与亮度退化,我们提出一个低频感知网络(Low-Frequency Aware Network),统一小波分解与视觉状态空间模型(VSSM),以实现全局校正与精细细节保留。几何引导与频率感知建模的结合使我们的方法能够克服先前工作的局限,并带来更优的修复性能。
我们的主要贡献可总结如下:(1) 我们开发了由相机到屏幕相对姿态引导的图像去摩尔纹框架。(2) 基于估计的相对姿态,我们提出摩尔纹模板引导以增强模型捕获并去除复杂摩尔纹结构的能力。(3) 我们设计了一个基于小波分解与 VSSM 的低频感知网络,可改善图像亮度与色彩校正,并有效抑制不均匀的低频摩尔纹。(4) 实验结果表明,我们的方法在多项评估中取得优越性能。
章节片段
空间域去摩尔纹方法
深度学习显著推动了图像去摩尔纹的发展。DMCNN [1] 首次采用多尺度架构的深度卷积网络以抑制摩尔纹。MSFE [3] 融合 ExFuse [4] 以获得更好的特征融合,MopNet [5] 保留了色彩与边缘,而 MDDM [6] 采用多尺度动态编码以进行精细的色彩校正。结合 Vision Transformers,UFormer [7] 将空间注意力嵌入 U 形结构中以建模长程依赖。ESDNet [8] 处理 UHD 图像的摩尔纹
总体框架
总体框架如图 2 所示。我们的去摩尔纹骨干网络采用多尺度编码器-解码器架构,以实现多尺度摩尔纹提取。除骨干网络外,框架还包含三个网络:低频感知网络(LFA)、姿态引导网络(PG)与模板引导网络(TG)。在接收到含摩尔纹的图像后,网络同时提取特征并预测相机到屏幕的相对姿态。LFA 网络捕捉大面积区域的低频信息,
实验设置
我们使用 4 块 RTX 3090 GPU 配合 Adam 优化器进行训练。初始学习率为 ,并使用 CosineAnnealing 调度器训练 300 个 epoch 至 )。对于标准去摩尔纹评估,我们使用 LCDMoiré [32]、FHDMi [30] 与 UHDM [8];对于突发去摩尔纹,我们在 FHDMi 与 UHDM 上构建了合成数据集,利用摩尔纹生成流程(详见补充材料)模拟真实移动拍摄场景,该流程涉及屏幕重采样、随机 3DoF 旋转、CFA 投影与去马赛克。
与最先进方法的对比
我们将我们的方法与其他方法进行比较
结论
在本工作中,基于摩尔纹生成与相机-屏幕相对姿态之间的强几何关系,我们提出了一个姿态引导且具备低频感知能力的图像去摩尔纹框架。通过显式建模该几何关系,我们利用姿态引导与摩尔纹模板引导来有效去除摩尔纹畸变。为处理不均匀的低频伪影并恢复自然的色彩与光照,我们设计了一个结合小波分解与
CRediT 作者贡献声明
Xi Cheng:写作–审稿与编辑,写作–初稿,监督指导,项目管理,方法学,研究经费获取。Wenqi Yu:写作–审稿与编辑,可视化,软件,数据管理。Tianhao Wang:写作–审稿与编辑,可视化。
利益冲突声明
作者声明不存在任何已知的竞争性经济利益或个人关系可能影响本文所报告工作的客观性。
致谢
本工作得到江苏省基础研究计划(项目编号 BK20240616)与中国国家自然科学基金(项目编号 62501301)的资助。
Xi Cheng|Wenqi Yu|Tianhao Wang