用于空间自适应连续超分辨率的分层傅里叶编码
《Pattern Recognition》:Hierarchical Fourier Encoding for Spatially-Adaptive Continuous Super-Resolution
【字体:
大
中
小
】
时间:2026年03月27日
来源:Pattern Recognition 7.6
编辑推荐:
连续图像超分辨率中提出分层傅里叶编码与自适应坐标调整框架,通过动态融合语义和空间信息,缓解隐式神经网络光谱偏置问题,显著提升PSNR和SSIM指标。
杨成|邢浩月|李超辉|姚灿灿|郝群
北京工业大学光学与光子学院,北京,100081,中国
摘要
连续图像超分辨率(CISR)需要在任意尺度上进行重建;然而,当前的隐式神经表示(INR)方法通常依赖于固定的双线性插值,并且存在光谱偏差,导致结果过于平滑。在这项研究中,我们引入了一个空间自适应的坐标偏移框架,该框架将分层傅里叶编码与动态坐标调整相结合。通过重新定位查询点,我们的方法根据语义和空间信息而不是预定的权重来适应性地融合相邻特征。分层傅里叶编码提供了多频率的位置线索,从而提高了高频细节的恢复能力,而轻量级的多头线性注意力机制则捕捉了长距离的上下文关系。在DIV2K数据集和几个基准数据集上进行的实验评估表明,与当前最先进的技术相比,我们的方法在训练尺度范围内PSNR提高了多达0.12 dB,在SSIM上提高了0.002。此外,所提出的框架可以灵活地集成到任何CISR网络架构中。
引言
单图像超分辨率旨在从降采样的低分辨率(LR)图像重建高分辨率(HR)图像。传统的基于深度神经网络的方法[1]、[2]、[3]、[4]通常分为两个连续阶段:特征提取和上采样。常用的上采样技术,如双三次插值[5]、[6]、[7]和亚像素卷积[8]、[9]、[10],受到固定放大因子的限制,因此需要为每个尺度分别建模。CISR通过训练一个不受尺度限制的模型来解决这一限制,该模型能够在任意缩放因子下生成HR输出。
CISR的最新进展已经从固定尺度的上采样操作转向了隐式神经表示(INR),后者将图像建模为连续的空间函数。重建通常是通过使用双线性插值权重混合四个最近的潜在特征来完成的,要么是预测四个单独的值并将它们组合[11]、[12],要么是直接处理加权特征向量[13]、[14]。然而,这些方法仅基于几何接近性来确定插值权重,忽略了局部图像内容。此外,由于LR和HR像素值之间存在本质上的非线性关系——这归因于复杂的纹理和混叠效应——仅从几何距离得出的插值权重往往无法捕捉到潜在的空间相关性[15](如图1所示)。这些缺点促使开发了一个能够根据局部结构信息动态重新加权四个相邻特征的模块,从而实现更准确和保留细节的图像重建。
CISR中使用的INR通常会产生过于平滑的重建结果。通常,INR依赖于具有传统激活函数(例如ReLU)的多层感知器(MLP),这些激活函数本质上表现为低通滤波器[17]。这种滤波效应抑制了高频成分,从而限制了MLP捕捉细粒度细节的能力。这种限制通常被称为光谱偏差,常常表现为重建图像中的模糊纹理和结构不准确。
为了缓解这个问题,一种有效的方法是用周期性函数(如正弦激活函数)替换标准激活函数,这些函数不会表现出低通滤波行为,更适合重建周期性信号和高频模式[18]、[19]。另一种策略是通过将特征与位置编码相结合来增强输入表示,该编码将低维空间坐标映射到高维、正交的、带有频率标签的基中。在这个转换的空间中,MLP主要学习稀疏的频谱系数,从而能够忠实再现任意高频细节[20]、[21]。此外,分层注入位置编码——即频率成分逐步引入MLP层而不是同时引入——可以更有效地细化高频细节并减少振铃伪影[14]、[18]。这种分层方法有助于平衡和高效地学习低频和高频成分。总的来说,这些方法旨在通过增强网络表示高频变化的能力来减轻光谱偏差。
本文提出了一种基于
分层傅里叶的空间
自适应表示(HFSA)方法,用于CISR,以解决固定双线性插值和基于MLP的隐式神经表示中固有的光谱偏差问题。HFSA框架首先通过一个空间自适应模块细化查询坐标,使采样位置与局部语义结构对齐。随后,这些细化的坐标通过分层傅里叶模块进行编码,其中多频率位置特征逐步注入MLP层,而不是在单一步骤中连接。这种渐进式的注入策略促进了低频和高频成分的平衡学习,从而减轻了光谱偏差并增强了细节的重建。此外,还结合了一个轻量级的注意力机制来捕捉全局依赖性,从而提高了上下文的连贯性。在DIV2K数据集和几个基准数据集上进行的实验评估表明,HFSA在训练尺度范围内的一致性能优于现有的最先进方法,在超出范围的尺度上也保持了竞争力。这项工作的主要贡献总结如下:
•我们提出了一种基于分层傅里叶的空间自适应框架,用于连续图像超分辨率,有效地将空间自适应坐标细化与分层频率编码相结合,实现了任意尺度的图像重建。
•我们开发了一个空间自适应坐标调整模块,该模块利用局部语义和结构信息动态细化查询坐标,从而实现了超越传统固定几何加权方案的内容感知插值。
•我们提出了一种分层傅里叶编码方案,该方案逐步将多频率位置特征注入MLP,从而促进了低频和高频成分的平衡学习,并减轻了光谱偏差。
相关工作
相关研究
CISR方法旨在解决传统超分辨率方法通常受限于固定缩放因子的局限性。最初利用元学习框架[22]的努力引入了能够适应任意缩放因子的上采样模块,从而显著超越了传统插值技术的性能。受到INR的启发,LIIF [11]首次使用基于坐标的MLP进行CISR,预测像素
实施细节
数据集。对于连续超分辨率任务,我们遵循之前的设置,使用DIV2K数据集[38],其中包含800张2K分辨率的高分辨率图像进行训练。模型评估使用包括EDSR_baseline、RDN和SwinIR在内的编码器框架,在DIV2K验证集以及四个广泛认可的基准数据集上进行:Set5 [39]、Set14 [40]、BSD100 [41]和Urban100 [42]。
训练设置。遵循之前研究[11]、[12]中的标准实践
讨论
本文提出的空间自适应模块动态调整查询点的坐标,使得局部特征的聚合更加灵活。与仅依赖几何位置进行加权的传统双线性插值不同,所提出的机制结合了空间信息和语义特征内容,从而减轻了仅基于位置的插值的局限性。
结论
本文提出了一种基于分层傅里叶的空间自适应(HFSA)框架,用于连续图像超分辨率(CISR),旨在解决现有隐式神经表示方法中与固定插值方案和光谱偏差相关的局限性。所提出的空间自适应模块根据局部语义和结构信息动态调整查询坐标,实现了超越仅基于位置的插值的内容感知特征聚合。同时,
写作过程中生成式AI和AI辅助技术的声明
在准备本手稿期间,作者使用了Wordvice AI进行语法校正。使用该工具后,作者根据需要审查和编辑了内容,并对内容的出版负全责。
CRediT作者贡献声明
杨成:写作 – 审稿与编辑,概念化。邢浩月:写作 – 原始草稿,软件。李超辉:可视化。姚灿灿:形式分析。郝群:资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
这项工作得到了中国国家自然科学基金(编号62275017)、初步研究(编号202303042)和国家近表面探测重点实验室(编号XTS-ZDS-2025024)的资助。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号