《Neurocomputing》:FRCFD-net: Multi-frame super-resolution through two-branch feature refinement, cross-layer fusion and difference enhancement
编辑推荐:
多帧超分辨率网络FRCFD-Net通过双分支特征精修模块、跨层特征融合模块和特征差异增强模块协同优化细节恢复、冗余抑制与计算效率,实验表明其PSNR达37.68 dB,SSIM 0.9487,显著优于EDVR等基准方法,适用于资源受限的遥感场景。
Xin Wang|Dejiang Wang|Ce Song|Xiaopei Zhang|Li Liu|Mingchao Sun|Sheng Cai|Songwei Han|Ligang Liu|Yulian Zhang
中国科学院长春光学精密机械物理研究所动态光学成像与测量国家重点实验室,中国长春,130033
摘要
为了解决遥感多帧超分辨率中细节恢复、信息冗余抑制和计算效率优化的问题,我们提出了FRCFD-Net,这是一种新颖的多帧超分辨率网络,旨在高效地对齐、细化和融合来自多个低分辨率帧的特征。该网络整合了三个协同工作的组件:一个双分支特征细化模块(TFRM),它利用门控机制来细化关键细节并抑制冗余信息,从而在提高计算效率的同时确保特征的有效聚合;一个跨层特征融合模块(CFFM),它补充和整合了来自不同TFRM和原始浅层特征的跨层结构信息,增强了特征表示并减少了信息损失;以及一个特征差异增强与融合(FDEF)模块,它放大了帧间有意义的特征差异,同时抑制了伪影,为多帧特征融合提供了更具区分性的输入。在Vimeo-90K-T、Vid4和REDS4等基准数据集上的广泛实验表明,FRCFD-Net取得了优异的性能,峰值信噪比(PSNR)为37.68 dB,结构相似性指数(SSIM)为0.9487,其性能优于或接近了代表性方法(例如EDVR和BasicVSR),且参数更少。此外,在5公里、20公里和40公里观测距离捕获的真实世界遥感场景评估中,FRCFD-Net在定量指标和视觉质量上都显示出了显著提升。值得注意的是,FRCFD-Net在计算效率和模型复杂性之间保持了良好的平衡,使其非常适合资源有限的遥感应用。
引言
超分辨率(SR)重建技术是一种有效的方法,可以从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像,从而提高图像的质量。这项技术在遥感[1]、[2]和医学成像[3]等领域发挥着重要作用。此外,SR技术还具有成本低的优点,因为它不需要对光学成像系统(OIS)进行硬件升级。因此,近年来随着遥感技术的发展,SR重建技术已成为主要的研究焦点[4]。
传统的SR重建方法大致可以分为单帧SR(SFSR)和多帧SR(MFSR)。早期的SFSR方法[5]、[6]依赖于基于重建和插值的方法从单个低质量LR图像中恢复HR图像。然而,由于输入信息不足,这些方法往往难以准确恢复细节,特别是在遥感场景中,导致过度平滑和关键细节丢失等问题。为了克服这些限制,许多基于深度学习的方法[7]、[8]通过提取先验信息和分析大规模遥感数据集中的图像内容,显著提高了SFSR的效率和泛化能力。最近在注意力机制方面的进展进一步增强了SFSR技术[9]。例如,通道注意力网络通过聚合每个通道内的特征信息来保留空间细节[10],而多尺度注意力网络通过表征不同结构实现了场景自适应的SFSR[11]。同时,基于倒置瓶颈的ConvNeXt架构[12]在图像SR重建中表现出有效性[13]、[14]。此外,还引入了跨传感器退化模型来建立源图像和传感器之间的桥梁[15]。然而,SFSR方法使用的信息仅限于LR图像的空间域,没有利用时间信息。
MFSR领域正在动态且快速地发展,一些方法[16]、[17]、[18]、[19]通过整合多个连续LR帧的互补空间和时间(亚像素)信息来重建HR图像。最近的基于深度学习的方法[20]通过学习数据驱动的表示和运动建模进一步提高了性能,增强了图像清晰度并显著抑制了噪声。为了处理噪声问题,提出了一个边缘增强生成对抗网络(GAN)[21]来专门增强高频边缘信息。尽管这些方法在遥感场景中取得了进展,但它们的性能仍然受到可用空间信息的固有限制,这限制了它们高精度恢复关键细节的能力[4]。
大多数现有的MFSR方法通常遵循一个三阶段的顺序架构:对齐、融合和重建。在图像对齐方面,连续帧之间的累积对齐误差可能导致图像模糊甚至出现伪影。这些不利影响可能在融合阶段被引入到最终重建的HR图像中,从而降低重建性能。现有的图像对齐方法大致可以分为三类:基于光流的方法[22]、可变形对齐[23]和单应性估计[24]。基于光流的方法通过流估计和变形操作实现时间对齐。相比之下,可变形对齐使用学习到的偏移量对相邻帧进行可变形卷积[25]。虽然单应性估计的计算成本相对较低,但它往往无法处理现实世界场景中常见的对齐误差。尽管上述所有方法都在一定程度上提高了对齐性能,但在遥感中实现精确和高效的对齐仍需要更深入和详细的研究。
在特征融合方面,现有方法可以大致分为两个主要方向。第一个方向侧重于在卷积神经网络(CNN)[26]内增强特征聚合,包括通道级、空间级和多尺度融合。例如,早期方法[27]、[28]通过直接卷积操作聚合对齐后的特征。第二个方向引入了通道和空间注意力机制,有时扩展到多模态或几何感知的上下文中。例如,最近的方法[29]、[30]采用注意力机制实现自适应特征融合,其中基于连续帧不同位置之间的相关性的时空注意力是自适应融合的核心[31]。尽管取得了这些进展,大多数现有的MFSR方法在特征提取阶段并未独立考虑每帧的注意力。此外,尽管基于CNN的残差块在当前的MFSR流程中广泛用于深度特征提取,但CNN可能不是遥感场景的最佳选择。一个核心限制是卷积核通常是预训练的,并且彼此独立操作,这限制了其对多样化场景内容的适应性。
尽管MFSR在遥感图像处理中的应用日益增多,但大多数现有方法仍然依赖于低级特征,通常只是简单地将这些特征沿通道维度连接起来。因此,它们在抑制冗余和细化关键细节方面的有效性仍然有限。此外,遥感图像中特征的高度复杂空间分布要求SR重建过程结合更先进的特征表示和更强的信息整合。此外,航空遥感图像中目标特征的显著尺度变化通常导致目标与其周围环境之间的强烈重叠,这减少了OIS的有效检测范围。为了应对遥感中MFSR面临的特定挑战(细化关键特征、抑制冗余和扩展有效检测范围),本文提出了一个名为FRCFD-Net的MFSR框架,该框架整合了特征细化、跨层融合和差异增强。遵循MFSR的主流流程,所提出的方法首先使用高效亚像素图像对齐(ESIA)模块实现准确和高效的图像对齐和噪声抑制。随后,引入了一个基于双分支细化和跨层融合网络(TRCFNet)的特征提取网络来细化关键特征并抑制冗余信息,用于SR重建。最后,设计了特征差异增强与融合(FDEF)模块来强调具有区分性的细节,同时抑制伪影。与现有研究相比,所提出的FRCFD-Net更有效地利用了多帧信息,并在恢复详细特征方面展示了显著的优势。这一结论得到了定量实验的支持,特别是在峰值信噪比(PSNR)方面,如图1所示。
本文的主要贡献总结如下:
1.我们提出了一种新颖的双分支门控细化前馈模块(TGFM),用于细化关键特征并有效抑制冗余信息。这是通过整合两种不同的门控机制来实现的,这些机制保留了重要信息。为了进一步增强遥感图像中的关键细节,我们引入了一个增强的瓶颈模块,该模块结合了双重注意力机制,实现了特征信息在空间和通道维度上的有效聚合,同时保持了计算效率。TGFM与该模块一起构成了我们TFRM的核心。
2.我们提出了一个CFFM,通过积极补充和整合来自不同TFRM和原始浅层特征的信息,解决了多层特征利用不足的问题。这种设计增强了特征表示并减少了特征信息损失。
3.我们提出了一个特征差异增强模块(FDEM),用于有效捕获帧间特征差异并融合多帧特征信息。它关注不同特征图之间的差异信息,放大了有意义的特征差异,并实现了一定程度的隐式对齐。这对于提高重建精度尤为重要,因为遥感图像中的区分性特征通常有限。
本文的其余部分结构如下。第2节提供了方法比较的简要概述和初步准备工作。第3节详细介绍了所提出的FRCFD-Net的框架和关键组件。第4节包含实验设置、结果、比较分析和消融研究。最后,第5节总结了本文并提出了未来工作的潜在方向。
章节片段
遥感中SFSR和MFSR的比较研究
在本节中,我们简要回顾了SISR和MFSR方法在遥感领域的应用和特点。更详细的回顾可以在调查论文[33]、[34]、[35]中找到。
方法论
本节首先在第3.1节中介绍了我们提出的FRCFD-Net的概述。随后,详细阐述了FRCFD-Net的每个组件,包括ESIA模块(第3.2节)、TRCFNet(第3.3节)、FDEF模块(第3.4节)和图像重建(IR)模块(第3.5节)。最后,在第3.6节中介绍了网络采用的损失函数。
实验结果
在本节中,我们评估了FRCFD-Net在基准SR重建(第4.2节)上的性能。我们进一步通过真实世界实验(第4.4节)验证了其在提高观测精度方面的有效性。
结论
在本文中,我们介绍了FRCFD-Net,这是一个创新的MFSR框架,旨在解决遥感图像处理中细粒度关键细节恢复、信息冗余抑制和计算效率提升的挑战。所提出的网络整合了三个核心模块:TFRM、CFFM和FDEF模块。这些模块协同工作,以细化和增强具有区分性的特征,抑制冗余信息,并有效融合特征
CRediT作者贡献声明
Xin Wang:撰写——原始草稿、方法论、调查、形式分析。Dejiang Wang:撰写——审阅与编辑、形式分析、数据管理、概念化。Ce Song:软件、资源、项目管理。Xiaopei Zhang:可视化、验证、监督。Li Liu:资源、项目管理。Mingchao Sun:资源、调查、数据管理。Sheng Cai:验证、监督。Songwei Han:可视化、验证、监督。Ligang Liu:验证,
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
Dejiang Wang的报告由中国科学院长春光学精密机械物理研究所提供。如果还有其他作者,他们声明没有已知的可能会影响本文所报告工作的财务利益或个人关系。
Xin Wang于2016年在中国哈尔滨工业大学获得控制科学与工程硕士学位。他目前在中国科学院大学攻读光学工程博士学位。他是中国科学院长春光学精密机械物理研究所的助理研究员。他的研究兴趣包括人工智能、对象跟踪和超分辨率重建。