引言
视频超分辨率重建(VSR)旨在通过探索空间细节和时序相关性,从低分辨率(LR)序列重建高分辨率(HR)序列。作为一项基础的视觉任务,VSR为下游应用(如目标检测和跟踪)提供了重要支撑(Gu et al., 2020, Li et al., 2023a, Wang et al., 2024, Ahmadi et al., 2019)。深度学习方法,包括基于滑动窗口的模型和循环神经网络(Wang et al., 2026, Pang et al., 2026, Wang et al., 2019, Chan et al., 2021),已显著推动了VSR的发展,通过有效对齐帧并聚合时序信息,超越了单帧方法。
在遥感领域,吉林-1和SkySat等视频卫星为持续地球观测和城市分析提供了巨大价值(Ahmadi et al., 2019, Ni and Zhang, 2026)。然而,受限于光学传感器和成像距离,遥感视频常遭受严重的分辨率退化。尽管现有卫星VSR方法(Xiao et al., 2022)已取得进展,但大多数方法基于理想且预定义的退化模型进行假设。在实际应用中,遥感视频会受到大气散射、传感器噪声和平台运动等因素导致的复杂、未知的退化影响,使非盲方法性能严重下降。有效建模这些真实世界的复合退化仍然是该领域的重大挑战(Qi et al., 2026)。此外,近期研究强调了采用表征方法以在复杂真实条件下更好地保留空间变化的必要性(Yao et al., 2024, Zheng et al., 2023)。因此,盲VSR在应对未知退化方面变得至关重要(Chang et al., 2025)。尽管近期研究通过模糊核估计或隐式建模探索了卫星视频的盲超分(Xiao et al., 2023b, Wei et al., 2024),但往往难以完全解耦和重建在真实环境中遇到的高度复杂、空间变化的物理退化。
除了卫星图像外,无人机(UAV)提供了一种不可或缺的近地面观测模式。然而,无人机VSR仍未得到充分探索,主要原因在于缺乏高质量的真实世界无人机视频数据集。现有大多数数据集仅限于理想的晴朗天气条件或依赖于合成伪影,无法反映真实世界的光学复杂性。实际上,如图1所示,无人机经常在非理想环境中运行,如弱光、夜间、雨天、雾天和雾霾天,其退化特征与简单的下采样有根本区别。特别是在非理想光照场景下,光学传感器面临严峻的复杂性挑战,这已被确认为遥感应用中的持续瓶颈(Zheng et al., 2023)。在这些恶劣天气条件下缺乏真实的配对数据,严重限制了当前VSR模型的泛化能力和实际部署。
为了弥合模拟退化与真实世界复杂性之间的差距,我们提出了一种新颖的遥感VSR框架——基于多种真实退化建模的VSR方法(RWD-VSR)。充分利用无人机的灵活性和便捷性,我们精心设计数据收集实验,在多种非理想的天气和光照条件下采集了一个全面的数据集,称为TMS-UAV。将这些真实的无人机视频与包括吉林-1(Xiao et al., 2022)、SatSOT(Zhao et al., 2022)和SatMTB(Li et al., 2023b)在内的卫星序列相结合,我们系统地总结了九种典型的真实世界退化类型,包括弱光/低光、夜间、雨天、雾霾、高光、失焦和高地面采样距离(GSD)。为有效建模这些复杂退化,我们利用多尺度向量量化生成对抗网络(VQGAN)(Esser et al., 2021)来学习融合退化流形,合成可靠的伪LR-HR训练对。此外,为了从这些严重退化的序列中恢复结构细节并弥合无人机与卫星之间巨大的空间分辨率差距,我们开发了一种增强的多尺度单向循环网络。受HRNet(J. Wang et al., 2021)启发,我们将并行分支扩展到下采样尺度,并引入密集跨尺度交互,使网络能够高效聚合长程时空上下文。本文的主要贡献总结如下:
- •
我们构建了一个全面的遥感视频数据集TMS-UAV,在非理想天气和光照条件下精心采集。通过与卫星数据相结合,我们系统地制定了九种真实的退化模型,显著缓解了无人机和卫星VSR研究中的数据稀缺问题。
- •
我们提出了一种基于多尺度VQGAN的数据驱动退化建模方法。通过学习融合退化流形并采用定制的混合退化训练策略,我们的框架规避了显式数学假设的不准确性,确保了针对真实伪影的鲁棒泛化能力。
- •
我们设计了一种增强的多尺度循环网络,具有下采样分支和密集跨尺度交互。大量实验表明,RWD-VSR有效抑制了复杂的真实世界退化,在低GSD无人机和高GSD卫星基准测试中均达到了最先进的感知质量。
本文其余部分组织如下。第2节回顾了VSR及其在遥感领域相关工作的发展。第3节详细介绍了我们所提出方法的理论公式和关键组件。第4节展示了实验结果并进行了全面分析。最后,第5节对全文进行了总结。