基于多种真实世界退化建模的遥感视频超分辨率

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Remote sensing video super-resolution via various real-world degradation modeling

【字体: 大 中 小 】 时间:2026年10月01日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9

编辑推荐:

   •我们构建了一个无人机视频数据集,捕捉了八种真实场景退化。•利用多尺度VQGAN来学习融合退化流形。•增强的多尺度循环网络能够鲁棒地聚合时序上下文信息。•所提出的框架在卫星和无人机视频数据集上表现优异。引言视频超分辨率重建(VSR)旨在通过探索空间细节和时序相关性,从低分辨率

  
  • •
    我们构建了一个无人机视频数据集,捕捉了八种真实场景退化。
  • •
    利用多尺度VQGAN来学习融合退化流形。
  • •
    增强的多尺度循环网络能够鲁棒地聚合时序上下文信息。
  • •
    所提出的框架在卫星和无人机视频数据集上表现优异。

引言

视频超分辨率重建(VSR)旨在通过探索空间细节和时序相关性,从低分辨率(LR)序列重建高分辨率(HR)序列。作为一项基础的视觉任务,VSR为下游应用(如目标检测和跟踪)提供了重要支撑(Gu et al., 2020, Li et al., 2023a, Wang et al., 2024, Ahmadi et al., 2019)。深度学习方法,包括基于滑动窗口的模型和循环神经网络(Wang et al., 2026, Pang et al., 2026, Wang et al., 2019, Chan et al., 2021),已显著推动了VSR的发展,通过有效对齐帧并聚合时序信息,超越了单帧方法。
在遥感领域,吉林-1和SkySat等视频卫星为持续地球观测和城市分析提供了巨大价值(Ahmadi et al., 2019, Ni and Zhang, 2026)。然而,受限于光学传感器和成像距离,遥感视频常遭受严重的分辨率退化。尽管现有卫星VSR方法(Xiao et al., 2022)已取得进展,但大多数方法基于理想且预定义的退化模型进行假设。在实际应用中,遥感视频会受到大气散射、传感器噪声和平台运动等因素导致的复杂、未知的退化影响,使非盲方法性能严重下降。有效建模这些真实世界的复合退化仍然是该领域的重大挑战(Qi et al., 2026)。此外,近期研究强调了采用表征方法以在复杂真实条件下更好地保留空间变化的必要性(Yao et al., 2024, Zheng et al., 2023)。因此,盲VSR在应对未知退化方面变得至关重要(Chang et al., 2025)。尽管近期研究通过模糊核估计或隐式建模探索了卫星视频的盲超分(Xiao et al., 2023b, Wei et al., 2024),但往往难以完全解耦和重建在真实环境中遇到的高度复杂、空间变化的物理退化。
除了卫星图像外,无人机(UAV)提供了一种不可或缺的近地面观测模式。然而,无人机VSR仍未得到充分探索,主要原因在于缺乏高质量的真实世界无人机视频数据集。现有大多数数据集仅限于理想的晴朗天气条件或依赖于合成伪影,无法反映真实世界的光学复杂性。实际上,如图1所示,无人机经常在非理想环境中运行,如弱光、夜间、雨天、雾天和雾霾天,其退化特征与简单的下采样有根本区别。特别是在非理想光照场景下,光学传感器面临严峻的复杂性挑战,这已被确认为遥感应用中的持续瓶颈(Zheng et al., 2023)。在这些恶劣天气条件下缺乏真实的配对数据,严重限制了当前VSR模型的泛化能力和实际部署。
为了弥合模拟退化与真实世界复杂性之间的差距,我们提出了一种新颖的遥感VSR框架——基于多种真实退化建模的VSR方法(RWD-VSR)。充分利用无人机的灵活性和便捷性,我们精心设计数据收集实验,在多种非理想的天气和光照条件下采集了一个全面的数据集,称为TMS-UAV。将这些真实的无人机视频与包括吉林-1(Xiao et al., 2022)、SatSOT(Zhao et al., 2022)和SatMTB(Li et al., 2023b)在内的卫星序列相结合,我们系统地总结了九种典型的真实世界退化类型,包括弱光/低光、夜间、雨天、雾霾、高光、失焦和高地面采样距离(GSD)。为有效建模这些复杂退化,我们利用多尺度向量量化生成对抗网络(VQGAN)(Esser et al., 2021)来学习融合退化流形,合成可靠的伪LR-HR训练对。此外,为了从这些严重退化的序列中恢复结构细节并弥合无人机与卫星之间巨大的空间分辨率差距,我们开发了一种增强的多尺度单向循环网络。受HRNet(J. Wang et al., 2021)启发,我们将并行分支扩展到8×下采样尺度,并引入密集跨尺度交互,使网络能够高效聚合长程时空上下文。本文的主要贡献总结如下:
  • •
    我们构建了一个全面的遥感视频数据集TMS-UAV,在非理想天气和光照条件下精心采集。通过与卫星数据相结合,我们系统地制定了九种真实的退化模型,显著缓解了无人机和卫星VSR研究中的数据稀缺问题。
  • •
    我们提出了一种基于多尺度VQGAN的数据驱动退化建模方法。通过学习融合退化流形并采用定制的混合退化训练策略,我们的框架规避了显式数学假设的不准确性,确保了针对真实伪影的鲁棒泛化能力。
  • •
    我们设计了一种增强的多尺度循环网络,具有8×下采样分支和密集跨尺度交互。大量实验表明,RWD-VSR有效抑制了复杂的真实世界退化,在低GSD无人机和高GSD卫星基准测试中均达到了最先进的感知质量。
本文其余部分组织如下。第2节回顾了VSR及其在遥感领域相关工作的发展。第3节详细介绍了我们所提出方法的理论公式和关键组件。第4节展示了实验结果并进行了全面分析。最后,第5节对全文进行了总结。

章节摘要

相关工作

在本节中,我们回顾了相关领域的最新进展,从通用视频超分辨率和真实退化建模开始,然后介绍特定于遥感平台的文献。

方法

在本节中,我们详细介绍了针对真实遥感场景提出的视频超分辨率框架。首先,在第3.1节中,我们从理论上表述了真实世界退化问题,并介绍了我们全面的无人机视频数据采集,以捕捉真实的物理退化。随后,第3.2节详细描述了整体架构,包括向量量化退化模型和增强的多尺度循环VSR网络。最后,第3.3节

实验

在本节中,我们全面评估了所提出的RWD-VSR框架。我们首先在第4.1节中介绍了数据集、评估指标和实现细节。随后,在第4.2节中将我们的方法与最先进的(SOTA)VSR模型进行比较。最后,我们在第4.3节中进行了广泛的消融实验,并在第4.5节中对退化抑制机制进行了深入讨论。

结论

在本文中,我们提出了RWD-VSR,一种专门针对遥感图像中固有的复杂且未知的真实世界退化问题设计的新型视频超分辨率框架。为了弥合合成算法与实际部署之间的关键领域差距,我们构建了一个全面的TMS-UAV数据集,涵盖八种真实的天气和光学退化。通过将其与卫星图像结合以考虑高GSD,我们系统地处理了总共九种

CRediT作者贡献声明

魏晓远(Xiaoyuan Wei):写作——初稿撰写、可视化、验证、软件、方法学、调查研究、形式化分析、数据整理、概念构思。孟凡恩(Fanen Meng):可视化、验证、软件、形式化分析。张浩鹏(Haopeng Zhang):写作——审阅与编辑、监督、资源、项目管理、方法学、资金获取、形式化分析、概念构思。蒋志刚(Zhiguo Jiang):监督、资源、项目管理。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知名誉冲突或个人关系。
魏晓远|孟凡恩|张浩鹏|蒋志刚
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号