S3-ESRGAN:基于深度学习的Sentinel-2遥感影像空间分辨率增强方法及其在无人机数据融合中的应用

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:S3-ESRGAN: Enhanced Super-resolution Generative Adversarial Network for Remote Sensing Imagery Spatial Resolution Improvement – An Application Using Sentinel-2 and UAV Images

【字体: 大 中 小 】 时间:2025年12月11日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  本研究针对中分辨率卫星遥感影像空间分辨率不足的问题,提出了一种创新的深度学习超分辨率方法S3-ESRGAN。该方法通过引入尺度自适应机制、空间注意力模块和光谱保持组件,成功将Sentinel-2影像的空间分辨率从10米提升至2米(5倍放大)。研究构建了包含33个场景、超过42.8万组图像对的Sen2UAV数据集,实验结果表明该方法在PSNR(20.89 dB)、SSIM(0.48)等指标上优于现有技术,有效保持了光谱特征(SAM为0.12弧度),为利用免费卫星数据生成高分辨率遥感影像提供了可行方案。

  
随着对地观测技术的快速发展,高分辨率遥感影像在城市规划、精准农业、环境监测等领域的应用日益广泛。然而,商业高分辨率卫星数据成本高昂,限制了其大规模应用。欧洲空间局的Sentinel-2卫星虽然提供免费数据,但其最高空间分辨率仅为10米,难以满足精细化的应用需求。这一矛盾促使研究人员探索通过计算方法提升遥感影像空间分辨率的有效途径。
传统图像超分辨率方法通常面临细节恢复不足、光谱失真等问题,特别是在处理大幅度的分辨率提升时(如5倍放大)表现更为明显。近年来,深度学习技术的兴起为这一领域带来了新的机遇,尤其是生成对抗网络(GAN)在图像超分辨率任务中展现出了强大潜力。但是,将通用超分辨率方法直接应用于遥感影像存在特殊挑战:遥感影像具有独特的光谱特性、大幅度的尺度变化以及多源数据之间的配准难题。
针对这些挑战,来自德黑兰大学和特文特大学的研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了一项创新研究,提出了名为S3-ESRGAN的新型超分辨率框架。该方法在经典ESRGAN基础上进行了三项重要改进:专门针对Sentinel-2与无人机影像之间5倍放大因子设计的尺度自适应机制、聚焦重要空间特征的空间注意力模块,以及保持光谱辐射特性的光谱保持组件。
研究的关键技术方法包括:构建大规模Sen2UAV数据集(包含33个地理区域的Sentinel-2与无人机影像对),设计具有空间注意力增强的密集块结构,开发多尺度特征提取的尺度自适应模块,以及整合像素级L1损失、VGG感知损失、相对论对抗损失、光谱保持损失和边缘保持损失的复合损失函数。
数据集构建与验证
研究团队创建了Sen2UAV数据集,该数据集包含来自全球8个国家33个场景的Sentinel-2 L2A地表反射率产品与对应无人机影像。为避免超精细细节误导模型训练,无人机影像被下采样至2米分辨率,保留80%的相关空间细节。数据集最终包含超过42.8万组32×32像素(Sentinel-2)与160×160像素(无人机)的图像对,并采用直方图匹配和协同配准技术确保数据一致性。
模型架构设计
生成器网络采用16个增强型残差中残差密集块(RRDB),相比标准ESRGAN的23个块减少了计算成本。创新性地引入了空间注意力机制,通过平均池化和最大池化结合7×7卷积生成空间注意力图,使模型能够聚焦于重要的地理特征。光谱保持模块通过自适应权重融合低分辨率光谱特征与超分辨率空间细节,在均匀区域保持光谱特征,在结构主导区域增强边缘细节。
训练策略与损失函数
模型采用两阶段训练策略:先对生成器进行10个epoch的预训练,再进行60个epoch的对抗训练。使用Adam优化器,初始学习率为6×10-4,配合余弦退火调度。复合损失函数中,像素损失权重为1.0,感知损失权重0.1,对抗损失权重0.001,光谱和边缘保持损失权重均为0.05。
性能评估结果
在定量评估中,S3-ESRGAN在测试集上取得了PSNR 20.89 dB、SSIM 0.48、相关系数0.80、ERGAS 9.77、SAM 0.12弧度、边缘保持指数0.55和光谱失真指数0.01的优异表现,显著优于双三次插值、SRCNN、VDSR、EDSR、SRResNet和ESRGAN等对比方法。
光谱特性保持分析
通过直方图比较、点对点分析和光谱互比三种方法验证了光谱保持效果。结果显示,超分辨率影像与原始Sentinel-2影像的光谱特征高度一致,平均变异仅为23%,波段间相关系数达0.79。点对点分析中三个采样点的DN值模式保持一致,证实了光谱特征的有效保持。
空间分辨率提升验证
利用印度Shadnagar校准场的斜边靶标进行亚像素分析,结果显示S3-ESRGAN将有效空间分辨率从原始Sentinel-2的13.8米提升至4.36米,改善幅度达42%。线扩展函数(LSF)的半高全宽(FWHM)从ESRGAN的3.8像素降低至2.18像素,表明边缘重建能力显著增强。
研究结论表明,S3-ESRGAN方法成功解决了Sentinel-2影像大幅度超分辨率增强中的关键技术难题,在保持光谱特性的同时显著提升了空间细节恢复能力。该方法为利用免费卫星数据生成高分辨率遥感产品提供了实用化解决方案,对资源受限的研究和应用具有重要价值。未来工作可扩展至更多光谱波段、更高放大倍数以及更先进的生成模型,进一步推动遥感影像超分辨率技术的发展。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号