基于自适应融合双流光谱-空间Transformer网络的SAR光学云去除方法
《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:Adaptive Fusion-Based Two-Flow Spectral–Spatial Transformer Network for SAR-Based Optical Cloud Removal
【字体:
大
中
小
】
时间:2025年12月08日
来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4
编辑推荐:
本文针对光学遥感影像云层遮挡问题,提出了一种基于自适应融合双流光谱-空间Transformer网络(AFSST)的创新解决方案。研究团队通过设计光谱Transformer块(SpeTB)提取光学影像全局光谱特征,结合空间Transformer块(SpaTB)挖掘SAR影像空间注意力信息,并开发多尺度SAR特征提取机制(MSFEM)增强边缘特征。实验表明该方法在GF-CR和SEN12MS-CR数据集上PSNR达到34.70dB/34.69dB,显著优于现有技术,为多源遥感数据融合提供了新范式。
当卫星镜头对准地球时,云层就像顽皮的遮光板,时常给光学遥感影像蒙上厚厚的"面纱"。据统计,全球云覆盖面积高达67%,陆地区域也达到55%,这意味着超过一半的遥感数据可能因云层干扰而失去应用价值。这种"云污染"现象严重制约了遥感技术在环境监测、灾害管理和农业生产等领域的精准应用。
传统解决方案往往寄希望于合成孔径雷达(SAR)这种能穿透云层的"透视眼",但简单将SAR与光学影像拼接融合的策略,犹如让油与水混合,难以真正发挥两者的互补优势。SAR图像对地表粗糙度、水分含量等物理特性敏感,而光学影像则承载丰富的色彩和光谱信息,二者成像机理的差异使得融合过程充满挑战。
更令人头疼的是,现有研究还面临两大困境:一是融合策略单一,多采用图像级或特征级简单拼接,忽略了对互补信息的深度挖掘;二是高质量数据集匮乏,多数实验通过模拟生成云层,难以真实反映复杂多变的云层特性。如图1所示,现有方法往往陷入融合方式机械化的窠臼。
针对这些难题,来自南开大学、中国科学院等机构的研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了一项突破性研究,提出了一种自适应融合双流光谱-空间Transformer网络(AFSST)。该网络创新性地将光谱Transformer模块与空间Transformer模块相结合,犹如为遥感影像配上了"光谱显微镜"和"空间放大镜",能够分别从光学影像中捕捉全局光谱特征,从SAR影像中提取精细空间信息。
关键技术方法包括:1)设计双流U型架构,分别处理光学和SAR数据;2)开发多尺度SAR特征提取机制(MSFEM),集成可自适应学习的Sobel边缘算子;3)构建光谱方向自注意力(SWMSA)和空间方向自注意力(LWMSA)模块;4)采用梯度引导复合损失函数平衡空间边缘一致性和光谱保真度。研究团队还建立了基于高分六号和高分三号的GF-CR数据集,包含6144组128×128像素的样本对。
研究团队发现,尽管SAR图像存在散斑噪声,但其与光学影像在边缘结构上具有显著一致性(图4)。基于这一发现,他们设计了包含浅层特征提取、深层特征提取和自适应Sobel边缘算子的MSFEM模块。该机制通过可学习参数α动态调整卷积核权重,实现了对多尺度边缘特征的自适应提取,有效提升了模型对地物边界的感知能力。
如图6所示,SpeTB采用光谱方向自注意力(SWMSA),将每个光谱通道视为独立标记,通过计算光谱维度上的自注意力关系,有效捕捉云层引起的光谱变异。而SpaTB则采用局部窗口自注意力(LWMSA),专注于挖掘SAR影像的空间细节信息。实验表明,SpeTB在光学影像处理中的性能显著优于传统空间Transformer。
研究团队设计了Tfusion模块(图7),通过可学习的融合权重实现SAR空间特征与光学光谱特征的自适应融合。该模块采用softmax函数计算权重系数,确保融合过程中两种模态信息的优势互补,显著提升了云去除的精度和稳定性。
除了传统的Lp损失函数,团队还引入了空间梯度损失Lspa和光谱梯度损失Lspe。如图8所示,这些损失函数通过约束水平、垂直和光谱方向的梯度一致性,有效保持了重建影像的结构完整性和光谱真实性。
在GF-CR数据集上的实验结果显示(图10),AFSST在薄云、厚云等不同云况下均表现出色,特别是在山体纹理和道路连通性恢复方面显著优于对比方法。定量分析表明(表I),AFSST的PSNR达到34.70dB,SSIM为0.9397,相比当前最优的TCRNet分别提升0.53dB和0.0076。
在SEN12MS-CR数据集上的进一步验证(图12)表明,AFSST在不同云覆盖条件下均保持稳定性能。如图14所示,即使在80%-100%的高云覆盖情况下,AFSST的PSNR仍能保持在33dB以上,SSIM超过0.9,展现出强大的鲁棒性。
消融实验(表III)证实了各模块的贡献:MSFEM带来1.49dB的PSNR提升,可学习参数α和梯度损失函数均对性能有显著改善。图15进一步展示了不同云覆盖下各变体的性能对比,验证了AFSST设计的合理性。
这项研究的意义不仅在于提出了一个高效的云去除算法,更在于为多源遥感数据融合提供了新思路。通过将Transformer架构创新性地应用于光谱-空间特征提取,AFSST成功克服了传统CNN感受野有限的局限,实现了全局与局部特征的协同利用。研究人员公开的代码和GF-CR数据集也将为后续研究提供重要支撑。
未来,团队计划开发轻量化版本的AFSST以提升计算效率,并探索融合多时相光学影像与SAR数据的云去除方法。这项技术有望在农作物监测、灾害评估、环境变化检测等领域发挥重要作用,为地球观测数据的高效利用开辟新的可能性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号