用于高光谱图像的跨卫星分层多模态去噪技术

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Cross-satellite hierarchical multimodal denoising for hyperspectral imagery

【字体: 大 中 小 】 时间:2026年01月01日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2

编辑推荐:

  王明华|商波|李一伦|赵欣|高连茹|孙旭|任龙飞天津大学机器人与自动信息系统研究所(IRAIS),天津市智能机器人重点实验室(tjKLIR),中国天津300071摘要遥感卫星星座的快速普及迎来了一个前所未有的时代,人们可以获取高光谱(HS)和多光谱(MS)地球观测数据。高光谱去噪

  
王明华|商波|李一伦|赵欣|高连茹|孙旭|任龙飞
天津大学机器人与自动信息系统研究所(IRAIS),天津市智能机器人重点实验室(tjKLIR),中国天津300071

摘要

遥感卫星星座的快速普及迎来了一个前所未有的时代,人们可以获取高光谱(HS)和多光谱(MS)地球观测数据。高光谱去噪仍然是提高卫星数据解释和应用能力的关键研究焦点。然而,一方面,在现实世界的未知条件下,噪声高光谱卫星数据的可用特征往往受到限制。另一方面,现有研究忽略了多光谱卫星图像所提供的互补优势,而这些优势可以用来提升高光谱去噪性能。本文利用高光谱和多光谱数据的协同潜力,开创了一种新的范式,用于联合开发和优化多源遥感卫星。我们提出了一种新颖的分层双Tucker分解(DTucker)框架,以利用高光谱和多光谱交叉卫星数据的低秩(LR)张量特性。通过手动设计的模型驱动约束或数据驱动的多层感知器(MLP)框架,探索了从原始张量到核心张量的属性继承。这使得多光谱衍生的空间丰富性与高光谱细节能够得到有效整合,显著提升了去噪能力。我们使用来自实际卫星观测的数据对构建了高光谱-多光谱数据对,包括Earth Observing-1、Sentinel-2、Gaofen-1、Gaofen-5和Gaofen-6。这四个数据集涵盖了跑道、城市区域、河流和农田等多样化场景。所提出的方法在各种卫星组合和应用场景中均表现出强大的泛化能力。值得注意的是,结合多光谱数据显著增强了去噪后高光谱图像中的类别区分度和结构细节,从而提升了后续分类和分析任务的性能。这些数据集和代码将在MATLAB和PYTHON中实现,并可在以下网址获取:https://github.com/MinghuaWang123/DTucker,为遥感社区做出了贡献。

引言

高光谱(HS)卫星技术能够获取关于地球表面观测区域的宝贵空间和光谱信息。然而,实际的高光谱卫星成像条件复杂性以及各种噪声源不可避免地会导致高光谱图像质量的下降。这反过来又妨碍了高光谱数据在城市规划、环境监测和矿产勘探等关键应用中的有效解释和利用(He等人,2024;Gackstetter等人,2025;Meerdink等人,2025)。作为一项基础但具有挑战性的研究课题,高光谱噪声去除旨在从受损的观测数据中获取高质量图像。
现有的高光谱去噪工作主要集中在探索高质量高光谱立方体的固有属性上,采用传统的建模方法(Peng等人,2014;Chen等人,2020a)或深度学习方法(Zhang等人,2020;Sidorov和Hardeberg,2019),如图1所示。然而,这些方法通常是在理想化或合成条件下开发的,很少有研究明确考虑实际高光谱卫星数据的特性,如特定传感器的噪声模式和操作限制。
近年来,遥感卫星的数量迅速增加,为各种应用提供了前所未有的地球观测支持。特别是,Earth Observing(EO)-1、Gaofen-5(GF-5)和Ziyuan-1(ZY-1)分别于2000年、2018年和2019年发射,均配备了机载高光谱光谱仪。同时,多光谱(MS)卫星——包括Sentinel-2、GF-1和GF-6——一直在持续提供高分辨率的多光谱数据以供实际使用。
从信号质量的角度来看,高光谱图像通常比多光谱图像具有更高的噪声水平。这种差异源于高光谱传感器每个光谱带的带宽更窄、光谱覆盖范围更广、信噪比(SNR)更低,以及传感器缺陷、大气干扰和辐射校准误差等多种噪声源的累积影响。此外,高光谱数据的高维性增加了处理复杂性,使得有效的噪声减少成为下游应用中的一个关键且非平凡的任务。
这自然引发了两个关键研究问题:(1)能否设计一个多模态框架,以利用高光谱数据的内在信息和多光谱数据的互补信息来进行高光谱卫星图像去噪?(2)如何有效地建模和利用不同卫星之间的高光谱和多光谱数据之间的关系?为了解决第一个问题,我们在正则化设计中利用了高光谱和多光谱数据的低秩张量特性,展示了多模态概念的优势。鼓励在进一步研究中探索其他特性。探索高光谱和多光谱核心张量之间的关系是另一个关键点,有助于深入了解多光谱数据在高光谱去噪中的应用。在这里,我们使用分析驱动的惩罚项和数据驱动的策略来探索这种关系。为了验证所提出框架的效率和泛化能力,我们通过收集来自EO-1、GF-5、Sentinel-2、GF-1和GF-6等多个卫星平台的高光谱和多光谱图像,构建了四个跨卫星数据集。该数据集涵盖了跑道、城市区域、河流和农田等多种实际应用场景。本研究的主要贡献可以总结如下:
  • •
    开创性的概念框架:我们建立了第一个基于张量的方法,该方法利用高信噪比(SNR)的多光谱图像来增强低信噪比的高光谱图像,标志着高光谱研究的重要进展。据我们所知,这是卫星数据处理领域首次研究多模态高光谱去噪。
  • •
    多样化的关系探索:我们利用模型驱动的惩罚项和数据驱动的多层感知器(MLP)来探索核心张量相对于原始张量的继承属性,揭示了高光谱和多光谱之间的深度关系。
  • •
    分层DTucker建模:我们提出了一个分层双Tucker分解框架,构建了两个复杂的多模态高光谱去噪模型(DTucker和DTucker+),并通过交替方向乘子法(ADMM)优化了模型参数。
  • •
    跨卫星多模态数据集:我们构建了四个真实的跨卫星多模态数据集,涵盖了五颗卫星和四种地形类型,为双模态去噪任务建立了全面的基准,推动了多模态遥感研究的发展。
本文的其余部分组织如下。相关研究工作在第2节中介绍。第3节介绍了所提出的多模态高光谱去噪模型的研究。第4节报告了实验结果和分析。最后,第5节得出了结论。

节片段

相关工作

在过去几十年中,大量研究与模型驱动和数据驱动策略相关的工作主要集中在从单一高光谱模态数据中提取有价值的特征信息上。例如,由于高光谱图像的高光谱相关性,低秩(LR)模型通常对于高光谱去噪非常有效(Guo等人,2013;Wang等人,2024;Duan等人,2020)。通过探索由向量化的高光谱光谱带构成的高光谱数据矩阵的低秩特性来分离低秩成分

提出的方法

在本节中,我们首先阐述了多模态高光谱图像去噪问题。随后,我们介绍了所提出的多模态去噪框架,特别强调了建模高光谱和多光谱张量之间的内在关系。最后,使用交替方向乘子法(ADMM)解决了DTuckers的优化问题。

实验结果与讨论

在本节中,我们使用模拟数据集和真实卫星数据来证明所提出的多模态高光谱去噪方法的有效性。我们从EO-1、GF-5、Sentinel-2、GF-1和GF-6等多个卫星收集了四个真实世界数据集,涵盖了跑道、城市区域等多种应用场景。通过在不同卫星和场景上进行的广泛实验,展示了所提出框架的泛化能力。

结论

随着遥感卫星任务的蓬勃发展,高光谱和多光谱图像的可用性显著增加,为多模态地球观测提供了新的机会。尽管取得了这些进展,但使用多模态卫星数据进行有效去噪仍然是一个值得研究的问题。在本研究中,我们提出了一种新的分层DTucker框架,通过利用高光谱卫星的数据内在低秩特性来进行高光谱图像去噪

CRediT作者贡献声明

王明华:撰写——初稿编写、验证、方法论确定、资金申请、概念构思、撰写——审稿与编辑。商波:软件开发、调查、数据管理。李一伦:验证、可视化。赵欣:数据管理、监督。高连茹:资金申请、监督、撰写——审稿与编辑、数据管理。孙旭:项目管理、软件开发。任龙飞:调查、撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。

致谢

作者感谢Jocelyn Chanussot教授在本文中的指导。本工作得到了国家自然科学基金(项目编号42325104、62201552和62571271)和中国博士后科学基金(项目编号2023T160656)的支持。此外,该研究还得到了天津市自然科学基金(项目编号24JCQNJC01890)以及国家遥感与数字地球重点实验室开放基金的支持
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号