《Expert Systems with Applications》:BSPSAM-Net: dual-stage pansharpening network based on blind spot prediction and selective attention mechanism
编辑推荐:
摘要 pansharpening(全色锐化)旨在通过将高分辨率全色(PAN)图像与低分辨率多光谱(LRMS)图像融合,生成高分辨率多光谱(HRMS)图像。尽管近年来基于深度学习的方法通过复杂的特征交互和注意力机制取得了显著的性能提升,但它们主要关注融合过程中的PAN-LRMS
摘要
pansharpening(全色锐化)旨在通过将高分辨率全色(PAN)图像与低分辨率多光谱(LRMS)图像融合,生成高分辨率多光谱(HRMS)图像。尽管近年来基于深度学习的方法通过复杂的特征交互和注意力机制取得了显著的性能提升,但它们主要关注融合过程中的PAN-LRMS交互,而面向融合的特征表示学习仍有待深入探索。由于PAN图像和LRMS图像在空间分辨率和光谱响应方面存在固有差异,所学特征可能更强调模态特异性特征,从而限制了跨模态关联并影响重建质量。为解决这一问题,我们提出了一种基于盲点预测和选择性注意力机制的双阶段 pansharpening 网络(BSPSAM-Net)。在第一阶段,为了缓解模态特异性特征差异并增强跨模态关联,设计了一种基于互补盲点预测的特征提取器(FE-CBSP)以提取多尺度特征。为增强特征提取的可靠性,构建了一个自监督编码器-解码器来对FE-CBSP进行预训练。在第二阶段,构建了由预训练的FE-CBSP和融合解码器组成的BSPSAM-Net,用于提取并融合PAN和LRMS图像特征。在融合解码器中,设计了Top-k相关性注意力(TKRA)和Top-k互补性注意力(TKCA)模块,通过在跨模态特征之间选择性地建立强弱相关矩阵来增强和补充特征。大量实验表明,BSPSAM-Net在定量和定性方面均达到了与现有最先进(SOTA)pansharpening方法相当或更优的性能。值得注意的是,BSPSAM-Net在IKONOS和WV3数据集上分别比第二优方法将PSNR提升了0.85 dB和0.82 dB。源代码将在GitHub上发布。
引言
高分辨率多光谱(HRMS)图像对于许多遥感应用至关重要,例如农业监测(Irfan et al., 2026)、地图服务(Geng et al., 2024)、城市规划(Zhang et al., 2025)等。然而,由于传感器设计中空间分辨率与光谱分辨率之间的权衡,一些遥感卫星获取的是低分辨率多光谱(LRMS)图像和高分辨率全色(PAN)图像。为获取HRMS图像,pansharpening方法被广泛研究,通过融合LRMS和PAN图像的互补信息来实现。Pansharpening方法可分为传统方法和基于深度学习的方法。传统方法主要分为三类:基于分量替换(CS)的方法(Choi et al., 2010)、基于多分辨率分析(MRA)的方法(King & Wang, 2001)以及基于变分优化(VO)的方法(Lu et al., 2021)。这些方法具有可解释性强、易于实现的优点,且不依赖大规模训练数据。然而,这些方法仍受限于对人工设计特征和预定义先验的依赖,限制了其对不同传感器和复杂场景条件的适应性。
近年来,基于深度学习的方法凭借其强大的特征提取和非线性表示学习能力在pansharpening领域引起了广泛关注,尤其是借助卷积神经网络(CNN)的方法。开创性的PNN模型(Masi et al., 2016)是应用深度学习于pansharpening的早期尝试之一,并展现了相对于传统技术的明显优势。在此基础上,一系列基于CNN的架构被开发出来,通过改进空间-光谱表示学习、残差连接、多尺度特征聚合和频率感知设计来进一步增强融合性能(Liu et al., 2025, Xie et al., 2025, Zhang et al., 2024)。尽管取得了这些进展,基于CNN的方法由于其局部感受野的局限性,本质上难以捕获长距离空间依赖。为解决这一局限,近期研究(Huang et al., 2025, Li et al., 2024, Ma et al., 2025, Yu et al., 2025)探索了基于Transformer的模型用于pansharpening,这些模型采用了各种注意力机制——包括全局注意力、跨模态注意力和频率感知注意力——以更好地建模上下文关系并增强PAN和LRMS模态之间的特征交互。尽管现有的基于深度学习的方法通过日益复杂的特征交互和注意力机制在提升融合性能方面取得了令人瞩目的进展,但它们主要关注融合阶段的PAN-LRMS特征交互,而相比之下,对融合前的特征学习关注较少。然而,由于PAN图像和LRMS图像在空间分辨率和光谱响应方面存在固有差异(Y. Wang et al., 2024),所学特征倾向于保留不同的模态特异性特征。这种编码特征中的差异会增加融合阶段有效跨模态交互的难度,从而影响PAN空间细节和LRMS光谱信息的整合,并增加空间或光谱失真的风险。
为解决上述问题,我们提出了一种基于盲点预测和选择性注意力机制的双阶段pansharpening网络(BSPSAM-Net),通过增强PAN和LRMS图像特征之间的跨模态关联来改善特征学习和融合。在第一阶段,设计了一种基于互补盲点预测的特征提取器(FE-CBSP),用于提取PAN和LRMS的多尺度特征,并在基于互补盲点预测的自监督编码器-解码器框架(SED-CBSP)中进行预训练,以在融合前增强跨模态关联。在第二阶段,将预训练的FE-CBSP与基于选择性注意力的融合解码器相结合,其中设计了Top-k相关性注意力(TKRA)和Top-k互补性注意力(TKCA),分别用于利用模态相关信息和模态互补信息,从而实现细粒度的空间-光谱特征增强并促进更鲁棒的跨模态特征整合。本文的主要贡献如下:
- (1)
我们提出了BSPSAM-Net,这是一种双阶段pansharpening框架,结合了互补盲点预训练和选择性跨模态融合,以改善空间光谱重建。
- (2)
设计了FE-CBSP,通过互补盲点预测从互补的部分观测中学习,隐式地缓解模态特异性特征差异,并在融合前增强PAN-LRMS跨模态关联。
- (3)
设计了TKRA和TKCA,采用动态Top-k选择机制,分别选择性地建模PAN和LRMS特征之间高度相关和互补的信息,以实现有效的跨模态融合。
- (4)
在多个数据集上进行了大量定量和定性实验,结果表明我们的方法与最先进(SOTA)方法相比具有竞争力或更优的性能,同时在真实场景下展现出强大的泛化能力。
章节摘要
传统pansharpening方法
传统pansharpening技术可大致分为基于CS、基于MRA和基于VO的方法。基于CS的方法将LRMS图像变换以分离空间强度信息和光谱内容,然后使用PAN图像替换或调制强度分量以增强空间细节。代表性方法包括主成分分析(PCA)(Shah et al., 2008)、Brovey变换(Brovey)(Vivone et al., 2014)和Gram-Schmidt(GS)变换(
方法论
在本节中,提出了一种用于pansharpening任务的BSPSAM-Net,如图2所示。采用两阶段训练策略以促进有效的特征表示学习和融合。在第一个阶段,设计了一个FE-CBSP以协同地从PAN和LRMS图像中提取多尺度特征。通过在特征提取过程中鼓励跨模态推理,该策略鼓励编码器利用PAN和LRMS模态之间的互补信息,从而
数据集与指标
为了评估所提出的BSPSAM-Net的有效性,我们在降分辨率和全分辨率卫星数据集上进行了定量和定性评估,包括Pléiades和IKONOS(4波段)以及WorldView-3(WV3,8波段)。这些数据集涵盖了多种景观类型,包括林业、农业、水域、城市、海岸线和混合场景。训练集包含3,246张WV3图像、5,038张IKONOS图像和5,524张Pléiades图像,而降分辨率/全分辨率测试集
讨论
与对比方法相比,BSPSAM-Net的主要优势在于融合前特征学习与选择性跨模态融合的协同设计。具体来说,其优势体现在两个方面。(1)互补盲点预训练增强了融合前的特征学习,并为后续的空间光谱重建提供了更有效的初始化。(2)在融合阶段,TKRA和TKCA进一步区分并选择性地建模高度
结论
在本工作中,我们提出了BSPSAM-Net,这是一个双阶段pansharpening框架,旨在通过增强PAN和LRMS特征之间的跨模态关联来提升融合性能。在第一阶段,构建了一个SED-CBSP来预训练所提出的FE-CBSP,使其能够提取更具一致性和融合友好的跨模态表示。在第二阶段,BSPSAM-Net将预训练的FE-CBSP与一个包含两个动态的基于选择性注意力的融合解码器相结合
CRediT作者贡献声明
刘子阳(Liu Ziyang):概念化、方法论、软件、调查研究、写作-初稿。杨勇(Yang Yong):方法论、指导、写作-审阅与编辑、经费获取。黄淑英(Huang Shuying):概念化、指导、项目管理、写作-审阅与编辑。王晓正(Wang Xiaozheng):验证、形式分析、调查研究。
利益冲突声明
作者声明,他们没有已知的竞争性经济利益或人际关系可能影响本文所报告的工作。
致谢
本工作得到了国家自然科学基金(基金号 62672347 和 62072218)、天津市自然科学基金(基金号 24JCZDJC00130 和 25JCZDJC00540)、河北省自然科学基金(基金号 F2025110006 和 F2025110010)以及天津工业大学沧州研究院(基金号 TGCYY-Z-0303)的支持。
刘子阳 | 杨勇 | 黄淑英 | 王晓正