编辑推荐:
•提出了一种通过知识蒸馏和扩散建模的融合框架。•开发了一种多注意力融合模块。•制定了一种动态加权多任务损失。引言现有的多光谱图像全色锐化方法可大致分为两大类,第一类包括传统方法,如 IHS [1]、GS [2]、BDSD [3]、MTF-GLP [4]、AWLP [5] 和变
- •
提出了一种通过知识蒸馏和扩散建模的融合框架。
- •
开发了一种多注意力融合模块。
- •
制定了一种动态加权多任务损失。
引言
现有的多光谱图像全色锐化方法可大致分为两大类,第一类包括传统方法,如 IHS [1]、GS [2]、BDSD [3]、MTF-GLP [4]、AWLP [5] 和变分优化 (VO) [6]。这些方法计算效率高,且具有很强的物理可解释性。然而,它们对人工设计参数的依赖限制了其在空间细节增强和光谱一致性之间有效平衡的能力。
基于深度学习的方法构成了另一个主要类别。基于卷积神经网络 (CNNs) 的代表性方法包括 DiCNN [7]、LAGConv [8]、BDPN [9]、IDD [10]、PSCF-Net [11]、IMBD [12]、SUB [13] 和 CANConv [14]。由于其在局部特征提取方面的有效性,这些方法得到了广泛研究。然而,它们对局部感受野的固有依赖限制了长程依赖的建模,这通常导致复杂物体边界区域出现伪影和光谱失真。生成对抗网络 (GANs) 已被广泛认为是 CNN 方法的有益补充。通过引入对抗学习,基于 GAN 的方法提高了重建细节和纹理的感知真实性。这有助于补偿基于 CNN 方法在细节重建能力上的不足。代表性方法包括 Mun-GAN [15],这是一种用于遥感图像全色锐化的多尺度无监督网络,在不需配对训练数据的情况下保持良性的空谱一致性。CTUGAN [16] 是在统一的 GAN 框架内开发的。它将卷积操作的局部特征提取能力与 Transformer 的长程依赖建模能力相结合。这种设计提高了全局一致性和局部细节保真度。PSGAN [17] 将 CycleGAN 框架应用于全色锐化任务,并展示了跨异构数据集的强大可迁移性。此外,DSen2-WGAN [18] 通过引入深度对抗损失和多判别器机制,进一步提高了细节恢复和图像真实性。
然而,GAN 训练通常不稳定,且基于 GAN 的方法主要对局部纹理分布进行建模。因此,它们捕获全局结构信息的能力仍然有限。为了解决这个问题,引入了基于自注意力机制的 Transformer 架构。视觉 Transformer 架构已通过将图像块表示为序列令牌应用于图像融合。例如,SwinFusion [19] 使用分层 Transformer 来捕获一般图像融合任务中的长程依赖。在此基础上,HyperTransformer [20] 配备了跨空谱特征建模模块 (TSFFM),显著提高了融合图像中的多尺度特征表示。随后,DBCT-Net [21] 引入了带有 Transformer 分支的双分支设计。这种设计进一步展示了混合 CNN-Transformer 架构建模全局结构的能力。ESAFormer [22] 结合了 CNN 的局部特征提取能力和 Transformer 的全局注意力机制。这种设计实现了高效的多尺度特征融合,并提高了结构保真度和空间分辨率。基于 Transformer 的架构已被引入遥感图像融合,以补充传统卷积的局部特征提取能力,并进行更强的长程依赖建模。然而,这些方法在显式建模多模态成像方面仍然面临内在挑战,特别是在高对比度区域,特征不匹配可能会损害融合的稳定性可靠性。
基于这些进展,扩散模型 (DMs) 在遥感图像融合中获得了越来越多的关注。这种兴趣主要源于它们在图像生成和恢复任务中生成高质量输出、保持稳定的训练动态以及提供强可控性的能力。例如,CrossDiff [23] 将扩散过程引入全色锐化。它在无监督条件下学习跨模态映射关系,从而提高了结构保真度和跨场景适应性。在 TMDiff [24] 中,卫星成像属性被作为文本提示纳入模型,以引导扩散过程趋向目标传感器的数据分布,从而提高跨平台泛化能力。SSDiff [25] 将空谱双分支结构与频率调制模块集成在一起。它进一步采用交替融合策略来平衡计算效率和特征表示能力。此外,利用粗到细的风格调制机制进行频域信息的分层处理,从而在细节重建方面取得了相当大的改进。DADiff [26] 方法通过引入残差引导机制,进一步提高了扩散模型的结构细节建模能力。DMD [27] 通过分布级别蒸馏多步教师扩散模型,构建了一个单步扩散生成器。这种设计在保持高重建和融合质量的同时,大幅降低了推理成本。TA-DiffHQP [28] 方法设计了一种时间感知机制,优化了高频和低频信息之间的融合过程,从而在细节恢复方面实现了优异性能。U-Know-DiffPAN [29] 将基于扩散的细节增强分支纳入教师 - 学生蒸馏框架。它进一步引入了一种不确定性感知蒸馏策略,以提高细节重建质量和训练稳定性。在 MMMamba [30] 中,提出了一种基于 Mamba 架构的上下文感知融合设计。它采用线性复杂度建模和交错扫描机制,促进 PAN 和 MS 图像之间的跨模态特征交互。这种设计在保持融合性能的同时,大幅提高了计算效率。
尽管在平衡模型性能和推理效率方面取得了最新进展,但大多数现有方法仍然依赖单一的优化流水线,并且在训练过程中缺乏有效的多分支协调。因此,判别特征和生成先验之间的有效集成无法得到充分实现。为了解决这一限制,我们提出了一种新颖的知识增强多分支扩散融合模型,将训练与推理解耦。在训练期间,教师分支和扩散分支被联合优化,以提供判别知识和基于扩散的生成先验。在推理期间,仅保留轻量级的学生分支。这种设计减少了计算开销,同时很大程度上保留了融合性能。此外,结合了空谱联合建模和多级知识蒸馏,以对齐和集成多源特征。这些设计提高了模型稳定性,并增强了在复杂场景中的泛化能力。本工作的主要贡献总结如下:
(1) 提出了一种结合知识蒸馏与条件扩散建模的多分支、多尺度融合框架。
(2) 设计了一种多注意力融合模块 (MAFM),其中采用空谱注意力机制来 enable PAN 和 MS 图像的多尺度联合建模。
(3) 制定了一种动态加权多任务损失函数。
章节摘要
提出的总体模型
提出了一种称为 KEM 的多分支特征融合框架,通过集成知识蒸馏和扩散建模实现。该框架包括三个协作分支,即教师分支 (KEM-T)、学生分支 (KEM-S) 和扩散分支 (DM),实现多源信息的联合建模,如图 1 所示。在训练期间,教师分支提供判别特征引导,而扩散分支对底层数据分布进行建模。The
数据集和参数设置
实验在三个广泛使用的卫星数据集上进行:WorldView-3 (WV3, 8 波段)、QuickBird (QB, 4 波段) 和 GaoFen-2 (GF2, 4 波段)。在这些数据集中,WV3 具有高光谱维度,QB 作为广泛采用的基准,而 GF2 捕获了不同成像条件下各种传感器的特征。所有实验都在配备 NVIDIA GeForce RTX 3090 GPU 的工作站上完成,所有模型均在 PyTorch 框架中实现。The
结论
在本文中,提出了一种名为 KEM 的全色锐化方法,该方法由知识蒸馏和扩散生成共同驱动,由四个模块组成。其中,KEM-T 作为知识引导分支,为轻量级学生模型提供稳定的判别特征约束。在这些约束下,KEM-S 模块学习有效的融合表示,并在推理期间作为主重建分支。DM 模块约束反向去噪
CRediT 作者贡献声明
陈颖夏: 写作 – 原始草稿,方法论。 郭秋霞: 写作 – 原始草稿,验证。 魏明明: 写作 – 审查与编辑。 彭将俊: 写作 – 审查与编辑,项目管理。
竞争利益声明
作者声明,他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了 湖北省自然科学基金一般项目 的资助,批准号 2025AFB920,部分由 华东师范大学多维信息处理上海市重点实验室 资助,批准号 MIP20222,以及部分由 湖北省教育厅科学研究计划 资助,批准号 B2022040。
陈颖夏 | 郭秋霞 | 魏明明 | 彭将俊