MMDiff:基于跨模态空间特征转移的多模态遥感图像生成

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:MMDiff: Multi-modal remote sensing image generation via cross-modality spatial feature transfer

【字体: 大 中 小 】 时间:2026年08月28日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9

编辑推荐:

   摘要 由于不同传感器在成像原理和采集时间上存在差异,收集空间一致的多模态遥感(MMRS)图像仍然具有挑战性。这阻碍了数据驱动的 MMRS 技术的发展,因为这类技术依赖于大规模的训练样本。本文提出了 MMDiff,这是首个明确设计用于通过跨模态空间特征传递,从单一文本提示联合生

  

摘要 由于不同传感器在成像原理和采集时间上存在差异,收集空间一致的多模态遥感(MMRS)图像仍然具有挑战性。这阻碍了数据驱动的 MMRS 技术的发展,因为这类技术依赖于大规模的训练样本。本文提出了 MMDiff,这是首个明确设计用于通过跨模态空间特征传递,从单一文本提示联合生成结构一致的光学(OPT)、合成孔径雷达(SAR)和红外(IR)遥感图像的文生图扩散框架。MMDiff 首先使用配对的光学图像 - 文本数据训练 OPT 分支,以捕获丰富的语义内容,然后使用简单的模态特定文本模板训练 SAR/IR 分支,以学习相应的风格属性,而无需依赖复杂的语言描述。具体来说,我们引入了一种基于 LoRA 的模态翻译适应机制,将光学空间表示的风格属性转换为 SAR 和 IR 风格属性,同时保留潜在的语义内容。翻译后的表示随后通过所提出的空间特征传递机制转移到 SAR 和 IR 生成分支中,从而在生成的 SAR/IR 图像中实现丰富的空间细节,同时保持跨模态空间一致性。大量实验表明,MMDiff 在模态相似性和语义一致性方面实现了优于最先进方法的图像质量。此外,MMDiff 有利于下游数据驱动的 MMRS 应用,例如多模态图像融合和物体分类。代码可在以下地址获取:https://xin-r-tang.github.io/MMDiff-homepage/。

引言 多模态遥感图像,如光学、合成孔径雷达和红外图像,在地球观测(Hong 等人,2021)、灾害预警(H. Zhang 等人,2025)和军事侦察(Lv 等人,2024)中发挥着至关重要的作用。例如,具有高分辨率的光学图像可以捕获细粒度的表面细节;SAR 图像具有穿云能力;IR 图像的特点是全天候探测性能。因此,它们已被广泛应用于各种由人工智能(AI)驱动的数据驱动的 MMRS 技术(Zhu 等人,2017,H. Tang 等人,2024,Lu 等人,2026,Li 等人,2025)。然而,开发高性能的 MMRS 模型需要大规模训练样本,但由于卫星传感器的高运行成本以及其成像原理和采集时间的差异,收集空间一致的 MMRS 图像仍然耗时且费力。

为了缓解 MMRS 数据的稀缺,生成式人工智能模型最近作为一种有前途的替代方案出现。具体来说,已经提出了几种用于遥感的文本驱动生成模型(Yates 等人,2022,Tao 等人,2022,Tao 等人,2023,Zhou 等人,2022,Sebaq 和 ElHelw,2024,D. Tang 等人,2024,Khanna 等人,2024,Qosja 等人,2024),以从文本提示合成各种模态的遥感图像。通过绕过昂贵且耗时的数据获取过程,这些模型为缓解 MMRS 相关任务中的数据稀缺提供了可扩展的解决方案。然而,遥感生成模型的开发仍处于探索阶段,当前方法无法生成空间一致的 MMRS 图像。因此,需要一种新方法来解决这一挑战,并使这些生成的、空间一致的 MMRS 图像能够应用于数据驱动的 MMRS 应用,如分类和融合。

遥感图像生成的早期尝试主要依赖生成对抗网络(GANs)(Goodfellow 等人,2020),这些方法展示了生成能够欺骗人类感知的高质量遥感图像的能力(Yates 等人,2022,Niu 等人,2025,Zhao 等人,2025b,Zhou 等人,2022,Tao 等人,2023,Tao 等人,2022)。然而,这些方法受到与 GANs 相关的固有问题的困扰,如模式坍塌(Lei 等人,2019)和训练不稳定性(Adler 和 Lunz,2018),这导致生成图像的多样性降低。近年来,扩散模型(Ho 等人,2020,Rombach 等人,2022,Song 等人,2020)在自然图像生成方面取得了巨大成功,其应用也已扩展到遥感领域。由于其稳定的训练动态和简单而有效的损失公式,扩散模型能够产生高质量且多样化的图像样本。此外,扩散模型支持灵活的有条件控制,能够纳入各种引导信号,包括用于语义控制的文本提示(Sebaq 和 ElHelw,2024)、用于互补线索的元数据(例如地理位置和多光谱信息)(Khanna 等人,2024),以及结构化条件,如草图、语义分割图和 OpenStreetMap 数据(Sastry 等人,2024,D. Tang 等人,2024)。因此,生成的图像在缓解数据稀缺的同时,提高了对 various downstream remote sensing tasks 的适用性。然而,尽管取得了成功,当前的生成式人工智能遥感模型受到三个限制的限制:(1) 依赖额外的空间条件。现有的可控扩散模型通常依赖额外的空间条件,如掩码、布局或语义分割图,来控制生成的空间布局。然而,获取这些条件通常需要昂贵的标注和预处理,这限制了它们在实际遥感场景中的可扩展性。(2) 单模态生成。当前模型主要生成独立的模态(例如 OPT、SAR、IR),而不考虑多模态生成中的结构一致性。(3) 有限的文本注释。SAR 和 IR 遥感图像缺乏高质量的文本注释,限制了对这两种模态的文生图模型的发展。这些限制共同阻碍了生成式人工智能模型在现实多模态遥感场景中的可扩展性和实际适用性。

基于上述分析,我们提出了 MMDiff,这是首个能够从单一文本提示通过跨模态空间特征传递生成结构一致的 OPT、SAR 和 IR 遥感图像的文本驱动扩散生成式人工智能模型。具体来说,MMDiff 采用三个并行扩散模型在潜在空间中进行生成。由于 SAR 和 IR 图像固有的模糊和低纹理特性,MMDiff 采用文生光学扩散模型作为骨干,并引入模态翻译适应(MTA),一种基于 LoRA 的模态适应设计,将光学空间表示的风格属性转换为 SAR 和 IR 风格属性,同时保留潜在的语义内容。MMDiff 然后通过提出的空间特征传递机制(SFTM)生成空间一致的 MMRS 图像。具体来说,SFTM 将从 MTA 获得的翻译表示转移到 SAR 和 IR 扩散模型的具体层,从而确保空间一致性。值得注意的是,MMDiff 仅使用文本提示作为输入,不依赖任何其他空间约束,这降低了开发成本。图 1 显示生成的结果在语义上与文本提示一致,并在每种模态间保持空间一致性。此外,生成的 SAR 和 IR 图像表现出增强的结构细节。

大量实验表明,MMDiff 在所有模态的定性和定量方面都优于当前最先进的方法(Tao 等人,2023,Tao 等人,2022,Zhou 等人,2022,Sebaq 和 ElHelw,2024,D. Tang 等人,2024,Sastry 等人,2024,Khanna 等人,2024)。此外,最近的研究(Huang 等人,2024,X. Zhang 等人,2025,Huang 等人,2025)表明,生成的遥感图像也应通过其在下游任务中的效用进行评估。因此,如图 2 所示,我们进一步在两个下游数据驱动的 MMRS 应用上评估了 MMDiff:多模态图像融合和物体分类。对于多模态图像融合,像素级空间一致性很重要,因为不一致的输入会引入伪影或模糊,最终降低融合质量(Zhao 等人,2025a)。结果表明,MMDiff 生成的空间一致的 MMRS 图像提高了融合性能,且未引入伪影,这是以前的生成模型由于无法生成空间一致的多模态图像而无法实现的优势。对于多模态物体分类,MMDiff 在九种数据增强设置下进行了评估,涵盖了三种模态(OPT、SAR 和 IR)和三种分类器(VGG Simonyan 和 Zisserman,2014,ResNet He 等人,2016,和 ViT Dosovitskiy 等人,2020)的所有组合。结果表明,当使用其生成的单模态图像进行数据增强时,我们的方法优于大多数竞争方法。此外,我们还使用融合图像进行数据增强,这些融合图像是通过融合 MMDiff 生成的空间一致的 MMRS 图像获得的。由于空间一致性允许融合图像有效整合互补的多模态线索,这一策略实现了最佳的分类性能,超过了所有其他方法,包括基于 MMDiff 生成的单模态图像的方法。

总之,我们的贡献如下:
•我们提出了 MMDiff,这是首个明确设计用于从单一文本提示联合生成结构一致的 OPT、SAR 和 IR 遥感图像的文本驱动扩散框架,而现有方法主要关注单模态生成,不支持此功能。
•我们引入了一种基于 LoRA 的模态翻译适应机制,将 OPT 空间表示的风格属性转换为它们的 SAR 和 IR 对应物,同时保留潜在的语义内容。
•我们提出了空间特征传递机制,将模态翻译后的特征转移到 SAR 和 IR 分支中,以强制空间一致性并丰富生成的 SAR 和 IR 图像中的细粒度结构细节。
•大量实验证明了 MMDiff 的有效性及其对下游数据驱动的 MMRS 应用的好处,包括多模态图像融合和物体分类。

章节片段 遥感图像生成 由于其重要性,遥感图像生成在数据增强和地球观测应用中受到了越来越多的关注。早期研究主要依赖生成对抗网络(GANs)来合成遥感图像。Bejiga 等人(2019)通过在遥感领域从文本描述中合成地理景观,首次引入了文生图生成任务。为了缓解数据不平衡,Tang 等人(2024)提出了一种文本引导的

MMDiff 概述 MMDiff 旨在使用三个并行扩散模型在潜在空间中生成空间一致的 MMRS 图像。图 3 说明了 MMDiff 的整体框架,图 4 展示了每个组件的详细方案。具体来说,MMDiff 首先从标准正态分布中为光学模态采样一个带噪声的潜在变量 z_{oT},然后使用 z_{oT} 来初始化 SAR 和 IR 模态的 z_{sT} 和 z_{IT},其中 T 是一致的 MMRS 图像生成的总采样时间步。

关于数据集 我们构建了一个光学 - 合成孔径雷达 - 红外(OSI)数据集,来自各种公开可用的遥感数据集,总共包含 14,845 个样本。具体来说,它包括 OPT 模态的 6300 个文本 - 图像对,SAR 模态的 4868 张图像,以及 IR 模态的 3677 张图像。每种模态包含 9 个相同的类别。光学文本 - 图像对源自 NWPU-RESISC45(Cheng 等人,2017)数据集。SAR 图像收集自 MRSSC2.0(Liu 等人,2022),

结论 在本文中,我们提出了 MMDiff,这是首个能够从单一文本提示合成空间一致的光学、合成孔径雷达和红外遥感图像的基于扩散的生成框架。为了在不依赖昂贵结构条件的情况下实现跨模态空间一致性,我们引入了一种基于 LoRA 的模态翻译适应机制,将光学空间表示的风格属性转换为 SAR 和 IR 风格属性,同时保持

CRediT 作者贡献声明 汤昊钧:写作 - 初稿,软件,方法学,概念化。赵文达:项目管理,概念化,方法学。崔恒帅:软件。王海鹏:验证。

利益冲突声明 作者声明他们没有已知的竞争财务利益或个人关系,这些关系可能会影响本文报告的工作。

致谢 本工作得到国家自然科学基金(资助号 62522105)的支持。

汤昊钧|赵文达|崔恒帅|王海鹏 大连理工大学,大连,116024,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号