DescribeEarth:面向遥感图像的细粒度局部描述生成
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:DescribeEarth: Detailed localized captioning for remote sensing images
【字体:
大
中
小
】
时间:2026年09月27日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9
编辑推荐:
**摘要**
遥感图像的自动化文本描述对于解锁其在环境监测、城市规划和灾害管理等多样化应用中的全部潜力至关重要。然而,现有的遥感图像描述研究主要关注图像级别,缺乏对象级的细粒度解释,这阻碍了对遥感图像中包含的丰富语义和结构信息的充分利用和转化。因此,我们提出了 Geo-DLC
**摘要**
遥感图像的自动化文本描述对于解锁其在环境监测、城市规划和灾害管理等多样化应用中的全部潜力至关重要。然而,现有的遥感图像描述研究主要关注图像级别,缺乏对象级的细粒度解释,这阻碍了对遥感图像中包含的丰富语义和结构信息的充分利用和转化。因此,我们提出了 Geo-DLC,这是一个用于遥感中对象级细粒度图像描述的新型任务。为了系统地建立和评估这一新范式,我们引入了一套综合套件,包括一个数据集、一个基准和一个专用模型。具体来说,我们构建了 DE-Dataset,这是一个包含 25 个类别和 261,806 个标注实例的大规模集合,具有详细的对象属性、关系和上下文描述。为了提供严格的评估标准,我们开发了 DE-Benchmark,一种基于问答的 LLM 辅助评估协议,以准确衡量模型在 Geo-DLC 任务上的能力。此外,我们提出了 DescribeEarth,这是一种专门为该任务定制的多模态大语言模型(MLLM)架构。它集成了尺度自适应焦点策略和领域引导融合模块,利用遥感视觉语言模型(VLM)的特性来编码高分辨率细节和类别先验,同时保持全局上下文。广泛的评估表明,DescribeEarth 在简单和复杂子集上获得了最高的总分,并在 DE-Benchmark 的分布外子集上比肩 GPT-4o。其最明显的增益出现在周围上下文覆盖率以及那些解释强烈依赖头顶空间布局和遥感上下文的类别中。所有数据、代码和权重均已公开于 https://github.com/earth-insights/DescribeEarth。
**引言**
遥感图像通过卫星、航空平台和无人机持续获取,为监测和理解地球提供了不可或缺的工具。其应用涵盖环境科学、城市规划、灾害管理、农业和国防。自动为这些图像中的特定特征或现象生成精确和详细的文本描述对于解锁其全部潜力至关重要,能够促进更高效的分析、快速决策以及使领域专家和公众更广泛地获取信息。
历史上,图像描述任务(通常称为图像字幕生成)主要专注于为整幅图像生成单一的、整体的句子或段落。已提出许多方法来解决这一挑战,图 2 中展示了一些典型方法。早期方法依赖于 CNN-RNN 编码器架构或基于注意力的机制,通常在小型数据集上训练并产生简短、粗粒度的句子。随着多模态大语言模型(MLLMs)的出现,这些能力有了显著进步,能够针对通用图像生成更连贯、上下文更丰富的描述。一些研究强调了域感知视觉处理在字幕生成中的重要性。在遥感领域,早期的图像字幕尝试也专注于场景级描述,通常调整通用视觉语言模型(VLMs)来分类并提供整个遥感图像的粗略摘要。最近,一些努力转向生成区域特定描述。例如,EagleVision 提出了一种专门用于遥感的对象级属性 MLLM,旨在为检测到的对象提供属性丰富的描述。虽然 EagleVision 代表了遥感本地化理解的一步,但它通常产生受预定义属性或模板限制的描述,限制了全面分析所需的丰富性和开放细节。此外,少量的训练类别和非交互式操作进一步限制了其实用性。
Describe Anything Model (DAM) 的近期推出标志着自然图像和视频详细局部描述(DLC)的重大飞跃。DAM 通过其焦点提示和本地化视觉主干,巧妙地平衡了局部细节与全局上下文,为用户指定的区域生成极其详细的描述。一些最近的工作追随其后,并在此任务上做出了重大贡献。虽然 DAM 和一些 MLLMs 在自然图像领域表现出色,但其直接应用于遥感图像显示出巨大的性能差距。如图 1 所示,我们展示了 DAM 和几个通用 MLLMs 在一张遥感图像上的描述结果。GPT-4o 和 Gemini-2.5-pro 只能提供简短的描述,缺乏对象属性、空间关系和上下文信息的细节。DAM 在定义类别和为某些遥感实例提供精确描述方面存在困难。这主要是由于自然视觉数据和遥感视觉数据之间的差异,包括独特的视角(如垂直俯视)、物体巨大的尺度变化以及与地理分析相关的独特语义上下文。因此,像 DAM 这样在自然图像特征上训练的通用模型,难以准确识别并详细描述从遥感视角观察到的对象和现象。为了弥补这一关键差距并实现遥感图像的 DLC,我们将此任务正式定义为 Geo-DLC,我们需要解决一些挑战。基于我们的分析并建立在本地化字幕固有困难的基础上,我们确定了 Geo-DLC 的三大障碍:
* Geo-DLC 模型的开发受到缺乏专用数据集的限制。现有遥感数据集通常提供分类标签、检测边界框、分割掩码或整个图像字幕的粗略描述,但很少提供 Geo-DLC 所需的实例级文本描述。手动创建这样的数据集是不切实际的,需要大量资源和专门的地理空间专业知识来准确描述复杂细节和特征。
* 在自然图像上训练的通用 VLM 对遥感目标的识别能力有限。遥感图像中的对象具有独特的视角,表现出巨大的尺度变化,并包含大量小目标。这使得它们与自然图像中的对象不同。因此,通用模型难以准确识别和解释从这些专业遥感视角看到的即使是常见的对象,更不用说捕捉它们的复杂细节了。
* 除了训练数据外,还缺乏专门为 Geo-DLC 设计的评估协议。正如 Lian 等人 (2025) 所述,传统语言指标和当前的基于 LLM 的判断会不公平地惩罚模型生成了参考字幕中通常不完整的内容但正确的细节。
为了解决这些限制并解锁遥感中详细本地化理解的潜力,本文介绍了 Geo-DLC 的综合实践。我们的贡献总结如下:
* 我们介绍了 DE-Dataset,第一个用于 Geo-DLC 的数据集。该数据集包含各种地理对象有向边界框(OBBs),并配有实例级详细文本描述。DE-Dataset 通过精心设计的 数据流水线构建,利用 MLLMs 和现有遥感目标检测数据集,并辅以人工验证。这使得能够有效地将标注扩展到大量的遥感图像。
* 我们提出了 DescribeEarth,一种专门为 Geo-DLC 任务设计的 MLLM 架构。为了解决通用模型对遥感目标识别能力有限的问题,DescribeEarth 利用 RemoteCLIP 的特征作为引导先验,并集成了一种新颖的视觉特征融合机制,以有效编码目标区域的高分辨率细节和遥感类别先验,同时保持全局上下文,从而生成详细且感知上下文的局部字幕。
* 我们提出了一个专门为 Geo-DLC 定制的高质量基准 DE-Benchmark。遵循 DAM 严格的基于属性的评估方法,我们精心设计了评估数据集,超越传统的基于参考的指标。这确保了模型因提供与遥感上下文相关的丰富准确细节而得到适当奖励,并因事实错误或无关描述而受到惩罚,从而实现全面和公平的评估。
**章节片段**
**图像字幕**
早期图像字幕围绕编码器 - 解码器模型发展,将全局或区域级视觉特征转换为短句。注意力机制改善了显著区域的选择,而属性和场景图方法明确表示对象关系和组合语义。Transformer 解码器和跨模态
**任务、数据集与基准**
本节正式定义 Geo-DLC 任务,详细说明 DE-Dataset 的构建,并介绍 DE-Benchmark。
**方法**
为了解决 Geo-DLC 的固有挑战,即遥感场景中的广泛尺度变化和有限的识别能力,我们提出了 DescribeEarth,一种专为遥感设计的多模态大语言模型(MLLM)架构。基于 Qwen2.5-VL-3B-Instruct 构建,DescribeEarth 结合了尺度自适应焦点策略以有效管理不同的对象尺度,以及一个领域引导融合模块(DFM)来集成特定领域的语义先验。
**实验设置**
DescribeEarth 模型基于 Qwen2.5-VL-3B 构建。DescribeEarth 的视觉编码器组件从预训练的 Qwen2.5-VL-3B 模型初始化,并在整个训练过程中保持冻结,以保留其已建立的一般视觉理解能力。为了纳入特定领域知识,利用了一个预训练的 ViT-B 架构 RemoteCLIP;其权重也保持冻结,并使用中间输出而不仅仅是最终编码器特征来丰富
**结论**
在本文中,我们提出了一个综合框架来推进 Geo-DLC,这是遥感图像语义解释的关键任务。为了促成有意义的进展,我们介绍了 DE-Dataset,第一个专为该任务设计的大规模数据集,具有实例级有向边界框(OBBs)并配有丰富、细粒度的描述。认识到传统评估方法的局限性,我们还开发了 DE-Benchmark,一种基于属性且由 LLM 辅助的协议,确保
**CRediT 作者贡献声明**
Kaiyu Li: 写作 - 初稿,验证,方法论,形式分析,数据整理,构思。
Zixuan Jiang: 写作 - 初稿,软件,方法论,调查,数据整理。
Xiangyong Cao: 写作 - 审阅与编辑,监督,项目管理,经费获取。
Jiayu Wang: 软件,方法论。
Yuchen Xiao: 可视化,验证。
Jing Yao: 写作 - 审阅与编辑,监督。
Chen Wu: 写作 - 审阅与编辑,监督。
Deyu Meng:
**利益冲突声明**
作者声明他们没有已知的 competing 经济利益或个人关系可能会影响本文中报道的工作。
**致谢**
本研究由中国国家自然科学基金杰出青年科学基金项目(编号:62688101)和中国国家自然科学基金项目(合同号 62272375)支持。
Kaiyu Li | Zixuan Jiang | Xiangyong Cao | Jiayu Wang | Yuchen Xiao | Jing Yao | Chen Wu | Deyu Meng | Zhi Wang
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号