高度辅助的半监督学习:光学遥感图像建筑物轮廓提取新方法

《IEEE Transactions on Geoscience and Remote Sensing》:Height-assisted Semi-supervised Building Footprint Extraction From Optical Remote Sensing Images

【字体: 大 中 小 】 时间:2025年12月11日 来源:IEEE Transactions on Geoscience and Remote Sensing 8.6

编辑推荐:

  本文针对光学遥感图像建筑物提取中标注数据稀缺的难题,提出了一种名为HeightMatch的半监督学习框架。该框架创新性地引入真实或合成的高度信息,通过双流学习策略和弱到强自训练机制,有效提升了有限标签场景下建筑物特征的表征能力。实验表明,HeightMatch在五个常用数据集上显著优于现有先进方法,尤其在边缘清晰度和光照鲁棒性方面表现突出,为降低遥感图像解译对人工标注的依赖提供了实用解决方案。

  
从太空俯瞰地球,城市中的建筑物是人类活动最显著的印记之一。准确提取建筑物的轮廓(即建筑物足迹)对于城市规划、灾害评估等应用至关重要。随着深度学习技术的快速发展,基于卷积神经网络和Transformer的语义分割方法已成为从高分辨率光学遥感图像中提取建筑物轮廓的主流手段。然而,这些方法通常依赖于大量像素级标注的数据进行模型训练,而制作这样的数据集不仅费时费力,成本高昂,而且在许多地区难以获得足够的高质量标注样本,这严重限制了相关技术在实际场景中的大规模部署。
为了突破这一瓶颈,半监督语义分割(Semi-supervised Semantic Segmentation, SSS)技术应运而生。其核心思想是充分利用少量有标签数据和大量无标签数据,通过一致性学习或自训练(Self-training, ST)等策略,减少对人工标注的依赖。尽管现有的SSS方法在自然图像分割上取得了显著进展,但当直接应用于遥感图像的建筑物提取时,它们往往忽略了一个关键特性:建筑物的高度信息。作为人造结构,建筑物最区别于自然背景的特征之一正是其三维空间中的高度,这一几何属性能为区分建筑物与复杂背景(如阴影、光照变化、建筑倾斜等)提供至关重要的空间结构线索和清晰的边缘信息。
为了解决这一问题,发表在《IEEE Transactions on Geoscience and Remote Sensing》上的论文“Height-assisted Semi-supervised Building Footprint Extraction From Optical Remote Sensing Images”提出了一个名为HeightMatch的创新框架。该研究旨在探索如何将高度信息(无论是来自LiDAR、摄影测量获得的真实数字表面模型DSM,还是通过深度估计基础模型生成的合成高度图)有效地融入半监督学习流程,从而在标注数据极其有限的情况下,显著提升建筑物轮廓提取的准确性和鲁棒性。
为了验证HeightMatch的有效性,研究团队在五个广泛使用的建筑物提取数据集上进行了全面实验,包括Massachusetts-Buildings、JAX-Buildings、ISPRS-Potsdam-Buildings、GF7-Buildings和INRIA-Buildings。这些数据集在图像类型(航空影像 vs. 卫星影像)、空间分辨率(0.05米/像素 到 1.3米/像素)和地理分布上具有高度多样性,为评估算法的泛化能力提供了 rigorous 的测试平台。
关键技术方法
HeightMatch框架的核心是双编码器-解码器架构和一个弱到强的自训练策略。关键技术点包括:1) 在训练前,利用Depth-Anything-v2模型为所有训练RGB图像生成合成高度图;2) 设计了一个包含图像编码器-解码器和高度编码器-融合解码器的双流网络,通过梯度停止机制实现模态解耦训练,确保推理时仅需RGB图像;3) 在自训练过程中,通过取RGB预测和融合预测的最大值来生成高质量的伪标签,用于指导强增强数据的训练;4) 总体损失函数结合了有标签数据的监督损失和无标签数据的自训练损失。
研究结果
1. 消融实验验证模块有效性
研究者在Massachusetts-Buildings和GF7-Buildings数据集上进行了消融实验,系统评估了HeightMatch各组成部分(Sup-Image, ST-Image, FUS-Height)的贡献。结果表明,仅使用有标签RGB图像监督学习(Sup-Image)在较高标注比例(如5%)下表现尚可,但在极低标注比例(如0.2%)下性能急剧下降。引入无标签RGB图像的自训练(ST-Image)能在一定程度上缓解问题,但其效果因数据集而异。而融合高度信息的模块(FUS-Height)则带来了最显著的性能提升,它能增强模型对建筑物结构特征的捕捉能力。当三个模块协同工作时,HeightMatch在低标注比例下取得了最佳性能,例如在0.2%标注的GF7-Buildings数据集上,IoU达到了68.90%,F1分数达到81.58%。可视化结果进一步显示,FUS-Height模块能显著提升边缘清晰度,并在光照条件差、阴影复杂等挑战性场景下改善建筑物提取的完整性。
2. 模型无关性实验证明框架普适性
为了验证HeightMatch不依赖于特定的分割模型架构,研究团队在三种主流模型上进行了测试:基于CNN的DeepLabv3+(ResNet50骨干)、基于ViT的SegFormer_B2以及DINOv2-Small为基础的DPT。实验结果显示,与仅使用有标签数据的基线(OnlySup)相比,HeightMatch在不同模型架构和数据集上均能带来一致的性能提升。特别是在低标注比例下,提升尤为明显。例如,在GF7-Buildings数据集0.2%标注设定下,HeightMatch为DeepLabv3+带来了高达17.06%的IoU提升和13.46%的F1分数提升。这证明了HeightMatch作为一种增强框架,具有良好的通用性和可扩展性。
3. 与先进方法对比彰显优越性
研究者将HeightMatch与六种先进的半监督语义分割方法进行了对比,包括CutMix、CPS、CCVC、AdaptMatch、UniMatch_V1和UniMatch_V2。所有对比方法均使用相同的编码器(DINOv2-Small)和解码器(DPT)。定量结果表明,在极低标注比例(0.1%或0.2%)下,HeightMatch在五个数据集上的IoU指标相比OnlySup基线均有10.44到14.46个百分点的显著提升, consistently 超越了所有对比方法。例如,在INRIA-Buildings数据集0.1%标注比例下,HeightMatch的IoU达到75.30%,而表现次优的UniMatch_V2为73.52%。当在JAX-Buildings和ISPRS-Potsdam-Buildings数据集上使用真实DSM数据时(HeightMatch w/ DSM),性能得到进一步改善,尤其在低标注比例下,表明真实高度信息能提供更明确可靠的建筑物-背景区分依据。
可视化对比结果(图5)进一步印证了定量分析的结论。在黄色框标注的区域,由于分辨率低、光照不连续或存在阴影等因素,一些建筑物的边界模糊不清,基于图像的方法(如UniMatch_V1/V2)未能完整提取。而HeightMatch通过整合对上述挑战条件鲁棒性更强的伪高度图,实现了更稳定、完整的检测结果,边界也更清晰。值得注意的是,UniMatch_V1/V2虽然能产生高置信度的预测,但其剩余错误往往是过度自信且难以纠正的。相比之下,HeightMatch在不确定性较高或结构复杂的区域,其预测置信度表现得更为合理,这为训练过程中的 refinement 留下了更大空间,降低了模型对困难或噪声区域过拟合的风险。
研究结论与意义
本研究提出的HeightMatch框架,成功地将高度信息引入到半监督建筑物轮廓提取任务中。其核心贡献在于:1)提出了高度引导的伪标签增强机制,利用高度图提供的几何线索改善建筑物与背景的分离,生成更准确的伪标签,进而通过自训练提升RGB分支的提取精度;2)设计了一个具有解耦双流学习的HeightMatch框架,通过梯度停止实现模态解耦,支持训练时高度辅助、推理时仅需RGB图像的实用部署模式;3)通过在五个具有不同特性的广泛使用的基准数据集上的全面实验,证实了该方法的有效性和优越性。
HeightMatch的优势在于,它无需在推理阶段依赖成本高昂或难以获取的真实高度数据(如DSM),也不必在推理时运行计算量较大的深度估计模型(如Depth-Anything-v2),从而保证了其在实际应用中的可行性和效率。该研究为解决有限标注数据下的遥感图像智能解译难题提供了新思路,显著降低了对大量人工标注的依赖,特别是对于高分辨率遥感影像的建筑物提取,有助于填补现有全球建筑物足迹数据集在覆盖范围、准确性和时效性方面的不足。这项工作不仅推动了半监督学习在遥感领域的应用,也为探索利用多模态辅助信息提升视觉任务性能开辟了新的途径。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号