《Pattern Recognition》:A spatial semantics and continuity perception attention for Remote Sensing Water Body Change Detection
编辑推荐:
•我们解决了水体变化检测(WBCD)领域缺乏面向实践的数据集这一问题。•我们构建了首个面向应用的高分辨率WBCD数据集。•我们设计了空间语义与连续性感知(SSCP)注意力模块。•SSCP可以无缝集成到主流的基于CNN和Transformer的网络中。引言变化检测(CD)是指一
- •
我们解决了水体变化检测(WBCD)领域缺乏面向实践的数据集这一问题。
- •
我们构建了首个面向应用的高分辨率WBCD数据集。
- •
我们设计了空间语义与连续性感知(SSCP)注意力模块。
- •
SSCP可以无缝集成到主流的基于CNN和Transformer的网络中。
引言
变化检测(CD)是指一种技术驱动的任务,旨在通过分析同一地理区域的多时相遥感影像来识别土地覆盖或物体状态的显著变化。该任务在环境监测、资源利用和灾害评估领域具有广泛应用 [1]。作为CD任务的关键子领域,水体变化检测(WBCD)旨在从同一地理区域不同时期的图像对中检测水体表面变化,在洪水监测和水资源管理方面发挥着至关重要的作用 [2]。
随着深度学习的发展,卷积神经网络(CNNs)和视觉Transformer(ViT)[3] 在WBCD任务中展现了优异的性能。然而,作为数据驱动的任务,WBCD领域缺乏面向应用的专用数据集限制了相关技术在工程实际场景中的应用。Water-CD [4] 数据集解决了WBCD领域公开数据集不足的困境。然而,该数据集中空间分辨率为10 m的图像仅覆盖了部分相对较大的季节性天然水体,如长江流域的湖泊和朱木拿河等,如图1的上两行所示。在该中等空间分辨率下,单个像元往往覆盖多种土地覆盖类型(例如水体、植被和土壤),导致混合像元效应和边界模糊,尤其是在异质性的城乡环境中 [5],这无法支持对城市水道 [6]、农村灌溉渠道和碎片化池塘等小规模狭窄水体的精确勾绘。例如,在10 m分辨率下,即使仅1-2个像元的偏差就对应于真实场景中约10-20 m的空间误差 [7]。此外,该数据集仅覆盖大型季节性天然湖泊和河流,缺乏对城市农村地区人工水体和复杂水陆交互场景的覆盖,导致在该数据集上训练的模型在城市水道调度和小型水库管理等实际场景中的泛化能力较差 [8]。因此,亟需一个覆盖多样化实际应用场景的专用高分辨率WBCD数据集,以支持细粒度WBCD技术的发展及其在工程中的应用。
考虑到水体在图像中呈现的固有特征,通过抑制城市区域的阴影噪声,Sentinel-2水体指数与Otsu算法 [10] 的组合 [9] 相比归一化差值水体指数(NDWI)[11] 实现了更好的水体检测性能。然而,这些方法在复杂环境中的效果有限。MSNANet [12] 被提出以在复杂场景中高效提取不同尺度的水体特征,同时更加关注水体的几何形状特征。为应对高分辨率影像中水体边界不清晰和阴影区域错误分类的挑战,Sun等人 [13] 提出了WaterDeep,利用紧密空间金字塔池化模块将多尺度信息融合到高层特征表示中,显著提高了在复杂城市背景下区分各种水体的效率。然而,CD网络中水体影像的深层特征含有丰富的空间语义和结构信息,这些信息在WBCD研究中尚未得到充分利用。例如,如图1第三行所示,T1图像中土壤含水量较高的左侧农田在视觉上与湖泊和河流相似,容易导致WBCD中出现假阳性。增强水体深层特征中的空间语义可以有效区分这些不同的地表类型。在最后一行中,我们可以观察到城市水道具有强烈的空间连续性。利用空间结构信息有助于提高WBCD预测结果的完整性。
为解决上述问题,我们首先提出了HSRW-CD数据集,其空间分辨率优于3 m,为真实工程实践提供了更详细的空间信息和更复杂的WBCD场景。该数据集包含2085对双时相图像对,涵盖多种水体类型,如城市水道、水系、湖泊、人工水库和农村沟渠。
如图1所示,某些植被呈现出与水体的视觉特征相似的特性。此外,空间连续性也是水体的一项重要特征。针对遥感图像中水体的上述特性,同时考虑到深层特征中的丰富信息,我们提出了空间语义与连续性感知(SSCP)注意力模块来优化WBCD网络中的深层特征。具体而言,SSCP由多语义空间注意力(MSA)、结构关系感知全局注意力(SRGA)和通道级自注意力(CSA)组成。MSA首先利用空间语义注意力从四个独立的子特征中提取多语义尺度的空间信息。然后,经MSA处理的特征图输入到SRGA中,SRGA利用紧凑的全局尺度结构关系模式来推断注意力系数。MSA和SRGA的输出通过残差连接 [14] 进行融合,随后输入到CSA中,CSA旨在缓解MSA中各子特征之间的语义差异,有效促进空间语义和结构信息的融合。因此,所提出的SSCP通过上述步骤增强了深层特征的空间语义和结构信息。
本文的主要贡献如下:
- 1.
据我们所知,我们构建了首个面向应用的高空间分辨率、大规模遥感WBCD数据集HSRW-CD,其影像空间分辨率优于3 m,包含2085对双时相图像对,涵盖多种水体类型并覆盖不同地理区域。得益于HSRW-CD数据集的特性,它将进一步推动WBCD在复杂水资源管理中的应用。
- 2.
针对临时性水体与高含水量植被之间的视觉相似性以及水体的结构连续性,我们提出了一种任务专用的SSCP注意力模块。不同于传统的注意力机制主要通过重新校准特征权重来筛选重要特征信息并判断哪些特征对预测有贡献,SSCP引入了一种语义-结构协同优化范式,通过跨尺度语义提取和全局结构增强来显式建模水体特征的空间组织规律。作为即插即用的模块,SSCP可以无缝集成到主流的基于CNN和Transformer的框架中。
- 3.
在HSRW-CD、Water-CD和更高分辨率的LEVIR-CD数据集上进行了大量实验,验证了所提出SSCP的有效性和跨域泛化能力。
章节摘要
水体变化检测
检测水体变化的传统方法包括NDWI [11]、像素级图像融合和分类技术 [15]。然而,这些方法的泛化能力较差,且某些需要设置适当阈值的方法增加了劳动和时间成本。
在基于深度学习的WBCD方法中,CNN和注意力机制显著提高了特征提取能力和鲁棒性。例如,Lin等人 [16] 将Siam-U-Net++与SE注意力 [17] 相结合以缓解
方法
所提出的SSCP注意力并非通用即插即用模块,而是针对WBCD两大核心挑战的创新设计:高含水量植被与水体之间的视觉相似性,以及水体区域的空间连续性约束。它将对多语义提取、结构关系建模和通道级信息融合整合到一个统一的协同框架中,与现有的通用注意力机制不同,全面利用了
结果与分析
首先介绍实验中使用的三个数据集。随后,展示我们的实验设置。然后通过大量实验验证所提出SSCP的有效性和泛化能力。此外,还进行了消融实验和分析研究以验证SSCP各组件的功能。
结论
本文首先提出了HSRW-CD数据集,解决了面向应用的城乡细粒度WBCD任务缺乏高空间分辨率数据集的问题。此外,专门设计了空间语义与连续性感知(SSCP)注意力模块来优化WBCD中水体的深层特征。具体而言,所提出的SSCP由多语义空间注意力(MSA)、结构关系感知全局注意力(SRGA)和通道级
CRediT作者贡献声明
马全清: 撰写——审阅与编辑,撰写——初稿,可视化,方法论,数据管理,概念化。陈家恩: 撰写——审阅与编辑,验证,监督,数据管理。王鹏: 验证,监督,数据管理。郑瑶: 资源,数据管理。赵清展: 监督,数据管理。郑宇辰: 撰写——审阅与编辑,监督,资源,调查,概念化。
利益冲突声明
作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。
马全清|陈家恩|王鹏|郑瑶|赵清展|郑宇辰