《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:BRSMamba: Boundary-Aware Mamba for Forest and Shrub Segmentation From Diverse Satellite Imagery
编辑推荐:
本研究针对高分辨率遥感影像中植被分割存在的尺度差异大、光谱模糊和边界复杂等挑战,提出了一种基于非因果状态空间对偶(NC-SSD)的边界感知网络BRSMamba。通过边界主体融合感知(BFP)模块提取拉普拉斯高斯卷积块(LCB)增强的边界特征,并利用边界主体分辨率(BBR)模块将边界信息注入状态转移矩阵,实现选择性扫描机制。在四个基准数据集上的实验表明,该模型仅用10.61M参数和26.28G FLOPs即在Vaihingen、Potsdam、LoveDA和GID数据集上分别达到78.86%、82.84%、54.37%和72.24%的mIoU,为复杂植被分割任务提供了精度与效率的平衡新方案。
随着高分辨率遥感技术的飞速发展,卫星影像已成为生态环境监测的重要数据源。植被作为地球表面关键的生态特征和不可替代的资源,在环境保护、资源评估和城市规划中扮演着重要角色。然而,遥感影像中的植被分割面临着独特挑战:植被表现出极端的尺度差异性,从绵延数百像素的森林冠层到零散的草地斑块;光谱模糊性使得不同物种间光谱特征重叠,加上季节变化引起的类内差异;复杂的边界特征受物种多样性、生长模式和物候周期影响,形成不规则纹理和模糊边缘。这些因素使得传统分割算法难以准确描绘植被轮廓,导致相邻植被类型合并或单个斑块碎片化。
现有方法各有限制:基于卷积神经网络(CNN)的方法受限于长程空间依赖建模能力不足;Transformer架构虽能捕捉全局上下文,但二次计算复杂度难以处理高分辨率遥感影像;新兴的状态空间模型(SSM)如Mamba虽具线性复杂度优势,但存在边界信息建模不足和多向扫描策略性能提升有限的问题。针对这些瓶颈,浙江农林大学研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》发表研究,提出了BRSMamba模型,通过创新性整合边界感知与状态空间模型,为植被分割任务提供了新的解决方案。
研究团队采用边界主体融合感知(BFP)模块提取多尺度边界特征,通过拉普拉斯高斯卷积块(LCB)融合类别语义生成边界-主体图谱;设计边界主体分辨率(BBR)模块将边界信息注入非因果状态空间对偶(NC-SSD)的状态转移矩阵,实现选择性扫描;构建边界特征 refinement head(BRH)通过双路径注意力机制融合浅层空间细节与深层语义信息。实验采用Vaihingen(15训练/18测试)、Potsdam(22训练/14测试)、LoveDA(2522训练/1796测试)和GID(120训练/30验证)四个数据集,以EfficientNet-B3为骨干网络,使用AdamW优化器和复合损失函数进行训练。
模型架构核心包含三个创新模块:BFP模块通过LCB块处理原始影像和深层特征,生成融合边界与语义的边界-主体特征图;BBR模块将边界特征注入NC-SSD的选择性扫描机制,通过跨形状窗口交互建立长程依赖;BRH头采用通道-空间双路径注意力融合多尺度特征。损失函数结合交叉熵损失和Dice损失,通过加权辅助监督确保全局语义一致性与局部边界保真度。
研究结果表明,BRSMamba在四个数据集上均达到最先进性能。在Vaihingen数据集上,mIoU达78.86%,较UNetFormer提升1.84%,在"低植被"类别IoU达68.10%,显著优化了不规则边缘分割效果。定性分析显示,模型在建筑边界完整性、车辆小目标识别和光谱混淆缓解方面表现优异,特别是在复杂背景下能保持清晰的植被边界。
在Potsdam数据集上,模型mIoU达82.84%,较UNetMamba提升0.60%。对"树木"类别的分割IoU达76.67%,验证了其对植被尺度变化的适应能力。可视化结果可见,模型能准确区分建筑与植被边界,减少类内特征不平衡导致的误判。
在LoveDA城乡混合数据集上,模型mIoU达54.37%,较RS3Mamba提升5.28%。对"建筑"和"道路"等复杂类别的分割效果显著,证明其在真实场景中的鲁棒性。然而在"贫瘠地"类别表现相对较弱(IoU 27.08%),分析表明LoG算子对低对比度边界提取存在局限。
在GID地物分类数据集上,模型在"农田"(88.46%)和"森林"(75.14%)类别表现突出,证实其对不规则边界植被的有效分割。但在"草地"(52.66%)类别仍有提升空间,表明复杂纹理和模糊边界仍是挑战。
复杂度分析显示,BRSMamba仅需10.61M参数和26.28G FLOPs,较UNetMamba参数减少28.12%,FLOPs降低58.04%,在保持精度的同时显著提升效率。消融实验验证了各模块贡献:移除BBR模块使mIoU下降0.56%,移除BFP模块下降0.42%,证明边界感知机制的关键作用。
进一步分析表明,LCB设计中LoG算子相比Sobel和Canny算子能更好平衡噪声抑制与边缘保持;窗口大小设置为8×8时最佳,能兼顾局部细节与全局上下文;多头机制以4头效果最优,过多头数引入冗余。特征可视化证实,BFP和BBR模块能显著增强边界清晰度和主体特征区分度。
该研究通过将边界感知机制与状态空间模型创新性结合,解决了植被分割中的三大核心挑战:针对尺度变异,NC-SSD的选择性扫描实现了多尺度上下文建模;针对光谱模糊,边界-主体融合增强了类间区分度;针对复杂边界,LCB提取的精细边缘特征保障了分割精度。研究为高分辨率遥感影像语义分割提供了新的架构思路,在林业资源调查、农作物监测、城市绿地规划等领域具有广泛应用前景。未来工作可进一步优化对低对比度边界的处理,拓展模型在多时相、多模态遥感数据上的适用性。