Urban-TreeSeg:一种基于CRUNet(CBAM Residual UNet)的深度学习框架用于从存档航拍影像中进行城市树冠(urban tree crown)分割
《Science of Remote Sensing》:Urban-TreeSeg: A CRUNet-based deep learning framework for urban tree crown segmentation from archived aerial imagery
编辑推荐:
摘要:存档遥感影像为评估城市环境长期生物多样性趋势提供了宝贵数据。然而,由于树冠重叠、异质背景、光谱信息有限及树冠尺寸多样等因素,单个树冠(instance-level individual tree crown)的精确勾绘仍是难题。本研究提出Urban-Tr
摘要:存档遥感影像为评估城市环境长期生物多样性趋势提供了宝贵数据。然而,由于树冠重叠、异质背景、光谱信息有限及树冠尺寸多样等因素,单个树冠(instance-level individual tree crown)的精确勾绘仍是难题。本研究提出Urban-TreeSeg——一種专为存档航拍RGB影像城市树冠勾绘设计的深度学习框架,集成三个核心组件:(1) CBAM Residual UNet(CRUNet)架构以增强多尺度特征提取;(2) 分类分支(classification branch)以改善树冠与城市背景的分离;(3) 星凸多边形(star-convex polygon)表示以更好捕捉不规则冠层形状。研究人员在两个对比鲜明的城市场景(住宅区与密林公园)评估Urban-TreeSeg,F1分数超过85%,较广泛使用的Mask R-CNN提升逾4%。研究人员进一步验证,利用Summer 2008影像所学知识迁移至Fall 2020影像可改善树冠勾绘效果。结果表明该方法能从存档影像中一致且鲁棒地提取城市树冠信息,支持长期城市植被监测与生物多样性评估。
论文解读:《Urban-TreeSeg: A CRUNet-based deep learning framework for urban tree crown segmentation from archived aerial imagery》
一、研究背景与意义
存档航拍摄影自20世纪初已开始记录城市区域,加拿大国家航拍图书馆(NAPL)藏有超600万幅存档航片,2000年后高分辨率RGB航拍影像更为普及。城市树木冠层(urban tree crown, UTC)信息是评估城市化生态影响、恢复绿地及增强生态系统韧性的关键指标,单个树冠的精确勾绘(individual tree crown delineation)是可靠生物多样性评估的前提。传统方法(谷底跟踪valley following、区域生长region growing、分水岭分割watershed segmentation)在纯林地表现尚可,但在城市环境中受建筑物阴影、草坪与树冠光谱相似、树冠重叠及尺寸差异大等干扰,易产生过分割或漏检。现有基于深度学习的方法中,Mask R-CNN依赖轴对齐边界框(axis-aligned bounding box)难以处理紧密相邻或重叠树冠;StarDist采用星凸多边形(star-convex polygon)表示但未整合背景分类且未针对城市复杂背景优化。此外,存档影像仅有RGB波段且跨时相存在光照与季相差异,亟需一种面向城市环境、能利用存档多时相数据并兼顾背景抑制与不规则形状表达的端到端勾绘框架。该文发表于《Science of Remote Sensing》。
二、主要关键技术方法
研究区位于加拿大Fredericton,NB,采用2008年夏季15 cm空间分辨率航拍RGB影像作训练(市中心区域),另选稀疏住宅区与密集公园区作测试,部分2020年秋季影像用于迁移学习验证。人工在ArcPro中标注单个树冠矢量边界,模糊区域标为"unknown"排除出训练与测试。框架输入patch为512×512像素,先经两层3×3卷积与最大池化下采样至256×256送入CRUNet(4级编码器,每层卷积块后接CBAM(Convolutional Block Attention Module)通道与空间注意力模块,残差连接保留上下文)。解码器通过跳层连接恢复空间细节。CRUNet输出经两分支处理:①勾绘分支(delineation branch)——预测n=32个径向距离图(radial distance maps, {dk}k=1n,预定义均匀角度方向像素至冠层边界的距离)及对象概率图(object probability map, p,像元属树冠中心的可能性),用二值交叉熵(binary cross-entropy)与对象概率加权的平均绝对误差(mean absolute error, MAE)分别监督;②分类分支(classification branch)——输出二分类(背景/树冠)概率图,用分类交叉熵(categorical cross-entropy)监督,总损失为三者加权和(λ=0.2)。后处理中先用分类二值图掩膜过滤背景,再按对象概率阈值Tobj=0.5提取候选冠心,最后对重建的星凸多边形进行非极大值抑制(non-maximum suppression, NMS, IoU阈值TIoU=0.4)。评价指标含Precision、Recall、F1-Score(IoU>50%判定TP)、AP50及mAP(IoU 0.50–0.95步长0.05)。对比模型含Mask R-CNN、Mask2Former及原始StarDist,迁移学习以2008年预训练模型微调2020年少量标注样本。
三、研究结果
3.1 Experiment of Urban-TreeSeg
3.1.1 Experimental setup
训练区裁切为1350张512×512 tile(重叠256像素),数据增强含旋转、翻转、亮度调整,优化器Adam(lr=3×10-4),200 epoch,batch size=4,硬件NVIDIA RTX 3060。
3.1.2 Delineation performance
公园区(密集树冠):Urban-TreeSeg取得Precision=88.33%、Recall=85.14%、F1=86.70%、AP50=81.34%、mAP=47.30%;Mask R-CNN对应为82.30%(F1)与mAP=41.98%,StarDist为82.27%(F1);Mask2Former最低(F1=61.32%)。Urban-TreeSeg较Mask R-CNN mAP提升5.32%。住宅区(稀疏树冠复杂背景):Urban-TreeSeg F1=85.46%、AP50=85.57%、mAP=54.11%,较Mask R-CNN mAP提升3.81%;StarDist在此区Recall偏低(72.70%),Mask R-CNN与Mask2Former假阳性率高导致Precision较低。结论:CRUNet多尺度特征提取与分类分支抑制城市背景误检,星凸多边形表达提升重叠树冠分离能力,Urban-TreeSeg在两场景下均优于对比方法。
3.1.3 Delineation error analysis on tree crown areas
错误勾绘主要集中于面积<100 m2的小冠层。公园区Urban-TreeSeg误勾数最少;Mask2Former各尺寸误勾最多;住宅区StarDist小冠(<60 m2)误勾最多。结论:Urban-TreeSeg整体降低各类尺寸树冠误勾,尤其在复杂背景下较无分类分支的StarDist优势明显。
3.2 Transfer learning of Urban-TreeSeg
以2008年预训练模型初始化,仅用1291个2020年标注冠层微调,与仅用2020年数据从头训练比较。公园区:迁移学习模型Recall=62.50%(vs 48.44%),F1=64.52%(vs 57.41%);住宅区:迁移学习Recall=62.03%(vs 57.35%),F1=68.68%(vs 66.02%),mAP亦更高。结论:利用早期时相预训练模型微调可减少新时相标注量并提升召回率与综合精度,适用于跨年度存档影像树冠勾绘。
四、讨论与结论
参数分析表明对象概率阈值Tobj最优范围0.4–0.6(F1峰值在0.5),NMS的IoU阈值TIoU推荐0.4–0.5。CRUNet编码器深度:公园区depth=3最优(F1=87.37%),住宅区depth=4平衡Precision与Recall最佳(F1=85.46%)。与UNet变体对比:CRUNet在住宅区(复杂背景)Recall显著优于ResUNet(+5.33%),推荐用于异质城市场景;公园区ResUNet略优,可作同质密林替代。研究局限含模糊重叠冠层区域被排除出训练集及单城市数据,未来拟扩充标注与跨城市泛化验证。
研究结论:研究人员提出并验证了Urban-TreeSeg框架——集成CBAM Residual UNet(CRUNet)、二分类背景抑制分支及32向星凸多边形(star-convex polygon)实例表示的端到端深度学习模型——可有效克服城市背景混杂、树冠重叠、仅RGB波段及冠径多变等挑战,在公园与住宅区测试中F1-score超85%且优于Mask R-CNN、Mask2Former及StarDist;证实基于早时相(2008)预训练模型的迁移学习可提升晚时相(2020)勾绘Recall与F1值。该框架为从多时相存档航拍RGB影像中一致、鲁棒地提取城市单个树冠信息提供了可行方案,支持长期城市植被监测与生物多样性评估。