《Remote Sensing Applications: Society and Environment》:Detection and Characterization of Apple Tree Crowns from UAV Images via Enhanced Mask R-CNN and DBSCAN Clustering
编辑推荐:
从无人机正射影像中进行单株树冠的实例分割,能够生成支持精准果园管理的园级尺度清单产品。然而,晚秋时节的树冠描绘仍然具有挑战性,因为颜色变化、部分落叶、阴影、树冠重叠以及基于图块推理的伪影会降低正射影像级树冠图的一致性。本研究提出了一种园级尺度的工作流程,通过将
从无人机正射影像中进行单株树冠的实例分割,能够生成支持精准果园管理的园级尺度清单产品。然而,晚秋时节的树冠描绘仍然具有挑战性,因为颜色变化、部分落叶、阴影、树冠重叠以及基于图块推理的伪影会降低正射影像级树冠图的一致性。本研究提出了一种园级尺度的工作流程,通过将深度实例分割与正射影像级一致性模块相结合,生成可用于地理信息系统(GIS)的树冠产品,包括单株多边形、质心和冠幅面积。研究人员通过集成Transformer增强的骨干网络与U-Net解码器来增强Mask R-CNN,以改善对小型且密集树冠的长距离上下文建模和边界重建。为了解决图块拼接伪影,研究人员进一步开发了一种基于DBSCAN(Density-Based Spatial Clustering of Applications with Noise)的后处理程序,用于合并重复预测并减少重叠图块间的碎片化实例,从而为整个果园生成连贯的树冠图。在测试协议下,增强型Mask R-CNN实现了实例级F1分数0.906(精确率=0.918;召回率=0.895)、AP50为0.931、AP75为0.545、mAP@[0.50:0.95]为0.530以及平均掩码交并比(IoU)0.790。经过正射影像级的DBSCAN后处理,最终树冠图的F1分数达到0.944(精确率=0.924;召回率=0.965),证明了聚合模块的贡献。生成的地理参考树冠图层支持树木计数、地理定位、冠层变异性制图和冠幅面积制图。总体而言,所提出的工作流程展示了在测试的晚秋果园条件下,从大型无人机正射影像生成GIS就绪树冠产品的潜力。
**论文解读:基于增强型Mask R-CNN与DBSCAN聚类从无人机图像中检测和表征苹果树冠**
**研究背景与意义**
树冠是反映苹果树生长动态的关键指标,影响着光合作用、蒸腾作用和养分吸收等过程。准确表征树冠形态有助于及时评估果园内的作物活力、生物与非生物胁迫以及结构状况,这些单株测量数据是灌溉调度、施肥规划、修剪、病虫害监测和产量估算等一系列精准管理活动的基础。近年来,无人机(UAV)因其能够快速、大面积采集高分辨率数据的能力,已成为果园监测不可或缺的工具。然而,晚秋时节的无人机影像在用于树冠描绘时面临额外挑战,包括秋季相关的颜色变化、部分落叶、树冠连续性减弱以及低太阳高度角下更强的阴影效应。这些问题导致现有方法,特别是处理大范围正射影像时,难以生成连贯、一致的园级尺度树冠图,限制了其在精准农业中的实际应用。因此,开发一种能够克服晚秋条件挑战、实现高精度单株树冠分割与园级尺度产品生成的技术流程,对于推动果园自动化、数字化和精准农业具有重要意义。本研究旨在解决局部树冠描绘中上下文信息有限,以及在大范围正射影像上组装预测时难以保持实例一致性的核心问题。
**研究方法概述**
本研究提出了一套完整的果园尺度工作流程,以无人机获取的RGB影像为输入,输出包含地理坐标、树冠边界和冠幅面积信息的园级树冠图。流程主要包含四个步骤:数据采集与预处理、模型训练与比较、单株树冠描绘及后处理生成最终产品。研究数据来源于加拿大魁北克省一个商业苹果园的晚秋(2024年11月)无人机航拍影像。研究的关键技术方法包括:1)**提出一种增强型Mask R-CNN架构**:在标准Mask R-CNN基础上,集成了Transformer增强的ResNet-50编码器以捕获长距离上下文依赖,并引入U-Net解码器以恢复精细的空间细节和边界信息,同时采用带门控融合的自顶向下细化模块来优化多尺度特征表示。2)**设计基于DBSCAN的图块后处理流程**:针对滑动窗口推理产生的重复和碎片化预测,利用DBSCAN空间聚类和基于交并比(IoU)的多轮掩码过滤策略,生成跨整个正射影像的连贯树冠实例图。3)**采用迁移学习策略**:使用公开的森林树冠数据集(BAMFORESTS)进行预训练,随后在自建的晚秋苹果园标注数据集上进行微调,以应对果园数据相对有限的问题。该数据集包含基于地理分区(Zones I, II, IV用于训练,Zone III用于独立测试)的掩码级标注和用于园级评估的点级树冠中心标注。
**研究结果分析**
**3.1 模型性能**
在独立测试区(Zone III)的定量评估中,本研究提出的增强型Mask R-CNN模型在多个指标上均优于对比基线模型(包括YOLOv8-seg、YOLOv11-seg、YOLACT、标准Mask R-CNN和Detectree2)。具体而言,该模型取得了最高的F1分数(0.906)、AP
50(0.931)、AP
75(0.545)、mAP@[0.50:0.95](0.530)和平均掩码IoU(0.790)。消融分析进一步证实了模型各组件(Transformer编码器、U-Net解码器、门控细化模块)的贡献,完整架构实现了最佳性能平衡。定性视觉比较显示,该模型在混合树冠尺寸、阴影影响、小型树木和密集重叠树冠等多种挑战性场景下,均能产生更稳定、准确的树冠掩码和边界,特别是在分离相邻树冠和保留不规则轮廓方面表现更优。
**3.2 树冠掩码正射影像生成结果**
将训练好的模型与DBSCAN后处理流程应用于完整的果园正射影像,成功生成了园级尺度的GIS就绪树冠图,包括树冠边界、质心和冠幅面积。后处理显著减少了由图块边界引起的重复和碎片化实例。在Zone III测试区的点级清单评估中,经过后处理的最终树冠图实现了0.944的F1分数(精确率0.924,召回率0.965),树冠计数相对误差为4.43%。参数敏感性分析表明,图块边缘过滤比例(edge_frac)是对最终性能影响最大的参数。
**3.3 冠幅尺寸分布分析**
对生成的园级树冠图进行分析,揭示了冠幅面积(约0.5-38 m
2)存在显著变异性,平均冠幅面积为11.61 m
2,大多数树木冠幅处于10-20 m
2范围。基于树冠质心生成的冠层密度热图清晰显示了研究区域内树冠空间分布的异质性,例如Zone III为高密度区,而Zone IV则较为稀疏。这些空间产品可视化了冠层变异性,可为识别需要额外田间检查的区域或制定分区管理计划提供初步空间指示。
**3.4 误差分析与局限性**
尽管所提工作流程提升了整体性能,但在某些挑战性场景中仍存在错误。主要误差模式包括:1)**相邻树冠合并**:当树冠间视觉分离度极低、重叠严重时,模型可能将其误判为单一实例;2)**阴影下的小型树冠漏检**:低对比度背景导致小树冠可见性降低。这些误差与晚秋成像条件(部分落叶、阴影、颜色变化)密切相关。研究局限性包括数据来源于单一果园和单次晚秋航拍,冠幅尺寸分布不平衡,以及缺乏跨果园、季节和品种的外部验证。
**讨论与结论**
本研究开发并验证了一个结合增强型Mask R-CNN与DBSCAN后处理的果园尺度苹果树冠实例分割工作流程。主要贡献在于:1)提出了一个集成长距离上下文建模与精细边界重建的增强型Mask R-CNN架构,提升了在晚秋复杂条件下树冠描绘的准确性;2)设计了一个专门用于解决大范围正射影像中图块推理伪影的DBSCAN后处理流程,实现了拓扑一致的园级实例分割图生成;3)构建了一个包含掩码级和点级标注的晚秋果园无人机数据集用于模型训练与评估。
**研究结论**表明,在空间独立的测试协议下,所提出的模型在BAMFORESTS预训练后,取得了优于基线模型的性能指标。这些结果说明,基于Transformer的上下文建模、U-Net特征重建和门控细化能够改善晚秋果园条件下(颜色变化、部分落叶、阴影和减弱的树冠连续性使单株分离困难)的树冠描绘。基于DBSCAN的后处理减少了由基于图块的推理引起的重复和碎片化预测,并在完整的Zone III清单评估中取得了高F1分数。训练好的工作流程进一步用于为整个果园正射影像生成地理参考的树冠掩码、质心和冠幅面积产品。剩余的误差主要与晚秋成像挑战有关,特别是阴影下的小型树冠和视觉边界模糊的密集重叠树冠。未来的工作应在将此类产品应用于果园运营管理之前,将该工作流程在多个果园、季节、品种和管理条件下进行验证。此外,将RGB影像与无人机立体/SfM衍生的冠层高度模型或激光雷达(LiDAR)提供的深度信息相结合,可能通过提供对光照和冠层颜色变化不敏感的几何线索,进一步改善在挑战性条件下的分割效果。