DBGCN:一种双分支图卷积网络,用于在标注稀疏的3D植物数据上进行器官实例识别

《Plant Phenomics》:DBGCN: Dual-branch Graph Convolutional Network for organ instance inference on sparsely labeled 3D plant data

【字体: 大 中 小 】 时间:2026年03月11日 来源:Plant Phenomics 6.4

编辑推荐:

  李大伟|周兆义|杨思|文伟良 华东大学信息与智能科学学院,上海201620,中国 摘要:3D作物表型技术为筛选与形态相关的植物基因和鉴定种质资源提供了关键支持。器官分割或识别是3D作物表型分析的第一步,目前归纳式深度学习是主流方法。然而,归纳式学习对数据注释的高要求使得

  李大伟|周兆义|杨思|文伟良
华东大学信息与智能科学学院,上海201620,中国

摘要:3D作物表型技术为筛选与形态相关的植物基因和鉴定种质资源提供了关键支持。器官分割或识别是3D作物表型分析的第一步,目前归纳式深度学习是主流方法。然而,归纳式学习对数据注释的高要求使得手动数据标注成为一项劳动密集型任务,从而限制了归纳式学习的进展。这一问题激发了我们利用图神经网络(GNN)作为传递学习工具,直接在标注稀疏的作物点云上分割器官。我们提出了一种双分支图卷积网络(DBGCN),它仅需要稀疏标签即可直接对具有无特征点特征的植物点云进行器官实例推断。与现有的基于图的网络不同,DBGCN不仅执行擅长挖掘和聚合点云局部信息的静态特征空间图卷积,还结合了动态图卷积,以捕捉深度特征空间中图流形的潜在变化。大量实验证明,两种图特征卷积的融合带来了高节点(点)分类精度,优于主流GNN甚至几种流行的归纳式深度架构。在PlantNet子数据集上,DBGCN在1.95%的手动标注比率下实现了93.00%的平均节点分类精度(mAcc)。在Soybean-MVS子数据集上,DBGCN在4.88%的手动标注比率下实现了91.05%的mAcc。此外,我们的DBGCN不仅适用于作物3D数据,还可以用于其他应用,如大规模街景点云数据的分割。我们的数据和代码可以在https://github.com/chinazhouzhaoyi/DBGCN/tree/master/找到。

1. 引言
由于气候变化和有限的可耕地资源的影响,食品安全仍然是人类发展中的一个重要全球性问题[1]。因此,选择高产作物品种一直是现代农业研究中的重要任务[2]。植物表型分析在识别高产功能基因方面发挥着重要作用,从而促进了现代育种的发展。表型是指由基因与环境相互作用产生的物理、生理和生化特征及性状,包括形态结构、发育过程和抗逆性等组成部分[3]、[4]。随着3D成像和传感技术的进步,3D作物表型分析变得越来越流行,因为它规避了传统基于图像的表型分析中常见的视觉重叠和遮挡问题[5]。如今,研究人员能够以不断降低的成本和快速提高的精度无接触地获取植物的3D点云数据[6]、[7]。因此,从这些3D数据中自动分割/检测器官自然成为接下来的紧迫任务[8]。基于分割出的器官实例,研究人员可以提取准确的器官级表型特征,如叶面积、叶片数量、茎长、果实大小等。

目前,基于深度神经网络(DNN)的归纳式学习方法是分割植物点云的主流方法。受U-Net类似架构的启发,PointNet++系列已被广泛用于作物点云分类[10]、器官分割[11]、[12]和生物量回归任务[13]。图1(a)展示了从点云中进行器官实例分割的标准归纳式学习流程。在包含数千个作物样本的大规模数据集上训练后[14]、[15],归纳式深度网络可以分割以前从未见过的植物点云。尽管归纳式学习已成为3D点云深度学习系统的主流方法,但它对数据有两个严格要求:(i) 训练样本数量应丰富且形态结构多样化;(ii) 数据集通常需要点级手动标注。这些要求使得点云数据的人工标注成为一项劳动密集且耗时的过程。在农业场景中的实际情况下,如数据缺失和噪声,这一挑战更加突出。因此,构建高质量标注的3D数据集成为植物表型分析的一个明显瓶颈,进而限制了现代归纳式学习方法的应用。这促使我们转向其他学习方法来自动分割3D植物数据。

下载:下载高分辨率图像(580KB)
下载:下载全尺寸图像

图1. 传统归纳式学习与新传递式学习方法在作物点云器官实例分割任务上的区别。(a) 是传统归纳式学习方法的流程图,其中深度网络需要大量手动标注的作物点云进行训练。(b) 是传递式学习方法的流程图,只需要稀疏标注的点云,并且训练和测试同时进行。

传递式学习(图1(b))是一种强大的方法,通常采用半监督学习的形式,能够在具有稀疏标注的个别样本上进行同时训练和推断。然而,为了确保点级推断的准确性,需要挖掘所有点之间的潜在相关性,例如空间中的局部邻域连通性、点间特征距离或相似性。因此,传递式学习方法特别适合图结构化数据表示。图神经网络(GNN)的最新进展显著简化了基于半监督的传递式学习框架的部署,这些框架通过专门的卷积和特征聚合机制对图节点进行分类或将图划分为子结构。在GNN范围内,图卷积网络(GCN)及其变体[16]、[17]、[18]特别受到研究人员的欢迎,因为它们具有明显的优势,包括稀疏且快速的标注、无需预训练以及快速的推断速度。此外,3D点云可以自然地用图表示,其中点被视为顶点,而两个相邻点之间的关系被视为边。这种点云的图表示方式激发了我们利用基于GCN的传递式学习来直接在稀疏标注的植物点云上进行器官实例分割。然而,现有的GCN是为来自社交网络和生物信息学等领域的具有丰富特征输入的图设计的。这些模型在输入点特征向量“无特征”(每个无色点由一个“短”的3维XYZ向量表示)的3D点云上的性能要么不稳定,要么不明确。尽管具有理论潜力,但基于图的传递式学习方法在3D植物表型分析领域仍大多未被探索。我们希望通过设计一种新的传递式神经架构,克服实际农业场景中3D数据不完整和标注极其稀疏的限制。

本文提出了一种新的传递式双分支图卷积网络(DBGCN),用于植物点云上的器官实例推断;其贡献如下:
(i) DBGCN可以直接在仅具有稀疏器官标签的单一点云上进行器官实例分割。其传递式框架不仅显著减少了手动标注的工作量,而且能够在无法通过归纳式学习方法训练的小型作物点云数据集上顺利运行。
(ii) 为了超越现有的用于无特征植物点云的GCN,我们的DBGCN进行了两项重大改进:输入特征工程和多样化的图卷积。对于输入特征工程,从邻接矩阵编码的局部相似性被结合到坐标空间中,以丰富图中每个输入点的特征向量。为了在少数神经层中实现高效的特征提取,我们采用了一种新颖的双分支图卷积架构,结合了静态特征空间和动态特征空间图卷积的优势。
(iii) 所提出的网络在多个主流GNN上表现更优,甚至优于几种流行的归纳式学习架构。在一个包含三种作物的点云数据集[19]、[20]上,DBGCN在1.95%的标注比率下实现了93.00%的分割精度。在Soybean-MVS数据集[21]上,DBGCN在4.88%的点标注比率下实现了91.05%的分割精度。我们的DBGCN甚至在其他领域的数据集上也显示出潜在的实用性,如大规模3D街景。

本文的其余部分结构如下:第2节回顾了3D植物表型分析和GNN方法的相关工作;第3节详细介绍了所提出的传递式双分支图卷积网络的设计;第4节展示了我们的架构与包含多种作物的数据集上的现有技术的比较结果;第5节提出了DBGCN的进一步优化建议。最后,第6节总结了本文。

2. 相关工作
2.1. 3D植物表型和归纳式学习
植物的形态和结构表型在植物表型组学研究中受到了广泛关注。某些植物表现出独特但重要的形态特征,例如水稻植株的分蘖数量[22]、玉米植株的高度[23]以及大豆植株的籽粒和豆荚数量[24]。这些特征是实现作物数字孪生和品种选择的基础。3D点云数据展示了植物的真实空间结构,并克服了2D图像中常见的遮挡问题和视角距离误差[25]。随着3D成像和传感技术的进步,3D扫描设备的性能价格比迅速提高,开启了3D植物表型分析的时代。LiDAR[26]、多视图成像[27]和3D场景重建[28]等技术已被用于获取3D植物点云数据并提取表型参数(例如,植物主茎高度和叶面积),以了解植物的生长和发育。基于高精度点云,传统的3D植物表型分析方法主要采用无监督算法来分割器官或植物部分。为了从重建的3D田间分离玉米幼苗,Xu等人[29]提出了一种利用地面激光扫描(TLS)和相机数据派生的特征来检测玉米幼苗的新方法,成功地将玉米幼苗与土壤分离。Sun等人[30]设计了一种基于密度的聚类方法,用于从多视图立体数据中分割重建的棉花点云以预测产量。为了加速甜菜育种的表型分析过程,Xiao等人[31]开发了一种自动化流程,用于处理甜菜点云以提取表型特征,如植物高度、最大冠层面积、总叶面积和单个叶片长度。

纯粹的无监督分割算法在分割重叠叶片方面的能力有限。为了解决重叠冠层簇中的实例分割问题,研究人员转向了多种算法的集成。Liu等人[32]使用基于多尺度张量投票方法(MSTVM)的区域生长算法来分割预处理的甜菜点云,生成独立和重叠的叶片集。然后,他们应用表面边界滤波器(SBF)[33]将重叠叶片分割成单独的叶片。与上述使用点云的局部几何特征进行器官实例分割的方法不同,Mirande等人[34]提出了一种基于图的三个阶段的器官实例分割方法。他们首先通过计算点邻域图的局部几何和光谱特征进行初步几何聚类,然后使用每个检测到的器官与其相邻器官的商图来细化分割的整体一致性。最近,Wang等人[35]也注意到了将全局结构特征与点云中的局部形态特征相结合的重要性。

无监督的3D作物表型分析流程由复杂的步骤[36]、[37]组成,需要设置许多参数,导致跨物种的泛化能力较差。归纳式学习是最常见和直观的机器学习方法,伴随着神经网络的发展而演变。近年来,归纳式深度学习的快速发展使得数据驱动的方法成为处理高精度、大规模和高通量作物点云数据的主要方式[38]。这些网络使用大规模训练集进行分类和分割任务训练,训练后的网络可以很好地处理以前从未见过的数据。这解释了归纳式学习在当前深度网络处理植物点云中的主导地位。为了应对点云中无序和非均匀的数据分布,经典的归纳式深度网络PointNet[39]采用了多层1D卷积进行特征提取,然后通过排列不变的池化操作来派生全局特征向量。其分层变体PointNet++ [9]引入了渐进式点采样和邻域聚合机制,以在神经层之间抽象出高层次的语义信息。扩展PointNet++的概念,DGCNN [40]在动态图特征空间上设计了EdgeConv操作,用于提取与邻域相关的特征,并提高了点云的分割性能。PointNet架构家族在玉米[12]、番茄[41]和高粱[42]等作物的器官级语义分割任务中表现优于传统的无监督方法。然而,与家具、车辆等其他类型的对象相比,作物点云表现出更高的不规则性。直接将通用的点云分割网络转移到作物数据集上可能会导致性能下降;因此,专门针对作物点云的网络应运而生。例如,Gong等人[43]开发了Panicle-3D,这是一种专为水稻穗分割设计的网络。Panicle-3D减少了下采样过程中的特征损失,有助于更好地将穗与茎分离。Wang等人[44]提出了一种自上而下的递归分解网络,用于生菜实例分割,利用PointNet++作为特征提取的骨干。Guo等人[45]提出了一种结合深度学习和聚类算法的分割方法,以提高卷心菜点云的器官级分割精度。首先,他们使用注意力机制进行茎和叶的语义分割,然后使用DBSCAN进行叶实例聚类。Liu等人[46]提出了一种小麦穗分割方法,结合了核预测卷积神经网络(KP-CNN)、基于密度的空间聚类和基于拉普拉斯的区域生长技术,从野外收集的Lidar数据中分割小麦穗并计算其特征。Peng等人[47]提出了使用时间序列点云序列作为输入的SqueezeNet,并在Pheno4D基准测试中报告了最佳性能[48]。尽管取得了这些成就,但从网络直接输出器官实例仍然是一项困难的任务。这一限制促使人们开发出能够同时分割器官语义和器官实例的归纳双功能架构[14]、[15]、[49]、[50]。Jin等人[49]提出了一种基于体素的卷积神经网络(VCNN),用于玉米点云的茎叶分类。Du等人[50]提出了PST-Net,专门用于油菜点云的角果实例分割。Li等人开发了PlantNet [14]和PSegNet [15],这两种都是能够在多种作物物种的点云中实现器官语义和实例分割的双功能架构。虽然我们已经见证了归纳深度学习框架在3D作物表型分析方面的显著进展,但这些方法对数据有两个严格要求:(i)训练样本的数量应该丰富且形态结构多样化;(ii)数据集通常需要点级手动注释。这些要求使得点云数据的人工注释成为一项劳动密集型且耗时的工作,而且人工注释者在繁琐无聊的注释过程中容易出错。在实际的农业环境中,获得的3D植物数据往往结构复杂、数据不足且噪声水平高,这些都阻碍了高质量注释数据集的准备工作;归纳模型训练的质量依赖于良好的注释。对农业3D数据的限制促使我们寻求超越传统归纳学习范式的另一种途径。

2.2. 半监督图神经网络
与归纳学习范式相比,传递学习通常在半监督框架内运行,只需要对单个数据样本进行部分或稀疏的标记,就可以同时完成其余未标记点的训练和推理。也许最著名的传统半监督算法是半监督KNN。如果想要将标签从点集[Math Processing Error]传播到附近的点集[Math Processing Error],半监督KNN会从[Math Processing Error]中提取一个未标记的点,然后计算[Math Processing Error]中最近的K个点并进行投票。未标记的点随后被赋予投票中获胜的标签,这个被标记的点最终从[Math Processing Error]移动到[Math Processing Error]。然而,传统的半监督方法仅在包含相似概率分布的簇或几乎没有重叠的簇的数据上表现良好;而在现实世界的大规模图数据集中,这两种条件都不满足。常见的图数据通常是非欧几里得的,其常见类别包括知识图、社交网络、分子结构[51],最重要的是点云。要在图上实现准确的点级推理,需要挖掘所有数据点之间的潜在相关性,例如空间中的局部邻域连通性、点间特征距离或相似性。因此,基于图的传递学习方法似乎是解决图表示缺乏平移不变性和稳定几何结构问题的好方法[52]。由于缺乏标准坐标,直接将欧几里得卷积操作(例如CNN)应用于图学习任务通常会导致性能不佳,因为无法充分利用图内的拓扑信息。为了解决图数据上的卷积问题,早期的图神经网络(GNN)作为专门用于节点分类和图分区的架构出现,通过定制的卷积和特征聚合策略实现。Bruna等人[53]开创了谱域图表示学习,他们最初将图数据从空间域转换为谱域进行过滤,使得图表示学习成为可能。Defferrard等人[54]基于切比雪夫多项式设计了快速局部卷积滤波器,以稳定地学习图上的局部组合特征。Niepert等人[55]进一步提出了一个通用的图卷积框架,将传统的图像卷积核微妙地应用于局部连接的节点以提取特征。Hamilton等人[56]引入了GraphSage,它学习了大型图中随机分割子图中节点的邻域聚合函数,从而能够在大型图中从未见过的或全新的子图上进行归纳推理。图卷积网络(GCN)[16]的出现消除了在图数据上进行传递学习的最后一个障碍,标志着该领域的一个里程碑。GCN以初始节点特征和邻接矩阵作为输入,只需几层神经元就可以快速将稀疏节点标签传播到其他未标记的节点。自提出以来,已经开发了许多GCN变体,它们可以大致分为:1跳(一阶邻居处理)方法[17]、[57]、[58]、[59],多跳(多阶邻居处理)方法[60]、[61]、[62],以及图数据增强,后者通过对图进行视图变换或数据扰动来提高网络性能[18]、[64]。3D植物点云可以使用图自然表示,其中点云中的点作为图顶点,相邻点之间的关系(如距离、颜色相似性和局部几何相似性)作为边。考虑使用传递GCN对稀疏标记的作物点云进行直接器官实例分割/注释是自然的。然而,作物冠层通常包含大量的器官(如叶子、叶柄和枝条)。冠层内器官之间的频繁遮挡和重叠可能导致现有GCN变体中的消息传递不准确和错误标签传播。此外,来自无色点云的每个输入点只有一个三维特征向量——XYZ坐标;而来自彩色LiDAR的点输入是一个六维特征向量——XYZRGB。这意味着来自植物点云的输入特征与来自社交网络和生物信息学等领域的图相比“缺乏特征”。尽管现有的GCN变体在输入特征丰富的图上表现良好,但它们可能不适用于特征缺乏的图。遗憾的是,除了少数研究[65]、[66]尝试将GCN应用于作物点云的半自动器官注释外,传递GCN学习范式在3D作物表型分析领域并未得到应有的关注。上述事实加强了我们设计一个新的图学习模型以进行植物点云上器官实例推理的决心。

3. 方法
3.1. 任务陈述
本文的任务是对具有稀疏器官标签的作物点云(图1(b))进行器官分割(或推理),通过自动将标签传播到点云中的所有点。由于点云只有稀疏标签,这是一个典型的半监督学习问题。包含[Math Processing Error]个点的作物点云可以转换为一个均匀的图[Math Processing Error],其中[Math Processing Error]是包含[Math Processing Error]个节点的顶点集,每个节点[Math Processing Error]都有一个特征向量[Math Processing Error]。[Math Processing Error]是捕获所有节点之间连接的无向边集,通常将其转换为邻接矩阵[Math Processing Error]。由于来自无色点云的每个输入点只有一个三维(XYZ)特征向量,[Math Processing Error]等于3,这创建了一个缺乏进一步信息的“无特征”输入。在顶点集中,带有Ground Truth(GT)标签信息的节点形成了一个子集,表示为[Math Processing Error](训练集),为学习提供监督信号。剩余的未标记顶点子集表示为[Math Processing Error](测试集)。通常,在稀疏标记的作物点云中,[Math Processing Error]在[Math Processing Error]中的比例不超过10%。我们的目标是设计一种新颖的传递图卷积网络,以比任何现有的基于图的网络更高的准确性将器官标签从[Math Processing Error]传播到[Math Processing Error]。

3.2. 双分支图卷积网络的架构
我们提出了一种新颖的传递双分支图卷积网络(DBGCN),其框架如图2所示。DBGCN架构主要分为四个模块。第一个模块是图表示模块(GRM),它将作物点云转换为可以由图卷积处理的输入,并将节点坐标与局部邻域信息合并以创建更丰富的输入特征。第二个模块是双分支图卷积模块(DBGCM),它在两个分支上分别对静态特征图和动态特征图进行图卷积。第三个模块是融合模块(FM),它整合了来自节点的动态特征和来自全局图结构的静态特征。第四个模块是下游任务模块(DTM),用于半监督节点标签传播。下面将详细阐述每个模块。

下载:下载高分辨率图像(1MB)
下载:下载全尺寸图像
图2. 双分支图卷积网络(DBGCN)框架。(a)是图表示模块(GRM),(b)是静态特征空间图卷积分支(SGCB),(c)是动态特征空间图卷积分支(DGCB)。(b)和(c)共同构成了双分支图卷积模块(DBGCM)。(d)代表特征融合模块(FM),(e)是用于器官标签传播的下游任务模块(DTM)。

3.3. 图表示模块(GRM)
我们DBGCN的第一个独特处理阶段是输入特征工程,它在图表示模块内进行,以增加每个输入节点的向量长度(信息丰富度)。GRM(图2(a))包括两个步骤——图构建和输入重塑。在图构建中,基于仅包含三维坐标信息的作物点云构建一个无向图[Math Processing Error]。使用KNN建立所有节点之间的1跳邻域关系,生成一个稀疏的邻接矩阵[Math Processing Error]。KNN中设置的最近邻居数量[Math Processing Error]直接决定了每个节点[Math Processing Error]的1跳邻域大小[Math Processing Error]。节点邻域对卷积计算的重要性已被广泛讨论[59],据此,稀疏邻接矩阵[Math Processing Error]首先被编码为相似性矩阵[Math Processing Error]。与将所有连接边的值都设置为1的邻接矩阵[Math Processing Error]不同,相似性矩阵[Math Processing Error]根据每个节点[Math Processing Error]与其邻居[Math Processing Error]之间的距离的标准化高斯平滑映射来计算每个元素值。计算相似性矩阵的方程式如下:(1) 在方程式(1)中,[Math Processing Error]表示从相邻节点[Math Processing Error]到中心节点[Math Processing Error]的距离,[Math Processing Error]是高斯核参数。相似性矩阵[Math Processing Error]相比[Math Processing Error]有两个优点:(i)它提供了1跳邻域图结构的详细描述;(ii)通过非线性映射和平滑处理减少了局部邻域的噪声。GRM的第二步是进行输入重塑。我们的DBGCN需要两种类型的输入——节点特征和邻接矩阵。通过将所有节点[Math Processing Error]的坐标与相似性矩阵[Math Processing Error]连接起来,可以得到节点特征输入[Math Processing Error]:(2) 在[Math Processing Error]的每一行中,一个点的局部邻域信息直接嵌入到节点特征中。在后续的计算中,还需要邻接矩阵[Math Processing Error]作为DBGCN的另一个输入。标准的邻接矩阵不包含自环,这忽略了节点本身的重要性。因此,我们添加了一个单位矩阵[Math Processing Error],得到[Math Processing Error]。还应该注意的是,[Math Processing Error]不需要进一步的归一化,因为后续的图卷积可以直接处理它。

3.4. 双分支图卷积模块(DBGCM)
我们的DBGCN相对于现有的GCN变体的第二个改进在于其多样化的图卷积,设计了一个新的双分支图卷积模块(DBGCM)来同时执行两种类型的卷积。该模块包括两个阶段:(i)特征降维,以及(ii)图卷积计算。在特征降维阶段,为了提高计算效率,首先使用全连接多层感知器(MLP)将前一阶段的节点特征输入[Math Processing Error](大小为[Math Processing Error])在维度上进行压缩,得到初始节点特征[Math Processing Error](大小为[Math Processing Error]):(3) 然后,[Math Processing Error]成为下一阶段——图卷积计算的共享节点特征输入。图卷积计算具有双分支结构,包括静态特征空间图卷积分支(SGCB)和动态特征空间图卷积分支(DGCB)。在SGCB(图2(b))中,我们采用了大多数GCN家族成员的相同策略,即使用最初固定的特征邻域[Math Processing Error]来执行消息聚合。这也解释了为什么该分支被称为“静态特征空间”。具体来说,我们使用GCNII [17]作为骨干,如果让[Math Processing Error]表示第[Math Processing Error]层的输入特征,那么该层的输出特征[Math Processing Error](也是下一层的输入特征)可以用方程式(4)表示:(4) 其中[Math Processing Error]是一个超参数,用于控制第[Math Processing Error]层初始特征的残差连接,通常设置为0.1。特征变换矩阵[Math Processing Error]是一个可学习的参数矩阵。[Math Processing Error]是一个函数,用于控制第[Math Processing Error]层的恒等映射,可以设置为[Math Processing Error],其中[Math Processing Error]通常设置为0.5。函数[Math Processing Error]代表ReLU非线性激活函数。为了降低过拟合的风险,对参数矩阵[Math Processing Error]应用了L2正则化。值得注意的是,随着层级的加深,来自浅层的信息通过[Math Processing Error]被适应性增强,这有助于保持初始的全局图结构,从而缓解图卷积中的特征平滑问题。由于裁剪点云本质上是均匀图,SGCB可以通过裁剪器官中的点之间的邻域连接轻松实现半监督标签传播。此外,SGCB具有较少的参数数量和快速的处理速度。然而,仅在静态特征空间上进行卷积有几个缺点。首先,如果静态网络(如GCNII和SGCB)层越深,它们的图学习能力会迅速遇到瓶颈甚至下降。其次,在器官实例边界(如茎和叶的连接处),静态图卷积倾向于学习浅层几何特征,最终导致边界节点的语义可辨识性较差。第三,静态图卷积会平滑节点及其邻域的特征,当静态网络加深时,它倾向于关注全局结构而不是图中的局部细节。这会导致小植物器官的标签传播错误;例如,缺失的芽或错误的叶缘标签。因此,我们设计了一个与SGCB并行工作的DGCB。

与固定整个图的全局特征邻域为[Math Processing Error]的SGCB不同,DGCB(如图2(c)所示)在其当前特征空间中搜索KNN以获得每个目标节点[Math Processing Error]的局部邻域[Math Processing Error]。在网络的每一层中,动态图卷积首先计算一个特征变换函数[Math Processing Error],将目标节点[Math Processing Error]的邻域特征转换为以下形式的边:(5) 其中[Math Processing Error]是一个D维向量,表示DGCB第[Math Processing Error]层中目标节点[Math Processing Error]的输入特征向量。节点[Math Processing Error]是当前特征层中[Math Processing Error]的邻居。接下来,进行局部聚合。为了更好地处理图中顶点的无序性,使用对称函数[Math Processing Error]来聚合局部信息。这里我们采用算术平均操作[Math Processing Error]。为了结合目标节点特征及其动态邻域,执行特征连接操作“[Math Processing Error]”。目标节点[Math Processing Error]在层[Math Processing Error]的动态局部邻域特征[Math Processing Error]按照方程式(6)计算:(6) 最后,更新节点特征。为了减少原始低级信息的丢失,在初始特征[Math Processing Error]上引入了残差映射。节点[Math Processing Error]在层[Math Processing Error]的动态输出节点特征为:(7) 其中[Math Processing Error]是一个可学习的特征变换矩阵。这个矩阵与SGCB中使用的参数矩阵[Math Processing Error]类似,图中的所有节点共享相同的变换矩阵。方程式(7)中[Math Processing Error]的设置与(4)中的相同。更新节点特征后,所有节点特征[Math Processing Error]被堆叠起来形成一个特征矩阵[Math Processing Error]。DGCB的优势至少有兩点。首先,随着层数的增加,[Math Processing Error]不再局限于固定的1跳邻域,逐渐扩展了感受野。其次,它能够在高维空间中进行标签传播,这对于分类不同类别的边界节点非常有益。

与现有的GNN不同,我们的卷积模块包含两种类型的图卷积——静态特征空间图卷积擅长挖掘和聚合点云上的局部信息,而动态图卷积则捕捉图流形在深度特征空间中的潜在变化。DBGCM的SGCB分支可以有效提取“静态”的全局点云结构,同时DGCB分支精确地传播特征空间“动态”变化中的高频点云细节。因此,这种动态-静态结合的模块设计有助于全面理解点云。有关静态和动态图卷积比较的详细讨论,请参阅附录7.1。

3.5. 融合模块
在经过SGCB和DGCB处理后,点云图特征[Math Processing Error]分别转换为[Math Processing Error]和[Math Processing Error]。这两种类型的特征通过融合模块(图2(d))进行整合。首先,对[Math Processing Error]和[Math Processing Error]进行节点级特征对齐。我们期望节点特征遵循均值为零、方差为1的分布。节点特征对齐通过以下方程式实现:(8) (9) (10) 其中[Math Processing Error]表示特征图[Math Processing Error]中位于第[Math Processing Error]行和第[Math Processing Error]列的元素;[Math Processing Error]和[Math Processing Error]分别是[Math Processing Error]中节点特征[Math Processing Error]的均值和方差。为了避免方程式(8)中出现除以零的情况,在分母中添加了一个小数[Math Processing Error]。参数向量[Math Processing Error]和[Math Processing Error]是可学习的D维参数向量,用于调整特征图以获得更好的融合结果。符号“[Math Processing Error]”表示逐元素乘法。特征矩阵[Math Processing Error]和[Math Processing Error]通过方程式(8)处理,分别得到对齐后的节点特征矩阵[Math Processing Error]和[Math Processing Error]。节点特征对齐有三个主要好处:(i)它使两个分支的节点特征在数据尺度上对齐,有助于公平的特征融合;(ii)它减轻了梯度爆炸或消失的问题,稳定了网络训练;(iii)可学习的参数向量可以微调特征图分布,积极弥合静态和动态深度特征之间的差距。特征对齐后,融合变得简单。我们假设两个分支提取的特征图是互补的;因此,使用简单的特征加法操作来获得融合特征矩阵[Math Processing Error]。我们在图2(d)的右侧展示了通过t-SNE将降维后的特征[Math Processing Error]可视化到2D特征空间中,其中相同器官的点已经开始聚集。

3.6. 下游任务模块
我们网络的DTM(图2(e))旨在将器官实例标签从[Math Processing Error]传播到[Math Processing Error]上的裁剪点云,本质上是将少数节点的类别标签(即器官实例标签)分配给图中的未标记节点。融合特征[Math Processing Error]通过方程式(11)映射到节点类别得分矩阵[Math Processing Error],其中[Math Processing Error]表示节点类别的数量,即器官实例的数量。(11) 最后,对于每个节点(即[Math Processing Error]的每一行),选择最大值的类别作为该节点的预测器官标签,这构成了整个DBGCN的输出。在DTM中,我们使用交叉熵损失函数来指导网络的学习,定义如下:(12) 其中[Math Processing Error]表示矩阵[Math Processing Error]中位于第[Math Processing Error]行和第[Math Processing Error]列的元素。[Math Processing Error]表示对应于[Math Processing Error]中节点的得分矩阵的元素。对应于[Math Processing Error]的行采用独热编码,而对应于[Math Processing Error]的行是零向量。DBGCN利用少量来自标记点集[Math Processing Error]的监督信息高效学习,网络参数的总数仅约为[Math Processing Error]。因此,DBGCN网络有可能在非GPU平台或边缘计算设备上部署。

4. 实验
4.1. 数据集准备
本研究中使用的裁剪点云数据来源于两个来源——PlantNet子数据集[19]、[20]和Soybean-MVS子数据集[21]。整个数据集包含105株烟草植物、312株番茄植物、129株高粱植物和90株大豆植物。所有裁剪点云都由我们自己进行了点级器官实例注释,每个样本植物都满足建立图的条件。PlantNet子数据集的每株植物点数从5,000到100,000不等,记录了不同生长环境中20天内作物的生长情况。在Soybean-MVS子数据集中,每株大豆植物的原始点数为10,000,000个点,记录了两个季节内5种大豆基因型的生长情况。鉴于原始样本植物点云的密度非常高,我们采用了最远点采样(FPS)算法将PlantNet子数据集中的所有点云下采样到2048个点,将Soybean-MVS中的所有作物点云下采样到4096个点,以控制邻接矩阵的规模并提高计算效率。数据集的总结见表1,包括样本数量、每株植物的点数、每株植物的平均器官实例数、子数据集中每个器官的最大和最小实例数以及每个器官的最大和最小点数。显然,Soybean-MVS中的大豆作物的形态比PlantNet子数据集中的更为复杂。这种复杂性解释了为什么我们将大豆的每株植物点数设置为PlantNet的两倍。

表1. 我们数据集的详细信息

| 子数据集 | 植物数量 | 每株植物点数 | 平均器官数量 | 每株植物的最大器官数量 | 每株植物的最小器官数量 | 每个器官的最大点数 | 每个器官的最小点数 |
|---------|---------|-----------|------------|-----------------|-------------|-----------------|
| PlantNet | 54 | 62048 | 8.5 | 133 | 130 | 61 | |
| Soybeans-MVS | 90 | 4096 | 37.0 | 795 | 181 | |

作物点云中的所有点构成了顶点集,其中带有标签信息的点集被标记为[数学处理错误]。该集合在后续的半监督传递学习中也被称为训练集。剩余的未标记顶点集作为测试集。为了模拟人类注释者如何对不同器官进行稀疏手动标注,我们设计了两种稀疏标签初始化策略——随机稀疏标注(RSL)和极端稀疏标注(ESL)。这两种策略的分布可视化如图3所示。

下载:下载高分辨率图像(721KB)
下载:下载全尺寸图像

图3. 使用两种不同标注策略(RSL和ESL)的作物数据集可视化。第1至第4行分别对应烟草、番茄、高粱和大豆物种的点云。我们从每个物种中选择了三个样本,以比较两种不同标注策略生成的训练集[数学处理错误]。RSL的结果在左侧,ESL的结果在右侧。在显示的点云中,灰色点代表未标记的测试集,而其他颜色的点代表带有手动添加标签的训练集。除了灰色外,不同的颜色代表不同的器官实例。

在用于半监督网络训练和测试的大多数数据集中,通常会发现随机分布的稀疏标签,例如Cora和Citeseer[67]引用数据集。随机稀疏标注策略也是植物表型注释者中常用的粗略标注方法。这是因为当数据集的几何概览不清晰时,注释者倾向于首先随机采样点,手动分配标签,然后将标记的数据点返回到数据集中。因此,标记的点集[数学处理错误]分布在整个数据集中[数学处理错误]。在RSL中,PlantNet子数据集中的每个样本植物的点数为2048,标记点占总点数的1.95%。考虑到Soybean-MVS子数据集中大豆作物的更复杂结构,每个大豆植物的标记点数设置为200,占总点数的4.88%。此外,我们确保所有植物的每个器官至少被一个标记点覆盖。我们使用不同的随机种子重复RSL五次,从而得到每个图(每株植物)的五种不同的[数学处理错误]和[数学处理错误]初始分布。

极端稀疏标注是一种有效的标注策略,用于在3D点云中定位作物器官实例。ESL在人类注释者中也作为标注植物的预处理步骤而广受欢迎。一些注释者倾向于首先用一个点标签或一个小标签区域粗略标注每个器官,然后细化所有标记区域以覆盖所有点。这种策略在抑制错误标注方面非常有效。我们对作物叶子和茎系统采用了不同的ESL模式。对于叶子,我们只标记每个叶点集的中心点作为唯一的标记点;而对于植物的整个茎系统(包括主茎、侧枝和叶柄),我们使用FPS随机标记5个点。ESL策略下形成的标签数量与作物结构的复杂性有关;器官越多,[数学处理错误]就越大。从图3中也可以观察到,对于相同的作物点云,RSL策略下的[数学处理错误]值明显大于ESL策略下的值。

4.2. 超参数配置和评估指标

在GRM的图构建阶段,我们使用KNN在点云中的点(节点)之间建立边。PlantNet子数据集中的节点邻域大小[数学处理错误]设置为30,Soybean-MVS子数据集中的邻域大小设置为20。Soybean-MVS的邻域大小较小的原因是大豆物种比其他作物拥有更多的叶子,较大的邻域可能会引入来自周围器官的类别噪声。随后,在输入重塑阶段,为了使用方程(1)计算输入节点的相似性矩阵[数学处理错误],高斯核参数[数学处理错误]根据[68]中的建议进行设置:

(13)[数学处理错误] 将[数学处理错误]与作物点云坐标矩阵[数学处理错误]连接起来,得到输入特征[数学处理错误],后续网络可以充分利用节点的3D坐标以及来自[数学处理错误]的嵌入局部邻域信息。

在DBGCN中,隐藏层中的所有特征维度固定为[数学处理错误]。考虑到子数据集之间的差异,PlantNet子数据集中的[数学处理错误]设置为64,Soybean-MVS子数据集中的[数学处理错误]设置为128。SGCB中的其余超参数遵循GCNII的默认配置。为了方便起见,DGCB中节点的动态邻域大小[数学处理错误]与[数学处理错误]保持一致。此外,两个分支中的图卷积层数量相同。在[数学处理错误]和[数学处理错误]下,比较了两种类型的场景。网络的学习率设置为[数学处理错误]。

为了验证所提出的DBGCN的有效性,我们将其与流行的图传递模型进行了比较,包括GCN[16]、GCNII[17]、GAT[41]、Grand[18]和JKnet[44]、归纳式GraphSage[40]模型,以及归纳式深度网络PlantNet[14]和PSegNet[15]。传递模型在单个图(一个样本植物)上进行训练和测试,而不继承从前一个图中学到的网络参数。归纳式GraphSage模型有两种学习策略。第一种称为“GraphSage-1”,它使用第4.1节中的数据标注策略对每个单独的植物图进行训练和测试。GraphSage-1使用与我们网络相同的重塑输入特征[数学处理错误];然而,训练集和测试集是完全分开的,两个集合的节点之间没有邻接连接,这与我们的DBGCN不同。第二种称为“GraphSage-2”,它也对每个单独的植物图进行训练和测试,但根据节点数量将图分为训练集和测试集,比例为2:1,并且输入仅使用坐标矩阵[数学处理错误]。归纳式深度分割网络PlantNet和PSegNet将所有点云分为训练集组和测试集组,点云数量的比例为2:1,并使用纯坐标[数学处理错误]作为输入特征进行典型的归纳式深度学习。由于GAT擅长直接从3D坐标学习相邻节点之间的相似性,我们还实现了一个GAT版本——GAT([数学处理错误]),它仅使用纯坐标特征[数学处理错误]作为输入。此外,由于GCN的监督信息极其稀疏且架构较浅,Dropout操作可能导致关键监督信号的丢失。因此,在实验中禁用了所有网络的Dropout层,以确保稀疏监督信号的完整性。

本节中的所有实验都在配备16核CPU、128GB内存和4个并行NVIDIA GeForce RTX 2080Ti GPU的工作站上进行。系统运行Ubuntu 20.04操作系统,深度网络使用Pytorch 1.7.1实现。所有深度网络的训练细节均采用它们原始论文中推荐的参数。DBGCN模型的总训练周期数设置为200,训练过程中获得最佳评估指标的周期被选为最终模型。

基于作物点云中稀疏标注的器官推断任务本质上是一个图数据上的节点分类任务;因此,可以使用方程(14)计算的节点分类准确率[数学处理错误]作为评估指标:

(14)[数学处理错误]其中[数学处理错误]表示模型正确分类的节点数量,[数学处理错误]表示模型错误分类为当前器官的节点数量。[数学处理错误]实际上是网络推断出的该器官的正确分类点数与该器官总点数的比例,以百分比表示。越接近1.0的[数学处理错误]值表示模型的性能越好。

4.3. 器官实例推断的定量结果

本小节展示了我们的DBGCN与其他八个模型/网络在数据集上的定量比较。表2显示了在RSL下两个子数据集的测试集[数学处理错误]上器官标签传播的定量结果,网络名称后面的括号中的两个参数是网络层数和输入形式。例如,GAT([数学处理错误], [数学处理错误])表示GAT网络设置为2层,并使用[数学处理错误]作为输入特征。所有传递网络独立地在RSL下进行了五次实验,“mAcc”表示五次实验中节点分类的平均准确率。在RSL下,两层DBGCN([数学处理错误])在PlantNet子数据集上实现了92.64%的mAcc,比第二好的GCNII高出1.16%;而四层DBGCN([数学处理错误])达到了93%的mAcc,比第二好的GCNII高出0.99%。在Soybean-MVS子数据集上,两层DBGCN([数学处理错误])实现了90.49%的mAcc,比第二好的GCN高出2.93%;而四层DBGCN([数学处理错误])实现了91.05%的mAcc,比第二好的GCNII高出2.03%。基于归纳式GraphSage的方法和归纳式深度网络PlantNet和PSegNet的性能不如传递模型,尤其是在大豆作物上。我们没有在表2中列出某些网络的结果,因为它们的结果甚至比它们的[数学处理错误]版本还要差。

表2. 在RSL策略下器官标签传播的定量比较结果。最佳结果用粗体表示,第二好的结果用下划线表示。

学习范式
方法 | PlantNet子数据集 | Soybean-MVS子数据集 | mAcc (%) | mAcc (%) |
|-------------|------------|-----------------|-----------|------------|
| 传递式 | GCN ([数学处理错误], [数学处理错误]) | 90.46 | 87.56 |
| | GCNII ([数学处理错误], [数学处理错误]) | 91.48 | 83.30 |
| | GAT ([数学处理错误], [数学处理错误]) | 90.71 | 84.24 |
| | GAT ([数学处理错误], [数学处理错误]) | 87.22 | 79.34 |
| | Grand ([数学处理错误], [数学处理错误]) | 90.47 | 81.41 |
| | JKnet ([数学处理错误], [数学处理错误]) | 91.26 | 88.20 |
| | 我们的DBGCN ([数学处理错误], [数学处理错误]) | 92.64 | 90.49 |
| | GCNII ([数学处理错误], [数学处理错误]) | 92.01 | 89.02 |
| | JKnet ([数学处理错误], [数学处理错误]) | 91.43 | 88.55 |
| | 我们的DBGCN ([数学处理错误], [数学处理错误]) | 93.00 | 91.05 |
| | InductiveGraphSage-1 ([数学处理错误], [数学处理错误]) | 87.52 | 62.75 |
| | GraphSage-2 ([数学处理错误], [数学处理错误]) | 90.37 | 74.66 |
| | PlantNet ([数学处理错误]) | 88.47 | 64.95 |

表3显示了在ESL下的定量实验结果。由于标记数据[数学处理错误]非常有限,像GraphSage-2这样的归纳方法无法运行。我们的DBGCN在所有方法中仍然表现最佳。在ESL下的PlantNet子数据集中,两层DBGCN的mAcc为88.60%,明显优于第二好的GAT 6.8%。我们的四层DBGCN的mAcc为89.01%,比第二好的GCNII高出6.5%。在ESL下的Soybean-MVS子数据集中,双层DBGCN的mAcc为82.96%,比第二好的GCN高出7.18%;四层DBGCN的mAcc达到84.49%,比第二好的GCNII高出9.6%。在ESL策略下,监督信号的稀缺可能导致网络在训练集上过拟合[数学处理错误],这显著降低了使用多头注意力聚合局部邻域的GAT的性能[数学处理错误],[数学处理错误]。值得注意的是,使用[数学处理错误]作为GAT网络的输入特征优于使用3D坐标[数学处理错误];这间接证明了我们在3.3小节中提出的输入特征重塑过程的优越性。Grand网络采用了扰动增强机制,可能会丢失复杂作物结构上的关键图结构信息。Inductive GraphSage-1在ESL下的表现最差,因为它仅从训练集中非常稀疏的节点特征进行学习,这些节点特征在整个作物图中看起来像是孤立的“岛屿”。很难将这些信息正确地传播到这些“岛屿”之外的其他点云区域。表3. ESL策略下器官标签传播的定量比较结果。最佳结果以粗体显示,第二好的结果下划线标出。

方法
PlantNet子数据集
Soybean-MVS子数据集
mAcc (%)
mAcc (%)
GCN ([数学处理错误], [数学处理错误]) 81.72
GCNII ([数学处理错误], [数学处理错误]) 81.74
GAT ([数学处理错误], [数学处理错误]) 81.80
GAT ([数学处理错误], [数学处理错误]) 73.41
Grand ([数学处理错误], [数学处理错误]) 80.41
JKnet ([数学处理错误], [数学处理错误]) 78.83
GraphSage-1 ([数学处理错误], [数学处理错误]) 74.81
我们的DBGCN ([数学处理错误], [数学处理错误]) 88.60
GCNII ([数学处理错误], [数学处理错误]) 82.51
JKnet ([数学处理错误], [数学处理错误]) 79.22
我们的DBGCN ([数学处理错误], [数学处理错误]) 89.01

如上所述,我们的DBGCN在所有比较的模型中都取得了最佳的定量实验结果。

4.4. 器官实例推断的定性结果
为了直观展示在两种稀疏标注策略下多种传递方法标签传播的情况,本小节使用几种代表性作物定性展示了结果。图4显示了在Soybean-MVS子数据集的DN252样本(包含34个器官)和PlantNet子数据集的番茄样本(7个器官)上,所有比较模型的标签传播结果的定性比较。图5显示了在Soybean-MVS子数据集的HN48样本(包含15个器官)和PlantNet子数据集的烟草样本(7个器官)上,所有模型在ESL策略下的标签传播结果的定性比较。

下载:下载高分辨率图像(2MB)
下载:下载全尺寸图像
图4. 在RSL策略下两种样本植物上器官标签传播结果的定性比较。View1和View2代表两种不同的观察视角。训练集是[数学处理错误],而测试GT代表测试集的真实标签值的可视化[数学处理错误]。Testing Pred是网络预测的节点标签的可视化,红色圆圈表示预测错误的区域。Acc表示一个点云的节点分类准确率。

下载:下载高分辨率图像(2MB)
下载:下载全尺寸图像
图5. 在ESL策略下两种样本植物上器官标签传播结果的定性比较。View1和View2代表两种不同的观察视角。训练集是[数学处理错误],而测试GT代表测试集的真实标签值的可视化[数学处理错误]。Testing Pred是网络预测的节点标签的可视化,红色实心圆圈表示预测错误的区域。Acc表示一个点云的节点分类准确率。

如图4所示,大豆作物具有复杂的结构,有许多分支和严重的叶片重叠,这使得正确的器官标签推断变得困难。一些模型甚至在大叶子的尖端输出了明显的分类错误。对于番茄作物,分割主茎顶部的小芽具有挑战性,大多数比较方法将顶部细节平滑处理为单一片叶子。我们的DBGCN能够适应不同作物种类的结构,展示了最佳的标签传播可视化结果。DBGCN在Soybean DN252样本上的结果错误最少,双层网络深度时只有六个小错误,而在四层网络深度时进一步减少到四个错误。在番茄样本上,DBGCN在两个深度上的准确率都超过了95%,接近人类注释的质量。错误仅发生在芽的非常尖端。

在图5中显示的ESL结果中,双层DBGCN在大豆HN48样本上的准确率为87.05%,四层DBGCN的准确率进一步提高到91.07%。DBGCN的错误区域在所有比较方法中是最小的。在其他模型的结果中,可以观察到大豆叶子容易发生碎片化问题——大叶子通常会被分割成几块,尤其是在叶子边缘。对于训练集仅有11个标记点的烟草样本植物,我们的两个版本的DBGCN的准确率都超过了97%,非常接近手动注释。

总之,由于采用了结合动态和静态图卷积计算的双分支架构,DBGCN能够从极其稀疏的注释中传播作物器官标签,并且还能正确确定不同器官之间的分类边界。此外,DBGCN能够捕捉局部结构细节(例如,叶子边缘和叶子之间的边界),同时确保全局结构感知。

4.5. DBGCN标记的数据质量测试
为了进一步验证DBGCN输出的点级标签的全面覆盖质量,我们使用DBGCN完全标记的数据集来训练归纳深度网络进行归纳器官分割,并将其性能与仅由人类标记的GT数据训练的相应网络进行了比较。此外,为了找到DBGCN在RSL中最佳的注释[数学处理错误]比例,我们通过对DBGCN应用不同的比例值来生成不同的完全标记数据集,并使用这些数据集进行归纳深度分割。质量测试过程包括以下步骤。首先,我们在RSL下将四层DBGCN应用于PlantNet子数据集,并使用给定的标注比例[数学处理错误]进行标签传播,以获得一个称为“Pseudo”数据集的完全标记的植物数据集。其次,将不同[数学处理错误]比例生成的“Pseudo”数据集以及GT数据集分别输入到归纳深度器官分割网络(我们选择的网络包括PointNet [39]、DGCNN [40]、PlantNet [14]和PSegNet [15])中进行训练。最后,对这些训练模型的测试结果进行了定量评估。对于只能进行器官语义分割的两种网络——PointNet和DGCNN,评估指标是F1分数和IOU [14]、[15]。对于同时支持器官语义和实例分割的PlantNet和PSegNet,还使用了平均覆盖度(mCov)和平均加权覆盖度(mWCov)[14]、[15]等指标。如图6所示,使用“Pseudo”数据集训练的所有四个深度网络的性能随着[数学处理错误]比例的增加而提高,四个网络的性能逐渐接近使用GT数据获得的结果。当比例在5%到10%之间时,“Pseudo”数据集的定量指标已经可以与GT数据的结果相媲美。当[数学处理错误]的比例达到20%时,使用GT数据训练的PointNet的F1分数和IOU分别仅比“Pseudo”数据高出0.26%和0.36%;使用GT数据训练的DGCNN的F1分数和IOU分别仅比“Pseudo”数据高出0.93%和1.48%。在20%的比例下,使用GT数据的PlantNet的mCov和mWCov分别比“Pseudo”数据高出1.29%和0.33%;使用GT数据的PSegNet的mCov和mWCov分别仅比“Pseudo”数据高出1.83%和0.76%。总之,DBGCN仅基于稀疏的手动注释就能生成高质量的植物器官标签全面覆盖,这显著减少了点云归纳深度学习中人工引导的数据注释工作量。

下载:下载高分辨率图像(698KB)
下载:下载全尺寸图像
图6. 基于不同[数学处理错误]比例生成的完全标记数据集的归纳深度网络的定量性能比较。(a)是PointNet器官语义分割网络的结果,(b)是DGCNN器官语义分割网络的结果,(c)是PlantNet双功能器官分割网络的结果,(d)是PSegNet双功能器官分割网络的结果。图中的曲线是根据评估指标的数据点拟合的,虚线水平线代表使用纯GT数据训练的网络的结果。

5. 讨论
5.1. 参数调整
5.1.1. 输入形状的影响
为了验证3.3小节中提出的GRM的优势,我们进行了一个实验,比较了在Soybean-MVS子数据集上使用不同输入形状的几个版本DBGCN的性能。实验设置遵循相同的单图(单植物)传递学习范式,采用四层DBGCN架构,在五个独立的RSL测试中平均。每个点云有200个随机选定的节点作为训练集[数学处理错误],其余节点作为测试集[数学处理错误]。在标签传播实验中比较了四种不同的输入特征,定量结果在表4中呈现。结果中,[数学处理错误]代表点云的3D坐标特征;[数学处理错误]表示行归一化的高斯核空间相似性矩阵[数学处理错误];[数学处理错误]表示[数学处理错误]和行归一化邻接矩阵的连接;最后一个[数学处理错误]表示[数学处理错误]和[数学处理错误]的连接,这也是本研究中提出的输入形状。如表4所示,[数学处理错误]版本的DBGCN实现了最高的mAcc,为91.21%,比纯坐标特征[数学处理错误]版本高出16.85%;这证明了引入节点相似性特征的重要性。仅使用[数学处理错误]作为输入仍然比[数学处理错误]高出16.04%,表明相似性矩阵在建模节点分类中的局部几何关系方面具有很强的能力。[数学处理错误]的准确率略低于[数学处理错误],但仍优于仅包含[数学处理错误]的版本,显示出低级特征——纯3D坐标的有用性。提出的[数学处理错误]输入形状的优势表明,低级位置信息和平滑的邻域信息在图学习中都是有用的。

表4. 我们的DBGCN在Soybean-MVS子数据集上四种输入形状的定量比较。这里,RSi表示用唯一随机种子初始化的RSL数据的第i次独立实验。最后一列显示了五次独立实验的平均值。最佳值以粗体显示,第二好的结果下划线标出。

特征输入
RS1 Acc
RS2 Acc
RS3 Acc
RS4 Acc
RS5 Acc
mAcc
[数学处理错误] 77.21
77.30
77.23
77.32
77.15
77.24
[数学处理错误] 89.55
89.77
89.76
89.84
89.51
89.69
[数学处理错误] 90.78
90.94
90.64
90.82
90.90
90.82
[数学处理错误] 90.92
91.12
90.86
91.20
91.06
91.03

5.1.2. K邻居、特征维度和平滑核的调整
在本段中,我们首先讨论KNN计算中“K邻居”的调整。SGCB中的参数[数学处理错误]和Dual-branch图卷积模块中的参数[数学处理错误]会影响它们各自的卷积计算。我们在RSL策略下的Soybean-MVS子数据集上使用四层DBGCN架构进行了单独的调整实验。邻域参数值从5开始,以5为步长增加,直到50。结果显示在图7(a)的彩色矩阵中,其中元素分别代表基于不同参数设置的网络器官推断的Acc值。可以观察到,在固定[数学处理错误](水平方向)下调整[数学处理错误]时,DBGCN的性能表现出较低的方差,表明DGCB对[数学处理错误]的选择具有鲁棒性。这也间接表明动态特征空间图卷积对邻域噪声具有很强的适应性。在固定[数学处理错误](垂直方向)下调整[数学处理错误]时,每列中的Acc数值分布呈现高斯形状;即中间值较高,两侧值较低。当出现[数学处理错误]时,网络性能会下降,这主要是由于静态图卷积的小接收域阻止了网络感知到完整的全局结构信息。同样,当出现[数学处理错误]时,网络性能也会下降,可能是因为过大的接收域会导致图卷积中的特征过度平滑。此外,较大的邻域通常不利于网络在器官边界进行细粒度的节点标签分类。为了方便起见,[数学处理错误]和[数学处理错误]可以设置为10到30之间的相同值,这种策略有助于网络达到最佳性能。下载:下载高分辨率图像(509KB)下载:下载全尺寸图像图7. 对包括[数学处理错误]、[数学处理错误]、[数学处理错误]和[数学处理错误]在内的多个参数进行调优实验。(a)显示了[数学处理错误]和[数学处理错误]的2D调优测试,其中蓝色越深表示效果越好;(b)显示了[数学处理错误]和[数学处理错误]的2D调优测试,其中颜色越深表示效果越好。两个矩阵中的所有值都代表使用给定参数的DBGCN网络的准确率(Acc%)。Acc表示一个点云的节点分类准确率。现在我们开始调整特征维度[数学处理错误]和平滑核参数[数学处理错误]。我们仍然在RSL策略下使用Soybean-MVS子数据集对4层DBGCN架构进行了单独的调优实验。这两个参数也在图7(b)所示的2D灰度矩阵中协同调整。在进行调优时,[数学处理错误]和[数学处理错误]都固定为30。维度参数[数学处理错误]在8个不同的数值上进行评估——16、32、64、96、128、160、192和256。[数学处理错误]参数也在8个水平上进行评估——0.5、1、2、8、16、32、64、128。从图7(b)可以首先观察到,准确率对[数学处理错误]的变化相当稳健,表明在实际应用中选择这个参数是灵活的。然而,当涉及到[数学处理错误]参数时,情况则完全不同。随着维度的增加,DBGCN的性能先上升后下降,在[数学处理错误]左右达到峰值。因此,我们建议将维度参数设置为大约128以获得最佳性能。5.1.3. [数学处理错误]对DBGCN性能的影响在标签传播任务中,训练集的大小直接影响传递模型。为了观察随机标注数据规模对DBGCN的影响,在不同的标注比例[数学处理错误]下生成了训练集,并且每个定量结果都是在五个独立的测试中用两层DBGCN平均得出的。图8显示了在不同[数学处理错误]下两个子数据集的器官标签传播曲线,其中mAcc随着标注比例[数学处理错误]的增加而呈现三阶段增长趋势。第一阶段是快速增长期(标注比例在3.0%到5.0%之间)。在这个阶段,mAcc随着标注比例的增加而几乎线性增长(斜率很高)。在PlantNet子数据集中,准确率提高了2.66%,而在Soybean-MVS子数据集中提高了6.24%,表明在这个范围内增加[数学处理错误]可以有效提升模型性能。第二阶段(标注比例在5.0%到12.0%之间)是缓慢增长期。随着[数学处理错误]的增加,mAcc几乎以较慢的速度线性增长。在这个阶段,PlantNet子数据集的mAcc增加了大约1.4%,而Soybean-MVS子数据集增加了大约3.0%。第三阶段是饱和期(标注比例超过12.0%)。当[数学处理错误]继续增加时,mAcc的增长趋于饱和。对于PlantNet子数据集,当标注率达到20%时,mAcc达到最高值97.51%,而对于Soybean-MVS子数据集,mAcc达到94.71%。图8中的曲线表明,当[数学处理错误]占总节点的5%到10%时,模型的主要能力已经被激活。值得注意的是,与5%的标注比例相比,虽然20%的比例可以进一步提高两个子数据集上的DBGCN性能,但手动标注的工作量也增加了4倍。这解释了为什么默认的RSL使用大约5%的标注比例,因为它在标注成本和网络性能之间取得了良好的平衡。下载:下载高分辨率图像(175KB)下载:下载全尺寸图像图8. 标注比例[数学处理错误]对两个子数据集上DBGCN性能的影响。横轴代表标注比例[数学处理错误],纵轴代表DBGCN的mAcc。由于每个子数据集中的所有植物样本都有相同数量的节点[数学处理错误],因此[数学处理错误]的比例与[数学处理错误]的作用相同。5.2. 消融研究我们在本小节设计了一个消融研究,以验证DBGCN中主要模块的有效性,包括移除DGCB分支、移除SGCB分支、用标准GCN替换SGCB中的静态特征空间卷积,以及移除FM中的特征对齐步骤。包括标准(完整)DBGCN网络,我们将定量比较总共5个模型版本。消融研究使用4层DBGCN作为基线,并在Soybean-MVS子集上进行了5次重复的RSL测试。定量实验结果如表5所示。其中,“w/o DGCB”表示从基线中移除4层DGCB;“w/o SGCB”表示从基线中移除4层SGCB分支;“w/o Alignment (fusion)”指的是移除FM中的特征对齐步骤,两个分支的特征在特征融合过程中直接添加和处理;“w GCN”表示用标准4层GCN替换4层SGCB分支;“Full”是完整的DBGCN网络作为基线。可以看出,完整的网络实现了最佳性能,移除任何模块都会导致性能下降。“w/o SGCB”的表现最差,可能是因为仅使用动态图卷积会忽略全局图结构。表5. DBGCN的消融研究模型版本RS1 AccRS2 AccRS3 AccRS4 AccRS5 AccmAcc (%)w/o DGCB90.2190.4590.2790.4590.3690.35w/o SGCB69.9970.1569.6670.0669.8169.93w/o Alignment (fusion)86.2986.6486.5786.8086.6186.58w GCN89.0589.1489.2089.3489.2089.19Full90.9891.2290.8991.1291.0491.055.3. 数据泛化能力本小节讨论了DBGCN在植物表型领域之外的数据集上的泛化能力。我们在大规模高精度LiDAR室外点云数据集Paris-Lille-3D [69]上评估了DBGCN。所提出的DBGCN在高精度Paris-Lille-3D数据集上实现了令人满意的半监督节点推理,证明了其在非农业3D数据上的良好泛化能力。关于这个数据集的详细实验结果可以在附录7中找到。2.6. 结论为了解决几乎所有主流归纳学习网络在作物器官实例分割任务中面临的标注挑战,本文提出了一种新颖的双分支图卷积网络(DBGCN)。该网络采用了传递学习范式,能够在每个具有高度稀疏标签的单独植物点云上进行直接器官实例推理(分割)。在多种作物的点云上的实验结果表明,DBGCN实现了令人满意的器官实例分割准确率,优于几种流行的传递图网络甚至主流的归纳深度学习架构。尽管推理速度快(在作物点云上不到1分钟),并且器官实例分割性能有效,但目前我们的DBGCN仅接受节点数少于50,000的图输入[数学处理错误]。计算负载对输入的规模[数学处理错误]、相似性矩阵[数学处理错误]和邻接矩阵[数学处理错误]敏感。未来,我们有兴趣设计分解技术,将直接特征计算划分为易于计算的子任务,使DBGCN能够应用于更大的图。我们还将通过添加类似变压器的组件来继续改进DBGCN的内部模块。此外,我们还将优化模型中图卷积的实现方式,使DBGCN能够在高度复杂和大规模的点云上运行。数据可用性我们的数据和代码可以在以下链接获取:https://github.com/chinazhouzhaoyi/DBGCN/tree/master/。CRediT作者贡献声明李大伟:概念化、可视化、验证、方法论、调查、形式分析、资金获取、撰写——原始草稿、撰写——审阅与编辑。周兆义:撰写——原始草稿、验证、方法论、调查、数据管理。杨思:资金获取、数据管理。文伟良:撰写——审阅与编辑、撰写——原始草稿、可视化、形式分析。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号