《Electronics》:Construction and Application of Heterogeneous Graph Neural Network Model Fusing Meta-Path Sequence Features
Xingqiu Zhang and
Sang-Chul Kim
编辑推荐:
在现实世界应用中,异构图数据(heterogeneous graph data)的广泛存在推动了异构图神经网络(Heterogeneous Graph Neural Networks, HGNNs)的发展,使其成为建模复杂语义关系的有效方案。一种被广泛采用的策
在现实世界应用中,异构图数据(heterogeneous graph data)的广泛存在推动了异构图神经网络(Heterogeneous Graph Neural Networks, HGNNs)的发展,使其成为建模复杂语义关系的有效方案。一种被广泛采用的策略是使用元路径(meta-path)作为高层结构模式,以引导HGNN中的邻域聚合。然而,元路径自身所蕴含的语义内容通常未被充分挖掘,尽管它们通常被用作引导信号。本文提出了一种新的HGNN架构,该架构利用元路径序列(meta-path sequences),将元路径的内在信息直接整合进语义融合机制。通过将元路径表示为序列数据——类似于自然语言处理中的序列——研究人员能够通过异构图中节点类型的顺序信息捕获更细粒度的语义模式。借助序列建模方法,该方法将元路径语义嵌入图神经网络中,不仅提供了额外的结构洞察,还能够为节点类型训练专门的嵌入表示。研究人员在自建数据集以及三个公开可用的中等规模异构图基准数据集上开展了广泛实验,包括对比分析与消融分析。实验结果验证了该方法在利用元路径序列特性改进表示学习方面的有效性。
该论文发表于《Electronics》,围绕异构图神经网络(Heterogeneous Graph Neural Networks, HGNNs)中的元路径(meta-path)建模不足问题展开研究。现有基于元路径的HGNN通常将元路径仅视为邻居聚合的“引导模板”,主要利用其限定邻域采样与语义聚合的作用,却未充分挖掘元路径自身所包含的顺序语义、结构组合关系与节点类型排列信息。这种处理方式限制了模型对高阶语义关联的表达能力,也使元路径在训练中难以成为可优化、可学习的语义对象。基于此,研究人员提出开展该研究,目的在于将元路径从“外部指导信息”转化为“内部可编码语义特征”,以提升异构图表示学习质量与节点分类性能。
研究人员在SeHGNN基础上提出一种融合元路径序列特征的异构图神经网络模型。该方法借鉴自然语言处理中的序列建模思想,将元路径看作由节点类型按顺序组成的序列,将节点类型作为元路径序列单元(unit),先为不同节点类型学习单元嵌入,再按预定义元路径顺序构造序列表示,随后利用Transformer编码器(Transformer encoder)结合位置编码(positional encoding)提取元路径序列特征,最后将其与对应元路径下的节点特征共同输入语义融合模块,以生成更具判别性的最终节点表示。论文还构建了蜡染(batik)产品知识图谱异构数据集,将其用于节点分类任务,并在DBLP、ACM、IMDB三个公开中等规模异构图数据集上验证方法的通用性。
研究结论表明,将元路径序列作为附加语义信息引入HGNN后,模型在多个数据集上的节点分类效果得到提升。在自建batik知识图谱数据集上,该方法取得Micro-F1为81.16 ± 2.71、Macro-F1为73.88 ± 2.77,优于SeHGNN、HGT、RSHN与HAN等比较模型;在DBLP、ACM与IMDB上,Micro-F1分别达到95.48 ± 0.09、94.09 ± 0.39和69.91 ± 0.63,整体表现出较好的准确性、稳定性与泛化能力。研究的重要意义在于:一方面扩展了元路径在HGNN中的角色定位,使其由聚合约束提升为可学习语义序列;另一方面证明了序列建模尤其是Transformer机制能够有效捕获元路径内部顺序依赖与结构语义,从而为后续元路径增强型异构图学习提供了新的方法论框架。
从技术方法看,研究主要采用了四类关键策略。其一,基于SeHGNN进行元路径引导的邻居聚合,得到不同元路径语义下的节点表示;其二,对自建batik产品知识图谱进行异构图数据集构建,并将“Product”节点的“Theme”作为节点分类标签,其中样本来源于文献中的batik product knowledge graph;其三,利用节点类型平均特征构造元路径序列单元嵌入,并通过Transformer提取元路径序列特征;其四,采用共享多层感知机(Multi-Layer Perceptron, MLP)与拼接(concatenation)策略,将元路径序列特征与节点特征映射到统一空间并进行语义融合。
以下结合论文结果部分的小标题,对主要发现进行归纳解读。
5.1. Node Classification Experiment for Batik Knowledge Graph
该部分围绕自建蜡染知识图谱异构数据集展开节点分类实验,旨在同时验证数据集可用性与所提模型有效性。研究人员将知识图谱中“Product”作为预测目标节点,“Theme”作为监督标签,在五个随机种子下进行训练与评估。结果显示,自建数据集可支持HGNN训练,且所提方法在Micro-F1和Macro-F1上均取得最佳平均表现,并具有相对较低方差。这说明将元路径序列语义引入语义融合后,能够增强节点表示的区分性。研究同时指出,由于该数据集规模较小且质量有限,整体模型方差普遍偏高。
5.1.1. Experimental Setup
本节主要说明实验设计,包括batik异构图数据集划分、训练策略、优化器设置及比较组。训练集与测试集按9:1划分,并从训练集中划出1%作为验证集。比较包括标准模型对照、one-hot初始特征替换实验以及不同元路径序列长度(Hop-3、Hop-4、Hop-5)比较,用于分析模型改进有效性、多模态特征必要性及最佳路径长度选择。
5.1.2. Experimental Results
本节给出batik数据集上的具体结果。首先,与SeHGNN、HGT、RSHN、HAN相比,所提方法取得最优平均性能,说明元路径序列带来了额外有效信息。其次,当多模态初始特征被one-hot向量替换后,所有模型平均性能下降,表明高质量初始特征对于异构图学习重要;但某些模型方差降低,显示简单均匀特征能减少噪声、提升预测稳定性。再次,不同元路径长度比较显示Hop-4效果最佳,Hop-3略低,Hop-5反而下降,提示元路径长度与性能间存在非线性关系,适度延长可丰富语义,过长则会引入冗余与噪声。
5.2. Node Classification Experiments Based on Public Datasets
该部分在DBLP、ACM、IMDB三个公开异构图数据集上对模型进行进一步验证,以考察其通用性。研究人员采用与HGB基准一致的数据划分方案,并沿用SeHGNN的元路径选择策略。结果显示,该方法在DBLP与ACM上取得最优结果,在IMDB上获得最优Micro-F1和次优Macro-F1,整体优于或接近当前代表性HGNN模型。这表明元路径序列作为附加语义特征具有较好的数据集适应性。
5.2.1. Public Datasets and Meta-Path Processing
本节介绍三类公开数据集及元路径处理方式。研究人员直接将节点类型视为元路径序列单元,并采用SeHGNN的穷举与网格搜索策略选择元路径组合。由于公开数据集已给定节点特征,因此无需额外进行多模态特征构建,只需按所提流程获取元路径序列单元嵌入并完成模型训练。
5.2.2. Experimental Setup
本节说明公开数据集上的任务定义、评价指标与比较模型,并设计多组消融变体。消融主要围绕三方面:元路径序列编码器选择(Conv-1D、LSTM、Transformer),元路径序列单元嵌入初始化方式(随机、度加权、度前5、直接嵌入元路径、均值求和),以及节点特征与元路径序列特征的融合方式(共享MLP、不同MLP、拼接、相加)。这一设计为分析方法各组成模块的贡献提供了证据。
5.2.3. Experimental Results
本节系统展示公开数据集上的比较与消融结果。首先,在总体比较中,所提方法在DBLP取得Macro-F1 95.14 ± 0.11、Micro-F1 95.48 ± 0.09,优于全部对照方法;在ACM上也表现优异;在IMDB上,Macro-F1略低于SeHGNN,但Micro-F1最佳,说明方法具备良好综合性能。其次,在序列编码器比较中,Transformer虽然并非在每一项指标上都绝对占优,但在三数据集上表现最均衡、最稳定,因此被确定为最终编码模块。再次,在元路径序列单元初始化比较中,均值求和方法在六项指标中四项最优、两项次优,且鲁棒性更强,优于随机初始化、度加权和直接编码方案。进一步地,研究发现共享MLP优于分别映射,说明将节点特征与元路径序列特征投影到统一空间更有利于融合;而拼接方式显著优于逐元素相加,这是因为拼接能完整保留两类特征信息,避免特征叠加导致的信息遮蔽与损失。
6. Complexity Analysis
论文还分析了模型复杂度。研究人员将总计算开销分为邻居聚合、元路径特征获取和语义融合三部分。其中,邻居聚合复杂度与SeHGNN相近;元路径序列编码部分由于使用Transformer,自注意力(self-attention)带来
2次于序列长度L的复杂度,即O(nkL
2d);语义融合阶段复杂度为O(nk
2d)。总体复杂度为O(nkd
2 + nkL
2d + nk
2d),在L通常较小(3–5)的前提下,与SeHGNN保持相近效率。时间对比实验进一步表明,该模型训练速度与SeHGNN相似,但获得了更强的元路径语义建模能力。
7. Research Value
论文从理论、方法与实践三个层面总结研究价值。理论上,研究将元路径重新定义为有序序列数据,突破了仅把元路径当作结构约束的传统认识,并提出用有限节点类型组合编码复杂元路径的思路。方法上,构建了完整的元路径序列编码与融合框架,包括序列单元构建、位置编码、自注意力特征提取以及共享MLP语义融合策略。实践上,构建了batik产品异构图数据集,拓展了HGNN在文化遗产知识处理中的应用场景,并通过公开数据集实验和消融实验提供了可复用的研究参照。
8. Research Limitations
论文也明确指出两方面局限。其一,Transformer编码虽能有效建模元路径顺序语义,但会带来较高计算与显存开销,尤其在元路径较长或节点类型丰富时更明显。其二,方法需要遍历并提取有效元路径实例,因而更适用于中等规模异构图;面对超大规模真实场景中的社交网络或大型知识图谱时,若缺乏采样策略,可能出现计算负担剧增、冗余元路径过多和噪声累积等问题。
最后,对论文结论部分可译述如下:
本研究提出了一种融合元路径序列的异构图神经网络模型。该模型建立在SeHGNN框架之上,将元路径概念化为由异构节点类型构成的序列数据,并认为节点排列顺序携带丰富语义信息。模型通过元路径序列单元嵌入与基于自注意力(self-attention)的序列编码机制获得元路径序列表示,从而增强不同元路径下节点特征的判别性语义信息,提升语义融合效果及整体模型性能。为验证方法的有效性与泛化性,研究人员给出了从原始输入到可训练格式的完整异构图数据处理流程,并在三个常用异构图数据集上进行了对比实验。同时,通过多种变体的广泛消融研究,系统考察了将元路径序列作为附加语义信息引入模型的最优策略。