CORE-DG:面向文本属性动态图的社区角色感知对比学习
《Information Processing & Management》:CORE-DG: Community role-aware contrastive learning on text-attributed dynamic graphs
【字体:
大
中
小
】
时间:2026年09月26日
来源:Information Processing & Management 8.1
编辑推荐:
摘要
当前用于动态图的对比学习方法仅从拓扑演化中获取训练信号,忽略了边缘通常携带的文本内容。传入的边缘文本,例如引文上下文、用户评论和交易备注,描述了节点如何被其社区在功能上感知,我们称之为社区归属语义角色 (CASR)。我们提出了 CORE-DG,一个围绕该信号构建的对比
摘要当前用于动态图的对比学习方法仅从拓扑演化中获取训练信号,忽略了边缘通常携带的文本内容。传入的边缘文本,例如引文上下文、用户评论和交易备注,描述了节点如何被其社区在功能上感知,我们称之为社区归属语义角色 (CASR)。我们提出了 CORE-DG,一个围绕该信号构建的对比学习框架。CORE-DG 通过时间注意力角色聚合器提取每个窗口的 CASR 向量,通过跨窗口注意力池化蒸馏出一个时间稳定的角色,通过门控机制将其与身份和结构表示融合,并利用蒸馏出的角色指导难负样本挖掘。理论分析证实,在温和条件下,角色指导的负样本具有梯度优势。在四个带有文本属性的动态图基准上,CORE-DG 在节点分类上超过了所有十三个基线方法,准确率相比最强的先前方法分别提高了 2.17 点 (Cora 86.41%)、3.82 (IMDB 76.27%)、5.20 (Sephora 66.89%) 和 4.51 (Dianping 72.35%),所有改进在配对全流程测试中均具有统计显著性 (p < 0.05)。消融实验和边缘文本扰动研究表明,增益源于边缘文本的语义内容,而非额外的模型容量。引言图对比学习通过最大化增强视图之间的一致性来学习判别性节点表示 (Zhu et al., 2020, Zhu et al., 2021, You et al., 2020, Liu et al., 2022),并已被广泛用于节点和图分类 (Kipf and Welling, 2017, Veli?kovi? et al., 2018, Xu et al., 2019, Errica et al., 2020)。在实践中,图结构数据很少是静态的:引文网络持续增长,社交平台不断演变,金融系统产生持续的交易日志流 (Kazemi et al., 2020, Skarding et al., 2021, Huang and Lei, 2023)。将对比学习扩展到动态设置 (Xu et al., 2024, Bao et al., 2024, Yang et al., 2024) 需要从时间演化的拓扑中提取有意义的信号,同时将稳定模式与瞬时波动分离开来。CLDG (Xu et al., 2023) 通过时间段视图采样解决了这个问题,并在动态节点分类上取得了有竞争力的性能。然而,拓扑驱动的方法忽视了一个可用的类别信息来源:边缘携带的文本内容。在许多动态图中,边缘携带自然语言,例如引文上下文、用户评论或交易备注,编码了一个节点如何感知另一个节点 (Yan et al., 2023, Zhang et al., 2024)。如图 1 所示,指向节点的传入边缘文本形成了一个由其周围社区贡献的外部叙事。考虑 Cora 引文网络中属于不同研究领域的两篇论文,一篇属于“神经网络”,另一篇属于“概率方法”。两者可能共享相似的术语和重叠的邻域,但其他论文引用它们的句子却大相径庭:一篇被引用为“一种特征提取的深度学习方案”,而另一篇则收到诸如“一种不确定性量化的贝叶斯框架”之类的引用。这些由社区撰写的描述直接信号类别归属。同样的模式也存在于电子商务和评论平台中,用户生成的文本区分了从结构角度看相似但本质不同的实体。我们将这种聚合表征称为社区归属语义角色 (CASR):通过传入边缘文本表达的节点功能身份,捕捉节点在其社区视角下“做什么”,这与节点属性(它“是什么”)或拓扑(它“连接谁”)是一个不同的维度。从动态图中提取可靠的 CASR 面临两个挑战。首先,传入边缘跨越多个时间窗口,且每个窗口的角色信号将稳定的语义模式与瞬时的描述混合在一起。一篇开创性论文早期可能被称为“当前最先进水平”,后期则被称为“经典基线”,但其基本角色是持续存在的。其次,流水线必须在抑制噪声的同时跨窗口蒸馏出时间稳定的组成部分。稳定的角色表示还能实现语义知情的难负样本挖掘。对比学习的有效性取决于负样本质量 (Robinson et al., 2021, Kalantidis et al., 2020),但在没有标签的情况下,现有方法依赖于产生平凡负样本的随机采样。蒸馏出的稳定角色提供了一个无标签的语义代理:结构相似但角色不相似的节点对很可能属于不同类别,并产生信息量最大的对比梯度。我们提出了 CORE-DG (Community Role Encoding for Dynamic Graphs),一个围绕 CASR 构建的对比学习框架。时间注意力角色聚合器 (TARA) 通过联合关注语义内容、源节点身份和时间新鲜度来计算每个窗口的 CASR 向量。时间角色蒸馏模块执行具有可学习稳定性查询的跨窗口注意力池化,提取时间稳定的组成部分。蒸馏出的角色通过门控融合与身份和结构通道结合以丰富节点表示,并锚定一个选择结构相似但角色不相似对的难负样本挖掘策略。在四个基准上的实验证实了相比最先进基线的一致性改进。我们的主要贡献是:1. 我们形式化了社区归属语义角色 (CASR),这是一种从传入边缘文本中派生的类别相关信号,用于补充动态图对比学习的拓扑结构。2. 我们提出了 TARA 用于每窗口 CASR 提取,以及一种通过跨窗口注意力池化将稳定角色与瞬时噪声分离的时间角色蒸馏机制。3. 我们引入了角色指导的难负样本挖掘,利用蒸馏出的稳定角色作为无标签的类别代理,选择结构相似但角色不相似的 pair 作为信息性负样本。4. 在四个基准上的实验表明,相比最先进基线有一致改进,消融和扰动研究证实了每个模块的贡献。章节片段2.1 静态和动态图上的图对比学习图上的自监督对比学习通过最大化增强视图之间的一致性,在无标签监督的情况下学习表示 (Liu et al., 2022)。DGI (Veli?kovi? et al., 2019) 最大化局部和全局表示之间的互信息。GRACE (Zhu et al., 2020) 和 GCA (Zhu et al., 2021) 通过自适应边保留的随机增强生成视图。GraphCL (You et al., 2020) 研究了图级任务的增强策略,BGRL (Thakoor et al.,3 预备知识我们首先介绍记号和问题公式,然后定义支撑我们方法的社区归属语义角色。4 提出的方法本节描述了 CORE-DG 框架。我们从概述开始,然后详细介绍每个组件:基础编码层、时间注意力角色聚合器 (TARA)、时间角色蒸馏模块、门控融合机制,以及带有对比学习目标的角色指导难负样本挖掘策略。5.1 研究问题与目标本工作围绕四个研究目标组织,每个目标都表述为可测试的研究问题。我们按如下方式对 CORE-DG 进行评估:(RQ1) CORE-DG 能否在具有多样特征的带有文本属性的动态图上的节点分类中超越最先进的基线?(RQ2) 每个关键模块,即 CASR 提取、时间蒸馏、门控融合和角色指导的难负样本挖掘,对整体有效性贡献了多少?(RQ3) 性能6.1 整体性能 (RQ1)表 5 报告了节点分类结果。CORE-DG 在所有四个数据集上取得了最佳的准确率和加权 F1,超过了包括三种有监督 GNN 方法在内的所有 13 个基线。相比最强的自监督基线 CLDG++ 的改进在所有数据集上都是一致的,并且在五个随机种子的配对全流程测试中具有统计显著性 (表 7)。出现了几种模式。仅文本方法在 Cora 上表现良好,那里的摘要具有判别性,7 结论本文介绍了 CORE-DG,一个用于带有文本属性的动态图的对比学习框架,它利用了社区归属语义角色 (CASR),即通过传入边缘文本表达的节点功能身份。CORE-DG 通过时间注意力角色聚合器 (TARA) 提取 CASR,通过跨窗口注意力池化蒸馏出时间稳定的组成部分,通过门控融合将其与身份和结构表示集成,并利用蒸馏出的角色用于局限性我们指出几个限制了我们主张范围的限制。首先,CORE-DG 依赖传入边缘文本携带类别相关信号;在边缘不携带文本或仅携带样板文本的图中,角色通道退化,方法退化为其结构骨干。其次,第 6.9 节中的时间留出协议移除了未来“边缘和边缘文本”,并从截止点前的边缘重新计算节点级聚合统计(引用计数、评分、菜品频率),但它CRediT 作者贡献声明Long Xu:撰写 – 初稿,验证,软件,方法学,形式分析,概念化。Honghui Chen:撰写 – 审阅与编辑,监督,调查,资金获取。利益冲突声明作者声明他们没有已知的竞争财务利益或个人关系,这些可能会影响本报告中提出的工作。致谢本研究未获得公共、商业或非营利部门资金机构的任何特定资助。Long Xu | Honghui Chen