面向联邦图学习的带未见原型偏移的因果双曲编码器
《Engineering Applications of Artificial Intelligence》:Causal Hyperbolic Encoder with Unseen Prototype Offset for federated graph learning
【字体:
大
中
小
】
时间:2026年10月22日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
## 摘要
图联邦学习(Graph Federated Learning, GFL)面临两大主要挑战:结构异质性和类别不平衡。结构异质性源于各客户端图结构之间存在显著差异,可能扭曲信息传播并阻碍全局泛化。类别不平衡发生在某些类别在本地客户端中欠表达或完全缺失时,从而损害模型
## 摘要
图联邦学习(Graph Federated Learning, GFL)面临两大主要挑战:结构异质性和类别不平衡。结构异质性源于各客户端图结构之间存在显著差异,可能扭曲信息传播并阻碍全局泛化。类别不平衡发生在某些类别在本地客户端中欠表达或完全缺失时,从而损害模型对本地未见类别的识别能力。
为应对这些挑战,我们提出了FedCHE,一种集成因果双曲编码器(Causal Hyperbolic Encoder, CHE)与可学习未见原型偏移(Unseen Prototype Offset, UPO)机制的联邦图学习框架。具体而言,FedCHE将节点特征映射到庞加莱球(Poincaré ball)双曲空间中,以更好地捕捉层次化图结构。为进一步增强信息传播,CHE引入了一种因果注意力机制,可选择性地识别可靠邻居、抑制噪声交互,并促进信息性结构信号的传输。
此外,FedCHE通过UPO机制缓解类别不平衡问题,该机制为未见类别生成辅助原型,从而弥合语义鸿沟并提高对本地缺失类别的识别能力。通过结合全局原型聚合与跨域对齐损失,FedCHE促进了各客户端之间的语义一致性,并实现了无需交换原始图数据的有效知识共享。
在多个基准数据集上的大量实验表明,FedCHE持续优于包括联邦局部泛化学习(FedLoG)在内的现有最优基线方法。结果进一步表明,FedCHE在已见数据上实现了更优的泛化能力,在涉及未见节点和未见类别的场景中表现出稳健的性能,并能快速适应新引入的客户端。
## 引言
智能手机、物联网(IoT)设备和社交网络平台的广泛普及产生了海量用户交互数据,这些数据通常以图的形式表示,包括社交网络、交通网络和分子结构等。这些数据通常分布在多个边缘设备或机构中,并且经常包含敏感隐私信息。因此,GFL已成为一种有前景的范式,能够在保护隐私的同时对分布式图结构数据进行协同建模;它支持多方训练而无需共享原始数据。与传统集中式方法相比,GFL降低了隐私泄露风险,并使得在多方数据无法集中时能够有效利用图神经网络(GNNs)。GFL在分子属性预测(Zhu et al., 2022; He et al., 2022)、社交关系分析(Xu et al., 2025; Song et al., 2023)、推荐系统(Liu et al., 2022; Wang et al., 2022)和交通流量预测(Yuan et al., 2022; Qi et al., 2023)等领域展现了显著优势。尽管在隐私保护和分布式建模方面具有这些优势,GFL在异质多客户端环境中仍面临若干关键挑战。
**挑战1:结构异质性导致的信息失真。** 在GFL中,客户端在图结构上存在显著差异,包括拓扑模式、连接密度和节点语义。这种结构异质性使得一致的邻域聚合变得困难,导致信息传播失真。当某些客户端上的节点连接到低质量或噪声邻居时,错误信息可能在本地传播过程中被放大,从而削弱模型捕捉全局拓扑关系的能力,导致局部过拟合和全局表示不一致(Shi et al., 2016)。这些挑战阻碍了GNNs在异质联邦环境中实现鲁棒的表示学习和跨域泛化。
**解决方案1:因果双曲编码器。** 为应对结构异质性导致的信息失真,我们提出了CHE。该编码器将节点特征映射到庞加莱球空间中,并利用其层次几何来更有效地建模复杂拓扑关系。除双曲映射外,编码器还引入了一种因果注意力机制,可选择性地识别可靠邻居并在信息传播过程中降低低质量邻居的影响。通过抑制噪声扩散,所提出的编码器提高了信息传输质量并增强了模型鲁棒性。因此,它能更好地处理各客户端间的结构异质性并提高全局表示的一致性。
**挑战2:类别缺失导致的语义偏移和跨域不一致性。** 在多客户端异质环境中,数据分布往往在各客户端之间差异显著,部分客户端可能缺少某些类别的样本。这种类别缺失导致本地未见类别的产生,削弱了模型学习完整类别语义的能力。此外,不同客户端学到的语义空间往往难以对齐,导致学到的表示中出现语义偏移和跨域不一致性。这些问题不仅降低了模型的泛化能力,还限制了跨客户端的知识共享和迁移,使得全局模型难以在未见类别或新域中保持一致性能。
**解决方案2:可学习UPO机制与全局原型聚合。** 为应对类别缺失和语义偏移问题,FedCHE采用了一种可学习UPO机制,为潜在的未见类别生成原型表示,从而填补由本地缺失类别信息造成的语义鸿沟。该机制增强了模型对本地未见类别的识别能力。此外,引入全局原型聚合和跨域对齐损失以在全局层面对齐多个客户端的语义空间,从而缓解跨域偏移并促进跨客户端知识共享。该设计提高了模型在分布式异质场景中的泛化能力和鲁棒性。
与现有的GFL方法相比,FedCHE为异质联邦图场景提供了更全面的解决方案。经典的联邦优化方法如FedAvg(McMahan et al., 2017)主要关注参数聚合,但未明确处理结构异质性或本地图中的噪声邻域传播问题。基于子图的方法如FedSAGE+(Zhang et al., 2021)和FedGCN(Yao et al., 2024)尝试弥补缺失的邻域信息,但它们仍严重依赖欧几里得消息传递,可能对不可靠的本地拓扑敏感。个性化或蒸馏类方法如FedPUB(Baek et al., 2023)、FedNTD(Lee et al., 2022)和FedED(Guo et al., 2024)改善了非IID设置下的模型适应能力,但对层次化图结构和本地未见类别的联合建模机制有限。近期方法如FedLoG引入了合成数据或全局知识转移来缓解缺失类别问题,但未明确结合基于因果注意力的邻域聚合与双曲几何表示。相比之下,FedCHE联合集成了因果注意力聚合与可靠性感知重加权、庞加莱球表示学习、UPO以及全局原型对齐,从而在结构异质性和类别不平衡条件下提高了鲁棒性和泛化能力。
总之,本文的主要贡献如下:
- 我们提出了CHE作为FedCHE的核心编码器,将节点特征映射到庞加莱球空间中并利用其层次几何来提升拓扑表示学习。此外,CHE引入了因果注意力机制,在信息传播过程中选择可靠邻居,从而减少噪声并增强异质环境中的模型鲁棒性。
- 我们设计了一种可学习UPO机制,为本地未见类别生成原型表示,从而应对类别缺失造成的语义鸿沟。为进一步改善模型性能,我们引入了全局原型聚合和跨域对齐损失以对齐各客户端间的语义空间并促进跨客户端知识共享。
- 我们在多个基准图数据集上进行了大量实验。结果表明FedCHE优于代表性的最先进方法(Kim et al., 2025)。在未见数据设置下,FedCHE表现出强大的泛化能力和对新客户端的快速适应能力,验证了其在异质联邦环境中的鲁棒性和跨域迁移能力。
## 章节片段
### 图联邦学习
近期GFL研究探索了各种策略来缓解分布式图建模中的数据异质性、保护隐私并提高通信效率。Yao et al.(2024)将图卷积网络与联邦优化相结合,通过本地训练和服务器端参数聚合实现跨客户端的协同图表示学习。Zhang et al.(2021)扩展了所提出的归纳式图表示学习范式……
### 预备知识
本节介绍GFL设置、基本符号以及FedCHE中采用的双曲几何。这些预备知识为所提出的框架提供了理论基础。关键符号汇总于表1中。
### 所提方法:FedCHE
所提出的FedCHE工作原理如图1所示,该图展示了FedCHE的整体框架。算法1以伪代码形式从服务器和客户端两个角度描述了训练过程。
**步骤1:本地CHE。** 每个通信轮次开始时,各客户端独立地应用CHE处理其本地图数据。为缓解结构噪声并保留任务相关的依赖关系,首先采用因果注意力机制……
### 实验设置
**数据集与数据划分。** 为全面评估所提框架在异质联邦环境中的有效性,我们在五个代表性图数据集上进行实验。每个数据集使用METIS图划分算法(Karypis and Kumar, 1997)划分为多个客户端子图,以获取结构多样的客户端子图,同时保持原始图的整体拓扑特征。
### 安全性、新兴攻击与硬件感知保护
尽管FedCHE不是密码学协议,其实用部署仍需要安全的客户端-服务器通信、可靠的认证以及受保护的原型传输。基于ARM的常数时间后量子密钥交换(Jalali et al., 2017)、游戏化硬件安全教育(Karam et al., 2023)以及用于ML-DSA和ML-KEM的FPGA加速NTT/iNTT(Taghavi et al., 2025)等现有研究表明,未来的FedCHE系统可以从轻量级密码学中受益……
## 结论
与之前的图联邦学习方法相比,FedCHE的区别在于其对结构异质性和类别不平衡的联合处理。现有的参数聚合、知识蒸馏和原型类方法主要关注改善协同学习、降低通信成本或对已观测类别表示进行对齐。然而,它们通常对噪声邻域传播、层次化图拓扑和缺失类别语义鸿沟的建模有限。
---
**InCRediT作者贡献声明**
Zhijian Dong:写作 – 审阅与编辑、写作 – 原稿撰写、可视化、验证、监督、软件、资源、项目管理、方法论、调查、获取资金、形式分析、数据管理、概念化。
Ruichun Gu:监督、概念化。
Sheyun Zhang:写作 – 原稿撰写、可视化、概念化。
Tianci Sun:写作 – 审阅与编辑、可视化、验证。
**利益冲突声明**
作者声明,他们不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
**致谢**
本工作由[资金来源详情,如有]支持。
Zhijian Dong | Ruichun Gu | Sheyun Zhang | Tianci Sun
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号