《Knowledge-Based Systems》:Enhancing Fairness and Privacy in Federated Graph Neural Networks via Macro-level Restructuring
编辑推荐:
提出基于宏观重构的联邦图神经网络框架,通过隐私保护的结构统计构建宏观图,结合差分隐私图自编码器和图约束的公平重加权策略,有效解决非独立同分布数据下的隐私泄露与公平性差异问题,实验在MIMIC-III和Reddit数据集上验证优于现有方法,平均AUC-ROC提升4.1%并显著降低隐私风险和不公平性。
董立坦|应佐斌|王亚杰|潘子杰|谭宇安|朱天庆|周万雷
北京工业大学网络空间科学与技术学院,中国北京
摘要 联邦图神经网络(FGNNs)能够在保持隐私的同时,对去中心化的图结构数据进行协作学习。然而,现有的FGNN方法存在非独立同分布(non-IID)数据分布、公平性差异和隐私风险等问题,导致模型存在偏见且容易受到攻击。在本文中,我们提出了一个宏观层次重构框架,该框架结合了基于无监督GNN的宏观图聚合来应对这些挑战。我们的框架通过聚类客户端级别的结构来构建一个保护隐私的宏观图,从而实现高效和公平的知识共享。聚合过程采用图约束优化公式进行优化,确保结构一致性同时最小化公平性差异。为了增强隐私保护,我们引入了差分隐私图自动编码器,这种编码器在保持预测性能的同时强制执行隐私保护。此外,我们还引入了一种异步聚合策略,以处理异构客户端参与并加速联邦环境中的收敛速度。我们在两个基准数据集MIMIC-III和Reddit Social Graph上评估了我们的方法,在不同的非独立同分布条件下进行了测试。结果表明,我们的方法优于现有的FGNN基线(如FedGNN),平均AUC-ROC提高了4.1%,同时显著降低了隐私风险(MIAA)和公平性差异(AoD/EoD)。我们的发现突显了宏观层次重构在提升联邦图学习中的隐私性、公平性和泛化能力方面的有效性。
引言 图神经网络(GNNs)已成为从图结构数据中学习的标准工具[1]。它们的成功源于通过消息传递编码关系归纳偏见的能力,这对于实体相互作用和相互影响的应用至关重要,而不是作为独立样本出现。在许多现实世界的应用中(例如医疗机构和在线社区),图数据本质上分布在不同的组织或平台上,由于隐私法规、安全考虑和数据所有权的原因,无法集中处理。联邦学习(FL)通过迭代聚合本地模型更新,实现了无需共享原始数据的协作训练[2],[3]。将FL扩展到图数据产生了联邦图神经网络(FGNNs),但引入了两个紧密相关的难题:(1)异构/非独立同分布的图导致客户端之间的性能不均;(2)即使特征被匿名化,图结构也可能泄露敏感信息。
FGNNs中的异构性问题与标准FL中的问题在本质上是不同的。除了特征分布和标签不平衡之外,客户端在图密度、度分布、同质性、谱属性和社区结构方面也可能存在显著差异。这些差异会影响消息传递的深度、邻域平滑以及学习到的表示的稳定性,通常会导致全局模型过度拟合于主导的结构模式,而忽视了少数客户的需求。同时,隐私问题变得更加严重,因为结构携带了丰富的语义信息:边可以编码社会联系、互动或相似性关系,而GNN产生的嵌入可能会无意中保留或揭示这些敏感关系。因此,一个实用的FGNN框架必须同时考虑统计异质性和结构异质性,并确保训练过程中交换的信息不会暴露敏感的拓扑结构。本文提出问题:我们如何设计一个FGNN训练框架,在异构(非独立同分布)图分布下,同时实现高效用、强隐私保护和低客户端间性能差异,并且能够扩展到大量客户端?
从历史上看,FL最初是从简单的服务器平均(FedAvg [2])开始的,后来通过正则化(FedProx [4])、表示对齐(MOON [5])和个人化(Ditto [6])等方法进行了扩展。这些发展反映了从“一刀切”的聚合方式向明确考虑客户端多样性的方法的演变。在FGNNs中,最近的方法通过结构感知的知识共享[7],[8]或客户端关系建模(例如,客户端聚类/图构建)[9]来改进非独立同分布图上的学习。同时,隐私和公平性问题大多被单独研究:以隐私为导向的图学习强调差分隐私机制[10],[11],而以公平为导向的FL/图FL通过重新加权或限制聚合来减少客户端间的差异[12],[13]。这促使人们寻求一种既能扩展又能同时解决FGNNs中隐私和公平问题的统一设计。
从系统角度来看,随着客户端数量的增加,大规模FGNN部署进一步要求服务器端协调机制保持高效。在现实的跨部门环境中,客户端可能会加入或离开,通信可能是间歇性的,维护细粒度的客户端关系成本可能很高。因此,除了纯粹的算法考虑之外,聚合策略应该基于一种紧凑的抽象,能够捕捉客户端之间的关系,而不暴露原始拓扑结构。这一观察表明,需要一种宏观层次的联邦视图,既能实现结构感知的协调,又能满足隐私要求。
为了解决上述挑战,现有的解决方案采用了旨在提高联邦环境中隐私[10],[11]和/或公平性[12],[13]的技术。然而,大多数先前的FGNN框架并没有明确结合(i)原则性的隐私机制,(ii)与客户端间性能差异相一致的公平性目标,以及(iii)可扩展的、结构感知的聚合拓扑。特别是,主要关注全局效用的方法可能会无意中扩大客户端间的差距,而那些强调更强隐私保护的方法可能会损害表示质量,除非聚合适应噪声和异构环境。这些相互作用在效用、隐私和公平性之间创造了三重权衡,需要一个联合设计。
我们提出了一个宏观层次重构框架来解决这一权衡:我们(i)构建了一个宏观图,其节点代表客户端,边捕获从保护隐私的结构统计中计算出的客户端间相似性;(ii)通过使用具有差分隐私的宏观嵌入的无监督图自动编码器对这个宏观图进行结构感知的聚合。这个宏观图作为一个紧凑的、可学习的联邦拓扑模型:相似的客户端通过宏观层次的消息传递更强烈地交换信息,而不相似的客户端则自然被降低权重以减少负面传递。我们进一步结合了图约束的公平感知重新加权策略,在保持隐私的同时减少客户端间性能方差。直观地说,通过系统地增加表现不佳客户端的影响来提高公平性,这与宏观图的邻域一致;同时,通过校准的高斯机制扰动宏观嵌入来加强隐私,同时依靠宏观结构在噪声下保留有用的聚合信号。
本文的主要贡献总结如下:
• 我们正式定义了宏观层次重构,并引入了一个宏观图抽象,该抽象将联邦拓扑建模为基于保护隐私的结构统计构建的客户端图。这种抽象在保持必要的客户端间关系信息的同时,实现了可扩展的协调。
• 我们设计了一个基于无监督GNN的宏观聚合器(图自动编码器),并对宏观嵌入应用高斯机制,在标准敏感性范围内提供了显式的(ε, δ )-DP保证[10]。这为聚合中使用的宏观层次表示提供了原则性的隐私语义。
• 我们将公平性目标(最小化客户端间性能差异)与图约束的聚合方案联系起来,该方案根据(宏观图平滑后的)验证性能对表现不佳的客户端进行加权,从而使理论上的公平性定义与实际训练更新保持一致。
• 我们提供了一种详细的异步联邦聚合策略,具有有界的收敛保证,在包括MIMIC-III和Reddit Social Graph在内的真实世界数据集上展示了在隐私、公平性和模型可扩展性方面的优越性能。
本文的结构如下。第2节回顾了相关工作。第3节阐述了FGNN学习目标。第4节介绍了宏观层次重构,包括宏观图构建、宏观聚合和隐私/公平性集成。第5节讨论了系统可扩展性。第6节报告了实验结果。第7节进行了总结。
节选内容 异构环境下的联邦学习 传统的FL通过聚合客户端更新来训练共享模型,而不移动原始数据[2],[3]。实际上,异构性源于数据分布、样本大小、特征空间甚至本地计算/通信预算的差异。这种非独立同分布和不平衡的环境往往会产生有偏的全局最优解和不稳定的优化动态,其中一小部分客户端可能会主导更新方向,而少数客户端则落后[14],[15]。除了降低平均准确性之外,
初步介绍和问题表述 将图数据引入FL范式引入了新的挑战,因为图结构的异质性和节点与边之间的复杂依赖关系。在本节中,我们严格定义了FGNN设置,阐明了学习目标,并强调了该领域固有的公平性和隐私性挑战。
方法论 我们的目标是设计一个FGNN框架,在异构/非独立同分布图下改进(i)隐私和(ii)客户端级别的公平性,同时保持可扩展性。在本文中,宏观层次重构指的是以下两个步骤的抽象:(1)将联邦结构映射到一个宏观图中,其中每个客户端都是一个具有保护隐私的结构统计特征的宏观节点;(2)在这个宏观图上进行结构感知的聚合。
异步聚合 为了实现宏观节点嵌入的低延迟更新并确保对设备故障的鲁棒性,我们采用了异步聚合机制。重要的是,这种异步性仅应用于服务器端的宏观嵌入/聚合器优化;每个通信轮次中的客户端端本地模型训练对于活跃集仍然是同步的A t (算法1)。这种方法允许即使在某些设备离线的情况下也能进行更新,从而防止聚合过程中断。
实验 在本节中,我们介绍了实验设置、结果和应用研究,以评估无监督GNN框架在医疗环境中进行宏观图聚合的有效性。实验在合成和真实的医疗数据集上进行,以评估所提方法的可扩展性、性能和实际效用。
结论 本文提出了一个宏观层次重构框架,用于联邦图神经网络,同时解决隐私和客户端级别的公平性问题。通过从保护隐私的结构统计构建客户端宏观图并学习结构感知的宏观聚合器,我们的方法在异构/非独立同分布图下提高了效用。我们对宏观嵌入应用高斯机制,提供了显式的DP语义[10],并结合了宏观图约束的公平感知
CRediT作者贡献声明 董立坦: 撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据整理、概念化。应佐斌: 撰写——审阅与编辑、监督、资源管理、项目管理、方法论、资金获取、概念化。王亚杰: 验证、调查。潘子杰: 可视化、数据整理。谭宇安: 撰写——审阅与编辑、监督、资源管理。朱天庆: 撰写——审阅与编辑、形式分析。周万雷:
利益冲突声明 作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢 本工作得到了澳门FDCT的一般研发补贴计划基金(项目编号0038/2022/A)和NSFC-FDCT的联合科学研究项目基金(中国与澳门,项目编号0051/2022/AFJ)的支持。