基于DAG-联盟链混合账本的层次化联邦学习可信协作与可审计机制

《Future Generation Computer Systems》:A hierarchical federated learning trusted collaboration and auditable mechanism based on DAG–consortium chain hybrid ledger

【字体: 大 中 小 】 时间:2026年10月22日 来源:Future Generation Computer Systems 6.2

编辑推荐:

   摘要 分层联邦学习(HFL)通过引入边缘聚合来减少广域通信,但同时也带来了额外的信任边界:恶意或低质量的客户端更新可能污染边缘模型,边缘侧的准入与聚合决策难以验证,且传统训练日志对端到端问责的支持有限。本文提出了一种基于混合有向无环图(DAG)与联盟链账本的信任协调与审计机制

  

摘要
分层联邦学习(HFL)通过引入边缘聚合来减少广域通信,但同时也带来了额外的信任边界:恶意或低质量的客户端更新可能污染边缘模型,边缘侧的准入与聚合决策难以验证,且传统训练日志对端到端问责的支持有限。本文提出了一种基于混合有向无环图(DAG)与联盟链账本的信任协调与审计机制。完整模型更新保留在链下。在每个边缘节点,一个有界的客户端信任评分综合了历史信誉、指数时效性、与干净根模型的对齐程度以及贡献质量。该评分驱动动态准入、中位数范数裁剪,以及一种结合坐标级截断均值与信任-样本加权平均的混合聚合规则。与此同时,客户端、边缘和全局级的承诺被链接为跨层证据链:DAG层记录高频更新元数据,而许可式联盟链锚定低频治理与审计记录。在MNIST、Fashion-MNIST和CIFAR-10上,使用三种随机种子,覆盖20/50/100个客户端、多个鲁棒基线方法,以及标签翻转、后门攻击、搭便车、合谋攻击、女巫攻击和自适应攻击。在30%标签翻转下,所提方法在MNIST上达到了94.53%±0.65%的最终准确率,并在Fashion-MNIST和CIFAR-10上表现出依赖数据集的权衡关系。在100个客户端条件下,该方法将可计量的跨层张量通信量从127.44降至95.12 MB/轮,代价是轮次时间从7.38秒增至10.05秒。基于Hyperledger Fabric v2.5.14的原型进一步处理了6400次审计记录提交尝试,成功率为99.734%;在256字节负载和并发度10的条件下,达到32.70 tx/s的吞吐量,平均提交延迟为304.25毫秒。这些结果表明,所提设计在明确暴露可信HFL在鲁棒性、计算、通信和账本开销方面权衡关系的同时,提供了一条可验证的跨层协调路径。

引言
跨机构数据协作持续扩展,而集中式数据收集带来隐私和合规风险[1]、[2]。联邦学习(FL)通过将原始数据保留在本地、仅交换模型更新来缓解这些风险[3]、[4]。FedAvg确立了加权平均范式,FedProx和SCAFFOLD进一步优化了统计异质性和系统异质性下的优化过程[5]、[6]。然而,在开放或半开放环境中,协调者仍可能接收到投毒的、低质量的、过时的或搭便车的更新,而传统训练日志往往不足以重建异常全局模型是如何形成的[7]、[8]、[9]。

分层联邦学习在客户端与云之间引入了边缘聚合器,减少了广域通信并分布了计算任务[10]。这一额外的层级也创建了一个新的信任边界。恶意客户端可能污染边缘输入;边缘侧的准入错误、聚合失真或记录不一致可能向上传播并影响全局模型。因此,HFL既需要训练时的鲁棒性,也需要事后可解释的证据来说明哪些更新被准入、边缘模型是如何形成的、以及哪些记录支持了有争议的全局模型。

许可式区块链适合身份管理、访问控制和治理,而DAG风格的账本则适合并发更新注册[11]–[19]。现有研究通常分别处理鲁棒聚合、隐私保护验证、区块链溯源或异质协作。很少有研究同时定义清晰的链上/链下边界、执行边缘侧信任筛选、应用分层鲁棒聚合,并保留客户端-边缘-全局证据链[20]–[23]。鲁棒聚合不能替代溯源,不可变的记录也不能使统计上恶意的更新变得良性。

针对上述差距,我们将高频更新元数据放置在DAG层,将身份治理和边缘/全局承诺锚定在许可式联盟链上,并将两者与信任感知的准入和跨层审计相结合。主要贡献如下:

- 我们设计了一种具有明确链上/链下边界的混合账本。原始数据和完整模型更新保留在链下;DAG层注册客户端更新的哈希和元数据,而联盟链存储治理记录和边缘/全局承诺。
- 我们开发了一种基于信誉、时效性、根模型一致性和贡献质量的四维有界信任模型。被准入的更新进一步通过中位数范数裁剪以及坐标级截断均值与信任-样本加权平均的混合方法进行保护。
- 我们构建了客户端-边缘-全局承诺映射和验证程序,在不泄露原始数据或完整更新的情况下,将身份、轮次、准入决策、聚合输入和模型版本绑定在一起。
- 我们在三个数据集、20/50/100个客户端、三种随机种子、多个最新的信任感知和鲁棒基线方法、多种客户端级攻击、自适应信誉规避、参数敏感性、通信计量以及实测Hyperledger Fabric原型上进行了统一评估。

小节片段

联邦学习与分层联邦学习

对于具有本地数据集$D_i$的客户端$i$,经典的FedAvg根据样本大小聚合本地模型:$w^{t+1} = \sum_{i=1}^{N} \frac{|D_i|}{\sum_{j=1}^{N} |D_j|} w_i^{t+1}$。FedProx和SCAFFOLD缓解了异质优化和客户端漂移问题[5]、[6],但传统FL服务器仍然是一个集中的协调点。HFL插入了一个边缘层。对于连接到边缘$k$的客户端集合$C_k$,$w_k^{t+1} = \sum_{i \in C_k} \omega_i^t w_i^{t+1}$,$w_g^{t+1} = \sum_{k=1}^{M} \varpi_k^t w_k^{t+1}$。该拓扑减少了面向云的流量,但使边缘准入和聚合成为信任边界的一部分。

总体架构

目标场景包含多个组织、异构终端和多个边缘域。设计原则是原始数据保留在本地、模型聚合是分层的、训练决策是信任感知的、结果是可审计的。图1展示了该架构。在功能上,系统包含数据层、学习层和可信控制层。训练拓扑包含客户端、边缘聚合器和云聚合器。DAG元数据账本记录……

设计概述

该机制遵循四个原则:功能分离、分层控制、动态筛选和协作治理。高频更新注册、身份治理、策略发布和结果锚定不被强制放入单一账本。客户端执行本地训练和签名更新提交;边缘节点对候选者排序、抑制异常更新并在本地聚合;云执行跨边缘聚合。图2概述了该过程。

认证与任务发布

训练前,客户端……

跨层承诺映射

审计链包含客户端更新、边缘聚合和全局模型的承诺。设$H(\cdot)$为抗碰撞哈希函数,$\|$表示规范连接。客户端承诺为$h_i^t = H(g_i^t \| m_i^t)$。边缘承诺将有序的已准入客户端承诺、边缘更新和边缘元数据绑定在一起:$h_k^t = H(\{h_i^t\}_{i \in A_k^t} \| \text{hash}(\hat{g}_k^t) \| m_k^t)$。全局承诺将有序的参与边缘和生成的全局模型绑定在一起:$h_g^t = H(\{h_k^t\}_{k \in E^t} \| \text{hash}(w^{t+1}) \| m_g^t)$。这种结构使得授权主体能够……

环境与协议

本地形式实验使用Python 3.13.3、PyTorch 2.7.1+cu128、TorchVision 0.22.1+cu128、NumPy 2.4.4、Pandas 3.0.5和Scikit-learn 1.9.0,在NVIDIA GeForce RTX 4070 Laptop GPU上运行。MNIST、Fashion-MNIST[38]和CIFAR-10使用通用的SmallCNN系列网络,输入为一或三通道,以减少架构引入的变异。补充的实际攻击实验在单独的远程环境中完成,使用Python 3.8.5、PyTorch 2.0.1+cu118和Quadro RTX 5000;由于该……

条件鲁棒性与数据集依赖性

实验显示出明显的依赖数据集和攻击类型的行为。所提方法在MNIST的标签翻转、搭便车、合谋和女巫攻击场景下保持稳定,而在Fashion-MNIST和CIFAR-10上相对排名有所不同。后门攻击结果进一步表明,通用信任准入和触发器特定检测解决的是不同的问题。根样本代表性、模型容量、统计异质性和攻击可分离性都可能影响观察到的排名。因此……

结论

本文提出了一种基于混合DAG-联盟链账本的分层联邦学习信任协调与审计机制。该设计结合了认证任务发布、四维信任评分、动态准入、中位数范数裁剪、混合鲁棒边缘聚合以及客户端-边缘-全局审计承诺。高频客户端元数据由DAG层组织,而身份治理和关键的边缘/全局承诺则锚定在……

CRediT作者贡献声明

熊焕良:撰写-审阅与编辑,方法论,概念化。陈斌:撰写-审阅与编辑,撰写-初稿,方法论。武沧海:撰写-审阅与编辑,验证,指导。夏镇宇:撰写-审阅与编辑,可视化,数据管理。

利益冲突声明

所有作者声明不存在利益冲突,不存在可能影响研究结论公正性的财务、职业或个人利益。

致谢

本研究得到江西省自然科学基金(批准号:20252BAC240212)和江西省密码与密码技术重点实验室(编号:JXWAYKT202502)的支持。

熊焕良 | 陈斌 | 武沧海 | 夏镇宇
江西农业大学 计算机科学与工程学院,江西南昌,330045,中国
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号