《Future Internet》:FairAI: A Blockchain- and IPFS-Enabled Framework for Verifiable Ethical Federated Learning with Proof-Based Approval-Gated Aggregation
编辑推荐:
联邦学习(Federated Learning, FL)能够在不集中原始训练记录的情况下实现协作模型训练,但其本身并不提供可验证的模型来源、可执行的公平性策略,或对聚合过程的可审计控制。本文提出了FairAI——一种基于区块链与星际文件系统(InterPlan
联邦学习(Federated Learning, FL)能够在不集中原始训练记录的情况下实现协作模型训练,但其本身并不提供可验证的模型来源、可执行的公平性策略,或对聚合过程的可审计控制。本文提出了FairAI——一种基于区块链与星际文件系统(InterPlanetary File System, IPFS)的框架,将每个局部模型视为一个受治理的工件(governed artifact),并与性能和群体公平性指标、内容标识符(Content Identifier, CID)、清单(manifest)、Groth16证据以及智能合约决策相关联。只有链上审批通过、并随后通过其注册CID完成检索与验证的模型,才有资格参与聚合。主要的真实数据实验采用了Adult和COMPAS数据集,在独立同分布(IID)及联合标签/受保护群体非独立同分布(non-IID)划分下进行,使用十对配对随机种子,对标准FedAvg、事后公平性评估、聚合前公平性策略门控以及FairFed进行了比较。在异质性Adult数据下,策略门控将人口统计均等差距从0.0273降至0.0127,而准确率从0.7740降至0.7629。在异质性COMPAS数据下,等化几率差距从0.2262降至0.1226,而准确率从0.6495降至0.5809;配对准确率与等化几率差异在Holm校正后仍然显著,校正后p值分别为0.0318与0.0491。额外的有限实验评估了小型多层感知器、策略阈值敏感性、逻辑客户端扩展、投毒、逐坐标中位数聚合、两个原生Kubo/IPFS对等节点、V2 Groth16验证以及智能合约开销。三十个有效V2证明被接受,六个不一致案例被拒绝,直接的Solidity验证在每次测量交易中消耗348,811 gas。一次完整路径的虚假指标实验表明,证明能够验证所提供值的阈值合规性与工件绑定,但无法确立这些值由私有数据正确推导而来。当已批准的工件变得不可用时,FairAI在聚合前取消该轮,并且不发布任何全局模型。
**论文解读:FairAI——基于区块链与IPFS的可验证道德联邦学习治理框架**
**一、研究背景与问题提出**
联邦学习(Federated Learning, FL)允许多个数据持有方在不共享原始训练数据的前提下协作训练共享模型,在医疗、金融、物联网(Internet of Things, IoT)、信息物理系统(Cyber-Physical Systems, CPS)及边缘智能等跨机构与数据敏感场景中具有重要价值。然而,实际FL系统的可靠性并不仅仅由数据本地性决定。异构客户端数据、通信与计算约束、不可靠的参与、聚合失败、隐私风险以及有限的机构间信任,持续影响着联邦系统的稳定性。当参与者分属不同组织且不能假定其完全可信时,上述问题进一步加剧。
现有研究已在公平性感知学习、区块链协调、内容寻址存储、可验证计算与鲁棒聚合等方面取得进展,但鲜有工作将这些机制作为统一的模型工件治理流程进行集成与实证评估。已有的公平性方法通常介入训练或聚合环节,区块链框架多聚焦于协调与信任管理,零知识证明(Zero-Knowledge Proof, ZKP)研究多关注特定计算声明的验证,而鲁棒聚合方法则主要针对恶意更新。这些机制单独存在时,均无法覆盖从局部模型产生到全局模型纳入的完整路径。具体而言,现有体系通常不能明确回答以下问题:提交了哪些模型与支撑工件?适用何种策略?证明与工件绑定是否被接受?谁授权了该决策?已批准的模型是否成功检索?其是否最终影响了全局模型?
针对上述研究空白,本文提出了FairAI框架,将每个局部模型视为受治理的工件而非可自动聚合的更新,通过显式的策略、证明、授权、可用性与聚合状态,实现端到端的可审计联邦学习治理。
**二、研究内容、结论与意义**
研究人员设计并实现了一个基于区块链与IPFS的公平性门控联邦学习框架。逻辑客户端在本地分区上进行训练与评估,计算效用与群体公平性指标,并将派生的模型、指标、公共证明输入、证明对象、元数据及清单通过内容寻址存储发布。治理层记录内容标识符(Content Identifier, CID)、验证与策略状态、审批决策及生命周期事件。主流程从链上审批集合构建聚合集,通过注册CID检索每个已批准模型,验证返回内容与清单,并仅对成功检索且验证通过的模型应用配置的聚合算子。该框架在真实数据集Adult和COMPAS上进行了系统评估,并将系统行为与治理工作流的成本和性能进行了分离分析。
研究表明,聚合前审批门控与公平性感知加权在异构客户端数据下会产生不同且依赖于数据集和度量指标的公平性—效用操作点。证明与失败实验明确了两项关键系统性质:当前证明关系仅验证所提供值的策略合规性和工件上下文绑定,而不验证其正确推导过程;当必需的已批准工件无法检索或验证时,FairAI会在聚合前取消该轮,不产生新的全局模型。该框架将模型资格、来源、授权、可用性与纳入过程显式化,为联邦学习提供了可审计的治理机制。
**研究发表于《Future Internet》。**
**三、主要关键技术方法**
该研究使用了以下核心技术方法:
1. **联合标签/保护群体狄利克雷(Dirichlet)分区**:构造非独立同分布(non-IID)客户端数据分布,模拟异构场景。基于Adult(按性别为保护属性)与COMPAS(按种族为保护属性)两个公共二分类数据集,数据来源为公开数据集,无新收集参与者数据。
2. **Groth16零知识证明(ZKP)**:在BN254椭圆曲线上实现版本化V2资格电路,对提交的量化指标与阈值进行范围约束与策略比较,支持链下验证加EIP-712签名决策以及Solidity直接验证。
3. **区块链与星际文件系统(IPFS)集成**:使用原生Kubo/IPFS对等节点进行内容寻址存储,智能合约(Solidity,Hardhat网络)负责参与者注册、轮次生命周期、审批状态与全局发布控制。
4. **统计推断方法**:配对t检验、Wilcoxon符号秩检验、Holm校正、配对Cohen's d、百分位自助(bootstrap)置信区间(10,000次重采样)。
5. **攻击模拟**:标签翻转、符号翻转、随机权重、伪造指标、恶意签名者、批准工件不可用等对抗与故障场景测试。
**四、研究结果**
**4.1 聚合前公平性政策门控**
该部分通过在Adult和COMPAS数据集上的10个配对种子的IID与异构分区实验,比较标准FedAvg(B0)、事后公平评估(B1)与预聚合策略门控(B3)。IID条件下的差异在Holm校正后均不显著。在异构Adult条件下,B3将人口统计均等差距从0.0273降至0.0127,等化几率差距从0.0252降至0.0169,但准确率下降0.0111,宏观F1下降0.0523;配对差异未在校正后保持显著。在异构COMPAS条件下,策略门控效果最为明显:准确率从0.6495降至0.5809(差异0.0686,校正后p=0.0318),等化几率差距从0.2262降至0.1226(差异0.1036,校正后p=0.0491);宏观F1下降0.1449,而子群准确率差距增加0.0513。研究结论为:策略门控改变了公平性—效用的操作点,而非同时改善所有指标。
**4.2 与FairFed服务器加权比较**
B5配置实现了FairFed服务器加权算法,使用带符号等机会差异和评估规模加权准确率的状态递推。在10个配对种子、10个客户端与5个通信轮次的实验下,IID条件下B5与B0接近,校正后均不显著。异构Adult条件下,B5将等机会差距从0.0306降至0.0112,但准确率下降0.1278,人口统计均等差距从0.0299增至0.0494;由于种子间变异较大,差异未保持显著。异构COMPAS条件下,B5将人口统计均等差距从0.2015降至0.0488,等化几率差距从0.2148降至0.0600,准确率下降0.1039,宏观F1下降0.2179;准确率、宏观F1、人口统计均等、等化几率和子群准确率差距的配对差异均保持显著(校正后p值分别小于0.05)。结论为:硬性准入与公平感知加权产生不同且依赖于指标的操作点,无统一优劣。
**4.3 策略敏感性、异质性与代表性**
策略敏感性套件使用10个客户端、5轮、10个种子的异构Adult分区,评估宽松、提交、中等和严格四种策略配置文件。平均全轮准入率从宽松的0.594降至严格的0.072,最终轮准入率从0.55降至0.07。严格策略的平均准确率为0.5007,宏观F1为0.3165,子群准确率差距为0.1956,变异较大。异质性诊断套件在IID及两个联合狄利克雷条件下进行:归一化标签熵从IID的0.8093降至α=0.5时的0.6741和α=0.1时的0.5549;保护群体熵相应从0.9087降至0.7428和0.6041。在两个非IID条件下,较高本地少数群体份额组的观察准入率更高、排除样本分数更低(α=0.1时准入率0.62对0.44,排除样本分数0.0966对0.1862)。这些为描述性诊断,不构成因果证据或额外资格条件。
**4.4 模型族与逻辑客户端敏感性**
MLP套件使用5个配对种子、10个客户端、5轮实验。一个16单元ReLU隐藏层的多层感知器在B0、B3和B5之间进行比较。种子间变异远大于逻辑回归实验,无配对比较在校正后保持显著。逻辑客户端扩展套件在异构Adult条件下将客户端数从3扩展到50(5个种子、3轮),FedAvg准确率保持在0.7701至0.7722之间;FairFed运行时间从3个客户端的51.3 ms增加到50个客户端的220.1 ms;在50个客户端时,FairFed的等机会差距为零,但同一运行中宏观F1为0.4299,子群准确率差距为0.1962。
**4.5 完整路径FairAI执行**
基础设施矩阵在5和10个逻辑客户端下运行B2、B4和B7三种方法,每个配置3个种子,共18次隔离执行和54个预定轮次。攻击矩阵在4种模型更新条件下运行B4和B7完整治理路径,共24次执行和72个预定轮次。执行结果显示,原生Kubo发布与检索、工件验证、Groth16处理、EIP-712决策、隔离合约状态、链上审批、已审批CID检索、聚合、发布、取消与归档能够作为一个工作流运行。该套件提供功能性和描述性系统证据,而非推断性方法排名。
**4.6 Groth16验证、验证器安全性、Gas与阶段开销**
V2 Groth16基准测试对30次见证生成、证明生成和链下验证进行了重复测量:30个有效证明全部被验证,6个畸形或上下文不一致的负案例全部被拒绝。验证器安全性矩阵记录了14个预期拒绝,覆盖未授权签名、签名/绑定上下文变更、过期、撤销和重放/随机数重用;一个单独的授权密钥泄露场景产生了一个被接受的错误决策。直接Groth16验证消耗348,811 gas/交易;模型提交的gas在3、5和10个参与者的批次中为1,448,714、1,426,941和1,440,706 gas;全局发布相应为253,629、258,266和279,345 gas。独立分阶段测量显示:平均本地训练/评估/公平性计算为0.995/0.573/0.154 ms;平均工件序列化/Kubo添加/消费者检索/固定为0.025/7.444/5.478/3.142 ms;平均EIP-712签名/合约提交/聚合为1.843/5.569/0.121 ms。
**4.7 Kubo/IPFS性能与恢复**
两个独立的Kubo 0.29.0仓库通过环回连接进行实验。每种负载条件使用30个新对象。所有检索内容均与序列化负载逐字节一致。1 MiB对象的平均添加/冷检索/温检索/pin延迟分别为14.87/8.48/6.35/4.48 ms;100 KiB对象为8.67/6.79/6.36/1.82 ms。并发1 MiB检索的聚合吞吐量从并发1的18.44 MiB/s增加到并发10的43.38 MiB/s,在并发20时略有下降。30次恢复试验中,消费者在发布者中断期间平均用5.92 ms检索已固定对象;发布者API在108.78 ms后就绪;完整重启加发布和字节验证检索新对象平均需要240.10 ms,身份保持稳定。
**4.8 投毒与互补鲁棒聚合**
5种子算法投毒套件使用10个客户端、5轮、{α=0.1}、20%恶意客户端比例,比较FedAvg(B0)与逐坐标中位数聚合(B6)。在随机权重条件下,B6将平均准确率提高0.1285(相对B0),配对效应量较大,但校正后不显著。在标签翻转和符号翻转条件下,B6降低了平均等化几率差距但未改善平均准确率。完整路径攻击矩阵显示,所有测试的恶意符号翻转提交均通过了配置的公平性门控,因为其指标是在参数被替换之前基于真实评估计算的。结果表明:公平性准入和鲁棒聚合解决的是工作流的不同阶段,两者互补而非替代。
**4.9 信任边界与失败关闭结果**
伪造指标实验中,一个真实模型被训练和评估,随后其提交的指标向量被替换为策略通过值。该自洽声明在完整B4路径上被批准并聚合,尽管其指标与本地真实计算值不同。不可用工件实验中,3次提交完成B4治理路径后,一个已批准模型变得不可用。在聚合开始之前,主流程查询已批准集合并尝试检索失败,轮次转换为“已取消”,未发布全局模型。这两项实验直接划定了证明有效性、指标推导诚实性和工件可用性之间的边界。
**4.10 三客户端工作流一致性检查**
固定种子(1001)的三客户端综合工作流被执行3次。3次执行均批准2个客户端、拒绝1个客户端,全局准确率为0.938889,人口统计均等差距为0.144269;运行时间在3.562至4.323 s之间。该检查验证了一个配置工作流的可重复性,而非独立统计泛化。
**4.11 主要发现的总结**
研究结果支持六项主要发现:预聚合公平性策略改变客户端参与和公平性—效用操作点,其中异构COMPAS条件下的策略门控权衡得到了最强统计支持;硬性准入和FairFed服务器加权产生不同且依赖于数据集和指标的结局,两者均非普遍占优;收紧策略阈值会降低参与度,并可能在预测行为恶化时伴随较小的群体差距;完整的FairAI工作流在本地环境中具有可测量的证明、存储、合约和检索开销;逐坐标中位数聚合在5种子投毒套件的随机权重条件下降低了测量到的随机权重损害,但在其他攻击类型下行为不同;信任边界实验将证明和审批与度量推导和工件可用性分离:自洽的伪造指标因满足编码和外部绑定语句而被批准,而不可用的已批准工件则阻止了聚合和全局发布。
**五、讨论与结论**
讨论部分指出,FairAI的定位是一个模型工件治理框架,其贡献不在于声称已批准的模型自动公平、隐私、诚实或良性,而在于提供一个可审计的机制来控制模型纳入,并在创建新全局模型前检查该控制的后果和失败点。公平性干预在客户端异质性条件下最为关键;单一公平性度量无法概括干预效果,人口统计均等、等机会、等化几率和子群准确率编码了不同的属性,必须与预测效用联合解释。策略阈值是参与度的操作性控制。证明语义边界明确:当前证明关系验证所提供值的策略合规性和工件上下文绑定,但不验证其正确推导过程。签名路径验证授权、域和重放控制,但授权签名者的诚实性仍是独立信任问题。鲁棒聚合与公平性治理互补。隐私保障限于原始记录本地性,不包含针对成员推断、模型反演和元数据分析的正式隐私机制。
研究结论:本文提出了FairAI,一个用于公平性门控联邦学习的治理模型工件框架。FairAI在单一可审计生命周期中连接了本地模型生成、内容寻址发布、版本化策略评估、Groth16证据、授权智能合约决策、基于CID的检索、选择性聚合和全局发布。局部模型仅在满足治理谓词且已批准工件通过注册CID被成功检索和验证时,才影响全局更新。该框架显式化了联邦学习中的模型资格、来源、授权、可用性和聚合纳入阶段。未来研究方向包括:将证明关联的治理从提交的策略合规性扩展到可验证的指标推导和模型—数据一致性;集成更强的隐私和对抗性安全保护;以及在真实机构边界环境中评估该框架。