FedWKD:面向物联网时序预测的融合知识蒸馏加权聚合联邦学习方法

《Internet of Things》:FedWKD: Federated learning weighted aggregation with knowledge distillation for IoT forecasting

【字体: 大 中 小 】 时间:2026年01月03日 来源:Internet of Things 7.6

编辑推荐:

  摘要:联邦学习(Federated Learning, FL)已成为一种在不直接访问集中式数据集的情况下进行去中心化机器学习(Machine Learning, ML)训练的有效方案。然而,传统FL方法在处理异构、非独立同分布(non-IID)的物联网(IoT

  
摘要:联邦学习(Federated Learning, FL)已成为一种在不直接访问集中式数据集的情况下进行去中心化机器学习(Machine Learning, ML)训练的有效方案。然而,传统FL方法在处理异构、非独立同分布(non-IID)的物联网(IoT)时序传感器数据时,易出现客户端过拟合与模型漂移(client-level overfitting and model drift),以及在经典聚合过程中发生服务端发散(server divergence)。本文提出一种新颖方法,通过在各客户端模型的蒸馏软预测(称为logits)与服务端模型蒸馏logits之间引入双向知识蒸馏(Knowledge Distillation, KD)。具体而言,客户端在本地模型训练时使用接收到的服务端logits进行KD正则化,而服务端则利用接收到的客户端logits为每个通信轮次构建加权全局聚合分数。该方法避免了客户端的额外本地训练开销,同时通过每轮基于服务端加权的方式改善了非IID数据下的全局聚合效果。实验结果表明,相比CADIS和FEDGKD等方法,该方法在损失(loss)、误差(error)及执行时间(execution time)指标上均有所改善,具有更好的泛化能力,并能最小化客户端漂移(client drift)与偏差(bias)。
论文解读:《FedWKD: Federated learning weighted aggregation with knowledge distillation for IoT forecasting》
一、研究背景与意义
传统集中式机器学习需汇聚大量用户数据至中心服务器,在智慧城市与物联网(Internet of Things, IoT)场景下引发隐私泄露与可扩展性问题。联邦学习(Federated Learning, FL)允许分布式客户端就地训练模型并仅上传模型参数至中心服务器聚合,保护了数据隐私。然而,真实IoT环境产生的时序数据具有时间依赖性与空间异质性,呈现典型的非独立同分布(non-Independent and Identically Distributed, non-IID)特征。在此情形下,标准FL聚合算法(如FedAvg)易导致客户端模型过拟合与漂移(client drift)、全局模型收敛缓慢甚至发散(server divergence)。已有结合知识蒸馏(Knowledge Distillation, KD)的FL方法多局限于单向logit传递或未将logit相似度用于加权聚合,且多数针对分类任务,对时序回归/预测(forecasting)任务关注不足。为此,研究人员Bouchra Fakher, Mohamed El Amine Brahmia, Ismail Bennis及Abdelhafid Abouaissa提出FedWKD(Federated Weighted Knowledge Distillation),发表于《Internet of Things》,通过双向logit传递与基于Jensen–Shannon散度(Jensen–Shannon Divergence, JSD)的谱聚类加权聚合,解决非IID时序IoT数据下FL的预测性能退化问题。
二、主要关键技术方法概述
研究人员采用基于CU-BEMS建筑能耗时序数据集由深度生成对抗网络(Deep Generative Adversarial Network, GAN)合成100个异质non-IID客户端数据集,按8:2划分为训练/测试集,批次大小1024。基模型为两层256单元LSTM(Long Short-Term Memory network),输入层9神经元、tanh激活、输出层ReLU单神经元,优化器为Adam、学习率10?4、Dropout 0.2、MSE损失。FedWKD核心流程为:(1) 客户端用含MSE预测损失、logit匹配KD损失(L2)及L1正则项的复合损失函数本地训练,上传更新后模型权重wkt+1与本地logits zkt;(2) 服务端对客户端logits做softmax后计算两两JSD构建相似度矩阵,经归一化拉普拉斯矩阵特征间隙法(spectral gap)确定最佳簇数做谱聚类(spectral clustering),按簇内平均JSD距离算归一化不规则度并赋予簇与客户端基于数据量大小的加权系数αk;(3) 服务端对客户端模型权重与logits分别做αk加权平均得全局模型wt+1与聚合logitsz?t,下发下一轮使用。对照基线含FedLbs、FedCSA及KD方法CADIS与FEDGKD,评估指标为MSE Loss、SMAPE、RMSE、MAE及置信区间,通信轮次100轮,参与客户端数10–90可变。
三、研究结果
3.1. 与常规FL方法(FedLbs、FedCSA)集成对比结果
研究人员将FedWKD分别嵌入FedLbs与FedCSA形成FedLBSKD与FedCSAKD变体,在10–90客户端规模下运行100轮。结果显示:随客户端增多(>50),单独FedLbs与FedCSA性能下降明显,而集成FedWKD后SMAPE、RMSE、MAE与MSE Loss均显著降低且保持稳定。说明FedWKD中KD机制可有效抑制non-IID导致的训练不稳定,促进全局模型泛化,弥补单纯改进聚合或客户端选择策略之不足。
3.2. 与现有KD方法(CADIS、FEDGKD)对比结果
在相同设置下比较FedWKD、CADIS与FEDGKD。FedWKD在所有客户端规模下取得最低MSE Loss且随客户端增加波动极小,证明鲁棒性强;CADIS在>30客户端时Loss明显升高。SMAPE方面FedWKD在低客户端数优势显著,FEDGKD与CADIS存在振荡。RMSE与MAE结果均显示FedWKD持续低于两基线,尤其低客户端时差距大,表明其更好避免过拟合并减小预测偏差。结论:基于JSD谱聚类加权与双向logit KD较已有KD-FL方法具更优精度与扩展性。
3.3. 置信区间(Confidence Interval)分析
完成100轮通信后,FedWKD四项指标(Loss、SMAPE、RMSE、MAE)置信区间均窄于CADIS与FEDGKD,尤其RMSE与SMAPE。CADIS区间最宽,FEDGKD中等。表明FedWKD预测方差低、重复运行稳定性高,对参与客户端数量变化不敏感,学习过程收敛稳定。
3.4. 执行时间与内存消耗比较
100轮训练下,FedWKD峰值内存4804.77 MiB、单轮循环耗时约1365秒;CADIS内存5103.39 MiB、1606秒;FEDGKD内存4831.19 MiB但耗时超1小时54分。FedWKD在计算效率与内存间取得较好平衡,具更佳可扩展性。
四、讨论与结论翻译(总结)
研究人员指出,FedWKD通过客户端本地logits与服务端聚合logits间的双向知识蒸馏,并结合JSD矩阵谱聚类确定加权系数,同时以L1正则保留客户端个性,有效解决了传统FL在非IID IoT时序数据下的客户端漂移与全局模型发散问题。实验证实其在MSE Loss、SMAPE、RMSE、MAE上优于CADIS与FEDGKD,置信区间更窄,执行效率较高,适用于多建筑协同能耗预测等隐私保护IoT场景。未来工作将关注实时FL时序处理中的客户端掉线/权重同步问题,以及引入异常检测与重加权策略提升系统在通信故障或局部更新损坏时的自愈能力(system resilience)。
结论翻译:将知识蒸馏(Knowledge Distillation, KD)融入联邦学习(Federated Learning, FL)框架是应对非独立同分布(non-IID)数据挑战、改善模型性能的关键。研究人员所提方法利用各客户端模型的蒸馏软预测(logits)在服务端进行聚合加权,权重由基于logits的Jensen–Shannon散度(Jensen–Shannon Divergence, JSD)矩阵经谱聚类获得,并将所得服务端聚合logits回传客户端用于本地训练正则化。对比CADIS与FEDGKD的实验确认了该方法在损失(Loss)、RMSE、SMAPE及MAE上的优越性,展现出更佳准确率、泛化能力与智能建筑能耗预测稳定性。较窄置信区间表明低方差与高可靠性。FedWKD可直接应用于分布式IoT基础设施的协同智能电网管理或暖通空调(HVAC)控制,为可扩展、隐私保护的IoT赋能智慧基建能耗预测奠定基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号