《Applied Sciences》:A Federated Learning and Knowledge Distillation-Based Load Identification Algorithm Under Heterogeneous Model Condition
编辑推荐:
随着电力系统智能化与信息化的发展,负荷识别技术在智能用电中发挥着重要作用。虽然传统的集中式负荷识别方法能够提升模型精度,但不可避免地导致隐私泄露风险增加和通信成本高昂。为应对负荷识别领域中数据隐私保护、模型异构性和通信效率的挑战,本文提出了一种异构模型条件下基
随着电力系统智能化与信息化的发展,负荷识别技术在智能用电中发挥着重要作用。虽然传统的集中式负荷识别方法能够提升模型精度,但不可避免地导致隐私泄露风险增加和通信成本高昂。为应对负荷识别领域中数据隐私保护、模型异构性和通信效率的挑战,本文提出了一种异构模型条件下基于联邦学习(FL)和知识蒸馏的负荷分类算法。首先,利用马尔可夫随机场将测量数据转换为RGB图像,这不仅提供了更多信息,也满足了深度网络的需求,从而将实际的负荷识别问题转化为图像分类问题。随后,对提出的联邦学习框架进行了描述。每个客户端根据自身的计算能力和需求使用不同的图像分类网络进行识别。在本地训练中,采用微调策略,冻结特征提取参数,仅训练分类参数。通过引入公共数据作为蒸馏载体,每个客户端可以生成公共数据集的软标签来表示其自身数据的知识。在服务器端,通过聚合实现数据集之间的知识共享。软标签和训练后的参数均根据其对应的训练性能进行聚合。所提出的算法仅传输软标签和分类参数,能够确保用户隐私并减少通信流量。实验结果表明,与一些现有方法相比,所提出的算法在WHITED和PLAID数据集条件下提升了负荷识别性能。
论文解读:异构模型条件下基于联邦学习与知识蒸馏的负荷识别算法
负荷识别在智能用电、负荷管理及需求响应中具有重要作用,准确识别电气负载类型不仅能提升配电网运行效率,还能为用户提供能效分析、故障诊断和个性化能源服务。然而,传统负荷识别方法高度依赖集中式数据收集与建模,各用电终端采集的数据需上传至中心服务器进行训练,这种集中式范式不仅面临高昂的通信成本和较差的容错性,还极易引发数据隐私泄露和数据孤岛问题。近年来,联邦学习(FL)作为解决数据隐私问题的关键技术,允许参与方在不共享原始数据的前提下,通过共享模型参数或梯度进行协同训练。但现有基于FL的负荷识别方法仍存在不足:基于FedAvg的框架未考虑数据的非独立同分布(non-IID)特性;部分联邦负荷监测系统采用固定权重的模型参数聚合策略,忽略了边缘终端的异构性,导致资源受限客户端模型更新滞后,减缓全局收敛并增加识别误差;同时,FedAvg算法要求所有客户端使用同构模型,这一条件在终端和硬件多样化的实际环境中难以满足。近期,知识蒸馏(KD)技术被引入FL框架以解决模型同质性约束,该技术通过让学生模型拟合教师模型的输出概率分布,实现知识迁移。针对上述数据隐私保护、模型异构性和通信效率的挑战,研究人员在《Applied Sciences》期刊上提出了一种异构模型条件下基于FL和KD的负荷识别算法。该算法允许不同客户端根据自身计算能力和需求选择不同架构的深度网络进行本地训练,在保护隐私的前提下实现高效的协同学习,实验结果表明该算法能显著提升负荷识别性能,并有效降低通信流量。
研究人员开展的研究首先利用马尔可夫转移场(MTF)将一维负荷测量序列转换为二维RGB图像,将负荷识别问题转化为图像分类问题。随后构建了一个包含多个客户端的FL框架,客户端可选用在ImageNet上预训练的ResNet18、ResNet34或VGG16等异构网络。在本地训练中采用微调策略,冻结特征提取网络参数,仅训练并聚合分类参数,以加速训练并减少通信流量。具体而言,通过引入公共数据集作为蒸馏载体,各客户端生成该公共数据集的软标签以表征自身数据知识,并在服务器端基于宏F1分数进行加权聚合,实现知识共享;同时,对相同网络架构的模型参数进行分组聚合。该算法仅传输软标签和分类参数,能够确保用户隐私并显著降低通信开销。实验使用了WHITED和PLAID两个公开数据集,WHITED包含来自多个地区的家用及小型工业电器高频电压电流记录,选取其中7类负荷;PLAID采集自匹兹堡60多个家庭的30 kHz电压电流暂态波形数据,包含11类电器。实验设置6个客户端,其中客户端1和4采用ResNet18,客户端2和5采用ResNet34,客户端3和6采用VGG16,批量大小统一为32,优化器选用Adam,初始学习率为0.001,蒸馏温度参数设为2,共进行10轮FL通信。
在关键技术方法方面,该研究主要采用了以下几步核心步骤:利用MTF将一维负荷测量转换为RGB图像,以满足深度网络输入需求并丰富特征信息;采用基于ImageNet预训练模型的微调策略,冻结特征提取层参数,仅对最终全连接分类层进行训练;以公共数据集作为蒸馏载体,客户端通过温度缩放的softmax生成软标签,并利用KL散度计算蒸馏损失;服务器基于各客户端的宏F1分数对软标签进行加权聚合,并对相同架构的模型参数进行分组加权聚合。实验对比了微调全部网络参数、带架构分组的FedAvg方法、单训练方法以及FedMD方法,并采用Welch's t-test进行统计学显著性检验。
关于研究结果,原文分为三个部分进行了阐述。在“离线训练性能描述”部分,研究人员展示了ResNet18、ResNet34和VGG16三种模型的离线训练过程,训练集和验证集准确率在前两轮后显著提升,随后逐渐稳定,验证准确率介于0.93至0.975之间,其中基于VGG16的模型训练性能最佳,表明所提算法具有良好的收敛性,可用于实际场景。在“提出算法的负荷识别性能”部分,在WHITED数据集条件下,使用ResNet18和ResNet34的客户端四项评估指标均约为0.94,而VGG16表现最佳,指标接近0.97;混淆矩阵显示大多数负荷类别被正确分类,但LEDLight类别在部分客户端上分类效果较差,容易被误判为Charge。在PLAID数据集条件下性能有所下降,原因在于该数据集中部分类别样本量极少,存在数据不平衡问题,且训练数据与公共数据数量较少,待分类类别更多。在通信效率方面,由于仅上传少量分类参数和110.8 KB的软标签,相比传统集中式学习框架大幅降低了通信流量;总运行时间为3小时48分38.15秒,服务器聚合耗时为215.3秒,计算负载在可接受范围内。在“算法性能比较”部分,与微调全部网络参数相比,性能指标虽降低约4.5%,但通信流量和训练时间显著下降,更适应实际部署需求;与带架构分组的FedAvg方法相比,由于额外进行了软标签聚合,所提算法识别性能更优,且额外通信量仅为110.8 KB,计算复杂度与之相近;与单训练和FedMD方法相比,在WHITED数据集下四项指标分别提升约1%和0.5%,在PLAID数据集下准确率提升3.3%和1.3%,表明同架构模型参数聚合与基于公共数据集的联邦蒸馏能有效增强客户端模型的分类性能和泛化能力。Welch's t-test结果显示p值小于0.05,证实了性能差异具有统计学显著性。
在总结讨论部分,研究人员指出,该算法有效结合了联邦学习的隐私保护优势与知识蒸馏的灵活性,实现了异构架构客户端模型间的协同学习,实验证明其能显著提升负荷识别性能。研究人员也明确了方法的局限性:不同公共数据集下负荷识别精度存在差异,未来将开发有效的数据预处理技术以减少数据集中带来的性能波动;随着客户端规模和多样性增加,模型参数到达服务器的时间差会增大,未来将采用异步联邦学习来处理参数异步传输问题,并将进一步探讨全局软标签蒸馏与分组参数聚合之间的相互作用,以及宏F1分数在客户端本地私密数据上可能导致的虚高评价风险。研究结论为:本文提出了一种异构模型条件下基于FL和KD的负荷识别算法,它将联邦学习的隐私保护优势与知识蒸馏的灵活性有效结合,实现了不同架构客户端间的协同学习,实验结果证明该算法能显著提升负荷识别性能。