《Machine Learning and Knowledge Extraction》:AI-Based Electricity Theft Detection System: A Comparative Performance Analysis of Machine Learning and Deep Learning Models
编辑推荐:
窃电是全球性挑战,给电力公司造成巨大损失,全球年收入损失估计达893亿美元。先进计量基础设施(AMI)和智能电表的广泛部署使得获取消费者大量高频消费数据变得更加容易。这种数据可及性使公司能够采用数据驱动策略进行窃电检测(ETD)。本综述研究了机器学习(ML)和
窃电是全球性挑战,给电力公司造成巨大损失,全球年收入损失估计达893亿美元。先进计量基础设施(AMI)和智能电表的广泛部署使得获取消费者大量高频消费数据变得更加容易。这种数据可及性使公司能够采用数据驱动策略进行窃电检测(ETD)。本综述研究了机器学习(ML)和深度学习(DL)模型在使用三个基准数据集进行窃电检测时的表现。所介绍的三个数据集分别是中国国家电网公司(SGCC)数据集、开放能源数据倡议窃电检测数据集2022(OEDI/TDD2022)以及爱尔兰能源监管委员会智能计量项目(CER SMP)数据集。研究人员对27个模型进行了全面评估,涵盖经典机器学习分类器、树集成方法、异常检测技术、循环神经网络、卷积网络、基于Transformer的编码器以及联邦学习系统。每个模型均采用了关键的预处理方法,包括缺失值填充、归一化、特征工程以及使用SMOTE和LoRAS处理类不平衡问题。研究结果表明,在所有三个基准数据集上,深度学习方法的表现始终优于传统机器学习技术。经过LoRAS增强的CNN-LSTM模型在SGCC数据集上取得了最高的F1分数,达到97.7%。同时,联邦ConvGRU模型在OEDI/TDD2022上达到了97.8%的最高准确率。Transformer架构在平均类别上表现出最佳的整体性能,平均准确率为95.8%,平均F1分数为95.5%。解决类不平衡问题被视为最具影响力的因素,在SGCC数据集上,未增强与增强后的LSTM模型之间的F1分数差异高达18.7个百分点。本综述得出结论,将混合增强驱动的深度学习架构与隐私保护的联邦学习框架相结合,为设计窃电检测(ETD)系统提供了最具可扩展性和实用性的途径。研究界应将标准化的跨数据集基准测试以及计算复杂度的强制性报告作为优先事项。
2. 材料与方法
本节描述了用于评估窃电检测(ETD)系统的具体方法,从窃电的定义与分类开始,随后介绍数据集描述、数据预处理步骤、特定模型设计及其详细数学公式,最后阐述了在所有三个数据集上评估ETD模型性能所需的评价指标。
2.1. 综述方法与模型选择流程
为保证所选研究与模型分析的透明度和可重复性,本综述遵循了PRISMA 2020指南的系统筛选流程。最终纳入的23项主要研究贡献了27个独特的模型评估,这些评估被精心挑选以代表当前ETD研究的全谱系方法,而非列举所有已发表模型。选择涵盖了七个模型家族:经典统计分类器、基于树的集成方法、无监督异常检测方法、循环神经网络、卷积架构及其与循环结构的组合、基于Transformer的模型,以及关注隐私保护和标注效率的框架。
2.2. 窃电的分类与特征
理解不同类型的窃电对于构建有效的检测系统至关重要。窃电方法通常可分为物理篡改、绕过电表和网络攻击。随着技术演进和计量数字化,新的网络攻击手段不断涌现。最近的分类已将窃电技术类型扩展到包括基于时间模式的欺诈,例如因随机因素导致的用电量下降以及反向读数序列等。
2.3. 数据集特征
本综述考察了三个公开可用的数据集,它们在属性、采样率和窃电检测研究适用性方面差异显著。中国国家电网公司(SGCC)数据集包含42372名消费者超过1035天的日用电日志及经现场核查的窃电标签,因其真实的标签真值而具有最高的生态效度。OEDI/TDD2022数据集是通过对16种消费者类别的每小时用电模式应用合成窃电生成器创建的,提供了更精细的时间分辨率和多类别评估框架。爱尔兰能源监管委员会智能计量项目(CER SMP)数据集包含约3600户家庭每半小时的用电数据,没有预定义的窃电标签,适合注入合成攻击并应用无监督和半监督方法。
2.4. 窃电检测的数据预处理流程
一个稳健、可复现的数据预处理流程对于创建有效的窃电检测模型至关重要。该流程包含五个连续阶段:数据清洗与缺失值插补、归一化与缩放、特征工程、类不平衡缓解,以及训练-测试-验证集划分。数据清洗采用前向/后向填充、线性插值和三西格玛规则处理异常值。归一化使用最小-最大归一化或Z分数标准化。特征工程通过提取统计特征、差分特征、时间指示符和离散傅里叶变换(DFT)频域特征来丰富原始时间序列数据。针对严重的类不平衡问题,采用了四种缓解策略:合成少数过采样技术(SMOTE)、局部随机仿射阴影采样(LoRAS)、代价敏感学习以及针对Transformer的合成异常生成方法。
2.5. 机器学习分类器
本小节描述的每个分类器均在至少一个基准数据集上进行了评估。逻辑回归提供了一个简单的概率基线。支持向量机(SVM)寻找最大化正常与窃电类别间间隔的超平面,但在高维时序特征上表现不佳。决策树(DT)通过递归划分特征进行分类,易于过拟合。随机森林(RF)通过集成多个决策树提高了准确性和稳定性。孤立森林是一种无监督异常检测算法,利用递归随机分割识别异常点。极限梯度提升(XGBoost)通过逐步添加弱学习器树来最小化正则化目标函数。单类支持向量机结合高斯混合模型(Meta-OCSVM+GMM)引入了一种两步无监督方法,结合了原型压缩与集成模型用于零日窃电检测。
2.6. 深度学习架构
深度学习架构允许从原始消费数据中自动提取特征。长短期记忆网络(LSTM)通过门控机制解决长期依赖问题。门控循环单元(GRU)简化了LSTM结构,合并了遗忘门和输入门。一维卷积神经网络(CNN)通过学习卷积核来识别局部时序特征。双分支LSTM-TCN加DCNN架构通过一个时序卷积网络(TCN)分支捕获短期异常,并通过一个深度CNN(DCNN)分支识别长期趋势偏差。结合LoRAS增强的CNN-LSTM模型将CNN层与LSTM层串联,并使用LoRAS进行数据增强。双向GRU-LSTM架构(BiGRU-BiLSTM)在两个时间方向上处理消费序列。RNN-BiLSTM-CRF集成框架结合了标准RNN与BiLSTM,并使用条件随机场(CRF)输出层进行结构化序列标注。基于Transformer的检测模型利用自注意力机制建模序列消费数据,有效捕捉任意两个时间步之间的依赖关系。