基于多模态强化学习的电力系统零信任架构访问控制模型(ZTNA-MMRL: Zero-Trust Network Access with Multi-Modal Reinforcement Learning)

《Alexandria Engineering Journal》:A multimodal reinforcement learning-based access control model for power systems under zero-trust architecture

【字体: 大 中 小 】 时间:2026年03月16日 来源:Alexandria Engineering Journal 6.4

编辑推荐:

  摘要—随着电力系统数字化程度加深,传统边界防御及静态访问控制机制难以应对高级持续性威胁(APT)与内部攻击,且现有零信任(Zero-Trust)方案多依赖单一数据源与固定规则,缺乏动态自适应能力。本文提出一种基于多模态强化学习(Multi-Modal Rein

  
摘要—随着电力系统数字化程度加深,传统边界防御及静态访问控制机制难以应对高级持续性威胁(APT)与内部攻击,且现有零信任(Zero-Trust)方案多依赖单一数据源与固定规则,缺乏动态自适应能力。本文提出一种基于多模态强化学习(Multi-Modal Reinforcement Learning, MMRL)的零信任网络访问(Zero-Trust Network Access, ZTNA)访问控制模型ZTNA-MMRL,用于电力信息系统。该模型由三部分构成:(1)基于GraphKAN(Graph Kolmogorov–Arnold Network)的异构多关系图威胁感知模块,融合SCADA时序、网络流量、热成像及设备拓扑三类关系(物理/逻辑/因果)进行节点级威胁概率预测;(2)基于Mixture-of-Experts Decision Transformer(MoE-DT)的上下文感知访问控制决策机制,含安全、效率与合规三个专家网络及双层门控选择;(3)五维自适应信任度量机制(身份/行为/上下文/声誉/风险),通过变分自编码器(Variational AutoEncoder, VAE)检测行为异常并沿信任网络传播。研究人员在IEEE 118节点及真实电网SCADA、IEC 61850/DNP3/Modbus流量、热成像、审计日志与CVE/MITRE ATT&CK数据集上验证,所提模型达到94.7%检测准确率、F1分数0.823、信任评估RMSE 0.142、响应时间33.1 ms,较基线方法(如ZT-Defense、Trust-RBAC、ABAC等)显著提升,且在FGSM/PGD/C&W对抗攻击下保持较高鲁棒性。结果表明多模态融合、异构图注意力与专家混合决策可有效支撑电力监控系统实时零信任访问控制。
论文解读:基于多模态强化学习的电力系统零信任架构访问控制模型(ZTNA-MMRL)
研究背景与立项依据
现代电力系统正向智能电网(Smart Grid)演进,监控与数据采集系统(SCADA)、广域测量系统(WAMS)及工业物联网(IIoT)使信息物理系统(CPS)深度耦合,但也扩大了攻击面。传统访问控制如基于角色的访问控制(Role-Based Access Control, RBAC)和强制/自主访问控制(MAC/DAC)依赖隐式可信内网假设,无法抵御横向移动、内部威胁及高级持续性威胁(APT)。零信任(Zero-Trust)架构主张"永不信任,始终验证",但现有ZTA实现多基于静态属性或单模态行为分析,缺乏对电力系统中多源异构数据(SCADA遥测、工控网络流量、红外热成像、审计日志)的联合建模能力,且访问决策难以随威胁态势动态权衡安全性、效率与合规性。此外,大规模电网拓扑下的威胁传播建模与连续信任更新仍是难点。因此,有必要构建融合多模态感知、图结构威胁推理与上下文自适应决策的零信任访问控制框架。
本文发表于Alexandria Engineering Journal,由Ming Xie与Mingfei Zeng完成。
主要关键技术方法
研究人员采用六类数据集开展研究:IEEE 118节点标准测试系统(拓扑基准);省级电网调度中心SCADA时序数据(1 Hz, 592维特征, 2023全年);扩展KDD Cup 1999叠加IEC 61850/DNP3/Modbus协议仿真网络流量(共246万条含攻击样本);FLIR热成像设备巡检图像(128000张);2022–2023用户访问审计记录(180万条);CVE与MITRE ATT&CK威胁情报库(2847条)。核心方法含三模块:(1)GraphKAN威胁感知:构建异构图??=(V, ?, {Aphysical, Alogical, Acausal}),节点初态由1D-CNN+LSTM(SCADA/流量)与ResNet(热成像)分层融合;物理连接邻接矩阵源自主接线图,逻辑通信邻接由可学习MLP+ sigmoid生成,因果邻接由格兰杰因果检验(Granger Causality)阈值化;异构图多头注意力各关系独立变换后聚合,节点威胁概率由多层感知机+sigmoid输出,并采用多头预测取平均。(2)MoE-DT访问控制决策:含Security Expert(高威胁场景侧重拒止)、Efficiency Expert(低威胁高负载侧重吞吐)、Compliance Expert(规则合规优先)三个前训练专家网络;粗选门控由全局上下文经sigmoid二值筛选激活专家子集,细粒度权重由当前状态、历史轨迹编码(Transformer)、系统上下文拼接后经softmax得出并做元素乘掩码;最终动作为各专家输出按门控权重加权加高斯探索噪声;序列建模扩展因果注意力加入轨迹掩码与多尺度(短/中/长)时间表征。(3)五维自适应信任度量:信任向量Ti(t)=[Tidentity, Tbehavior, Tcontext, Treputation, Trisk],其中行为信任由VAE重构误差+KL散度算异常分取补,声誉信任为邻居加权指数衰减聚合,风险信任结合GraphKAN威胁分与威胁情报;信任沿有向加权信任网络Gtrust用带注意力权重的GNN迭代传播(LayerNorm残差连接);访问权限等级、时长(指数型信任乘数)、监控强度(与加权平均信任负相关)均由信任向量映射得出,触发条件含单维低于阈值或信任陡降率超δdecline。总损失为GraphKAN交叉熵+MoE-DT策略/价值损失+信任MSE+自适应加权项。硬件平台为Intel Xeon Platinum 8358P + NVIDIA A100,PyTorch 2.1.0+PyG 2.4.0实现。
研究结果
4.1 GraphKAN-Based Heterogeneous Graph Threat Perception Mechanism(基于GraphKAN的异构图威胁感知机制)
研究人员构建含物理连接(rphysical,取自主接线图,边权为电气连接强度)、逻辑通信(rlogical,由流量特征经MLP+tanh+sigmoid学得的邻接矩阵)与因果关联(rcausal,由Granger因果检验GC(Xi→Xj|Xcontext)减阈值θcausal取ReLU得)的三关系异构图。节点初态特征由SCADA/流量经1D-CNN+LSTM与热成像经ResNet分层融合。多层异构图注意力对各关系分别做线性变换后计算LeakyReLU+softmax归一化注意力(含边特征eij(r)),再按关系聚合,最终节点表示经MLP输出威胁概率pithreat=σ(wthreatThi(L)+bthreat),多头预测取平均。结论:异构图多关系建模与跨模态注意力能有效捕捉电力系统中设备间物理、通信与因果依赖,GraphKAN缓解传统GNN在大图上过平滑问题,F1分数随节点数增加下降幅度仅2.4%(vs GNN 22.2%)。
4.2 MoE-DT-Based Access Control Decision Mechanism(基于MoE-DT的访问控制决策机制)
设计Security、Efficiency、Compliance三专家网络分别在高威胁、低威胁高负载、全场景合规偏好数据集上优化对应折扣累积回报损失。双层门控:粗选scoarse=sigmoid(Wcoarsecglobal+bcoarse)二值激活候选专家;细粒度gfine=softmax(Wfine[st∥h?t∥ct]+bfine)⊙scoarse分配权重。因果注意力扩展轨迹掩码与多尺度时序表征支持序列决策。最终动作at=Σi=13gi·Ei(st,?t,Rtarget)+?·nt。结论:MoE-DT在高/中/低威胁区分别激活Security/Efficiency/均衡专家,平均回报较DQN高26.4%,收敛步数减少59.4%,能根据威胁水平动态权衡安全与可用性。
4.3 Adaptive Trust Measurement Mechanism(自适应信任度量机制)
定义五维信任向量Ti(t),行为信任Tbehavior=1?AS(Bt|B1:t?1),AS为VAE重构误差‖Bt?Decoder(z)‖22+KL(q?(z|Bt)∥N(0,I));声誉信任为邻居评价加权指数时间衰减;风险信任结合GraphKAN输出与威胁情报。信任沿Gtrust用带注意力αij(t)的多层GNN迭代更新Ti(t+1)=σ(WselfTi(t)+Σj∈Niαij(t)WneighTj(t)+bpropagate)。权限等级由sigmoid(wpermTTi+bperm)·Pmax映射,访问时长含指数信任乘数TrustMultiplier(Ti)=exp(wtimeT(Ti?Tthreshold)),监控强度Mmax·(1?ΣwkTk/Σwk)+Mmin。撤销条件为任一维度低于θrevoke(k)或dTi/dt<?δdecline。结论:五维信任比单维或区块链信誉更精细,受攻击节点信任快速传播衰减至邻居(一跳降约62%,二跳降约53%),能有效隔离威胁扩散。
4.4 System Integration and Optimization Strategy(系统集成与优化策略)
总损失?total=Σλi(t)?GraphKAN+?MoE-DT+?Trust,其中?GraphKAN为节点分类交叉熵,?MoE-DT=?policy(重要性采样比×优势函数)+γ?value(MSE期望回报),?Trust=Σ‖Tipredicted?Tiground-truth‖22。结论:多任务联合优化使三模块互补,自适应权重λi(t)可按系统状态调节各子目标重要性。
实验与结果(Section 5)
在真实+标准数据集上对比14种基线。ZTNA-MMRL准确率94.7%(较ZT-Defense+3.4%,较Trust-RBAC+24.1%),F1 0.823,信任RMSE 0.142(较ZT-Defense改善),响应时间33.1 ms(较ZT-Defense快14.7 ms),能效比91.4%。训练时间6.7 h(vs ZT-Defense 18.9 h),时间复杂度O(n log n+m)。消融实验去信任传播掉精度最多(?6.0%),去GraphKAN ?5.1%,去MoE-DT ?4.6%,去跨模态注意力?4.0%,单专家?4.2%。多模态贡献:SCADA+Network双模态达81.7%(单SCADA 73.2%),四模态全融合94.7%。GraphKAN在大图(600节点)F1仅降2.4%而GNN降22.2%。MoE-DT平均回报189.4、收敛743步、决策一致性0.834均优于DQN/PPO/SAC/Decision Transformer。对抗鲁棒性:FGSM下87.3%(+12.7% vs ZT-Defense),数据投毒86.2%(+13.1%)。信任传播实验显示攻击节点信任由0.92降至0.28(一跳邻居同步降约62%,二跳约53%),五维信任向量中行为信任最早响应异常(t+18步降),风险信任随后升高。
讨论与结论(Section 6 Discussion & Conclusion)
研究人员指出ZTNA-MMRL通过GraphKAN多关系异构图威胁感知、MoE-DT上下文自适应三专家决策及五维信任传播评估三者融合,在准确率、F1、响应时延、对抗鲁棒性上均优于现有ZTA及访问控制基线;SCADA+Network双模态可作为资源受限边缘节点的简化部署方案,全四模态适用于关键基础设施。局限性含信任模型依赖历史行为对零日漏洞捕捉有限,多模态标注数据需求大。未来方向含模型压缩/知识蒸馏稀疏注意力降低计算量,以及引入在线学习与实时威胁情报推送实现持续适应。
原文结论翻译:This paper presents ZTNA-MMRL, a multimodal reinforcement learning-based access control model for zero-trust architectures in power systems. By integrating a GraphKAN-based threat perception mechanism, an MoE-DT-driven access control framework, and a five-dimensional trust assessment system, the model provides a comprehensive approach to secure, adaptive, and intelligent access control in digitalized power networks. Experimental results show that ZTNA-MMRL achieves 94.7% accuracy, an F1-score of 0.823, an RMSE of 0.142 for trust evaluation, and a 33.1 ms response time. The model maintains strong adversarial robustness, achieving 87.3% accuracy under FGSM attacks. From a practical perspective, the framework is applicable to substation automation and energy management systems that integrate SCADA, network flow, thermal imaging, and audit log data. Its 33.1 ms response time supports real-time control cycles, and its modular design enables deployment of a reduced two-modality configuration on resource-constrained edge nodes. However, the trust model relies primarily on historical behavioral patterns and may not fully capture emerging zero-day threats. In addition, the training process requires substantial labeled multimodal data, which may be difficult to obtain in newly deployed systems. Future research should explore more efficient architectures, such as model compression, knowledge distillation, and sparse attention, to reduce computational complexity while preserving performance. Incorporating real-time threat intelligence and online learning mechanisms could further enable continuous adaptation to evolving attack patterns without complete retraining.
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号