多微电网电压控制的约束感知多智能体强化学习框架:对抗性训练与拓扑感知协同提升系统韧性

《RELIABILITY ENGINEERING & SYSTEM SAFETY》:Constraint-aware multi-agent reinforcement learning with adversarial training for resilience enhancement in multi-microgrid voltage control

【字体: 大 中 小 】 时间:2026年04月24日 来源:RELIABILITY ENGINEERING & SYSTEM SAFETY 11

编辑推荐:

  针对多微电网在虚假数据注入(FDI)攻击下面临电压失稳的严峻挑战,作者团队提出一种约束感知的多智能体强化学习(CAMARL)框架。该研究结合图神经网络(GNN)实现拓扑感知状态表征,并融合周期性对抗训练与动态拉格朗日乘子以实现约束强制执行。实验表明,CAMARL在正常和受攻击条件下均实现了最低的电压偏差,保持了超过99.6%的约束满足率,并在最恶劣的复合攻击下仍保有87.4%的约束满足率,显著提升了多微电网系统的韧性和电压控制可靠性。

  
随着可再生能源和分布式发电资源的供应持续增加,多微电网(Multi-microgrids)的架构比以往任何时候都更为常见。这种通过连接多个独立微电网形成的系统,虽然提升了效率和灵活性,但也带来了严峻的应用挑战。可再生能源的波动性使得电力平衡和电压调节变得更加困难,例如,太阳能和风能的突然变化要求系统快速响应以维持稳定。此外,微电网间的电力传输需要以分布式方式进行协调,不再依赖于中心控制。除了这些物理层面的问题,信息物理系统(Cyber–physical systems)还存在特有的安全风险,其中虚假数据注入(False Data Injection, FDI)攻击是主要威胁,它通过向传感器数据中注入错误,可导致控制失效甚至局部停电。面对间歇性可再生能源、协同需求和网络威胁等多重风险因素,制定鲁棒的控制措施势在必行。
为此,研究人员在《RELIABILITY ENGINEERING 》上发表论文,提出了一种名为CAMARL(Constraint-aware Multi-agent Reinforcement Learning)的创新框架。该研究旨在协调多个微电网的电压,并通过定期的对抗训练来改善电能质量。为了攻克这一难题,研究者们巧妙地融合了几项关键技术:首先,他们提出了一个基于图神经网络(Graph Neural Network, GNN)和时序卷积网络(Temporal Convolutional Network, TCN)的拓扑感知状态表征模型,以捕捉多微电网网络内的时空关联,为每个智能体提供全局一致的状态表示。其次,开发了一种结合周期性对抗事件与动态调整拉格朗日乘子(Lagrange multipliers)的约束感知对抗训练机制,在增强系统对FDI攻击鲁棒性的同时,保持高约束满足率。再者,提出了一个包含本地备份控制器的复合信息物理威胁模型,用以评估同时发生的FDI和拒绝服务(Denial-of-Service, DoS)攻击。最后,在IEEE 33、57、118和300总线系统上,对七种先进的MARL算法进行了全面的基准测试和消融研究,以验证框架的有效性和各组件的必要性。
研究结果
1. 基准测试性能优越
在IEEE 33、57、118和300总线系统上的实验表明,CAMARL在正常和受攻击条件下,始终实现了最低的电压偏差,优于多智能体软演员-评论家(Multi-agent Soft Actor–Critic, MASAC)、多智能体深度确定性策略梯度(Multi-agent Deep Deterministic Policy Gradient, MADDPG)等其他五种多智能体强化学习基准算法。特别是在规模扩展809%的情况下,CAMARL仍能以最小的延迟开销实现至少50.0%的电压偏差降低。
2. 高约束满足与韧性表现
在正常条件下,CAMARL在IEEE 33总线系统上保持了99.8%的约束满足率,其拉格朗日惩罚机制相比无约束基准减少了94.3%的约束违反,并将电压维持在0.95–1.05 p.u.之间。通信韧性分析表明,在完全DoS攻击下,89.2%的约束得到满足;在最恶劣的FDI与DoS复合威胁下,这一比例仍为87.4%。其违反率比MASAC低44.0%,比MADDPG低52.1%。
3. 消融研究确认组件必要性
移除GNN和全局状态共享模块会导致电压偏差最高增加433%,而单独移除任何一个组件都会导致性能下降270%。这证实了框架中每个组件(包括GNN-TCN状态编码、全局状态共享、拉格朗日惩罚机制和对抗训练)对于实现高性能和鲁棒性都是不可或缺的。
4. 框架综合能力突出
如表1所示,所提出的CAMARL框架是唯一能同时实现无模型操作、拓扑感知、显式约束处理、FDI鲁棒性以及在小型测试系统之外得到验证的可扩展性这五项关键需求的方法。
结论与讨论
本研究成功开发并验证了CAMARL框架,这是一个用于提升多微电网电压控制韧性的创新解决方案。该框架的核心贡献在于其系统性整合能力:它通过GNN-TCN架构实现了对多微电网复杂拓扑和动态时空关联的精准感知;通过拉格朗日乘子动态调整机制,将安全约束无缝集成到强化学习的目标函数中,确保了高约束满足率;通过周期性的对抗训练,使智能体能够主动学习并适应最恶意的FDI攻击模式,从而获得了显著的对抗鲁棒性。
该研究的重大意义在于,它首次在一个统一的多智能体强化学习框架内,同时解决了多微电网电压控制中模型依赖性、拓扑复杂性、安全约束严格性、网络攻击威胁性和系统可扩展性这五大挑战。实验结果表明,CAMARL不仅在理想条件下表现出色,在面对资源有限但策略多样的网络攻击时,依然能维持系统稳定运行,这对于保障未来高比例可再生能源接入的电网安全可靠运行具有关键价值。此外,详尽的消融研究为未来相关算法的设计和优化提供了清晰的指导。尽管该研究在模拟的IEEE标准系统中取得了成功,但作者也指出了将框架部署到真实世界系统时可能面临的挑战,例如对更精细设备动态和通信协议不确定性的建模,这为后续研究和实际应用指明了方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号