基于图强化学习的继电保护整定计算中极端运行条件的高效搜索

《Expert Systems with Applications》:Efficient Searching of Extreme Operating Conditions for Relay Protection Setting Calculation Based on Graph Reinforcement Learning

【字体: 大 中 小 】 时间:2026年03月27日 来源:Expert Systems with Applications 7.5

编辑推荐:

  针对可再生能源并网导致电网运行条件频繁变化的问题,本文提出基于图神经网络与深度强化学习的Graph D3QN方法,通过两阶段训练策略加速收敛,在IEEE 39和118节点系统中验证其计算效率提升10-1000倍,准确性达98%以上,有效满足继电保护选择性需求。

  
李彦|王景宇|张建康|李怀强|任龙飞|李英红|史东源
中国湖北省武汉市华中科技大学电气与电子工程学院先进电磁技术国家重点实验室,430074

摘要

寻找极端运行条件(EOCs)是电力系统继电保护整定计算中的一个基本挑战。传统方法(如暴力枚举、启发式算法和数学规划)难以满足现代电力系统的计算速度要求,因为可再生能源的集成和电力电子设备导致运行条件发生剧烈变化。为了解决这个问题,本文提出了一种高效的EOC搜索方法——图对抗双深度Q网络(Graph D3QN),该方法将图神经网络与深度强化学习相结合。首先,将EOC搜索问题表述为一个马尔可夫决策过程。图神经网络用于提取电力系统的拓扑和电气特征,然后通过深度强化学习代理高效识别EOCs。其次,设计了一种两阶段训练框架——引导学习和自由探索(GLFE),以加速强化学习过程的收敛。在IEEE 39节点和118节点系统上对所提出的方法进行了评估,用于确定瞬时过流保护整定计算所需的最大故障电流。实验结果表明,与现有方法相比,Graph D3QN将计算时间减少了10到1000倍,同时保持了高精度的EOC识别,从而完全满足了保护选择性的要求。

引言

继电保护是确保电力系统安全和稳定的基本技术。它通过快速隔离故障组件来防止设备损坏和级联故障。继电器的设置通常固定很长时间,无法频繁调整以适应实际电力系统不断变化的运行条件。这一挑战对于备用保护尤为突出。与主要保护不同,备用保护需要在主要保护失效时响应相邻甚至远程组件的故障(Zhang, Jifei, & Song (2025))。因此,其性能对系统范围内的运行条件,特别是网络拓扑更为敏感。在日常运营中,由于计划维护,电网拓扑可能会发生显著变化。此外,随着可再生能源的大规模集成,功率流波动变得更加频繁,经常引发拓扑变化以进行功率调节(Singh, Kumar, Choudhary, & Singh (2024))。因此,必须通过严格的计算来确定备用继电器的设置,以确保在所有可预见的情况下都能正确运行,从而降低误操作和无法运行的风险。
实际上,通过在备用继电器设置计算中考虑极端运行条件(EOCs)来应对这一挑战(Sheta, Sedhom, Pal, Moursi, & Eladl (2025))。EOC是指对保护性能构成最严峻挑战的系统运行条件;在这种情况下,它可以被视为所有输电线路在服务中/服务外状态的特定组合。例如,为了确保瞬时过流保护满足选择性要求,其设置必须大于系统任何运行条件下可能出现在受保护线路末端的最大短路电流(Sidhu, Baltazar, Palomino, & Sachdev (2004))。否则,其保护区域可能会扩展到受保护线路的下游线路之外,可能与其他下游线路的瞬时过流保护发生协调冲突。这里,导致受保护线路末端可能出现的最大短路电流的所有输电线路在服务中/服务外状态的组合构成一个EOC。在EOCs下计算的继电器设置可以适应系统运行条件的所有可能变化。因此,正确识别EOCs对于计算备用继电保护的设置至关重要。因此,本文的研究问题是准确识别对保护性能构成最严重挑战的极端运行条件。
从数学上讲,EOC搜索(EOCS)问题是一个组合优化问题(Yang & Whinston (2023))。它旨在通过遍历包含所有可能的输电线路在服务中/服务外状态组合的高维集合来找到电气量的极值。传统方法(包括暴力枚举、启发式算法(例如遗传算法)和数学规划)具有高计算复杂性,且随着系统规模的增加而性能下降(Morstyn (2023))。随着电网的不断扩展和可再生能源的日益普及,需要遍历的运行条件数量呈爆炸性增长,使得这些方法在工程实践中过于缓慢。迫切需要向更高效的解决方案转变。
深度强化学习(DRL)在解决电力系统中的复杂优化问题方面显示出巨大潜力,例如实时功率调度(Xu, Gao, Wang, & Liu (2024)和最优功率流(Zhou et al. (2020))。其优势在于通过与环境的互动学习最优策略,这可以分为离线训练阶段和快速在线应用阶段(Li et al. (2022))。这种结构非常适合EOCS问题,提供了用快速在线推理替代传统缓慢优化方法的潜力。此外,电力系统本质上是图结构的。图神经网络(GNNs)擅长从这种拓扑数据中提取有意义的表示,为DRL代理的决策提供了自然而强大的方式。因此,深度强化学习与图神经网络的结合与EOCS问题非常契合。
本文提出了一种基于DRL的新方法——图对抗双深度Q网络(Graph D3QN),用于快速准确地搜索EOCs,从而提高继电保护整定计算的效率。此外,还探讨了DRL的GLFE训练框架以实现快速收敛。本文的主要贡献有三个方面:
  • 1.
    新颖框架:据作者所知,本文提出了第一个专为EOCS问题设计的深度强化学习框架。通过将GNN集成到对抗双DQN架构中,所提出的模型有效地利用了电力系统的拓扑和电气特征来导航组合搜索空间。
  • 2.
    高效训练策略:
    提出了一种两阶段训练策略——引导学习和自由探索(GLFE)。该策略利用一小部分枚举样本来指导DRL代理的初始学习,显著加速了收敛速度,并提高了最终解决方案的稳定性和准确性。
  • 3.
    全面验证:
    在IEEE 39节点和118节点系统上对所提出的方法进行了严格验证,用于瞬时过流保护整定计算。实验表明,与传统方法相比,Graph D3QN将计算时间减少了10到1000倍,同时在识别关键短路电流方面的准确性保持在98%以上,完全满足了保护选择性的要求。
  • 本文的其余部分组织如下。第2节介绍相关工作,包括常见的设置计算方法、组合优化和DRL在电力系统中的应用。第3节介绍关于短路计算和DRL的初步知识。第4节详细阐述了提出的Graph D3QN架构和GLFE训练框架。第5节验证了Graph D3QN在解决EOCS问题方面的性能。第6节总结了本文。

    相关章节片段

    相关工作

    从备用继电器设置计算的工程实践开始,本节随后调查了电力系统中组合优化和DRL应用的现有方法。

    初步知识

    本节首先介绍了将EOCS问题数学表述为优化问题的方法。随后,介绍了图强化学习的基本概念,特别是DRL和GNN。

    提出的Graph D3QN框架

    D3QN是一种成熟的基于价值的DRL算法,擅长解决具有离散状态和动作空间的问题,并具有相对较高的可解释性。电力系统本质上是图结构的,具有任意索引的节点和边。这种非欧几里得特性对传统学习模型构成了挑战,但GNN能够自然地处理所有节点和边,并直接从拓扑结构中学习。因此,本文将GNN与D3QN结合在一起

    实验与讨论

    在本节中,提出的Graph D3QN在计算瞬时过流保护的设置的实际EOCS问题中得到了验证,以展示极端运行条件的有效搜索。实验评估的主要目的是验证:(i)所提出方法的有效性;(ii)与基线方法相比,本文引入的改进的合理性;(iii)所提出方法相对于现有方法的优越性;以及(iv)

    结论

    本文提出了一种基于深度强化学习的新方法,用于快速识别继电保护设置计算中的极端运行条件(EOCs)。所提出的框架称为图对抗双深度Q网络(Graph D3QN),利用图神经网络捕获电力系统的拓扑和电气特性,并采用深度强化学习来推导最优搜索策略。为了提高训练效率和稳定性,

    CRediT作者贡献声明

    李彦:方法论、软件、验证、形式分析、调查、数据整理、撰写——原始草稿、可视化。王景宇:概念化、方法论、资源、撰写——原始草稿、监督。张建康:资源、监督。李怀强:资源、监督。任龙飞:资源、监督。李英红:资源、撰写——原始草稿、监督。史东源:资源、撰写——原始草稿、监督。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号