继电保护是确保电力系统安全和稳定的基本技术。它通过快速隔离故障组件来防止设备损坏和级联故障。继电器的设置通常固定很长时间,无法频繁调整以适应实际电力系统不断变化的运行条件。这一挑战对于备用保护尤为突出。与主要保护不同,备用保护需要在主要保护失效时响应相邻甚至远程组件的故障(Zhang, Jifei, & Song (2025))。因此,其性能对系统范围内的运行条件,特别是网络拓扑更为敏感。在日常运营中,由于计划维护,电网拓扑可能会发生显著变化。此外,随着可再生能源的大规模集成,功率流波动变得更加频繁,经常引发拓扑变化以进行功率调节(Singh, Kumar, Choudhary, & Singh (2024))。因此,必须通过严格的计算来确定备用继电器的设置,以确保在所有可预见的情况下都能正确运行,从而降低误操作和无法运行的风险。
实际上,通过在备用继电器设置计算中考虑极端运行条件(EOCs)来应对这一挑战(Sheta, Sedhom, Pal, Moursi, & Eladl (2025))。EOC是指对保护性能构成最严峻挑战的系统运行条件;在这种情况下,它可以被视为所有输电线路在服务中/服务外状态的特定组合。例如,为了确保瞬时过流保护满足选择性要求,其设置必须大于系统任何运行条件下可能出现在受保护线路末端的最大短路电流(Sidhu, Baltazar, Palomino, & Sachdev (2004))。否则,其保护区域可能会扩展到受保护线路的下游线路之外,可能与其他下游线路的瞬时过流保护发生协调冲突。这里,导致受保护线路末端可能出现的最大短路电流的所有输电线路在服务中/服务外状态的组合构成一个EOC。在EOCs下计算的继电器设置可以适应系统运行条件的所有可能变化。因此,正确识别EOCs对于计算备用继电保护的设置至关重要。因此,本文的研究问题是准确识别对保护性能构成最严重挑战的极端运行条件。
从数学上讲,EOC搜索(EOCS)问题是一个组合优化问题(Yang & Whinston (2023))。它旨在通过遍历包含所有可能的输电线路在服务中/服务外状态组合的高维集合来找到电气量的极值。传统方法(包括暴力枚举、启发式算法(例如遗传算法)和数学规划)具有高计算复杂性,且随着系统规模的增加而性能下降(Morstyn (2023))。随着电网的不断扩展和可再生能源的日益普及,需要遍历的运行条件数量呈爆炸性增长,使得这些方法在工程实践中过于缓慢。迫切需要向更高效的解决方案转变。
深度强化学习(DRL)在解决电力系统中的复杂优化问题方面显示出巨大潜力,例如实时功率调度(Xu, Gao, Wang, & Liu (2024)和最优功率流(Zhou et al. (2020))。其优势在于通过与环境的互动学习最优策略,这可以分为离线训练阶段和快速在线应用阶段(Li et al. (2022))。这种结构非常适合EOCS问题,提供了用快速在线推理替代传统缓慢优化方法的潜力。此外,电力系统本质上是图结构的。图神经网络(GNNs)擅长从这种拓扑数据中提取有意义的表示,为DRL代理的决策提供了自然而强大的方式。因此,深度强化学习与图神经网络的结合与EOCS问题非常契合。
本文提出了一种基于DRL的新方法——图对抗双深度Q网络(Graph D3QN),用于快速准确地搜索EOCs,从而提高继电保护整定计算的效率。此外,还探讨了DRL的GLFE训练框架以实现快速收敛。本文的主要贡献有三个方面:
1.新颖框架:据作者所知,本文提出了第一个专为EOCS问题设计的深度强化学习框架。通过将GNN集成到对抗双DQN架构中,所提出的模型有效地利用了电力系统的拓扑和电气特征来导航组合搜索空间。
2.高效训练策略:
提出了一种两阶段训练策略——引导学习和自由探索(GLFE)。该策略利用一小部分枚举样本来指导DRL代理的初始学习,显著加速了收敛速度,并提高了最终解决方案的稳定性和准确性。3.全面验证:
在IEEE 39节点和118节点系统上对所提出的方法进行了严格验证,用于瞬时过流保护整定计算。实验表明,与传统方法相比,Graph D3QN将计算时间减少了10到1000倍,同时在识别关键短路电流方面的准确性保持在98%以上,完全满足了保护选择性的要求。本文的其余部分组织如下。第2节介绍相关工作,包括常见的设置计算方法、组合优化和DRL在电力系统中的应用。第3节介绍关于短路计算和DRL的初步知识。第4节详细阐述了提出的Graph D3QN架构和GLFE训练框架。第5节验证了Graph D3QN在解决EOCS问题方面的性能。第6节总结了本文。