基于硬件在环仿真的直流蒸汽发生器自适应TD3-PID控制

《Annals of Nuclear Energy》:Adaptive TD3-PID control for once-through steam generator using hardware-in-the-loop simulation

【字体: 大 中 小 】 时间:2026年09月29日 来源:Annals of Nuclear Energy 2.5

编辑推荐:

   •提出了一种TD3-PID控制策略。•建立了直流蒸汽发生器的硬件在环仿真系统。•验证了TD3-PID控制的硬件在环仿真。•仿真结果表明该策略可行且性能良好。引言直流蒸汽发生器是先进核能系统中的关键传热部件(Sun and Wei, 2021)。作为热力学耦合界面,直流蒸汽发生

  
  • •
    提出了一种TD3-PID控制策略。
  • •
    建立了直流蒸汽发生器的硬件在环仿真系统。
  • •
    验证了TD3-PID控制的硬件在环仿真。
  • •
    仿真结果表明该策略可行且性能良好。

引言

直流蒸汽发生器是先进核能系统中的关键传热部件(Sun and Wei, 2021)。作为热力学耦合界面,直流蒸汽发生器连接了主回路液态冷却剂与次回路水/汽循环。与压水堆中传统的U型管蒸汽发生器不同,直流蒸汽发生器中的工质在一次通过过程中即完成从过冷水到过热蒸汽的完整相变。因此,维持直流蒸汽发生器的运行稳定性至关重要。特别是在"堆跟机"模式下,精确控制直流蒸汽发生器的蒸汽出口压力直接决定了次回路效率和整厂安全性(Sun et al., 2022)。
然而,直流蒸汽发生器的压力控制面临严峻挑战,主要源于显著的时间延迟、时变动态特性以及分布式参数系统的固有非线性(Li et al., 2024, Alemberti et al., 2014)。此外,快堆对运行工况的宽范围变化提出了要求(Cinotti et al., 2011)。传统控制策略通常依赖于固定参数的级联PID或前馈补偿。尽管这些结构简洁可靠,但以固定增益实现快速响应与系统稳定性的平衡较为困难(Borase et al., 2021)。这一局限在剧烈负荷变化或设备参数漂移时尤为明显,常引发压力超调或系统振荡(Li et al., 2024, Liu et al., 2024)。
近年来,研究人员日益探索先进控制方案以克服传统PID控制器自适应能力有限的问题。例如,变论域模糊控制被应用于设计给水控制系统,有效将蒸汽压力超调量降低超过50%,并在柔性运行工况下改善了动态响应(Liu et al., 2024)。类似地,Xiao等人(2022)研究了一种适用于小堆铅铋快堆的内部模型控制-PID方法,优化了控制器对模型失配和时间延迟扰动的鲁棒性。与此同时,强化学习已成为复杂核设备控制领域的一项有前景的解决方案。Li等人(2022)提出了一种基于深度Q网络的活动容错策略以应对传感器故障,将最大蒸汽压力偏差降低30%。同一团队随后将近端策略优化算法应用于快速负荷变化条件下的精确蒸汽压力跟踪(Li et al., 2023)。为应对多变量和多系统耦合问题,近期研究采用了深度确定性策略梯度和多智能体深度确定性策略梯度框架。这些方法促进了子系统间的协调控制,显著增强了系统稳定性并缩短了调节时间(Zhang et al., 2025, Chen et al., 2025)。此外,Wang等人(2026)开发了一种适用于氦工质布雷顿循环耦合微型反应堆的自动启停控制系统,展示了智能自动化对下一代反应堆概念的关键重要性。最后,Ren等人(2023)利用TD3算法为池式加热堆构建了自适应控制器。通过抑制Q值高估问题,TD3算法在反应性扰动期间将温度恢复时间缩短了40%以上,证明了强化学习在复杂核系统中的工程可行性。
尽管这些研究展示了神经网络和强化学习算法在提升核电控制系统方面的巨大潜力,但大多数现有研究仍局限于理论仿真(Wang et al., 2026)。此外,部分深度强化学习算法(如DDPG)存在因Q值高估导致的策略不稳定性问题(Lillicrap et al., 2015, Fujimoto et al., 2018)。鉴于铅铋快堆中直流蒸汽发生器压力控制对安全性和可靠性的严格要求,本研究提出了一种自适应TD3-PID控制架构。与传统的基于神经网络的参数整定方法相比,深度强化学习提供了一个闭环试错框架,控制器可根据长期控制性能进行优化(Chowdhury et al., 2023, Lawrence et al., 2022)。在深度强化学习算法中,孪生延迟深度确定性策略梯度算法尤其适用于连续动作空间控制问题。通过引入截断双Q学习、延迟策略更新和目标策略平滑,TD3可缓解高估偏差并提高确定性演员-评论家方法的训练稳定性(Fujimoto et al., 2018)。因此,本研究采用TD3算法生成自适应PID参数调整量以实现直流蒸汽发生器蒸汽压力控制。需要说明的是,本研究旨在对TD3、BP神经网络及其他强化学习算法进行全面比较,主要目的是评估所提出的TD3-PID框架相对于传统固定参数PID控制器在硬件在环平台上的可行性和有效性。更重要的是,为弥合算法仿真与对实时性能和计算可靠性要求严格的实际工程之间的差距,所提出的TD3-PID策略部署于工业级分布式控制系统上。通过在电厂代表性环境中的硬件在环实验,本研究验证了所提策略的实时计算性能和控制有效性,为将先进智能算法应用于现代核设施提供了坚实的实证依据。

章节摘要

直流蒸汽发生器建模

直流蒸汽发生器是连接主回路冷却剂与次回路水-汽循环的关键热阱。在一次通过过程中,次回路工质完成从过冷水到过热蒸汽的完整相变。因此,系统动态特性表现为显著的非线性、强耦合和时变行为。这些固有复杂性给高精度压力控制带来了巨大挑战。
如图1所示,一个

TD3-PID控制策略

传统直流蒸汽发生器压力控制策略主要依赖于基于误差反馈的PID架构。尽管可以引入前馈补偿机制以预判负荷变化从而加快执行器响应,但核心系统仍以具有固定增益参数的PID控制器为基础。然而,直流蒸汽发生器具有显著的非线性、时变行为以及强热工水力学耦合特性。系统的动态增益和时间常数随

基于分布式控制系统的硬件在环仿真平台

分布式控制系统是一种基于微处理器的工业自动化架构,遵循"分散控制、集中管理"的核心理念。鉴于直接在核电厂实际蒸汽发生器上进行在线验证存在严重的安全风险和严格的运行约束,本研究采用基于分布式控制系统的硬件在环仿真方案作为务实的替代方案。作为连接理论算法与工程

奖励函数灵敏度分析与强化学习训练

所提出的TD3-PID控制器采用由三个加权项组成的复合奖励函数:跟踪误差惩罚、控制动作变化率惩罚和安全超调惩罚。一个自然的关切是控制性能在多大程度上依赖于权重系数的具体数值。为回答这一问题,进行了系统的灵敏度分析,在七个不同的条件下评估了训练后的TD3-PID策略

结论

本研究开发并严格验证了一种基于TD3-PID深度强化学习框架的自适应控制策略。所提策略有效克服了铅铋快堆中直流蒸汽发生器的深层控制挑战,即在广泛运行工况下的强非线性、时变动态特性以及巨大的惯性滞后。通过将算法部署于工业级分布式控制系统硬件在环平台上,本研究验证了该策略的

利益冲突声明

作者声明,他们不存在已知的竞争财务利益或个人关系,这些关系可能影响到本文报告的工作。
YuLong Wang|Qi Zhang|Yehu Yang|Peiwei Sun|Xinyu Wei
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号