基于多智能体协调强化学习的掺氢混合储能系统最优调度

《Journal of Energy Storage》:Optimal scheduling of hydrogen-integrated hybrid energy storage systems via multi-agent coordinated reinforcement learning

【字体: 大 中 小 】 时间:2026年10月22日 来源:Journal of Energy Storage 10.7

编辑推荐:

   **摘要** 氢集成混合储能系统(HI-HESS)为提升可再生能源消纳能力和多能协同运行提供了一种有效途径。然而,电、热、氢多类能源载体之间的动态耦合关系以及多智能体之间的协调难题,显著增加了最优调度的复杂度。针对这一问题,本文提出了一种面向HI-HESS最优调度的多智能体最

  

**摘要** 氢集成混合储能系统(HI-HESS)为提升可再生能源消纳能力和多能协同运行提供了一种有效途径。然而,电、热、氢多类能源载体之间的动态耦合关系以及多智能体之间的协调难题,显著增加了最优调度的复杂度。针对这一问题,本文提出了一种面向HI-HESS最优调度的多智能体最优折中近端策略优化(MAOCPPO)方法。首先,建立了以最小化综合能源系统总运行成本为目标的多智能体最优调度模型。然后,构建了由HIEP-Agent、ELA-Agent、TLA-Agent和HLA-Agent组成的多智能体强化学习框架。为提升异构智能体之间的协调能力,引入了具有依赖感知协调动作生成能力的显式协调层,以构建多种候选协调配置。此外,采用基于TOPSIS的折中导向联合决策选择机制,从生成的候选方案中筛选出均衡的调度方案。仿真结果表明,所提方法的运行成本低于PSO、MADDPG和MAPPO,且相较于强化学习基准方法具有更快、更稳定的收敛性。协调基准与消融分析,以及不同折中选择方法的对比、准则权重与归一化方案的敏感性分析,进一步验证了所提协调机制的有效性。此外,在可再生能源不确定性和不同氢储能量配置下的鲁棒性分析验证了所提方法在不同运行条件下的适应性。所提MAOCPPO方法有效提升了HI-HESS的经济性能和协同运行能力。

**引言** 随着可再生能源渗透率的不断提高,综合能源系统因其提升能源利用效率和增强运行灵活性的能力而受到广泛关注[1]。氢集成混合储能系统(HI-HESS)涉及氢集成能源提供方(HIEP)、电力负荷聚合商(ELA)、热负荷聚合商(TLA)和氢负荷聚合商(HLA),为协调电、热、氢多类能源载体提供了有效平台[1]、[2]、[3]、[4]。通过集成电解槽、氢燃料电池、储氢装置、电储能系统和热储能系统,HI-HESS可增强多能互补运行、提升可再生能源消纳能力并支持多参与者之间的灵活能源管理。因此,HI-HESS的协同运行需要一种能够有效描述异构能源载体之间耦合关系以及多智能体交互决策行为的有效调度框架。

目前,许多研究聚焦于综合能源系统的最优调度和协同运行。现有氢集成能源系统研究主要集中于多能协调调度和可再生能源消纳[5]、[6]、[7]。氢燃料电池、混合储能系统以及多能流协调策略已被引入以提升可再生能源利用率、运行灵活性和系统经济性。这些研究表明,氢能的集成在提升综合能源系统稳定性和灵活性方面具有显著效果。然而,随着电、热、氢及储能系统之间的耦合关系日益复杂,传统优化方法在处理动态多智能体调度问题时往往面临计算复杂度高、适应性有限以及陷入局部最优的困境[8]、[9]。为解决多智能体交互和协调调度问题,合作博弈论、Stackelberg博弈模型和纳什均衡框架已被广泛应用于综合能源系统[10]、[11]、[12]。这些方法改善了不同运营主体之间的经济运营和利益分配。然而,它们仍然主要面向传统能源场景,通常依赖粒子群优化、启发式算法和混合整数规划等传统优化算法[13]。尽管这些方法在确定性运行条件下可获得令人满意的效果,但在处理涉及多种异构能源载体的动态多智能体调度问题时,往往面临计算复杂度高和适应性有限的问题。

为提升综合能源调度的适应性和智能化水平,强化学习(RL)和多智能体强化学习(MARL)方法近年来受到了广泛关注[14]、[15]、[16]、[17]、[18]。与传统优化方法相比,MARL方法可以直接从系统与环境交互中学习协调调度策略,而无需对高度耦合的非线性系统进行显式数学简化。在现有MARL方法中,MADDPG和MAPPO因其处理连续动作空间和多智能体交互的能力而被广泛应用于多能调度和协调控制问题[19]、[20]、[21]、[22]。然而,现有基于MARL的调度方法在应用于氢集成混合能源系统时仍面临若干挑战。

首先,传统的基于MAPPO的调度方法主要依赖独立智能体观测和策略优化,在强耦合运行条件下可能导致异构能源智能体之间的协调能力不足。其次,在综合能源系统中,不同智能体的动作生成过程高度相互依赖,传统的分散式调度策略容易产生动作冲突和不稳定的调度行为。第三,大多数现有MARL调度方法主要关注局部策略优化,缺乏有效的折中协调机制来平衡多个异构智能体的调度目标。这些局限性削弱了动态运行条件下综合能源系统的调度稳定性和经济性能。

近期多智能体强化学习(MARL)的进展探索了多种协调策略以提升多智能体联合决策能力。顺序式或自回归式MARL方法通过将先前生成的动作或额外智能体信息纳入后续决策过程来增强智能体间的依赖建模[23]。然而,许多现有方法依赖手工预定义的动作生成顺序或固定依赖假设,当异构智能体表现出动态且不对称的交互时,其适应性可能受限。通信条件式MARL通过允许智能体在策略执行过程中交换显式消息或学习的潜在表示提供了另一种协调范式[24]。尽管此类方法促进了智能体间的信息共享,但它们通常需要显式或学习的通信协议,而本文提出的框架在不引入额外通信网络的情况下构建动作条件依赖关系。另一类研究采用集中式评价器或集中式协调机制,通过在训练过程中利用全局信息来改进策略优化[25]。尽管在许多应用中有效,但这些方法主要聚焦于提升价值估计、策略评估或信息聚合,而对联合决策生成过程中不同协调配置的显式探索与比较仍研究不足。此外,多目标MARL方法通常采用奖励标量化、基于偏好的优化或基于帕累托的决策来平衡冲突目标[26]。然而,这些方法可能无法充分捕捉复杂能源系统中不同智能体之间的异构运行需求和协调关系。因此,开发一种能够自适应建模智能体交互并生成折中导向联合决策的显式协调机制,仍然是复杂多能系统面临的一项挑战。这些挑战促使了面向氢集成混合能源存储调度的协调增强型MARL框架的开发。

为解决上述挑战,本文开发了一种协调增强的多智能体强化学习框架,称为MAOCPPO,用于氢集成混合储能系统(HI-HESS)的最优调度。首先,建立了异构多智能体调度架构,构建了HIEP-Agent、ELA-Agent、TLA-Agent和HLA-Agent以表征综合能源提供方和电力、热力、氢负荷子系统的耦合运行特征。与传统依赖独立策略执行或通过集中式评价器进行隐式协调的MARL方法不同,所提框架引入了显式协调层以促进异构能源智能体之间的协作联合决策。具体而言,设计了依赖感知的协调动作生成机制,将智能体交互依赖关系纳入联合动作构建,并探索多种候选协调配置以捕捉不同能源子系统之间的复杂耦合关系。此外,开发了折中导向的联合决策选择策略,从多个智能体视角评估候选协调方案,并在冲突运行目标下识别均衡调度策略。通过集成自适应协调和多目标折中决策,所提框架提升了复杂多能耦合系统的协调能力、调度稳定性和运行灵活性。

本文的主要贡献总结如下:

(1)为氢集成混合储能系统的最优调度开发了一种显式协调增强的多智能体强化学习框架。与主要依赖独立动作生成或隐式协调机制的传统MARL方法不同,所提框架在策略推理与联合动作执行之间引入了显式协调层。该层使异构能源智能体能够协作构建协调调度决策,同时保留基于集中式评价器的训练和智能体专属的演员策略。

(2)提出了一种依赖感知的协调动作生成机制来建模异构能源智能体之间的非对称交互。不同于依赖单一预定义协调配置的方式,所提方法在联合动作生成过程中探索多种候选协调方案。通过考虑智能体之间的不同交互依赖关系,所提方法提升了多智能体策略捕捉氢集成能源存储系统中复杂耦合关系的能力。

(3)引入了一种折中导向的联合决策选择策略来应对多能源智能体之间的冲突运行目标。所提策略从多个智能体层面的视角评估候选协调决策,并通过多目标折中机制选择均衡方案。与单目标优化或简单奖励聚合方法相比,所提方法通过考虑不同能源子系统的异构运行需求提供了均衡的协调方案。

本文其余部分组织如下。第2节介绍HI-HESS的系统架构和建模假设。第3节建立最优调度模型。第4节提出多智能体调度建模和所提MAOCPPO框架。第5节讨论仿真结果和对比分析。最后,第6节总结全文工作。

**系统架构**

本文研究的基于多智能体的氢集成混合储能系统模型如图1所示。该综合能源系统由上级电网、天然气网、HIEP、ELA、TLA和HLA组成。HIEP中的主要设备包括热电联产(CHP)机组、电锅炉(EB)、电解槽(EL)、燃料电池(HFC)等,可实现电、热、氢的转换与供给;负荷聚合商的主要设备包括

**多智能体HI-HESS最优调度模型**

HI-HESS运行优化的目标是在满足各类约束的前提下,通过调整运行策略实现最低成本。本文综合考虑HI-HESS中的各类成本,构建如下目标函数:

min F = min(C_om + C_buy,e + C_buy,g + C_waste,e + C_waste,t + C_waste,h)

C_om = Σ(n=1 to N) Σ(t=1 to T) c_nom * P_tn

C_buy,e = Σ(t=1 to T) μ_te * P_tect * e

C_buy,g = c_g * Σ(t=1 to T) [P_tchp,e / (μ_g * η_chp,e) + P_tchp,t / (μ_g * η_chp,t)]

C_waste,e = Σ(t=1 to T) [τ_e * P_tre,e + η_e * P_td,e]

C_waste,t = Σ(t=1 to T) [τ_t * P_tre,t + η_t * P_td,t]

C_waste,h = Σ(t=1 to T) [τ_h * P_tre,h + η_h * P_td,h]

其中 C_om

**面向多智能体的最优折中强化学习算法设计**

针对上述多智能体氢含综合能源系统模型,本文构建了由四个智能体组成的多智能体强化学习模型:HIEP-Agent、ELA-Agent、TLA-Agent和HLA-Agent。

多智能体强化学习算法需要将问题转化为多智能体马尔可夫决策过程(MMDP),该过程考虑多个智能体之间的交互,主要由9个要素组成:(S, A, N, R, P, γ, π, О, П),其中

**案例分析**

为验证所提MAOCPPO方法的有效性,基于图1所示的多智能体HI-HESS进行了仿真。仿真平台基于Python 3.8和PyTorch框架实现,所有实验在AMD Ryzen 75800H处理器上完成。调度时域设为24小时,调度间隔为1小时。HI-HESS内部氢交易价格设为25元/kg,内部热能交易价格设为0.6

**结论**

本文提出了一种面向氢集成混合储能系统(HI-HESS)最优调度的多智能体最优折中近端策略优化(MAOCPPO)方法。建立了由HIEP-Agent、ELA-Agent、TLA-Agent和HLA-Agent组成的多智能体协调调度框架,以建模电、热、氢及多种储能子系统的耦合运行特征。通过引入依赖感知的协调动作生成

**CRediT作者贡献声明**

李明锦:初稿撰写、可视化、验证、项目管理、数据整理。李涛:监督、软件、资源、数据整理。董明:可视化、资金获取、形式化分析。

**利益冲突声明**

本稿件不存在利益冲突,且稿件已获所有作者批准发表。

李明锦 | 王智华 | 李涛 | 裴仲辰 | 董明
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号