基于多智能体深度强化学习的电热综合系统最优协同运行方法

《Journal of Modern Power Systems and Clean Energy》:Optimal Joint Operation Method of Integrated Electricity and Heating Systems Based on Multi-Agent Deep Reinforcement Learning Method

【字体: 大 中 小 】 时间:2025年12月12日 来源:Journal of Modern Power Systems and Clean Energy 6.1

编辑推荐:

  本文针对电热综合系统(IEHS)运行中存在的非凸模型、计算复杂性和可再生能源不确定性等挑战,提出了一种基于多智能体深度确定性策略梯度(MADDPG)的分布式优化方法。研究团队开发了兼容DRL训练的水力-热力流算法,构建了考虑时空不确定性的随机优化模型。案例研究表明,该方法能有效降低网络损耗,避免运行约束越限,对不确定性实现具有强鲁棒性。该研究为多能源系统协同优化提供了创新解决方案。

  
随着可再生能源分布式发电(RDG)的快速发展和全球低碳转型进程的加速,电热综合系统(Integrated Electricity and Heating Systems, IEHS)作为未来能源系统的重要形态正受到广泛关注。这类系统通过热电联产(Combined Heat and Power, CHP)设备实现电力分配系统(Power Distribution Systems, PDS)与区域供热系统(District Heating Systems, DHS)的协同运行,有望显著提升能源利用效率。然而,传统的电热联合运行面临着严峻挑战:非凸优化模型导致计算复杂度过高,可再生能源发电和电热负荷的不确定性给系统安全稳定运行带来不利影响,现有的水力-热力流算法与深度强化学习(Deep Reinforcement Learning, DRL)方法兼容性不足等问题,都制约着IEHS效能的最大化发挥。
针对这些技术瓶颈,Hangyue Liu、Cuo Zhang、Jiawei Wang等研究人员在《Journal of Modern Power Systems and Clean Energy》上发表了一项创新研究,提出了一种基于多智能体深度强化学习的电热综合系统最优协同运行方法。该研究旨在解决IEHS运行中的关键科学问题,为实现高效、可靠的多能源协同管理提供新思路。
为了攻克这些难题,研究团队采用了几个关键技术方法:首先,开发了一种新的兼容DRL训练的水力-热力流算法,该算法同时优化CHP厂的供回水温度和质量流量;其次,构建了考虑时空不确定性的随机分布式优化模型,多个智能体在时空不确定性下最小化网络功率损耗同时避免运行约束越限;最后,采用多智能体深度确定性策略梯度(MADDPG)方法,通过虚拟环境中的探索实现离线神经网络训练和在线联合运行优化。测试系统基于标准的33总线PDS和三个实际DHS,假设热负荷规模为120%。
水力-热力流算法
研究人员开发了一种新的水力-热力流算法,该算法以φnd和φkCHP作为输入,通过迭代计算获得Tksrc、Tnsup和Tnrtn等输出参数。算法通过节点和管道质量流率的更新,以及温度和温度下降的计算,确保系统运行在安全范围内。该算法的创新之处在于其完全兼容DRL训练过程,为智能体学习提供了有效的仿真环境。
优化模型 under uncertainties
研究建立了考虑不确定性的最优联合运行模型,将IEHS的优化问题解耦为DHS和PDS两个优化模型。DHS优化目标是最小化总热网损耗和温度约束违反惩罚,而PDS优化目标是最小化总网络功率损耗和电压约束违反惩罚。通过随机规划方法,研究考虑了RDG有功功率生成、有功和无功功率消耗以及热需求的空间和时间不确定性,通过随机场景实现对抗不确定性实现的鲁棒运行。
MADDPG方法的应用
研究采用MADDPG方法解决最优联合运行问题,每个配电子网络和DHS的控制中心被建模为一个智能体。PDS智能体的观察空间覆盖动态电力系统信息,动作空间包括每个RDG的连续有功和无功功率调度信号。DHS智能体的观察空间覆盖动态DHS信息,动作空间包括φk,tCHP。采用集中训练分散执行的框架,中央控制中心负责神经网络的训练,本地控制中心根据局部观测做出实时决策。
案例研究结果
数值仿真结果表明,该方法在两个典型案例中均表现出色。案例1(高RDG低负荷)和案例2(低RDG高负荷)的仿真结果显示,训练后的方法能够有效避免电压越限和温度越限,显著降低网络功率损耗和热力损耗。与近端策略优化(Proximal Policy Optimization, PPO)方法相比,提出的方法在收敛性和优化效果方面均表现更优。
解鲁棒性验证
通过对5000个随机场景的测试,该方法展现出完全鲁棒性,在两种案例下均未出现电压幅值越限情况。相比之下,确定性优化(Deterministic Optimization, DO)方法和PPO方法在某些场景下会出现电压越限。该方法在最小化电压偏差和降低功率损耗方面表现优异,显示出更好的优化效率。平均执行时间为0.55秒,满足实时操作要求。
研究的结论部分强调,基于多智能体深度强化学习的最优协同运行方法成功解决了IEHS运行中的关键挑战。新开发的水力-热力流算法与DRL方法的兼容性,以及MADDPG框架对时空不确定性的有效处理,为多能源系统优化提供了创新解决方案。该方法不仅显著提升了系统运行的经济性和可靠性,其分布式架构还有效缓解了计算负担和隐私问题。未来工作可进一步探索先进的DRL训练技术,如双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)等,以持续提升方法性能。该研究为电热综合系统的智能优化运行奠定了重要理论基础,对推动能源系统低碳转型具有积极意义。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号