电动汽车充电网络的分布式管理:合作与非合作的多智能体强化学习方法

《IEEE Transactions on Control of Network Systems》:Distributed Management of EV Charging Networks: Cooperative Versus Noncooperative Multiagent Reinforcement Learning

【字体: 大 中 小 】 时间:2025年12月26日 来源:IEEE Transactions on Control of Network Systems 5

编辑推荐:

  电动汽车充电网络中,采用多智能体强化学习框架的分布式充电策略研究。通过集中训练与分散执行(CTDE)策略优化充电控制,在共享变压器架构下实现总需求波动降低36%,平均充电成本下降9.1%,并验证集中式智能体在多设备场景下的公平性和鲁棒性优势。

  

摘要:

电动汽车(EVs)的广泛采用对电力分配网络和智能电网基础设施提出了若干挑战,因为它们可能会显著增加电力需求,尤其是在高峰时段。此外,当电动汽车参与需求侧管理计划时,通过使用充分利用实时定价方案的最佳充电控制策略,可以降低充电费用。然而,由于各种随机和不确定的环境因素,为电动汽车制定最佳充电方法和控制策略颇具挑战性。目前,大多数电动汽车充电控制器都是基于集中式模型运行的。在本文中,我们研究了使用多智能体强化学习(MARL)框架的分布式和协作式充电策略的性能。我们的方法基于深度确定性策略梯度(DDPG)算法,适用于一个住宅社区中的所有电动汽车,这些电动汽车都连接到一个共享变压器上。这种方法被称为CTDE-DDPG,它采用集中式训练、分散式执行(CTDE)的方法在训练阶段建立智能体之间的合作,同时在执行阶段确保分散式和隐私保护的操作。我们从理论上探讨了基于DDPG的MARL实现中集中式和分散式评估器的性能,并展示了它们之间的权衡。此外,我们还通过数值方法研究了集中式和分散式评估器的效率、可扩展性和性能。我们的理论和数值结果表明,尽管策略梯度方差较大且训练复杂度较高,CTDE-DDPG框架通过减少总变化量约36%和平均充电成本约9.1%,显著提高了充电效率。此外,我们的结果还表明,随着智能体数量的增加,集中式评估器增强了充电控制政策的公平性和鲁棒性。

引言

电网管理中的根本挑战是电力平衡,即确保电力生成与全天不断变化的需求相匹配。电力需求在早晨最低,下午逐渐增加,晚上达到峰值。为了满足需求,系统运营商在24小时周期内不断调整不同运行成本的发电机的调度。因此,电价在一天中并不是恒定的;在高峰时段和电网调节事件期间,电价要高得多。在这种情况下,需求侧管理(DSM)计划被用来鼓励消费者将消费时间转移到非高峰时段或减少总体消费。随着电动汽车(EVs)等新兴电力负荷的出现,部署高效的负荷转移解决方案变得更为关键,因为电动汽车的广泛采用可能会在高峰时段显著增加能源需求。例如,图1展示了具有共享电源的电动汽车充电网络。该网络由两层组成:1)物理电力层和2)控制层。在物理电力层中,所有电动汽车都通过一个共享变压器连接到上游电网(电力公司)。鉴于物理层中的动态定价和潜在约束(例如共享变压器),开发有效的电动汽车充电器管理和协调机制对于在高峰时段管理总需求[1]以及为电动汽车所有者最小化充电成本[2]、[3]至关重要。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号