超越能效提升:基于电池感知的奖励设计,用于混合储能电动汽车中的深度强化学习能量管理
《Journal of Energy Storage》:Beyond energy efficiency: A battery-aware reward design for deep reinforcement learning-based energy management in electric vehicles with hybrid storage
【字体:
大
中
小
】
时间:2026年07月05日
来源:Journal of Energy Storage 10.7
编辑推荐:
梅赫尔达德·拉伊西|帕里纳兹·查沃什尼亚|西亚瓦什·曼苏里|莫尔特扎·莫拉贾法里 伊朗科学技术大学汽车工程学院,伊朗德黑兰
摘要
采用锂离子电池与超电容组合的混合储能系统 的电动汽车为延长电池使用寿命提供了有效途径。然而,现有的能源管理策略主要侧重于提升能源效率,却忽视了决定电
梅赫尔达德·拉伊西|帕里纳兹·查沃什尼亚|西亚瓦什·曼苏里|莫尔特扎·莫拉贾法里 伊朗科学技术大学汽车工程学院,伊朗德黑兰
摘要
采用锂离子电池与超电容组合的混合储能系统 的电动汽车为延长电池使用寿命提供了有效途径。然而,现有的能源管理策略主要侧重于提升能源效率,却忽视了决定电池实际寿命的电化学降解机制。这一缺陷促使人们提出这样的假设:为深度强化学习设计一种能够考虑电池健康状况的奖励函数,便可同时实现传统基于规则的控制器无法兼顾的目标——降低电阻损耗、避免电池容量衰减,并且能在汽车级硬件上运行。我们实现了三种最先进的深度强化学习算法——近端策略优化、软 Actor-Critic 算法以及双延迟深度确定性策略梯度算法,并在多目标奖励框架下将其与基于规则和模糊逻辑的控制器进行对比评估。该框架综合考虑了电池容量衰减、电流负荷以及热安全因素,同时还考虑了能源效率目标。评估是在三种不同驾驶场景下进行的,分别是德黑兰、伯明翰以及扩展后的 WLTC 驾驶循环。基于 PPO 的策略表现出显著优势,在所有三种驾驶循环中,其特定欧姆损耗都降低了2.2到17.5倍;在短距离城市驾驶循环中,它完全消除了电池容量衰减现象;而在较长距离的驾驶循环中,电池容量衰减程度相比全电池基准值降低了85%以上。交叉相关分析表明,6个时间点的观测窗口足以实现真正的预判控制,PPO能在功率需求达到峰值前39秒就做出响应,而基于规则的控制器则无法做到这一点。在参考的Aurix TC397汽车电子控制单元上进行的实时可行性分析显示,即使在10赫兹的频率下,该系统也有386倍的安全裕度来满足100毫秒的控制时间要求,而且其演员网络内存占用仅为541千字节。这些结果证明,基于电池健康状况的深度强化学习能源管理策略能够同时实现更高的电化学效率、可量化的电池健康保护效果以及实时应用能力,而这些在传统的固定阈值控制架构下是无法同时实现的。
引言
近几十年来,全球面临着两大威胁地球未来的挑战:由温室气体无节制排放引发的气候变化,以及由于化石燃料快速枯竭导致的能源危机[1]、[2]。尤其是那些搭载内燃机的车辆,是化石燃料的主要消耗者,也是空气污染物的主要来源。因此,向可持续交通方式转型已变得势在必行[3]、[4]、[5]。在此背景下,电动汽车作为一种关键技术及实现这一转型的战略方案应运而生,它具有尾气零排放、高能源效率以及能够与可再生能源结合等优势[6]、[7]。正如布科贝林等人所指出的,全球范围内电动汽车销量的快速增长表明这一趋势正在加速发展[8]。这一趋势为汽车工业带来了新的发展机遇,同时也带来了新的技术挑战。
电动汽车的核心是其储能系统,目前这类系统主要以锂离子电池为主;不过,这类电池也被视为该技术的主要限制因素[9]、[10]。最突出的问题是能量密度与功率密度之间的矛盾。尽管锂离子电池具有较高的能量密度,这对于实现较长的行驶里程至关重要,但其功率密度却相对较低[5]、[7]、[11]。在需要高瞬时功率的场景下,比如急加速或再生制动时,电池会承受巨大压力,出现电流波动较大的情况[12]。瓦西姆等人指出,这种频繁的电流峰值不仅会加速不可逆的电化学反应,还会导致电极加速老化、电池容量衰减,最终大幅缩短电池使用寿命[13]。由于电池是电动汽车中最昂贵的部件,任何影响其使用寿命的因素都会增加消费者的维护和更换成本。
为了解决这一技术瓶颈,人们提出了混合储能系统的概念,这是一种更为先进且有效的架构。在这种系统中,高能量密度的能源存储装置(电池)与高功率密度的能源存储装置(如超电容)相结合[14]、[15]。由于超电容具有极高的功率密度、极长的循环寿命以及瞬时充放电能力等独特优点,电池与超电容的组合被认为是电动汽车最为理想的配置方案[11]、[16]。在这种混合结构中,各项功能得到了合理分配:电池负责提供持续的能量供应,而超电容则用于应对瞬时的高功率需求[11]、[16]。这种合理的分工使电池免受强烈电流的损害,从而显著延长其使用寿命。这两种能源存储装置之间的连接方式,即混合储能系统拓扑结构,对整个系统的效率有着重要影响[17]、[18]、[19]。雷扎伊等人在其综合研究中将这类拓扑结构分为三类:被动型、主动型和半主动型,其中半主动型结构因为在可控性与复杂性之间取得了良好的平衡,所以在研究中被广泛应用。
然而,混合储能系统的效率在很大程度上取决于其能源管理系统的质量[14]、[21]、[22]。能源管理系统相当于整个系统的大脑,它负责随时决定如何在电池和超电容之间合理分配能量[23]、[24]。常见的能源管理策略包括基于规则的方法[25]、[26]以及模糊逻辑方法[23]、[27]、[28]。基于规则的方法简单且计算负担低,能够实现实时控制,但它们缺乏对不同驾驶条件的适应能力,因此性能往往不尽如人意[20]、[27]。正如哈斯鲁里等人所展示的,基于模糊逻辑的策略可以通过语言规则更灵活地处理各种不确定性,但它们的设计严重依赖于专家知识,也无法保证能找到全局最优解。
另一方面,虽然动态规划这类经典优化方法能够找到全局最优解,但由于它们需要事先完全了解驾驶循环的所有情况,且计算成本很高,所以只能作为离线分析工具使用[4]、[18]、[29]。模型预测控制虽然可以实现实时控制,但它需要准确的系统模型和功率预测器,而这两者的开发本身就极具难度[18]。传统方法的这些局限性凸显出人们需要一种新的控制理念,这种理念能够在不需要精确模型的情况下,智能且灵活地实时学习最优控制策略[30]。
强化学习作为人工智能领域的重要分支,正好能够满足这一需求。在强化学习框架中,智能体通过不断与环境互动,并借助奖励和惩罚信号,逐步学习到最佳的控制策略[31]、[32]、[33]。随着深度强化学习的出现以及深度神经网络的应用,人们已经能够处理复杂且连续的状态和动作空间问题[8]。最近的研究也证明了深度强化学习算法的有效性[8]、[13]。例如,韩等人使用双深度 Q 学习算法后,发现燃油消耗率降低了7.1%;而李等人使用深度确定性策略梯度算法时,其性能仅比全局最优解相差3.5%。
为了清晰地了解当前的研究现状并找出存在的不足,表1总结了现有最先进研究与其他研究的对比情况,重点展示了本研究在哪些方面优于现有的被动式及单一目标策略。如表1所示,尽管已有诸多进展,但目前仍缺乏直接对比现代“演员-评论家”类算法,如PPO、TD3和SAC之间的性能,同时也缺少将这些算法与电池-超电容混合储能系统的传统控制方法进行对比的全面分析。此外,大多数现有的深度强化学习研究都主要集中在以被动方式优化能源消耗上。目前仍有一个重要的研究空白,那就是设计一种能够同时且明确地将电池健康状况(从电池降解和热安全角度出发)作为优先考虑因素,并且还能利用预测功能的奖励函数。虽然在燃料电池汽车领域,人们已经探索过注重电池健康状况的能源管理系统设计[36]、[37],但这些研究是通过避免氢气不足以及运用热管理原理来解决燃料电池膜的降解问题,其设计的奖励函数并不适用于电池-超电容混合储能系统。而本研究则着眼于锂离子电池中的电化学降解问题,比如SEI层的形成以及阿伦尼乌斯动力学效应,研究的是双能源源半主动拓扑结构下的电池性能问题。由于该结构具有连续的二维动作空间,且需要对超电容的充电状态进行精确管理,因此其问题结构与以往的研究有本质区别。本研究旨在通过开发并全面评估一种新型的基于深度强化学习的能源管理系统来填补这些研究空白。本研究的主要创新点和贡献如下:
•开发并对比三种先进的深度强化学习算法:本研究实现了三种高效先进的深度强化学习算法,即PPO、TD3和SAC,并将其应用于电池-超电容混合储能系统的能源管理问题中,对其性能进行了对比测试。
•与常规方法进行全面对比:将这三种先进算法的性能与两种传统的控制策略——基于规则的控制策略和模糊逻辑控制策略——进行直接对比,从而定量分析出这些先进算法的优势以及性能提升的程度。
•设计一种多目标、以电池健康状况为核心的奖励函数:本研究的最重要创新点在于设计了一种精准的奖励函数,该函数能够同时实现三个目标:第一,通过惩罚高频电流波动来延长电池使用寿命;第二,通过对高温情况施加较高惩罚来确保电池的热安全;第三,提升系统的能源效率。
本文的其余部分将详细介绍系统建模和深度强化学习框架的内容,展示并分析仿真结果,最后给出结论以及未来研究的方向建议。
章节片段
混合动力电动汽车建模
在本研究中,为了为配备混合储能系统的电动汽车开发并评估能源管理策略,我们在Simcenter AMESim平台上建立了该电动汽车的完整动态模型,其结构示意图如图1所示。用于模型参数设定的参考车型是2021款特斯拉Model 3标准版,其关键参数详见表2。在仿真环境中,我们对模型进行了构建和参数设定。
仿真结果与讨论
本部分展示了基于强化学习的能源管理策略(即PPO、TD3和SAC)的仿真结果,旨在全面评估这些策略的性能。我们将这些策略的性能与两种广泛使用的传统控制器——基于规则的控制器和模糊逻辑控制器——进行对比,以此充分体现基于学习方法的控制策略的优势和高效性。评估工作分为两个阶段进行:首先是对各项性能进行详细分析……
结论
本研究开发并严格评估了一种能够考虑电池健康状况的深度强化学习框架,该框架用于电池-超电容混合储能系统的能源管理,其明确的目标是同时实现能源效率优化、电池健康保护以及实时应用能力提升。与以往的深度强化学习能源管理研究不同,那些研究大多只是在电池/内燃机或燃料电池架构下,以被动方式优化单一的能源效率目标(见表1)。而本研究的重要意义在于……
CRediT作者贡献说明
梅赫尔达德·拉伊西:撰写——初稿撰写、可视化处理、软件应用、方法设计、实验研究、正式分析、概念构思。帕里纳兹·查沃什尼亚:撰写——审稿与编辑、结果验证、软件应用、方法设计。西亚瓦什·曼苏里:撰写——审稿与编辑、资源协调、方法设计。莫尔特扎·莫拉贾法里:撰写——审稿与编辑、项目监督、软件应用。
伦理审批
无需审批。本研究仅涉及计算机模拟,没有涉及人类参与者、动物实验或敏感个人数据。
资金支持
本研究未获得任何公共机构、商业机构或非营利组织提供的任何资助。
利益冲突声明
作者声明自己不存在任何可能影响本研究结果的已知财务利益或个人关系。
致谢
作者感谢伊朗科学技术大学在整个研究过程中提供的计算资源以及各种机构支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号