基于生成对抗模仿学习的增程式电动汽车电池储能系统能量与热管理一体化
《Journal of Energy Storage》:Integrated energy and thermal management for battery energy storage systems in range-extended electric vehicles based on generative adversarial imitation learning
【字体:
大
中
小
】
时间:2026年10月22日
来源:Journal of Energy Storage 10.7
编辑推荐:
**研究亮点**
• 首次将生成对抗模仿学习(GAIL)引入综合能量与热管理系统(IETMS)的研究中。
• 基于动态规划(DP)构建了多目标全局最优专家数据集。
• 开发了一套融合优化方法与学习策略的综合框架。
• 所提出的策略实现了3.31%–10.65%的燃料消
**研究亮点**
• 首次将生成对抗模仿学习(GAIL)引入综合能量与热管理系统(IETMS)的研究中。
• 基于动态规划(DP)构建了多目标全局最优专家数据集。
• 开发了一套融合优化方法与学习策略的综合框架。
• 所提出的策略实现了3.31%–10.65%的燃料消耗降低。
• 基于GAIL的综合能量与热管理策略在不同驾驶工况下均表现出稳健的性能。
**引言**
电池储能系统在推动交通电气化、减少交通领域碳排放方面发挥着关键作用[1],[2]。纯电动汽车(BEV)在低排放、减少环境污染方面具有显著优势[3]。然而,受当前电池储能技术局限性的制约,纯电动汽车仍面临相当大的里程焦虑问题[4],[5]。增程式电动汽车(REEV)配备大容量电池和辅助动力单元(APU),采用双电源配置,能够有效解决纯电动汽车的上述局限性[6],[7]。在增程式电动汽车中,电池储能系统深受热环境条件的影响,尤其是在极端环境温度下。在高温环境中,空调系统的运行会导致车辆运行期间额外的能耗[8]。此外,维持适当的电池温度对于确保电池寿命至关重要[9]。因此,开发有效的综合能量与热管理策略对于优化增程式电动汽车应用中的电池储能运行、改善热调节效果以及延长电池寿命具有重要意义。
目前,混合动力系统中的能量分配能量管理策略已被广泛研究,可大致分为基于规则的方法和基于优化的方法[10]。基于规则的能量管理策略通常以充放电控制(CDCS)[11]和模糊控制[12]为代表。由于其简单性和较低的计算负担,基于规则的能量管理策略已被广泛应用于混合动力汽车的控制中。然而,此类策略的控制参数通常依赖于工程经验[13],这限制了其进一步改善燃油经济性的潜力。基于优化的能量管理策略旨在通过最小化预定义的成本函数,在给定的时间范围内获得最优的控制序列[14]。根据优化范围的不同,这些方法可分为全局优化和瞬时优化。在全局优化领域,动态规划是一种常用且有效的方法。例如,Xu等[15]采用动态规划评估了不同构型混合动力汽车的燃油消耗性能,从而分析其经济效益。Li等[16]基于动态规划开发了适用于城市公交线路的全局最优能量管理策略。然而,动态规划需要在计算前预先知道整个驾驶工况的信息,这限制了其在实时能量管理系统中的适用性。相比之下,基于瞬时优化的能量管理策略能够提供高效且实时可行的解决方案,主要包括等效消耗最小化策略和模型预测控制。等效消耗最小化策略将实时燃油消耗转化为等效电能消耗,并通过最小化总等效能耗来进行优化[17],[18]。模型预测控制是一种基于短期状态预测的滚动时域优化方法,已被广泛应用于车辆控制[19]。Min等[20]提出了一种双层引导预测能量管理框架,其中上层基于监督学习执行快速的电池荷电状态全局规划,下层采用模型预测控制进行实时优化,显著提高了能量利用效率。
然而,现有的能量管理策略研究主要聚焦于正常温度条件下不同能源之间的功率分配。在实际驾驶场景中,环境温度条件对车辆能耗的影响不容忽视。在高温环境中,空调系统需要消耗额外能量来为乘员舱和电池系统降温。同时,温度变化也会影响电池的充放电性能。美国国家实验室开展的研究[21],[22]表明,在高温条件下,热管理系统成为整车能耗的主要贡献者。这些发现表明,在极端天气环境下,通过改进混合动力汽车的控制策略,仍存在显著的节能潜力。因此,研究能量管理与热管理之间的耦合关系对于进一步优化混合动力系统的能耗性能至关重要。
Shams-Zahrae等[23]开发了一种基于正向动态规划的综合能量与热管理策略。与传统能量管理策略相比,他们的工作明确分析了热管理系统与能量管理系统之间的耦合关系。结果表明,所提出的综合能量与热管理策略能够同时降低乘员舱加热能耗和整车燃油消耗。Zhao等[24]利用动态规划方法推导了乘员舱和电池温度的全局最优轨迹,实现了空调系统能耗降低18.54%。然而,高维动态规划存在显著的计算复杂度,难以满足实际应用中的实时控制需求。为提高实时性能,分层模型预测控制框架通常被用于综合能量与热管理[25]。Seho等[26]基于模型预测控制实现了混合动力汽车能量管理与电池冷却的协调控制,在降低能耗的同时减缓了电池老化。Yu等[27]提出了一种在分层模型预测控制框架内的新型综合能量与热管理策略,纳入了电池温度和荷电状态的全局规划,实现了全局最优性能的86.60%–92.18%。
然而,基于模型预测控制的方法严重依赖于模型精度和对未来驾驶条件的精确预测,这在一定程度上阻碍了其实际部署[28]。近年来,随着人工智能的快速发展,深度强化学习为能量管理提供了一种有前景的替代方案,并展现了优异的性能[29],[30]。基于学习的综合能量与热管理策略引起了越来越多的关注,因为它能够从高维、非线性的车辆运行数据中学习控制策略,而无需反复求解在线优化问题。现有研究主要包括基于价值的强化学习、演员-评论家深度强化学习以及协作或网联车辆学习框架。在综合能量与热管理领域,Li等[31]开发了一种基于孪生延迟深度确定性策略梯度算法的强化学习框架,以实现低温条件下混合动力汽车的协调控制。尽管取得了这些进展,基于深度强化学习的控制策略仍面临若干局限性。由于训练过程中需要进行大量的试错探索,所学到的策略可能存在鲁棒性差的问题,并倾向于收敛到次优解[32],[33]。Zhang等通过将交通预览和热状态信息融入其中,开发了一种基于深度强化学习的网联混合动力汽车综合热能与能量管理策略,展示了学习策略在气候自适应能量管理方面的潜力[34]。此外,协作多智能体深度强化学习已被用于在网联混合动力汽车中协调能量管理与电池、发动机和乘员舱的热负荷[35]。因此,基于学习的综合能量与热管理方法仍需进一步的深入研究。尽管这些基于学习的方法提高了综合能量与热管理策略的适应性和在线决策能力,但仍存在若干局限性。首先,大多数基于深度强化学习的方法依赖试错探索和手工设计的奖励函数,这可能导致训练不稳定或收敛到次优策略。其次,学习得到的策略与全局最优解之间的关系往往不够直接,尤其是在涉及燃油消耗、电池温度和老化相关成本的强耦合多目标问题中。因此,仍然需要一种能够将全局优化的动态规划行为迁移为在线可执行策略的专家引导学习框架。
总之,当前面向电池储能系统的综合能量与热管理策略面临的主要挑战在于如何在高维非线性系统中实现全局最优性与满足实时控制需求之间的权衡。现有研究仍面临以下几个关键挑战尚待解决:
(1)能量管理与热管理之间的强耦合导致高阶非线性系统,显著增加了所产生多目标优化问题的求解难度。开发在线可实施的能量-热协调控制策略仍是一项具有挑战性的任务。
(2)基于优化的综合能量与热管理策略方法严重依赖于未来驾驶信息的可用性或对运行条件的精确预测,这在实际应用中难以保证。
(3)面向综合能量与热管理的深度强化学习研究仍然有限。由于其训练过程中的试错性质,深度强化学习方法可能会收敛到次优解,导致与全局最优性能之间存在差距。
为了解决这些问题,本研究开发了一种动态规划引导的生成对抗模仿学习框架,用于面向电池储能系统的综合能量与热管理[36]。需要强调的是,此处采用生成对抗模仿学习并非因为它在所有先进深度强化学习算法中普遍更优,而是因为其模仿学习机制非常适合本研究中强耦合的能量-热优化问题。传统的深度强化学习方法,如基于价值的方法和演员-评论家算法,通常通过与环境进行试错交互来学习控制策略,并且严重依赖手工设计的奖励函数。相比之下,动态规划可以在预定义驾驶工况下提供全局优化的专家轨迹,但由于其对未来驾驶信息和较高计算负担的要求,无法直接在线实施。通过将动态规划生成的轨迹作为专家演示,生成对抗模仿学习使策略网络能够模仿专家的-动作占用分布,而不仅仅是从试错交互中学习。因此,所提出的框架将动态规划中具有全局信息的协调行为转化为在线可执行策略,在全局优化性能和实时适用性之间提供了一种实际可行的折中方案。本研究提出的基于生成对抗模仿学习的综合能量与热管理策略框架架构如图1所示。
需要指出的是,与生成对抗网络或生成对抗模仿学习相关的学习机制已在能量管理中得到探索。例如,Fan等[33]开发了一种嵌入生成对抗网络的强化学习策略,用于混合动力汽车的能量管理。然而,他们的工作主要关注能量管理和功率分配,并未明确将电池热管理纳入耦合控制目标。与本研究不同的是,本研究针对增程式电动汽车建立了面向电池储能系统的综合能量与热管理问题,其中增程器功率和电池冷却功率被联合优化。此外,动态规划生成的全局优化轨迹被用作专家演示,学习得到的策略在一个考虑燃油消耗和温度相关电池老化的双目标框架下进行评估。因此,本研究的边际贡献不仅在于一般性地使用生成对抗网络/生成对抗模仿学习,更在于将动态规划引导的对抗模仿学习嵌入到一个具有电池冷却和老化感知目标的耦合能量-热优化框架中。本文的主要贡献总结如下:
(1)通过将电池热行为和退化特征纳入基于动态规划的专家轨迹生成过程,开发了一种面向电池储能系统的综合能量与热管理策略框架,实现了具有全局信息的电池操作学习,从而通过数值优化增强了基于学习的能量管理策略。
(2)创新地将生成对抗模仿学习应用于增程式电动汽车的电池储能系统。利用信任区域策略优化算法训练策略网络,使其模仿全局最优的专家策略。通过对抗训练获得的策略网络避免了动态规划的高计算负担,同时保持了接近全局最优的控制性能。
(3)从多目标角度对所提出的方法进行评估,同时考虑燃油经济性和电池老化。结果表明,基于生成对抗模仿学习的策略相比多个基准算法具有优越性。此外,利用非训练条件下的实际驾驶数据对所提出的方法进行评估,以展示其在不同驾驶场景下的泛化能力。
本文其余部分组织结构如下。第2节介绍了增程式电动汽车系统的动态模型和热模型。第3节介绍了基于动态规划的全局能量-热优化方法。第4节详细阐述了所提出的基于生成对抗模仿学习的综合能量与热管理策略。第5节提供了仿真结果与分析。最后,第6节对全文进行了总结并概述了未来的研究方向。
**增程式电动汽车能量与热耦合建模**
本文以增程式电动汽车作为研究对象。增程式电动汽车的动力总成配置如图2所示。增程式电动汽车的关键部件主要包括发动机、发电机、电池和驱动电机。主要车辆参数汇总于表1中。
**基于动态规划的综合能量与热管理全局优化**
基于动态规划的全局优化可以在预先知道整个驾驶工况的前提下,获得混合动力系统的最优能量管理方案。然而,在高温场景中,仅考虑荷电状态的能量管理策略不足以满足增程式电动汽车的实际需求。
电池温度不仅与电池的寿命和安全密切相关,还对增程式电动汽车(REEV)的能耗性能有显著影响。基于全局优化引导的生成对抗模仿学习为充分利用全局优化的引导作用,我们提出了一种基于生成对抗模仿学习的集成能量与热管理策略(IETMS)。其核心思想是利用对抗训练来逼近全局最优解的分布。GAIL主要由策略网络和判别器组成。策略网络根据当前状态输出控制动作,而判别器则评估给定的状态-动作对是否来源于专家演示。通过对抗训练,策略网络学习到能够生成与全局最优解分布相近的控制策略。
结果与讨论为评估所提出的基于GAIL的集成能量与热管理策略的有效性,设计了四组对比实验。虽然动态规划(DP)无法直接应用于REEV的实时控制,但它可作为评估其他策略性能的全局最优基准。为验证GAIL相对于其他基于学习的策略的优势,选取TD3算法作为深度强化学习(DRL)方法的代表,以进一步评估所提出的GAIL的控制性能。结果表明,所提出的基于GAIL的IETMS在燃油经济性和电池寿命的多目标优化方面均取得了良好效果。
结论本文提出了一种基于全局优化引导和GAIL的、面向高温工况下电池储能优化的REEV集成能量与热管理策略。所提出的方法协调动力源与冷却系统的运行,在满足整车功率需求的同时,将车厢和电池温度维持在可接受范围内。基于GAIL的IETMS实现了燃油经济性和电池寿命的多目标优化,为REEV的能量与热管理提供了新的技术路径。
CRediT作者贡献声明:高浩明:初稿撰写、可视化、验证、软件、方法论、调查研究、形式化分析、数据整理、概念构思。孙超:审稿与编辑、监督、项目管理、资金获取、形式化分析。冷江浩:审稿与编辑、验证、监督、软件、调查研究。宋旭鹏:审稿与编辑、验证、监督。杨国栋:软件、调查研究、形式化分析。李一东:
利益冲突声明:作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢:本工作得到深圳市科技计划(项目编号:KJZD20230923114815032)的经费支持。
高浩明 | 孙超 | 冷江浩 | 宋旭鹏 | 杨国栋 | 李一东 | 韩鹏斌
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号