基于强化学习模型预测控制的混合动力采矿自卸卡车实时能源管理

《Sustainable Energy Technologies and Assessments》:Real-time energy management for hybrid mining dump trucks using reinforcement learning-based model predictive control

【字体: 大 中 小 】 时间:2026年09月24日 来源:Sustainable Energy Technologies and Assessments 7.4

编辑推荐:

   •将RL-MPC应用于超大型HMDT,实现坡度自适应的能量管理 •GRU-BiLSTM在坡度变化条件下实现高精度功率预测 •RL智能体在MPC预测时域内求解最优控制序列 引言 矿业是现代工业发展的重要支撑和基础产业之一。作为典型的采矿设备,矿用自卸车承担着全球约40%的煤炭

  

•将RL-MPC应用于超大型HMDT,实现坡度自适应的能量管理
•GRU-BiLSTM在坡度变化条件下实现高精度功率预测
•RL智能体在MPC预测时域内求解最优控制序列

引言
矿业是现代工业发展的重要支撑和基础产业之一。作为典型的采矿设备,矿用自卸车承担着全球约40%的煤炭和90%的铁矿石的开采和运输任务[1]。近年来,对排放和燃油经济性的日益关注推动了采矿和运输行业混合动力系统的快速发展[2]、[3]。EMS决定了混合动力汽车动力总成的功率流,对能效和动态性能具有重要影响[4]。因此,混合动力电动汽车(HEV)的关键技术之一是如何在满足驾驶员功率需求的前提下实现多电源的最优分配[5]、[6]。

根据所采用的控制方法,现有HEV的EMS可分为基于规则的EMS和基于优化的EMS[2]、[7]、[8]。基于规则的EMS常用方法有油门控制器、功率跟随器和基于模糊规则的控制策略[9]、[10]、[11]。这类策略易于实现且计算量小,但难以保证最优能量分配。基于优化的EMS一般可分为瞬时优化、全局优化、基于MPC和基于RL的EMS[12]、[13]、[14]、[15]、[16]。瞬时优化策略(如ECMS)存在计算复杂度高、对等效因子参数敏感等局限性,导致优化性能较差[17]。基于全局优化的EMS实现了理论最优性,但需要预测整个驱动循环,计算负担沉重,难以直接应用于实时控制系统,通常作为策略评估的基准算法[18]、[19]。近年来,基于MPC和RL的EMS得到了发展,吸引了越来越多的研究人员关注。

基于MPC的EMS预测车辆的未来行驶条件,并采用各种优化方法在预测时域内求解最优控制序列,然后将第一个最优控制量输出给被控对象。因此,该策略的性能主要取决于两个因素:行驶条件预测和优化算法[20]。传统的行驶条件预测方法包括指数平滑预测[21]、马尔可夫链速度预测[19]和人工神经网络模型[22]、[23]、[24]。对于预测时域优化,传统算法包括庞特里亚金极小值原理(PMP)[25]、[26]、[27]、[28]、动态规划(DP)[29]、[30]、非线性规划[31]和二次规划[32]等方法。Du等人[33]提出利用基于门控循环单元(GRU)的模型来预测速度序列,设计了由DP算法求解的MPC策略,并探讨了不同预测器、预测时域和荷电状态(SOC)参考值对能量管理性能的影响。Pan等人[34]开发了一种基于双向长短期记忆(BiLSTM)速度预测模型和MPC方法的燃料电池混合动力电动汽车(FCHEV)EMS,旨在降低车辆燃油消耗,同时减轻燃料电池退化和电池健康恶化。

RL算法是人工智能(AI)的一个重要分支,通过试错过程直接与外部环境交互来学习[35]、[36]。相关算法在能量管理问题中的研究和应用正在兴起[37]、[38]、[39]。Du等人[40]设计了一种基于深度Q学习(DQL)的串联混合动力电动汽车(SHEV)EMS,其燃油经济性非常接近全局最优。He[41]提出了一种基于基于规则的速度规划和深度确定性策略梯度(DDPG)的HEV实时能量管理算法,基于互联环境中所有交通信息优化燃油经济性,在满足驾驶安全和时间约束的同时实现更低的燃油消耗。Sun等人[42]提出了一种基于软演员-评论家(SAC)深度强化学习(DRL)的EMS,能够提高HEV在不同工况下的燃油经济性,并具有良好的鲁棒性。

近年来,RL与MPC的集成取得了快速进展,出现了四种范式[5]、[43]、[44]、[45]:(1)分层范式,RL进行全局规划,MPC进行跟踪;(2)加性/校正范式,MPC提供基线,RL提供校正;(3)自适应范式,RL调整MPC权重或时域;(4)求解器替换范式,RL作为MPC的内部优化器。前三种范式已被广泛研究,而第四种范式探索较少。

尽管基于RL的EMS具有节能潜力,但在矿山应用中仍存在几个挑战。首先,大多数研究依赖于标准行驶循环,未考虑道路坡度。其次,现有方法通常需要未来循环的先验知识,特别是DRL需要在同一循环上进行大量训练才能达到收敛,计算成本高。第三,从一个循环学到的策略在应用于新循环时往往失去效力,导致明显的性能下降。

为了应对上述挑战,本文整合道路坡度信息,构建基于未来运行工况预测的HMDT EMS。主要贡献如下:
1)提出了一种新颖的RL-MPC耦合框架,用于超大型HMDT,整合实时道路坡度信息,更好地适应非结构化动态采矿场景。
2)构建了GRU-BiLSTM混合网络来预测车辆功率需求,结合GRU的长期时间依赖性学习优势和BiLSTM的双向特征提取优势,实现高精度预测。
3)与传统的纯RL方案相比,所提出的方法消除了对完整先验驱动循环信息的依赖,避免了耗时的离线预训练,在高度随机的采矿条件下实现实时最优功率分配。

章节摘要
系统模型与MPC框架
HMDT的形状和SHEV动力总成如图1所示。SHEV动力总成集成了三个主要部件:发动机-发电机单元、储能电池和电动轮模块。所有连接到直流电源网络的部件都必须根据基本功率守恒原则保持能量平衡,不包括辅助电气负载。
Pbat=ηreqPreq-ηengPe
ηreq=ηbatηAC_DCηmotηtran
sign(Tmot)
ηeng=ηAC_DCηEGS/ηbat
sign(Tmot)
其中Pbat是电池功率...

基于GRU-BiLSTM的功率预测模型
所提出的神经网络是一种集成GRU和BiLSTM的堆叠混合模型,由三层组成:GRU、BiLSTM和FC全连接层。整体架构如图2所示,模型的主要超参数详见表B.1。GRU-BiLSTM网络在时间t的输入、输出和非线性变换函数的定义见公式(B.1)、(B.2)、(B.3)。
GRU-BiLSTM网络使用采矿现场测试数据...

基于RL-MPC算法的EMS
传统RL架构如图B.4(a)所示。在这个标准框架内,促进智能体-模型交互的基本组件包括环境状态、可能动作和相应的奖励。本研究利用SARSA-Lambda作为基于模型的RL算法。与标准SARSA相比,它表现出优越的学习性能和更快的收敛速率。对于给定的状态-动作对st,at,SARSA-Lambda算法执行Q值更新...

EMS仿真测试
基于部件和车辆模型结合GRU-BiLSTM预测模型,RL-MPC优化策略实现了HMDT的实时在线控制。

HIL实验
为了评估所提出的RL-MPC策略在动态运行条件下的实时适应性和系统鲁棒性,在National Instruments(NI)平台设备上进行了HIL实验,并进行了系统分析。HIL测试平台如图C.3所示,由几个关键组件组成:
•NI PXI机箱作为实时计算核心
•PC主机用于监控控制
•车辆控制单元(VCU)(NXP MPC5744微控制器)
•VeriStand实验...

结论
为了优化在坡地条件下运行的大型HMDT的多电源能量分配并提高燃油经济性,本研究提出了一种集成的RL-MPC策略,利用历史车速和道路坡度数据进行实时能量管理。该方法首先建立了基于GRU-BiLSTM预测器增强的MPC控制框架,该预测器在变坡度条件下表现出显著提高的预测精度。该预测器...

CRediT作者贡献声明
Xie Guojin:撰写—初稿、软件、方法论、调查研究、概念构思。Ding Rongjun:撰写—审阅与编辑、监督、资源、资金获取。Bian Yougang:撰写—审阅与编辑、验证、监督、资源、方法论、资金获取。Zhang Min:验证、资源、方法论。Hu Jiaxi:验证、资源、方法论。Liu Huirong:验证、资源。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能会影响本文所述的工作。

致谢
本研究得到广西科技重大专项(Guike AA24263072-3)、国家自然科学基金(52372411)和车辆先进设计与制造技术国家重点实验室(82425002)的支持。

Xie Guojin | Ding Rongjun | Bian Yougang | Zhang Min | Hu Jiaxi | Liu Huirong
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号