基于模仿深度强化学习的支线飞机PEMFC混合推进系统健康感知能量管理

《Aerospace Science and Technology》:Health-aware energy management for PEMFC hybrid propulsion systems in regional aircraft based on imitation deep reinforcement learning

【字体: 大 中 小 】 时间:2026年06月09日 来源:Aerospace Science and Technology 5.8

编辑推荐:

  在燃料电池混合电动飞机(FCHEA)中,能量管理需要平衡多源功率分配、组件退化以及依赖于高度的热力学变化。为应对这些耦合约束,研究人员提出了一种集成生成对抗模仿学习与双延迟深度确定性策略梯度(TD3-GAIL)的能量管理策略。GAIL利用离线动态规划(DP)轨

  
在燃料电池混合电动飞机(FCHEA)中,能量管理需要平衡多源功率分配、组件退化以及依赖于高度的热力学变化。为应对这些耦合约束,研究人员提出了一种集成生成对抗模仿学习与双延迟深度确定性策略梯度(TD3-GAIL)的能量管理策略。GAIL利用离线动态规划(DP)轨迹提供专家指导,从而缓解冷启动问题并加速连续空间中的TD3训练。该控制公式独特地桥接了宏观层面的功率分配与微观层面的系统调节,动态控制燃料电池电流密度和压缩机压比,以适应变化的飞行需求和海拔条件。跨完整飞行剖面的综合仿真表明,与无引导的基线相比,TD3-GAIL策略将训练收敛速度提升了高达32.2%。此外,通过协调燃料电池与电池之间的动态负载分配以及压缩机压比的精确调节,该策略最小化了寄生损耗并优化了组件的运行状态,从而实现了卓越的整体系统效率。在经济性方面,该智能体实现了接近最优的生命周期性能,与离线DP基准相比,总运营成本仅增加约1.22%。广泛的鲁棒性评估进一步证实了所提出策略的卓越弹性,该策略成功地将燃料电池与严重的高频随机负载扰动和不同的初始条件隔离开来,从而为零排放航空推进提供了一种高度可靠且经济可行的控制解决方案。
**论文解读:基于模仿深度强化学习的燃料电池混合推进系统健康感知能量管理策略**

**研究背景与问题**
航空业正面临2050年碳中和目标的巨大减排压力,传统化石燃料推进系统亟需替代方案。燃料电池混合电动飞机(FCHEA)结合质子交换膜燃料电池(PEMFC)的高比能量和电池的高功率密度,成为零排放航空的可行路径。然而,FCHEA的能量管理面临三大耦合挑战:多源功率分配(需协调PEMFC的慢动态与电池的快响应)、组件退化(PEMFC负载波动导致加速老化、电池过放风险)以及海拔依赖的热力学变化(高空低气压影响PEMFC性能)。现有能量管理策略(EMS)包括基于规则、基于优化和基于学习的方法,但各有局限:规则策略依赖静态阈值,灵活性差;动态规划(DP)虽能获得全局最优解,却受维数灾难和需预知全飞行剖面的限制;深度强化学习(DRL)虽能在线优化,但存在冷启动问题(早期探索效率低)和样本效率不足。此外,现有研究多集中于地面车辆,鲜有同时考虑航空飞行剖面中海拔变化对PEMFC辅助部件(如压缩机)的影响以及全生命周期经济性。为解决上述问题,研究人员提出了一种集成生成对抗模仿学习(GAIL)与双延迟深度确定性策略梯度(TD3)的智能EMS,兼顾训练效率、组件耐久和航空环境适应性。该论文发表在《Aerospace Science and Technology》。

**主要技术方法**
研究人员以ATR-72涡桨飞机为原型平台,将其改装为FCHEA,构建了包含PEMFC系统、电池和热力学子系统的全主动混合拓扑模型。关键技术方法包括:1)建立PEMFC的准静态电化学模型与压缩机热力学模型,考虑海拔对压力和温度的影响;2)采用动态规划(DP)离线生成全飞行剖面的最优功率分配轨迹,作为专家示范;3)将生成对抗模仿学习(GAIL)嵌入TD3算法框架,使策略网络通过对抗学习逼近DP示范,缓解冷启动并加速收敛;4)设计联合控制架构,同时优化燃料电池电流密度j和压缩机压比πcp,实现宏观功率分配与微观系统调节的桥接;5)定义多目标成本函数,综合氢耗、PEMFC退化(电压降级模型)和电池老化(循环寿命模型)。

**研究结果**
- **训练性能与收敛性分析**:通过与无专家引导的TD3和DDPG算法在相同飞行循环下对比训练,TD3-GAIL框架的平均每幕奖励曲线展现出更高的初始奖励和更快的收敛速度,训练收敛时间最多缩短32.2%(相比未引导基线)。
- **生命周期经济性能**:基于完整飞行剖面的仿真表明,TD3-GAIL策略的总运营成本仅比离线DP基准增加约1.22%,实现了接近全局最优的生命周期经济性。通过协调燃料电池与电池的动态负载分配,并精确调节压缩机压比以最小化寄生损耗,该系统效率得到整体提升。
- **鲁棒性评估**:面对高频随机负载扰动和不同的初始SOC条件,TD3-GAIL策略能稳定维持燃料电池电流在安全范围内,避免功率大幅度波动,成功隔离高幅值快速扰动对电堆的冲击,展现出优异的弹性。

**讨论与结论**
讨论部分指出,TD3-GAIL通过GAIL的对抗学习能力弥补了传统DRL的冷启动缺陷,且其连续动作空间能力优于基于置信域策略优化(PPO)等同类模仿学习框架。联合控制压缩机压比使得EMS能主动补偿高空低气压导致的输出性能衰减,克服了将燃料电池视为“黑箱”的简化假设。结论翻译如下:为应对FCHEA中多源功率分配、组件退化和海拔相关热力学变化的复杂联合优化,研究人员建立了一种基于TD3-GAIL的新型智能能量管理框架。GAIL的引入使框架能够利用DP导出的近似最优参考解作为离线专家指导,从而克服高维连续动作空间中的冷启动问题和随机探索的低效性。通过同时控制燃料电池电流密度j与压缩机压比πcp,框架将宏观功率分配与微观辅助部件调节相结合,实现了更精细的策略调节。仿真结果验证了所提框架在训练效率、生命周期经济性和鲁棒性方面的优势,凸显其作为飞机层面多源动力总成系统可行且可靠的EMS的潜力,为零排放航空推进提供了一种高度可靠且经济可行的控制解决方案。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号