《Aerospace》:Conceptual Design of Green Propulsive Systems Using Reinforcement Learning
编辑推荐:
混合电动力系统(Hybrid-electric powertrains)为显著减少飞行中飞机排放提供了解决方案。本研究提出了一种将混合电动力架构的生成式设计与强化学习(Reinforcement Learning, RL)相结合的方法,用于优化其控制参数。所提
混合电动力系统(Hybrid-electric powertrains)为显著减少飞行中飞机排放提供了解决方案。本研究提出了一种将混合电动力架构的生成式设计与强化学习(Reinforcement Learning, RL)相结合的方法,用于优化其控制参数。所提出的应用是对ATR-72进行改装,目标是确定最优的绿色架构。结果表明,一个有前景的候选方案是结合燃气轮机(Gas Turbine, GT)和燃料电池(Fuel Cell, FC)的双燃料动力系统(Dual Fuel Powertrain)。与传统架构相比,该概念可减少高达74%的CO2排放和86%的NOx排放,而有效载荷质量损失仅为24%。
### 论文解读:基于强化学习的绿色推进系统概念设计
#### 研究背景与问题
随着全球人口和经济持续增长,航空需求预计到2050年每年增长3%至5%。然而,航空运输通过排放二氧化碳(CO
2)、氮氧化物(NO
x)、水蒸气(H
2O)以及形成凝结尾迹,对全球变暖产生贡献。2018年,航空CO
2排放占全球有效辐射强迫(ERF)的1.59%,NO
x排放占1.91%。为减少航空业对人为气候变化的影响,欧盟于2022年更新了长期愿景,提出“Fly the Green Deal”路线图,目标是到2050年实现完全气候中和,这要求大幅降低飞机排放。现有文献中一个潜在解决方案是开发混合电动力系统(Hybrid-Electric Powertrains, HEP)。然而,现有HEP概念设计模型多基于简化假设,且缺乏针对复杂架构的优化框架。此外,传统优化算法(如遗传算法)在生成式设计中计算成本过高,难以高效探索庞大架构空间。因此,需要一种能够自适应不同架构并快速优化控制参数的方法,以识别满足严格排放目标(如Flightpath 2050目标:每乘客公里CO
2减少75%、NO
x减少90%)的绿色推进系统。
#### 研究内容与结论
研究人员提出了一种结合HEP架构生成式设计与强化学习(RL)的优化方法,应用于ATR 72-600的改装研究,以最大化有效载荷同时满足Flightpath 2050可持续性目标。研究基于2050年技术预测,建立了包含三种能源(喷气燃料CJF、液态氢LH
2、电池BAT)和多种组件的分析模型,并利用软演员-评论家(SAC)算法训练一个通用策略,可即时为任意架构设定控制参数。结果表明,仅含氢燃料电池(FC)的架构显著优于传统设计,而最优方案是结合燃气轮机(GT)和燃料电池的双燃料动力系统(dual fuel powertrain)。该方案在保持最大起飞质量(MTOM)恒定的前提下,使有效载荷质量减少27.1%,同时实现每乘客公里CO
2排放减少83.9%、NO
x排放减少90.2%。该研究证明了RL在概念设计阶段快速探索架构空间的能力,为绿色推进系统设计提供了高效框架。论文发表在《Aerospace》。
#### 关键技术方法
研究人员主要采用以下关键技术方法:
1. **生成式架构设计**:基于能量守恒定律和混合因子(supply power ratio和shaft power ratio),构建描述HEP中功率源、推进单元、转换器和分配器之间关系的通用分析模型,可生成最多120种独特架构。
2. **强化学习(RL)优化**:采用软演员-评论家(SAC)算法,一种无模型、离策略的RL方法,通过最大化累积奖励和熵来平衡探索与利用。算法将架构描述为系统矩阵、掩码和飞行阶段指示器等状态空间,输出连续控制参数(供能参数和轴功率参数)。
3. **协方差矩阵自适应进化策略(CMA-ES)验证**:为检验RL算法是否收敛到全局最优,使用CMA-ES对每个架构进行10代和1000代优化,作为基准对比。
4. **案例研究设计**:以ATR 72-600为参考机型,基于其飞行剖面(起飞、爬升、巡航、下降)和配平要求,计算各阶段功率需求,并考虑2050年技术预测下的组件性能参数(如电池能量密度、燃料电池功率密度等)。来源包括公开文献中ATR 72-600的飞行手册和重量平衡报告。
#### 研究结果
**1. 优化结果总体分布**
研究人员通过箱线图(图7)展示了不同能量组合架构下,RL模型训练步数对缩放奖励(scaled reward)的影响。结果显示,RL模型在所有架构上均优于随机选择(零训练步数),且训练步数越多奖励越高,但通常在70,000步后收益递减。仅含喷气燃料(CJF)的架构奖励接近基线,无法改善;仅含电池的架构因能量密度低而过重。只有含氢架构能实现改进,其中CJF与氢组合的架构奖励最高,而加入电池会降低平均奖励。
**2. 含氢架构的关键因素**
进一步分析(图8)表明,含氢架构中,是否包含燃料电池(FC)是分离性能的关键。使用燃料电池的架构可实现优于基线的改进,而氢燃烧(在燃气轮机中)因效率较低(30-35%)且仍排放NO
x,导致设计不可行(重心超出范围)。燃料电池效率(55-60%)且完全气候中性,是实现减排的关键。
**3. 最优架构与控制策略**
RL模型找到的最优架构(图9黑色数字)采用双燃料动力系统:燃气轮机在功率需求高的阶段(起飞、爬升)运行,燃料电池在巡航和下降阶段提供主要功率,且燃料电池输出功率保持相对恒定以避免冗余重量。该设计使有效载荷减少25.5%,并超额完成Flightpath 2050目标(CO
2减少83.9%,NO
x减少90.2%),可能因代理为避免超标而选择保守策略。
**4. CMA-ES对比**
CMA-ES算法(1000代)找到了更高奖励的设计(图10b),使有效载荷进一步提高4.52%。该策略在起飞和爬升阶段使用氢燃烧(燃气轮机),巡航阶段使用CJF燃烧,以平衡排放和载荷。然而,CO
2减排仅为77.9%,NO
x减排90%,说明NO
x目标限制了进一步增加有效载荷。
#### 讨论与结论
**讨论总结**:
研究指出,当前框架未包含成本分析,未来混合电动力架构的采购和运营成本可能高于传统设计(文献显示直接运营成本增加69.8%,票价提高约36%)。此外,RL算法在接近可行性约束时表现不及CMA-ES,可能需要改进目标函数或超参数调整。未来可扩展可持续航空燃料(SAF)作为能源,并考虑全生命周期分析。分布式推进的气动效应、辅助系统影响(如热管理系统的阻力与重量)以及可变组件效率等因素未被纳入,后续研究可予以完善。
**研究结论翻译**:
本研究提出了一种生成式算法,用于设计混合电动力推进系统架构,并结合强化学习优化推进系统的概念设计。该方法应用于ATR 72-600推进系统的改装分析,以最大化有效载荷同时满足Flightpath 2050可持续性目标。结果表明,相较于传统设计,改进需要包含氢燃料电池,因其具有更高效率和更低气候影响。然而,强化学习算法识别的最优架构是一个同时使用燃料电池和双燃料发动机(以常规喷气燃料和氢为燃料)的混合系统。最高效的运行模式是利用燃料电池提供大部分功率。在所提出的设计中,有效载荷质量减少27.1%以保持最大起飞质量恒定,同时每乘客公里CO
2排放减少83.9%,NO
x排放减少90.2%。