《Materials Genome Engineering Advances》:Knowledge-Constrained Multi-Objective Reinforcement Learning for Simultaneous Optimization of Printability and Mechanical Properties in Additively Manufactured Superalloys
编辑推荐:
增材制造(additive manufacturing, AM)条件下,多组元高温合金在极端非平衡凝固过程中易发生开裂,导致打印性与力学性能之间难以兼顾。本研究提出一种知识约束多目标强化学习(multi-objective reinforcement lear
增材制造(additive manufacturing, AM)条件下,多组元高温合金在极端非平衡凝固过程中易发生开裂,导致打印性与力学性能之间难以兼顾。本研究提出一种知识约束多目标强化学习(multi-objective reinforcement learning, MORL)框架,用于理性设计兼具无裂纹、高强度、高塑性和抗蠕变性能的AM高温合金。不同于传统的帕累托前沿(Pareto-front)方法,该框架将开裂敏感性作为硬约束直接嵌入奖励函数中,从而能够以目标导向的方式搜索同时满足打印性与均衡力学性能的材料。MORL高效探索了包含4488万个候选材料的成分空间,并在单次迭代中设计出两种合金,其在800°C下屈服强度超过800 MPa、伸长率高于9%且无裂纹。对MORL引导轨迹的分析揭示了一种未曾预料的设计策略:提高Cr、Ti、Mo和W含量可促进晶界处离散分布的M23C6和MC碳化物析出,这些碳化物通过钉扎作用细化晶粒并协调高温变形,从而同步提升强度与塑性。值得注意的是,这两种合金均落在现有AM开裂准则所预测的易开裂成分区间内,但实际却保持无裂纹状态,突破了这些准则的局限,表明数据驱动模型能够捕获半经验指标所遗漏的复杂交互作用。该工作确立了MORL作为发现冶金原理的高效设计工具,并为开发面向AM的高性能多组元合金提供了可迁移的范式。
知识约束多目标强化学习驱动的增材制造高温合金设计:从成分优化到打印性与力学性能协同提升
一、研究背景与拟解决的关键问题
增材制造(additive manufacturing, AM)作为一种逐层堆积成形技术,在航空航天、医疗、汽车和消费电子等领域展现出巨大应用潜力。其中,选区激光熔化(selective laser melting, SLM)因粉末粒度最细、成形精度最高,能够实现零件近净成形,然而该工艺固有的极高冷却速率对材料-工艺匹配性提出了严苛要求。AM高温合金通常包含大量合金元素、合金化程度高。多数γ′相强化的镍基高温合金(如CM247、IN738和IN939)在AM过程中极易开裂,难以满足沉积态无裂纹的工程应用要求;而合金化程度较低的IN718和Haynes 282虽打印性良好,但力学性能受限。因此,亟需开发一种同时兼备优异打印性和高力学性能的AM高温合金。
传统试错法依赖经验积累和重复实验,效率低、成本高且受限于认知边界。机器学习(machine learning, ML)技术凭借精准预测、高效筛选和跨领域外推能力,为合金设计提供了变革性途径。然而,现有ML辅助设计多集中于单目标优化或帕累托前沿分析,难以有效处理打印性与多维度力学性能之间的复杂竞争关系。为此,研究人员提出一种知识约束多目标强化学习(multi-objective reinforcement learning, MORL)框架,以实现AM高温合金成分的智能化设计。该研究成果发表于《Materials Genome Engineering Advances》。
二、主要研究内容与结论
研究人员构建了包含开裂敏感性硬约束的多目标奖励函数,将打印性(开裂敏感性)作为不可妥协的条件嵌入优化过程,同时兼顾屈服强度、抗拉强度、伸长率和蠕变寿命四项力学性能指标,使优化过程能够以目标导向方式搜索满足综合性能要求的合金成分。MORL智能体在单次实验迭代中高效探索了包含4488万个候选材料的成分空间,成功设计出两种无裂纹高性能AM高温合金RL1和RL2。实验验证表明,两种合金在沉积态和时效态均保持无裂纹,800°C下屈服强度分别达815 MPa和840 MPa,伸长率分别为12.5%和9%,综合性能优于IN718、ABD-850AM等现有可打印高温合金。通过对MORL优化轨迹的深入分析,研究人员发现了一个反直觉的设计策略:在低碳高钴的AM高温合金中,适当提高Cr、Ti、Mo和W含量可促进晶界处离散M
23C
6和MC碳化物的析出,这些碳化物钉扎晶界、细化晶粒,并协调高温变形,从而同步提升合金的高温强度和塑性。值得注意的是,两种合金均位于传统AM开裂准则预测的易开裂区域,却实际保持无裂纹状态,突破了现有准则的局限。这表明数据驱动模型能够捕获半经验指标无法反映的复杂元素交互作用。该工作确立了MORL作为发现冶金原理的高效设计工具,为开发高性能AM多组元合金提供了可迁移的范式。
三、关键技术与方法
研究人员采用了以下主要技术方法:(1)基于XGBoost回归器构建开裂敏感性预测模型,输入为合金成分和观察方向,输出为裂纹面积分数,训练集和测试集决定系数(coefficient of determination, R
2)分别为0.965和0.915;(2)利用已开发的ML模型预测候选合金的屈服强度、抗拉强度、伸长率和蠕变寿命,测试集R
2分别为0.948、0.961、0.777和0.741;(3)采用深度Q网络(deep Q-network, DQN)作为MORL优化引擎,结合ε-greedy策略平衡探索与利用,在成分空间中迭代搜索最优合金;(4)通过真空惰性气体雾化制备合金粉末,利用EP-M300打印机进行SLM成形,并经热等静压(hot isostatic pressing, HIP)和两步热处理后,采用光学显微镜、场发射扫描电镜(FE-SEM)、透射电镜(TEM)和电子背散射衍射(EBSD)进行系统表征;(5)在800°C和450 MPa条件下开展拉伸和蠕变实验验证力学性能。实验样本为经SLM成形的RL1和RL2两种合金,均在最优打印参数下制备。
四、研究结果与讨论
3.1 MORL工作流程
研究人员定义了MORL的状态、动作、环境、奖励函数和搜索策略。合金成分被视为状态,成分变化步长为0.1 wt.%的动作,搜索空间涵盖所有候选合金。环境中集成了开裂敏感性、屈服强度、抗拉强度、伸长率和蠕变寿命的ML预测模型。奖励函数采用调和积形式优化四项力学性能,并引入开裂敏感性惩罚项以排除高开裂倾向的候选材料。DQN通过神经网络逼近Q值函数,采用ε-greedy策略在探索与利用之间取得平衡,通过500步迭代和5000个回合实现成分收敛。
3.2 MORL框架应用
在规定的成分搜索范围内,穷举组合得到4488万个候选合金。经过十次独立搜索,MORL最终输出两种合金RL1和RL2。RL2相比RL1具有更高的Co含量,并以部分Nb替代Mo。预测结果表明,两种合金的力学性能组合相对保守、不偏向某一极端,说明MORL策略优先调控AM打印性,实现了打印性与力学性能之间的平衡。
3.3 实验验证
实验研究了不同激光功率和扫描速度组合的打印工艺窗口。两种合金均存在可有效抑制开裂的打印参数,沉积态和时效态均未观察到内部裂纹。基体含有约30%的γ′相,无其他有害相,碳化物主要分布在晶界附近。RL2合金严格满足低开裂敏感性、高屈服强度、高抗拉强度、高伸长率和长蠕变寿命的多目标设计要求,验证了MORL方法的有效性。RL1合金打印窗口较窄、可打印性略差于RL2,但表现出更优异的高温塑性,两种合金呈现打印性与塑性之间的反向相关关系。
3.4 打印性与塑性的反向关系
通过断口形貌分析发现,RL1合金的断口以韧窝为主,RL2合金的断口存在较多解理台阶。EBSD结果显示,RL1合金在断口处及附近的应变积累均高于RL2,平均晶粒尺寸分别比RL2小约15%,表明RL1合金经历了更充分的塑性变形且晶粒更细。TEM表征表明,两种合金晶界处均存在碳化物,但类型和数量差异显著:RL1合金含有丰富的M
23C
6(富Cr、Mo、W等)和MC(富Ti、少量Nb)两类碳化物,而RL2合金中M
23C
6极为稀少。JMatPro计算表明,RL1和RL2中M
23C
6的溶解温度分别为886°C和829°C,与TEM观察一致。定量分析显示RL1碳化物体积分数为0.40%±0.08%,显著高于RL2的0.15%±0.06%。这解释了RL1中碳化物对晶界的更强钉扎效应。研究还观察到MC与γ基体发生反应(MC+γ→M
23C
6+γ′),MC逐渐分解为M
23C
6和γ′。碳化物周围聚集了高密度位错,析出物内部出现高密度层错,证实了合金中发生了充分的塑性变形。MORL优化轨迹显示,随成分演化,Cr、Ti、W和Mo含量呈明显上升趋势,同时伸长率显著提高、开裂敏感性显著降低。这表明,对于高Co(>24 wt.%)和低C(<0.025 wt.%)的设计成分,MORL框架通过适度提高Cr、Mo、W和Ti含量诱导M
23C
6和MC等碳化物析出,在不牺牲打印性的前提下实现了高温强度与塑性的同步提升。
3.5 与传统AM开裂准则的对比
研究人员将ML模型的预测结果与两类传统AM开裂准则进行了对比。第一类为Scheil凝固范围(freezing range, FR)与应变时效开裂敏感性(Msac)组合,第二类为近年发展的耐热与抗变形(HR-DR)模型。在FR-Msac准则空间中,RL1和RL2合金的FR值分别比ABD-900AM高约56°C和76°C,甚至高于易开裂的IN939,但两种合金仍能无裂纹成形。在HR-DR模型中,两种合金位于粉虚线下方的开裂敏感区域,却同样保持无裂纹状态。这些结果充分表明传统半经验开裂准则的局限性,验证了ML模型在调控合金开裂敏感性方面的优越性。结合室温和800°C力学性能对比,RL1和RL2在现有无裂纹高温合金中表现出优异的综合性能,说明MORL策略不仅能有效控制开裂敏感性,还能增强力学性能,是平衡强度-塑性权衡与开裂敏感性的有效方法。在优化效率方面,DQN相比贝叶斯优化和遗传算法更适用于高维(>5维)优化问题,而本研究输入维度超过十维,应用DQN尤为合适。
五、结论
该研究提出了知识约束多目标强化学习框架,将开裂敏感性作为硬约束嵌入奖励函数,同步优化增材制造高温合金的打印性和力学性能。实验结果表明,MORL智能体在单次迭代中探索了超过4488万个候选成分空间,成功发现两种无裂纹高温合金,在800°C下屈服强度超过800 MPa、伸长率高于9%,综合性能优于现有可打印高温合金。通过分析打印性与塑性之间的反向关系,揭示了高钴低碳AM高温合金中Cr、Ti、Mo和W元素对晶界M
23C
6和MC碳化物析出的促进作用,这些碳化物通过钉扎晶界、细化晶粒并协调变形,实现强度与塑性的同步提升。两种合金的优异打印性突破了现有AM开裂准则的预测框架,表明当前对增材开裂准则的理解仍不完善,需要进一步修正。该研究为未来开发高性能AM材料及精确调控开裂行为提供了重要参考。