因果解释增强深度强化学习用于易退化柔性作业车间鲁棒调度
《Advanced Engineering Informatics》:Causal Explanation Enhanced Deep Reinforcement Learning for robust scheduling in degradation-prone flexible job shops
【字体:
大
中
小
】
时间:2026年10月21日
来源:Advanced Engineering Informatics 11.5
编辑推荐:
摘要
在智能制造和高端装备生产特有的柔性车间中,调度系统的鲁棒性和长期稳定性已成为与传统生产效率并重的核心目标。然而,在复杂的工业场景中,设备故障很少是纯粹的外生随机事件;相反,它们是由长时间高负荷运行驱动的内生退化过程,表现为性能逐渐恶化和良率下降。大多数现有的深度强化学习
摘要
在智能制造和高端装备生产特有的柔性车间中,调度系统的鲁棒性和长期稳定性已成为与传统生产效率并重的核心目标。然而,在复杂的工业场景中,设备故障很少是纯粹的外生随机事件;相反,它们是由长时间高负荷运行驱动的内生退化过程,表现为性能逐渐恶化和良率下降。大多数现有的深度强化学习(DRL)调度方法假设故障是基于外生概率分布的随机事件,这使智能体倾向于采用贪婪策略以最大化短期效率。这会过度使用高性能机器,并削弱预防性干预所需的条件。为了解决这个问题并增强决策的可信度,本文提出了一种因果解释增强深度强化学习(CE-DRL)调度方法。首先,构建了一个封装物理退化机制的调度环境,以显式建模运行健康的动态衰减以及通过空闲期间的机会维护进行的恢复过程。其次,为了克服端到端 DRL 策略的黑箱特性,并为调度转移提供逻辑依据,提出了一种嵌入的反事实必要性归因解释器,用于识别导致高风险状态的退化相关机器特征。最后,因果一致性正则化机制将策略关注点与反事实风险分布对齐,引导策略网络在退化风险变得关键时关注机器健康。广泛的实证评估表明,在负载诱导退化场景下,CE-DRL 鼓励健康意识的负载分配,并与评估的基线相比实现了具有竞争力的调度效率,且在效率与风险之间取得了良好的平衡。
引言
随着工业 4.0 向工业 5.0 时代演进,智能制造范式正在经历深刻的变革。这一新兴范式不再仅仅关注最大化生产效率,而是越来越强调在全球供应链波动加剧和生产环境不确定的情况下,制造系统的鲁棒性和长期稳定性 [1], [2]。同时,以人为本的制造逐渐成为一个广泛认可的原则,强调技术应服务于人类福祉并增强人类能力 [3]。在此背景下,作为制造资源分配关键控制环节的调度,已经从纯粹的效益优化器演变为保障系统稳定运行的重要控制机制 [4]。因此,构建能够感知和适应设备物理状态的调度策略,对于超越传统的效率优先方法并实现主动风险缓解至关重要。特别是在航空航天和精密加工等高端装备制造领域出现的柔性作业车间调度问题(FJSPs)中,生产环境高度动态。正如近期综述所指出的 [5],现代调度系统不仅要处理外部干扰,如随机订单和处理时间波动,还要管理内部物理约束,包括设备退化和潜在故障。这些要求对实时响应能力和抗干扰韧性提出了严格要求。
面对这些高维、动态和复杂的决策挑战,传统的基于规则和元启发式算法由于对环境变化的适应性有限而可能力不从心,难以满足频繁变化的生产环境中严格的在线响应要求 [6]。为了克服这些局限性,数据驱动方法,特别是深度强化学习(DRL),凭借其端到端感知能力和序列决策优势,已成为动态调度研究的突出范式 [7]。此外,结合强化学习的神经组合优化(NCO)已成为解决复杂动态调度并增强工业工程中稳健决策的重要研究前沿 [8]。然而,在易退化的车间中,调度动作不仅决定当前的完成时间,还会改变未来的机器健康轨迹、负载相关的故障风险以及可能影响下游操作的修复延迟。尽管 DRL 在提高调度效率方面具有巨大潜力,但现有的基于 DRL 的调度研究在物理建模和决策可信度方面仍面临关键局限性,限制了其在高可靠性制造系统中的实际应用。
首先,传统调度研究采用的故障假设与复杂工业系统的物理行为之间仍存在脱节。在许多现有的动态调度研究中,机器故障被简化为遵循预定义概率分布的外生随机事件 [9]。然而,在高端装备制造中,许多机器故障之前都存在渐进的、负载相关的退化 [10],这可能表现为性能逐渐恶化、精度损失和质量风险。持续的高强度加工会加速这种退化,从而增加未来的故障风险和与修复相关的延迟。优先考虑短期效率的传统 DRL 模型可能会持续利用高性能机器,并留出不足以进行恢复或维护干预的空闲时间。与智能制造中预测性维护和适应性调度的目标一致 [11], [12],一个稳健的制造系统应该促进健康意识的负载平衡,以便机器不会持续被推向退化的操作区域。在建模的环境中,空闲时期提供了与机会维护(OM)运行逻辑一致的恢复机会,允许机器健康在不引入强制系统全局停机的情况下得到恢复 [13]。
其次,端到端 DRL 模型的黑箱特性往往使决策逻辑与底层物理机制脱节,严重限制了它们在高可靠性生产环境中的可信度。在实际生产管理中,当智能体针对机器退化发出非常规分配决策时,操作员需要理解其背后的原理才能信任并实施这些决策。最近,图神经网络(GNNs)已成为状态表示的一种流行方法 [14], [15]。虽然基于 GNN 的非欧几里得特征提取提高了决策性能,但也增加了模型的不透明度。现有研究表明,GNN 决策可能依赖于与具有物理意义的退化相关风险线索不一致的统计相关性 [16],从而产生潜在的泛化挑战 [17], [18]。例如,智能体可能会学会避免某台机器,因为历史上的惩罚信号恰好与它有关,而不是认识到机器健康下降会增加操作风险。因此,本文的核心思想是将反事实必要性归因信号纳入 RL 训练循环。通过检查当退化相关的机器特征恢复到健康参考值时估计的状态价值如何变化,该方法提取机器级的风险知识,并将其反馈以引导策略学习。
为了解决这些挑战,本文提出了一种因果解释增强深度强化学习(CE-DRL)方法,旨在将稳健调度从被动的干扰响应转向主动的退化感知。传统的稳健调度通常依赖预定义的缓冲区或其他事前冗余措施来吸收随机故障的影响。相比之下,该方法感知机器健康等物理状态,通过反事实必要性分析推导退化相关的风险归因,并利用这些知识在建模的退化和恢复动力学下鼓励健康意识的负载分配。CE-DRL 不仅仅优化静态完工时间,而是寻求在内生负载相关退化下平衡短期生产效率和长期运行鲁棒性。
本文的主要贡献如下:
1. 建立了一个退化感知的物理调度环境。我们显式地建模了机器健康退化、健康依赖的故障风险、修复延迟传播以及空闲期恢复作为内生状态动力学。通过将调度决策与设备状态演化耦合,该环境扩展了传统的外生故障设置,并为评估生产效率和长期系统鲁棒性提供了统一基础。
2. 提出了一种基于反事实必要性的内省机制。针对基于 GNN 的调度决策的不透明性,该机制评估将退化相关的机器特征恢复到健康参考值如何改变估计的状态价值。由此产生的风险归因分布表明哪些机器状态最强烈地影响训练期间评论家对退化相关风险的评估,并为后续策略优化提供可解释的指导。
3. 构建了一个反事实引导的闭环稳健调度框架。因果一致性正则化项将内省机制提取的风险知识反馈到基于异构图 Transformer(HGT)的策略网络中,形成风险归因与策略优化之间的闭环训练循环。该设计促进了健康意识的作业 - 机器分配,并改善了生产效率与退化相关操作风险之间6 13:33:25 12/11 星期三的权衡。
章节片段
相关研究
针对高度动态和随机的生产环境,动态柔性作业车间调度问题(DFJSP)的研究已沿着几个主要技术流派发展。根据它们的干扰响应机制和决策特征,现有的调度方法大致可分为四类:完全反应式调度、预测 - 反应式调度、稳健主动式调度和基于深度学习的智能调度
问题描述
本文研究了一个具有随机处理时间和负载相关机器退化的 DFJSP。生产系统由一组 ?? 个作业 ??={??1,…,????} 和一组 ?? 台机器 ?={??1,…,????} 组成。每个作业 ???? 包含一个有序的操作序列 (????,1,…,????,????),其中 ???? 表示作业 ???? 的操作数量。每个操作 ????,?? 可由其合格机器集合 ???,???? 中的任意机器加工。
与传统的静态 FJSP 公式不同,所考虑的问题显式地
方法论
本节详细介绍了提出的 CE-DRL 调度方法。如图 1 所示,该方法采用感知 - 解释 - 决策的闭环架构。首先,动态调度过程被建模为马尔可夫决策过程(MDP)。其次,构建了一个包含物理属性的异构析取图(HDG),以显式编码车间的拓扑结构和机器的实时健康分布。随后,一个物理感知的异构
实验与分析
为了从互补的视角评估提出的因果解释增强深度强化学习(CE-DRL)调度方法,本节将实验组织为三个层次。首先,使用静态公开基准来评估所提策略的基本组合优化能力,并将其与进化求解器进行比较。其次,动态退化实验将 CE-DRL 与经典调度规则、学习的 GP-HH 规则和基于图的 DRL 进行比较
结论
本文研究了具有内生机器退化、健康依赖故障和修复延迟的柔性车间中的稳健调度。开发了一种因果解释增强深度强化学习方法,称为 CE-DRL,结合了退化感知的随机调度环境、异构图表示以及基于图并带有反事实风险归因和策略对齐的 PPO。通过纳入机器健康演化、故障风险、修复
CRediT 作者贡献声明
Yuxin Peng: 撰写 – 原稿,验证,软件,方法论,形式分析。Wei Qin: 撰写 – 审稿 & 编辑,监督,资金获取,概念构思。Youlong Lv: 资源,调查。Peixiang Wang: 可视化,数据管理。Jinhua Hu: 项目管理。
稿件准备过程中生成式人工智能和人工智能辅助技术的使用声明
在本工作准备期间,作者使用了 ChatGPT 和 Codex (OpenAI) 进行英语润色和一致性检查。作者审核并编辑了所有输出,并对文章内容负全部责任。
资金
本研究未收到公共、商业或非营利部门基金会的任何专项资助。
利益冲突声明
作者声明,他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
Yuxin Peng|Wei Qin|Youlong Lv|Peixiang Wang|Jinhua Hu
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号