一种基于时间知识图的深度强化学习方法,用于离散制造车间的动态调度

《JOURNAL OF MANUFACTURING SYSTEMS》:A deep reinforcement learning approach driven by temporal knowledge graph for dynamic scheduling in discrete manufacturing workshops

【字体: 大 中 小 】 时间:2025年12月22日 来源:JOURNAL OF MANUFACTURING SYSTEMS 14.2

编辑推荐:

  刘新宇|詹云雷|王宏辉|韩旭|刘贵杰中国海洋大学工程学院,青岛266000,中国摘要在低碳和高效可持续制造的背景下,生产调度不仅需要关注效率和交货时间,还需要平衡能源消耗和碳排放限制。然而,现代制造车间通常采用批量生产和试生产共存的模式。生产订单和设备负荷会随时间变化,频繁出现订

  
刘新宇|詹云雷|王宏辉|韩旭|刘贵杰
中国海洋大学工程学院,青岛266000,中国

摘要

在低碳和高效可持续制造的背景下,生产调度不仅需要关注效率和交货时间,还需要平衡能源消耗和碳排放限制。然而,现代制造车间通常采用批量生产和试生产共存的模式。生产订单和设备负荷会随时间变化,频繁出现订单插入和维护的情况。同时,车间数据具有多源、异构和时变的特点。这导致生产信息利用不足和调度决策延迟,从而造成效率损失和能源浪费。为了解决这些问题,本文提出了一种基于时间知识图的深度强化学习方法。首先,建立了一个基于知识图的车间调度框架,对生产因素和调度关系进行统一的语义建模,并构建了一个包含时间规则约束的多维信息矩阵。然后,通过用LSTM替换原始策略网络,并采用具有策略延迟更新的双Q网络,提出了一个时间知识驱动的LSTM-TD3算法,以提高连续动作空间中的训练收敛性。在此基础上,定义了一种针对不同生产事件的奖励函数的自适应加权机制,以实现多个目标之间的合理平衡和动态决策。最后,以锅炉屏管生产线为例进行了案例研究,并构建了一个原型系统。结果表明,与历史生产数据相比,生产线设备的平均能耗降低了4.10%,车间整体效率提高了14.29%,验证了该方法的有效性。

引言

随着制造任务变得越来越复杂,市场需求多样化,生产系统面临着在向低碳运营转型的同时提高效率的双重压力[1],[2]。现代离散制造车间通常采用批量生产和原型制作相结合的混合模式,导致资源分配模式多样化。同时,订单插入、设备负荷水平和设备状态会持续波动[3]。这些动态事件不仅对生产效率提出了更高要求,还产生了显著的能源消耗和碳排放压力[4]。在这种背景下,生产调度方法不仅需要平衡效率和能源消耗等多个目标,还需要具备在复杂事件下及时决策的能力,以确保生产的连续性和可行性。
从高效可持续生产的角度来看,调度方法不仅需要在有限资源下优化处理顺序和设备利用率,还需要考虑能源消耗的动态变化[5]。深度强化学习(DRL)由于其高策略性能、强大的泛化能力和适应性,在实现高效、以能源为导向的生产调度方面具有巨大潜力[6]。现有研究表明,在处理时间不确定和计划外故障等动态事件下,DRL的表现优于传统的启发式和元启发式方法[7],[8]。
然而,DRL在实际生产应用中仍面临挑战。它通常采用状态表示(即,在某一时刻对环境进行建模),难以捕捉跨步骤的依赖性和状态演变[9]。这导致无法充分利用历史作业分配和累积设备负荷等隐含信息。此外,由于生产资源数据的多源、异构性和时变性[10],DRL优先考虑策略学习,而忽略了过程顺序约束、设备容量匹配和时变能源消耗模式等领域特定语义。策略的可行动作空间难以明确生成,奖励也难以适应订单插入和维护等动态事件。这导致调度决策不稳定且不可靠,从而造成效率损失和能源浪费。
知识图(KG)作为结构化的语义知识库,能够统一建模和组织异构数据[11],[12],[13]。利用语义查询和逻辑推理,KG不仅整合和管理订单、过程、设备和车间状态等多源信息,还能揭示数据之间的隐含联系。即使在缺乏明确链接的情况下,也能识别复杂的语义关系。在时间场景中,KG提供规范的历史和当前状态元素,同时输出与订单插入或维护等动态事件相关的语义特征[14]。这使得可以从语义知识统一转换为数值特征,为DRL调度策略中的可行领域生成和奖励更新提供基础[15]。然而,现有研究主要集中在静态制造环境中的通用知识建模上,缺乏在动态条件下处理语义表示、状态演变、资源冲突和任务扰动的机制。为了解决这些问题,本文提出了一种基于时间知识图的离散制造车间深度强化学习方法。主要贡献如下。
(1) 提出了一种基于KG的统一车间调度框架。通过构建多层次知识图,对生产因素及其调度关系进行统一语义建模。还建立了一个基于时间的多维信息矩阵,为策略持续提供生产知识。
(2) 提出了一种改进的LSTM-TD3算法。LSTM替换了原始策略网络,增强了算法的时间数据处理能力。TD3的双Q网络和策略延迟更新机制提高了连续动作空间中的训练稳定性和收敛性能。
(3) 提出了一种基于KG的奖励函数权重更新机制,可以根据动态事件的强度自适应计算权重并更新可行领域。这使得该方法能够合理平衡能源消耗和效率等多个目标,实现动态调度和及时决策。
(4) 开发并分析了一个以锅炉屏管生产线为案例的原型系统。结果表明,与历史生产数据相比,所提出的方法在平衡最佳完成时间、交货时间和能源消耗等关键指标方面取得了更积极的效果。
本文的其余部分组织如下:2部分简要总结了相关工作;3部分介绍了构建车间资源多维KG的框架;4部分详细介绍了基于3部分的时域KG驱动DRL方法的实现过程;5部分通过锅炉屏管生产线的案例研究验证了该方法的有效性;6部分总结了本文。

章节片段

相关工作

本节回顾了关于车间调度深度强化学习的现有研究,并总结了车间制造资源的知识表示和建模方法。在此基础上,指出了上述方法中的研究空白,并概述了本研究的动机。

基于时间KG的生产过程建模

为了整合车间生产信息,建立了一个生产调度框架。在此基础上,构建了一个多层次调度KG,建立了资源可用性和任务时间关系两个维度之间的语义关系。然后,开发了一个基于时间规则的多维信息矩阵,为连续调度提供全面的生产知识。

基于时间KG的DRL驱动的连续生产优化

本节提出了一种基于时间KG的DRL策略,用于低碳和绿色导向的动态车间调度。首先分析问题,构建了一个平衡效率和能源消耗约束的优化模型。随后,提出了一种时间知识驱动的LSTM-TD3算法。它利用KG中的时间矩阵信息计算奖励函数权重,并根据动态事件的强度自适应更新权重和可行领域

案例研究

本案例研究分析和验证了基于电厂锅炉车间锅炉屏管生产线的特定加工任务的方法。

结论

在低碳和高效可持续制造的要求下,离散车间的动态调度不仅要应对时间演变和意外事件的双重挑战,还要平衡效率、能源消耗和交货时间等多个目标。然而,传统方法通常通过分布式计算分别管理优化策略和多源异构信息,难以充分提取隐含信息

CRediT作者贡献声明

刘贵杰:撰写 – 审稿与编辑,方法论。韩旭:数据整理。王宏辉:撰写 – 审稿与编辑。詹云雷:可视化,软件。刘新宇:撰写 – 初稿,形式分析。

伦理审批

不适用。

出版同意

所有作者均同意出版。

资助

本工作得到了山东省泰山学者计划(编号:tstp20231215)、国家自然科学基金(编号:52471306)和山东省高等学校青年教师创新团队发展计划(编号:2022KJ049)的支持。

利益冲突声明

刘新宇、詹云雷、王宏辉、韩旭、刘贵杰声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号