面向增材制造实时集成调度与排样的几何感知深度强化学习
《JOURNAL OF MANUFACTURING SYSTEMS》:Geometry-aware deep reinforcement learning for real-time integrated scheduling and nesting in additive manufacturing
【字体:
大
中
小
】
时间:2026年10月02日
来源:JOURNAL OF MANUFACTURING SYSTEMS 14.9
编辑推荐:
## 摘要
**翻译:**
•提出了一种几何感知的深度强化学习(DRL)方法,用于增材制造(AM)中的集成调度与嵌套问题。•采用专用编解码器结合基于势能的奖励机制,引导几何感知的学习过程。•在异构增材制造机器上实现近最优完工时间,并支持实时推理。•展现出对未知机器设置和真实
## 摘要
**翻译:**
•提出了一种几何感知的深度强化学习(DRL)方法,用于增材制造(AM)中的集成调度与嵌套问题。•采用专用编解码器结合基于势能的奖励机制,引导几何感知的学习过程。•在异构增材制造机器上实现近最优完工时间,并支持实时推理。•展现出对未知机器设置和真实零件几何形状的强泛化能力。
**解释:**
该摘要概述了本文的核心贡献。首先,提出了一种几何感知的深度强化学习(DRL)方法,用于解决增材制造(AM)中的集成调度与嵌套问题。传统方法通常将调度和嵌套问题分开处理,而该方法通过考虑几何约束将两者整合。其次,使用专用的编解码器架构结合基于势能的奖励机制,引导学习过程,确保模型能够理解几何关系。第三,该方法在异构AM机器上实现近最优的完工时间(makespan),并支持实时推理,这对于工业生产至关重要。最后,模型展现出对未知机器设置和真实零件几何形状的强泛化能力,表明其实际应用潜力。
## 引言
**翻译:**
增材制造(AM)是一种逐层制造的工艺技术,能够直接从数字三维模型生成实体零件[1],[2]。与传统减材制造工艺不同,AM在中小批量和高度定制化生产中展现出卓越的灵活性[3]。当与基于云的制造范式相结合时,AM通过允许客户无需昂贵的所有权即可利用AM资源,进一步增强了可访问性和可扩展性,从而提高了生产系统的响应能力[4],[5]。这些优势使AM成为大规模定制和按需生产的有前景的解决方案。
然而,随着大规模定制中产品多样性的增加,AM中出现了关键的生产挑战:如何在非相同AM机器上高效调度异构零件,同时确保实时几何可行性。具体而言,选择性激光熔化(SLM)和直接金属激光烧结(DMLS)等金属AM技术通过重复的扫描和铺粉过程逐层打印零件。在每一层中,激光在扫描阶段选择性地熔化金属粉末,随后铺粉步骤将一层新粉末铺展在构建平台上[6]。为避免扫描过程中的热干扰和熔合缺陷,零件必须以足够的间距放置在平台上,导致严格的二维装箱约束[7],[8]。此外,多个零件在AM机器中同时作为批次制造,每个批次的处理时间由总扫描体积(决定激光曝光时间)和最大零件高度(决定铺粉层数)共同决定[9],[10]。这些相互依赖的空间和时间约束大大复杂化了AM系统中的集成调度与嵌套问题。
早期研究尝试使用简化模型来解决该问题,例如用于嵌套的一维背包模型和用于批次分配的基于规则的启发式方法[9],[11]。虽然计算效率高,但这些方法在真实AM环境中适用性有限,因为它们未考虑零件在AM机器上的几何可行性。后续研究引入了零件的二维表示[12],[13],但很少有论文考虑零件的方向[14],[15]。更重要的是,许多现有方法将调度与嵌套决策分开处理,这通常导致在真实AM系统中实用性受限或次优的调度性能。不考虑嵌套生成的调度满足时间约束,但零件布局可能在构建包络内几何不可行。相反,不考虑调度优化的嵌套方案可能提高空间利用率,但未能考虑机器利用率和批次排序,导致额外的等待时间和更大的完工时间。因此,在真实AM生产中实现空间可行性和时间效率需要集成调度与嵌套决策。
本文研究的是在非相同AM机器上的实时集成调度与嵌套问题,其中联合考虑几何可行性和批次处理时间。根据基于零件、构建和机器的AM生产分类,这对应于M/M/nM问题,其中非相关机器依次处理由多个零件组成的多个构建/批次[16]。由于即使是一维装箱的单机调度也是NP-hard问题[7],[9],在异构机器中纳入二维装箱约束进一步使该问题复杂化为强NP-hard问题。这种集成模型反映了金属AM系统的真实生产特征,但也使得传统混合整数规划方法在小规模实例之外变得不可行。与此同时,启发式和元启发式方法严重依赖手工规则,难以在不同的零件几何形状和机器类型之间泛化。这些挑战促使我们需要一种能够做出自适应决策的学习方法。
为解决这一挑战,我们提出了一种几何感知深度强化学习方法GeoPPO,该方法学习集成调度与嵌套策略,考虑零件与AM机器之间的几何关系。与启发式或元启发式方法不同,GeoPPO将调度建模为序贯决策过程,通过专用状态编码器和专业解译器扩展近端策略优化(PPO)方法,采用演员-评论家架构。这种设计使智能体能够在满足装箱可行性的前提下生成分配零件、分配机器和形成批次的动作,而无需依赖手工规则。此外,零件、机器和系统的静态和动态几何特征被共同嵌入到系统状态中,并设计了基于势能的奖励结构,以使局部装箱效率与全局完工时间最小化保持一致。这些设计选择对于捕捉AM生产的空间-时间耦合特性以及实现可扩展、实时决策至关重要。
本文的主要贡献总结如下:
(1)我们提出了一个集成调度与嵌套问题,其中包含多样化的零件、动态批次处理和AM机器上的几何可行性,并将其建模为马尔可夫决策过程结构下的序贯决策问题。
(2)我们提出了GeoPPO,一种几何感知深度强化学习方法,可实时联合优化零件选择、机器分配和批次形成。GeoPPO采用专用状态编码器和特殊解译器,具有非对称演员-评论家架构,实现了几何感知的状态表示和基于势能的奖励结构,使局部装箱效率与全局完工时间最小化保持一致。
(3)广泛的计算实验表明,GeoPPO在小规模实例上取得了与MILP解决方案相当的近最优性能,在中等和大规模问题上始终优于启发式方法,并在与元启发式方法竞争中表现日益强劲,同时表现出显著更低的计算时间和在真实世界工业应用中的强泛化能力。
本文其余部分组织如下。第2节回顾相关工作。第3节将集成调度与嵌套问题描述为数学模型。第4节提出GeoPPO方法。第5节展示计算实验。最后,第6节总结全文并讨论未来方向。
**解释:**
引言部分详细介绍了增材制造(AM)技术的背景、优势及在大规模定制中的挑战。AM作为一种逐层制造技术,能够直接从3D模型生成零件,相比传统减材制造具有更高的灵活性,尤其适用于中小批量和高度定制化生产。结合云制造范式后,AM的可访问性和可扩展性进一步提升,降低了客户的使用门槛,提高了生产系统的响应能力。
然而,随着产品多样性的增加,AM面临关键挑战:如何高效调度异构零件在非相同AM机器上生产,同时确保实时几何可行性。金属AM技术(如SLM和DMLS)通过扫描和铺粉过程逐层打印零件,为避免热干扰和熔合缺陷,零件必须以足够间距放置,导致严格的二维装箱约束。此外,批次处理时间由总扫描体积和最大零件高度共同决定,这些相互依赖的约束使集成调度与嵌套问题复杂化。
早期研究采用简化模型(如1D背包和基于规则的启发式方法)处理该问题,但未能考虑几何可行性。后续研究引入了2D表示,但较少考虑零件方向,且常将调度与嵌套分离,导致次优结果。本文针对非相同AM机器上的实时集成调度与嵌套问题,考虑几何可行性和批次处理时间,将其建模为M/M/nM问题,指出其强NP-hard特性,传统方法难以解决,启发式方法泛化能力差,因此需要学习方法。
提出GeoPPO方法,这是一种几何感知深度强化学习方法,将调度建模为序贯决策过程,扩展PPO方法,采用专用状态编码器和解译器,演员-评论家架构,无需手工规则。将零件、机器和系统的几何特征嵌入状态,设计基于势能的奖励结构,协调局部装箱效率与全局完工时间最小化,实现可扩展实时决策。
本文贡献包括:(1)提出集成调度与嵌套问题模型,考虑多样化零件、动态批次处理和几何可行性,建模为MDP下的序贯决策问题;(2)提出GeoPPO方法,采用专用编解码器和非对称演员-评论家架构,实现几何感知状态表示和基于势能的奖励结构;(3)实验证明GeoPPO在小规模问题上与MILP相当,在中等和大规模问题上优于启发式方法,计算时间显著降低且泛化能力强。
## 相关工作
**翻译:**
节选片段
AM中的调度与嵌套
AM中的调度与嵌套因批次处理特性与几何约束之间的强相互依赖性而不同于传统作业调度[17],[18]。与传统制造系统中处理时间通常预先定义不同,批次的打印时间由零件的几何属性、空间交互关系以及AM机器特性共同决定[16],[19]。因此,AM中的调度与嵌套是
**解释:**
该部分简要说明AM中的调度与嵌套问题与传统调度的不同之处。关键在于批次处理时间与零件几何属性、空间关系及机器特性的相互依赖,这意味着传统方法(如预先定义处理时间)在AM中不适用,需要新方法来解决。
## 问题描述
**翻译:**
问题描述
本研究考虑非相关AM机器上的集成调度与嵌套问题,目标是最小化总完工时间Cmax。具有多种方向o∈O的零件i∈I必须分配到批次b∈B,并在异构机器m∈M上处理,这些决策共同影响几何可行性和批次处理特性。
在所考虑的AM系统中,可以在批次内同时制造多个零件,通过在构建平台上排列它们
**解释:**
问题描述部分明确了研究的问题:在非相关AM机器上求解集成调度与嵌套问题,目标是最小化总完工时间Cmax。零件有多种可能方向,需要分配到批次并在异构机器上处理,这些决策影响几何可行性和批次处理时间。AM系统中,多个零件可在同一批次内同时制造,通过在构建平台上排列实现。
## GeoPPO方法
**翻译:**
提出的GeoPPO
集成调度与嵌套问题具有空间-时间约束和多个相互依赖的决策特征。为解决这一挑战,我们将问题建模为序贯决策问题,并提出GeoPPO,一种几何感知深度强化学习方法,该方法联合考虑零件几何形状、机器异构性和系统动态以进行调度与嵌套决策。本节介绍状态空间、动作设计、奖励函数和网络
**解释:**
GeoPPO方法部分介绍了一种几何感知深度强化学习方法,将集成调度与嵌套问题建模为序贯决策问题。该方法考虑零件几何、机器异质性和系统动态,包含状态空间、动作设计、奖励函数和网络架构等内容。
## 计算实验
**翻译:**
计算实验
本节对提出的GeoPPO方法进行全面实验评估。首先描述实验设置的细节,包括实例、参数和训练过程。然后将GeoPPO与MILP、启发式和元启发式在合成实例上进行比较。此外,进行消融研究以分别分析调度解译器和嵌套解译器。最后,在真实实例上进行泛化实验以评估
**解释:**
计算实验部分介绍了GeoPPO方法的实验评估,包括实验设置(实例、参数、训练过程),与MILP、启发式和元启发式方法的比较,消融研究(分析调度解译器和嵌套解译器),以及在真实实例上的泛化实验。
## 结论
**翻译:**
结论
本文研究了异构机器配置下AM中的实时集成调度与嵌套问题。开发了一种几何感知深度强化学习方法GeoPPO,以联合优化零件选择、机器分配和批次形成决策。为评估所提方法,在由代表性AM机器配置构建的合成实例和具有真实世界实例上进行了广泛的计算实验,这些实例包含
**解释:**
结论部分总结本文研究了异构机器配置下AM中的实时集成调度与嵌套问题,提出了GeoPPO方法联合优化零件选择、机器分配和批次形成决策,并在合成实例和真实世界实例上进行了广泛实验评估。
## CRediT作者贡献声明
**翻译:**
CRediT作者贡献声明
Qingyang Wang:撰写——初稿,验证,方法论,调查,概念化。Zimo Zhang:撰写——初稿,方法论。Daqiang Guo:撰写——审查与编辑,监督,资金获取。
**解释:**
该部分列出了各作者的具体贡献。Qingyang Wang负责撰写初稿、验证、方法论、调查和概念化;Zimo Zhang负责撰写初稿和方法论;Daqiang Guo负责撰写审查与编辑、监督和资金获取。
## 生成式AI声明
**翻译:**
稿件准备过程中生成式AI和AI辅助技术的声明
在本工作准备过程中,作者使用了生成式AI工具(例如ChatGPT)来协助语言编辑和提高清晰度。在使用这些工具后,作者根据需要审查和编辑了内容,并对已发表文章的内容承担全部责任。
**解释:**
该声明说明作者在稿件准备过程中使用了生成式AI工具(如ChatGPT)来辅助语言编辑和提高清晰度,但作者在使用工具后对内容进行了审查和编辑,并对最终内容负责。
## 利益冲突声明
**翻译:**
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能影响本报告中所述的工作。
**解释:**
该声明说明作者没有已知的可能影响本研究报告工作的竞争性财务利益或个人关系。
## 致谢
**翻译:**
致谢
作者谨对以下资助表示感谢:广州-香港科技大学(GZ)联合资助计划(2025A03J3658)、广东省高校创新团队项目(2025KCXTD057)、国家自然科学基金(72231005)以及广东省项目(2024QN11X092)。
Qingyang Wang|Zimo Zhang|Daqiang Guo
**解释:**
致谢部分感谢了提供资金支持的项目,包括广州-香港科技大学(GZ)联合资助计划、广东省高校创新团队项目、国家自然科学基金以及广东省项目,并列出了三位作者的名字。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号