注意力增强双评论家深度强化学习框架用于塑料编织包装并行机调度中考虑顺序依赖切换与强制停机窗口的问题

《Electronics》:Attention-Enhanced Dual-Critic DRL for Parallel-Machine Scheduling with Sequence-Dependent Setups and Mandatory Shutdown Windows in Plastic Woven Packaging

【字体: 大 中 小 】 时间:2026年08月28日 来源:Electronics 2.9

编辑推荐:

  塑料编织包装生产在印刷瓶颈处的调度因颜色转换引起的非对称顺序依赖切换时间(sequence-dependent setup times,SDST)以及强制非抢占停机窗口而变得复杂。该研究聚焦于在上述耦合操作约束下于并行印刷机上分配与排序订单。为此,研究人员提出

  
塑料编织包装生产在印刷瓶颈处的调度因颜色转换引起的非对称顺序依赖切换时间(sequence-dependent setup times,SDST)以及强制非抢占停机窗口而变得复杂。该研究聚焦于在上述耦合操作约束下于并行印刷机上分配与排序订单。为此,研究人员提出一种带动作掩码(Action Masking)的注意力增强双评论家深度强化学习框架(Attention-Enhanced Dual-Critic Deep Reinforcement Learning framework with Action Masking,AE-DMAC)。该调度问题被建模为双目标并行机马尔可夫决策过程(Markov Decision Process,MDP),在固定偏好设置下同时考虑最大完工时间(makespan)与总切换时间。交叉注意力(cross-attention)模块对当前机器状态与待处理订单之间的兼容性进行建模,以捕捉非对称SDST效应。两个评论家分别在效率相关与切换相关价值信号上独立估计,再合并用于策略优化,从而降低两目标间的相互干扰。此外,确定性动作可行性掩码在动作采样前剔除会与已知停机窗口重叠的分配。该框架在50、150及300订单、8台并行印刷机的工业标定合成实例上评估。实验表明,在所测运行条件下,AE-DMAC相较所实现的启发式、元启发式及Vanilla PPO基线在makespan与每机归一化切换时间上均持续改善。在大规模实例中,AE-DMAC取得平均makespan 223.8 h、每机归一化切换时间568.4 min,较Vanilla PPO分别降低7.4%与27.4%。可行性掩码在确定性设定下保持零停机窗口违例,注意力机制大幅减少高成本顺序依赖颜色转换。结果表明该框架是面向带非对称切换与已知机器不可用窗口并行印刷系统的一种有前景的调度方法。
研究背景方面,塑料编织包装生产含拉丝、织布、印刷、制袋等多段,其中印刷段因大量在制品订单需分配至有限并行印刷机而成为瓶颈。现有调度难点在于颜色转换带来的非对称顺序依赖切换时间(sequence-dependent setup times,SDST),即深色转浅色较浅色转深色需更久清洗,且每日18:00—22:00强制非抢占停机窗口要求订单若不跨窗则须窗前完工否则窗后开工。传统元启发式随规模增大计算负担重,常规深度强化学习(Deep Reinforcement Learning,DRL)如Vanilla PPO未显式嵌入非对称SDST、双目标固定偏好与确定性停机约束。为此研究人员以印刷瓶颈为范围,提出注意力增强双评论家深度强化学习框架含动作掩码(AE-DMAC),在《Electronics》报道该研究。
关键技术方法上,研究人员将问题建模为事件触发的并行机MDP,状态含订单特征(加工时间、颜色族)、机器特征(可用时间、最近完成订单颜色)与环境特征(当前时间、下一停机窗);动作空间经事件触发降维为仅选订单;奖励分效率相关(负增量空闲时间)与切换相关(负非对称SDST)双信号;交叉注意力以机器态为query、候选订单为key/value捕捉颜色兼容;确定性动作可行性掩码在softmax前剔除跨18:00—22:00窗候选;双评论家分别估效/设价值,按固定权重0.7/0.3合成优势作PPO更新;实例为工业标定合成数据(8机、50/150/300单、10色族、SDST矩阵对角5 min、跨色8—58 min、黑转白58 min白转黑12 min),不与真实机密数据混用。
研究结果各节要点如下。引言节指出印刷瓶颈非对称SDST与停机窗耦合催生问题专用表征与架构之需。文献综述节从SDST制造调度、DRL生产调度、约束处理与动作掩码三方面定位,明言已有GNN、分层DRL不直接适用本设。问题定义与紧凑MILP节给出双目标(最小化makespan与总SDST)及分配、流守恒、时序、Big-M线性化停机窗(式10—11)等约束,MILP仅作小规模精确参照。MDP与AE-DMAC方法论节阐析分层状态、事件触发降维动作、双信号奖励、交叉注意力式(22)(23)、掩码式(24)(25)、双评论家式(26)(27)与固定偏好优势式(28)、PPO训练算法1。数值实验节含超参敏感(γ=0.99、clip=0.2、熵0.01、权重0.7/0.3)、合成实例构造、与FCFS/GA/PSO/Vanilla PPO/Setup-Aware Greedy比对;大例(N=300)AE-DMAC均值makespan 223.8 h、每机归一化切换568.4 min,较Vanilla PPO降7.4%与27.4%,Welch t检验均显著(p<0.05);临界SDST转换(>45 min)数AE-DMAC均8次、Vanilla PPO 31次、FCFS 81次;停机违例数AE-DMAC与FCFS为0,Vanilla PPO 23;N=50 MILP精确解makespan 47.0 h总切换220 min,SAG启发式57.03 h/476 min;交叉注意力剖面示例(末色黑时深色调得分高浅色低)佐证SDST感知。消融表3去掩码致makespan升且违例,去注意力升切换与临界转换,去双评论家两目标均劣。
讨论与结论翻译部分:研究人员结论为AE-DMAC在带非对称颜色切换与已知机器不可用窗口的并行印刷瓶颈调度中,借交叉注意力显式建模机器—订单SDST兼容、双评论家隔离效/设价值估计、确定性动作掩码强制执行停机可行性,于50/150/300单合成标定实例上较启发式、元启发式及Vanilla PPO在makespan与每机归一化切换时间上持续改善,大例获223.8 h与568.4 min(较Vanilla PPO降7.4%与27.4%),零停机违例且临界SDST转换大幅减少;该框架表明问题专用DRL组件可替代通用PPO调度器处理耦合操作约束,对塑料包装印刷排产具应用潜值,MILP仅验证小规模公式而不作大例主解。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号