
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于元强化学习的装配系统多级库存管理订货量决策
《JOURNAL OF INTELLIGENT MANUFACTURING》:Meta-reinforcement learning-based order quantity determination for the multi-echelon inventory management of an assembly system
【字体: 大 中 小 】 时间:2026年10月02日 来源:JOURNAL OF INTELLIGENT MANUFACTURING 7.7
编辑推荐:
摘要数据驱动方法在自动化库存管理方面备受关注,但在复杂的多级系统中,传统库存控制方法处理不确定的客户需求和供应商提前期方面仍然有限。尽管深度强化学习(DRL)支持自适应决策,但现有方法在供应链条件发生变化时往往泛化能力较差,因此需要代价高昂的重新训练。本研究提出了一种模型无关
数据驱动方法在自动化库存管理方面备受关注,但在复杂的多级系统中,传统库存控制方法处理不确定的客户需求和供应商提前期方面仍然有限。尽管深度强化学习(DRL)支持自适应决策,但现有方法在供应链条件发生变化时往往泛化能力较差,因此需要代价高昂的重新训练。本研究提出了一种模型无关元学习(MAML)框架,该框架将元强化学习(meta-RL)应用于多级装配系统(MEAS)中来自多个供应商的多种材料的订单数量确定。场景结合了随机需求、供应商提前期和顺序装配过程,使框架能够学习场景无关的元策略,从而快速适应新环境。为了进行计算验证,我们采用近端元策略搜索(ProMP)作为基于 MAML 的代表性算法。首先,我们将未经额外适应的预训练元策略与基于规则的经验法则以及在多种场景下训练的域随机化近端策略优化(PPO)基线进行比较评估。ProMP 始终能实现更低的总成本,与两种基线相比具有统计意义上的显著改进。其次,我们在四种代表性的需求和提前期设置下评估了少样本适应能力。与 PPO 相比,ProMP 在 1-shot、2-shot 和 3-shot 设置中分别将平均总成本降低了 26.96–53.81%、34.37–48.87% 和 34.45–52.97%。这些结果表明,ProMP 能更有效地且稳定地适应,特别是在具有挑战性的条件下,这表明所提出的元强化学习框架可以提高动态供应链环境中的泛化能力和适应能力。
数据驱动方法在自动化库存管理方面备受关注,但在复杂的多级系统中,传统库存控制方法处理不确定的客户需求和供应商提前期方面仍然有限。尽管深度强化学习(DRL)支持自适应决策,但现有方法在供应链条件发生变化时往往泛化能力较差,因此需要代价高昂的重新训练。本研究提出了一种模型无关元学习(MAML)框架,该框架将元强化学习(meta-RL)应用于多级装配系统(MEAS)中来自多个供应商的多种材料的订单数量确定。场景结合了随机需求、供应商提前期和顺序装配过程,使框架能够学习场景无关的元策略,从而快速适应新环境。为了进行计算验证,我们采用近端元策略搜索(ProMP)作为基于 MAML 的代表性算法。首先,我们将未经额外适应的预训练元策略与基于规则的经验法则以及在多种场景下训练的域随机化近端策略优化(PPO)基线进行比较评估。ProMP 始终能实现更低的总成本,与两种基线相比具有统计意义上的显著改进。其次,我们在四种代表性的需求和提前期设置下评估了少样本适应能力。与 PPO 相比,ProMP 在 1-shot、2-shot 和 3-shot 设置中分别将平均总成本降低了 26.96–53.81%、34.37–48.87% 和 34.45–52.97%。这些结果表明,ProMP 能更有效地且稳定地适应,特别是在具有挑战性的条件下,这表明所提出的元强化学习框架可以提高动态供应链环境中的泛化能力和适应能力。