多智能体强化学习方法在河海联运集装箱码头中用于块状货物分配与码头起重机重新部署的联合优化

《ADVANCED ENGINEERING INFORMATICS》:Multi-agent reinforcement learning method for joint optimization of block assignment and yard crane redeployment at river-sea intermodal container terminal

【字体: 大 中 小 】 时间:2025年12月31日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  堆场分配与吊车调度协同优化研究提出基于多智能体强化学习的实时决策框架,通过混合奖励机制平衡探索与协作,构建马尔可夫决策过程模型并开发通用仿真器,实验验证其相比传统方法提升效率0.2%-81.3%且计算耗时<5秒,在真实港口场景中验证了方法的鲁棒性和适用性。

  
刘华坤|王文远|彭云|杨树正|田洪斌|齐强
中国辽宁大连理工大学海岸与海洋工程国家重点实验室,116024

摘要

全球海上贸易的持续增长以及河海联运集装箱码头的动态运营特性,迫切需要提高转运效率。区块分配和堆场起重机(YC)重新部署(BA-YCR)是两个紧密耦合的调度过程,它们对整体码场运营效率有着显著影响。为了应对分钟级的工作量波动,实时有效地优化BA-YCR问题仍然具有挑战性。为此,本研究提出了一种基于多智能体强化学习(MARL)的方法来实时解决BA-YCR问题。将BA-YCR问题建模为马尔可夫决策过程(MDP),目标是最小化YC的重新部署次数、运营延误和运输时间。设计了一种混合奖励机制来平衡智能体之间的探索与协调。开发了一个两阶段多智能体决策框架,其中耦合调度策略使用近端策略优化(PPO)算法进行训练。数值实验表明,所提出的基于MARL的方法在解决方案质量上始终优于基准方法。经过良好训练的调度策略在解决方案质量上提高了0.2%到81.3%,同时计算时间保持在5秒以内,即使在大规模场景下也是如此。此外,基于真实世界集装箱码头的敏感性分析进一步验证了所提出方法的实用性和泛化能力。这些结果不仅有助于码头运营商制定可靠的实时BA-YCR策略,还为在更广泛的工程应用中使用基于MARL的方法进行实时调度优化提供了实际见解。

引言

随着海上运输的快速发展,多模式运输系统越来越多地成为大型自动化集装箱码头(ACTs)的主要运输方式,旨在提高海上物流效率[1]。作为ACTs中集装箱存储和转运的核心区域,堆场是码头作业与陆地运输之间的重要接口。堆场运营的效率直接影响码场的整体性能。由于主要集装箱枢纽港口的河海联运比例不断增加,许多码头采用了改进的处理策略来提高转运效率。例如,广州南沙四期ACT将驳船泊位战略性地布置在班轮泊位旁边[2],使得班轮和驳船可以同时进行装卸作业,这被称为快速转运作业。图1展示了为支持快速转运作业而设计的典型转运导向型ACT布局。这种布局显著减少了水平转运距离,提高了转运效率。然而,提高的码头效率对有限空间内的堆场作业提出了巨大挑战,特别是在区块分配和堆场起重机(YC)重新部署这两个紧密耦合的决策中。
现有研究中的传统区块分配策略通常在长期或短期规划层面进行制定。根据估计的集装箱到达和离开信息,区块或子区块会提前几小时或几天预先分配给集装箱组。这个过程通常被称为堆场模板规划[3]。预分配策略能够实现批量堆放作业,并且在区块专门用于堆放或取货任务时可以提高处理效率。然而,这些策略往往缺乏灵活性,无法适应集装箱的提前或延迟到达,并且不适合同步堆放和取货作业。与进出口集装箱不同,转运集装箱的特点是周转周期较短、处理频率较高,堆放和取货过程之间的同步性更强。这些特性导致堆场工作量出现显著的时空波动。此外,在批量存储策略下,短时间内大量堆放或取货任务集中会导致可用处理设备不堪重负。这不仅会导致运营延误和交通拥堵,还会降低堆场运营的整体效率。
此外,有效的YC部署在提高整体堆场效率方面起着至关重要的作用[4]。然而,大多数关于多个区块之间YC重新部署的现有研究都是在长期或短期规划层面进行的,其中重新部署决策通常每隔几小时甚至几天更新一次。这种静态的重新部署策略无法应对动态的工作量波动,限制了YC的运营灵活性。相比之下,关于实时YC重新部署的研究仍然有限。在实际操作中,实时重新部署决策通常基于操作员的经验手动做出,导致决策质量不稳定和性能不佳。因此,在实时运营层面开发灵活且自适应的YC重新部署策略对于进一步提高堆场效率至关重要。
在堆场作业中,区块分配和YC重新部署(BA-YCR)是两个高度相互依赖的过程,它们彼此显著影响。鉴于集装箱到达模式的随机性和工作量的动态波动,开发灵活且自适应的实时BA-YCR决策策略至关重要。本研究重点关注这两个过程的联合实时优化。开发了一个混合整数规划(MIP)模型来描述系统的最优性。将集成问题进一步建模为马尔可夫决策过程(MDP),捕捉区块分配和YC重新部署之间的交互动态。开发了一个通用的堆场运营模拟器,以在现实运营条件下复制区块分配和YC重新部署决策之间的动态耦合。为了解决这个问题,提出了一个多智能体强化学习(MARL)框架,实现对两个决策过程的离散和协调控制。使用近端策略优化(PPO)算法对智能体进行训练。与商业求解器、广泛采用的元启发式算法和基于规则的启发式算法的比较实验表明,所提出的基于MARL的方法在解决方案质量和计算效率上都有显著改进。进一步的实验结果证实,所提出的方法支持大规模场景下的二级决策制定,同时表现出强大的适应性和泛化能力。
本文的主要贡献总结如下。
(1) 本研究首次将联合BA-YCR问题在实时运营层面建模为MDP。该模型捕捉了关键运营特性,包括分散和随机的集装箱到达模式以及动态的工作量波动。目标是开发调度策略,以最小化YC的重新部署次数、运营延误和运输时间。为此,开发了一个通用的BA-YCR模拟器,以实现区块分配和YC重新部署的集成控制。该模拟器适用于不同的堆场布局和设施配置。
(2) 开发了一个多智能体决策框架来解决BA-YCR问题。该框架包括两个异构智能体,即区块分配智能体和YC重新部署智能体。对所有堆放集装箱应用共享的区块分配策略,而全局YC重新部署策略则管理所有空闲YC的重新部署。这种具有部分共享策略的异构多智能体结构不仅降低了联合行动空间的维度,还增强了策略训练的稳定性和收敛性。此外,通过结合全局性能指标和智能体特定反馈,设计了一种混合奖励机制(HRM),有效平衡了策略探索和智能体之间的协调。
(3) 进行了全面的数值实验来评估所提出的基于MARL方法的有效性。在不同奖励结构下的消融研究验证了HRM的好处。所提出的方法还与几种已建立的方法进行了基准测试,包括商业求解器CPLEX、广泛使用的遗传算法(GA)和实用的基于规则的启发式方法(RBH)。结果表明,基于MARL的方法在小、中、大规模场景中始终优于这些基准方法,在解决方案质量上提高了0.2%到81.3%。即使在大规模实例中,计算时间也少于5秒,满足了实际码头运营的实时要求。此外,还在真实世界的ACT上进行了敏感性分析,以检验YC配置和运营偏好的影响。研究结果证实了所提出方法的稳健性和泛化能力,并为港口管理者提供了关于设备配置和运营策略设计的实际见解。
本文的其余部分组织如下。第2节回顾了关于区块分配和YC重新部署的现有文献,以及强化学习在集装箱码头运营中的最新应用。第3节介绍了一个两阶段决策程序,用于分解集成的BA-YCR问题。为BA-YCR问题开发了一个MIP模型。第4节进一步将BA-YCR问题建模为MDP。开发了一个通用模拟器,用于生成智能体观察状态、执行调度决策和评估决策质量。提出了一个多智能体决策框架,并采用了一个定制的多智能体近端策略优化算法来训练调度策略。第5节进行了全面的实验,以评估所提出的基于MARL方法的解决方案质量和计算效率。第6节总结了主要发现并概述了未来研究的潜在课题。

章节片段

相关工作

在本节中,将与本研究相关的先前文献综合总结为两个方面,即区块分配和YC重新部署的研究,以及强化学习方法在集装箱码头中的应用。

问题陈述

本研究在旨在支持大规模自动化集装箱码头快速转运作业的新出现的泊位布局下,研究了实时运营层面的集成BA-YCR问题。如图1所示,驳船泊位布置在班轮泊位旁边。这种空间布局使得班轮和驳船可以独立但协调地作业,显著减少了运输距离并提高了转运效率。

基于多智能体强化学习的解决方案

在BA-YCR问题的实时运营背景下,准确评估任务延迟并在分钟级别对YC状态转换进行建模至关重要。这些要求对系统动态建模的准确性提出了高要求。传统的MIP方法往往难以高效捕捉此类动态,并且在应用于大规模集装箱码头的实时操作时计算上变得不可行。为了克服这些限制,采用了多智能体强化学习

数值实验

本节提供了全面的数值实验,以评估所提出的基于MARL方法的有效性。实验旨在评估HRM的影响,并将基于MARL的方法的性能与几种基准方法进行对比,包括商业求解器CPLEX、广泛使用的元启发式算法(遗传算法GA)和实用的基于规则的启发式方法(RBH)。此外,还进行了敏感性分析,以研究

结论

本研究开发了一种基于MARL的方法来解决集装箱码头中的BA-YCR问题。考虑到集装箱分散和随机的到达模式以及工作量分布的动态波动,该问题被建模为MDP,旨在最小化YC重新部署的加权成本、任务延迟和运输时间。为了捕捉两阶段决策过程(即区块分配和YC重新部署)的独特决策逻辑,进行了定制

CRediT作者贡献声明

刘华坤:撰写——原始草稿、软件、方法论、调查、概念化。王文远:监督、资源、项目管理、方法论、资金获取。彭云:监督、项目管理、方法论。杨树正:撰写——原始草稿、可视化、验证、软件。田洪斌:撰写——原始草稿、可视化、验证、方法论。齐强:可视化、验证、调查。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了中国国家重点研发计划(项目编号2024YFF0507100)、国家自然科学基金(项目编号52172315、52301314)以及海岸与海洋工程国家重点实验室青年学者创新基金(项目编号LY2502)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号