随着海上运输的快速发展,多模式运输系统越来越多地成为大型自动化集装箱码头(ACTs)的主要运输方式,旨在提高海上物流效率[1]。作为ACTs中集装箱存储和转运的核心区域,堆场是码头作业与陆地运输之间的重要接口。堆场运营的效率直接影响码场的整体性能。由于主要集装箱枢纽港口的河海联运比例不断增加,许多码头采用了改进的处理策略来提高转运效率。例如,广州南沙四期ACT将驳船泊位战略性地布置在班轮泊位旁边[2],使得班轮和驳船可以同时进行装卸作业,这被称为快速转运作业。图1展示了为支持快速转运作业而设计的典型转运导向型ACT布局。这种布局显著减少了水平转运距离,提高了转运效率。然而,提高的码头效率对有限空间内的堆场作业提出了巨大挑战,特别是在区块分配和堆场起重机(YC)重新部署这两个紧密耦合的决策中。
现有研究中的传统区块分配策略通常在长期或短期规划层面进行制定。根据估计的集装箱到达和离开信息,区块或子区块会提前几小时或几天预先分配给集装箱组。这个过程通常被称为堆场模板规划[3]。预分配策略能够实现批量堆放作业,并且在区块专门用于堆放或取货任务时可以提高处理效率。然而,这些策略往往缺乏灵活性,无法适应集装箱的提前或延迟到达,并且不适合同步堆放和取货作业。与进出口集装箱不同,转运集装箱的特点是周转周期较短、处理频率较高,堆放和取货过程之间的同步性更强。这些特性导致堆场工作量出现显著的时空波动。此外,在批量存储策略下,短时间内大量堆放或取货任务集中会导致可用处理设备不堪重负。这不仅会导致运营延误和交通拥堵,还会降低堆场运营的整体效率。
此外,有效的YC部署在提高整体堆场效率方面起着至关重要的作用[4]。然而,大多数关于多个区块之间YC重新部署的现有研究都是在长期或短期规划层面进行的,其中重新部署决策通常每隔几小时甚至几天更新一次。这种静态的重新部署策略无法应对动态的工作量波动,限制了YC的运营灵活性。相比之下,关于实时YC重新部署的研究仍然有限。在实际操作中,实时重新部署决策通常基于操作员的经验手动做出,导致决策质量不稳定和性能不佳。因此,在实时运营层面开发灵活且自适应的YC重新部署策略对于进一步提高堆场效率至关重要。
在堆场作业中,区块分配和YC重新部署(BA-YCR)是两个高度相互依赖的过程,它们彼此显著影响。鉴于集装箱到达模式的随机性和工作量的动态波动,开发灵活且自适应的实时BA-YCR决策策略至关重要。本研究重点关注这两个过程的联合实时优化。开发了一个混合整数规划(MIP)模型来描述系统的最优性。将集成问题进一步建模为马尔可夫决策过程(MDP),捕捉区块分配和YC重新部署之间的交互动态。开发了一个通用的堆场运营模拟器,以在现实运营条件下复制区块分配和YC重新部署决策之间的动态耦合。为了解决这个问题,提出了一个多智能体强化学习(MARL)框架,实现对两个决策过程的离散和协调控制。使用近端策略优化(PPO)算法对智能体进行训练。与商业求解器、广泛采用的元启发式算法和基于规则的启发式算法的比较实验表明,所提出的基于MARL的方法在解决方案质量和计算效率上都有显著改进。进一步的实验结果证实,所提出的方法支持大规模场景下的二级决策制定,同时表现出强大的适应性和泛化能力。
本文的主要贡献总结如下。
(1) 本研究首次将联合BA-YCR问题在实时运营层面建模为MDP。该模型捕捉了关键运营特性,包括分散和随机的集装箱到达模式以及动态的工作量波动。目标是开发调度策略,以最小化YC的重新部署次数、运营延误和运输时间。为此,开发了一个通用的BA-YCR模拟器,以实现区块分配和YC重新部署的集成控制。该模拟器适用于不同的堆场布局和设施配置。
(2) 开发了一个多智能体决策框架来解决BA-YCR问题。该框架包括两个异构智能体,即区块分配智能体和YC重新部署智能体。对所有堆放集装箱应用共享的区块分配策略,而全局YC重新部署策略则管理所有空闲YC的重新部署。这种具有部分共享策略的异构多智能体结构不仅降低了联合行动空间的维度,还增强了策略训练的稳定性和收敛性。此外,通过结合全局性能指标和智能体特定反馈,设计了一种混合奖励机制(HRM),有效平衡了策略探索和智能体之间的协调。
(3) 进行了全面的数值实验来评估所提出的基于MARL方法的有效性。在不同奖励结构下的消融研究验证了HRM的好处。所提出的方法还与几种已建立的方法进行了基准测试,包括商业求解器CPLEX、广泛使用的遗传算法(GA)和实用的基于规则的启发式方法(RBH)。结果表明,基于MARL的方法在小、中、大规模场景中始终优于这些基准方法,在解决方案质量上提高了0.2%到81.3%。即使在大规模实例中,计算时间也少于5秒,满足了实际码头运营的实时要求。此外,还在真实世界的ACT上进行了敏感性分析,以检验YC配置和运营偏好的影响。研究结果证实了所提出方法的稳健性和泛化能力,并为港口管理者提供了关于设备配置和运营策略设计的实际见解。
本文的其余部分组织如下。第2节回顾了关于区块分配和YC重新部署的现有文献,以及强化学习在集装箱码头运营中的最新应用。第3节介绍了一个两阶段决策程序,用于分解集成的BA-YCR问题。为BA-YCR问题开发了一个MIP模型。第4节进一步将BA-YCR问题建模为MDP。开发了一个通用模拟器,用于生成智能体观察状态、执行调度决策和评估决策质量。提出了一个多智能体决策框架,并采用了一个定制的多智能体近端策略优化算法来训练调度策略。第5节进行了全面的实验,以评估所提出的基于MARL方法的解决方案质量和计算效率。第6节总结了主要发现并概述了未来研究的潜在课题。