《Journal of Marine Science and Engineering》:A Reinforcement Learning Method for Automated Guided Vehicle Dispatching and Path Planning Considering Charging and Path Conflicts at an Automated Container Terminal
编辑推荐:
本文提出了一种针对水平布局自动化集装箱码头(ACT)的多智能体强化学习(MARL)方法,用于解决自动导引车(AGV)的调度(Dispatching)与路径规划(Path Planning)集成优化问题(VD2P)。该方法构建了马尔可夫决策过程(MDP)模型,设计了混合全局-个体奖励机制,并采用近端策略优化(PPO)算法进行训练。实验表明,该方法能在数十秒内为实际规模场景提供高质量解决方案,相比基准方法性能提升8.4%至53.8%,为提升港口物流效率提供了创新解决方案。
研究背景与意义
随着国际海运贸易的持续增长,自动化集装箱码头(ACT)迫切需要更高效的运营管理策略。在实践中,水平堆场布局显著提高了转运效率,但也使水平运输系统变得更加复杂,亟需有效的自动导引车(AGV)调度方法。水平布局下的AGV运输路径形成具有多个十字路口、多车道、各种运输规则以及堆场旁重叠的运输和处理空间的复杂网络结构。此外,电池驱动的AGV必须在其充电状态(SoC)低于临界阈值前充电,且在充电期间暂时不可用。这些复杂性和充电要求使得水平布局下的AGV调度问题更加困难。
相关研究综述
现有与AGV调度相关的研究主要集中于AGV调度、AGV路径规划及其集成。在AGV调度方面,学者们研究了随机任务和电池更换、多AGV调度问题、集成调度模型以及充电调度等。在AGV路径规划方面,研究涉及反冲突路径规划、Petri网调度框架、混合算法以及路径平滑方法等。此外,部分研究尝试联合解决AGV调度和路径规划问题,例如考虑双向路径的MIP模型、分层框架集成强化学习以及三阶段算法等。然而,现有研究多集中于垂直堆场布局,对水平布局环境下AGV系统优化的关注不足,且往往缺乏实时决策能力或未能协同优化调度和路由。
强化学习(RL)方法在处理动态不确定性和多目标优化方面展现出卓越能力,非常适合需要实时适应的复杂AGV调度场景。相关应用包括基于DQN的动态调度算法、集成异构图网络和PPO的多智能体深度强化学习框架、结合人工势场和深度确定性策略梯度的APF-TD3框架,以及基于DRL的速度控制算法等。尽管如此,现有研究往往将AGV路由视为预定义的最短路径程序或简化的拥堵惩罚,没有在共享车道上显式建模多AGV路径冲突,且充电决策常被忽略或由固定启发式方法处理。
AGV调度系统开发
本研究针对水平布局下的AGV调度问题,将其定义为一个同时处理AGV调度和路径规划问题的集成优化问题。目标是在考虑充电约束和多种路径冲突的前提下,提高运输效率。AGV调度决策主要包括AGV调度、路径规划、充电时间和目标充电阈值选择。运输效率通过总任务完成时间、平均处理等待时间、平均运输时间和平均任务延迟等典型指标体现。路径冲突通过不同类型的冲突频率量化,包括超车冲突、交叉冲突和停车冲突。
为了准确捕捉可行的AGV路径、物理约束和资源冲突,同时实现高效的路径规划,研究构建了一个离散且结构化的运输路径网络。将泊位、堆场块和转弯交叉点抽象为单个节点,红色线表示相邻节点之间的双向连接,蓝色线表示单向连接。研究采用了几个关键假设,包括在短滚动周期内容器任务的数量、操作顺序和估计处理持续时间是已知的;卸载容器的目标块和装载容器的目标泊位在短时间窗口内是预定的;每个AGV在每个路径段上以恒定的平均速度运行;AGV均由锂离子电池供电,电池荷电状态(SOC)动态在考虑的运营SOC范围(40-100%)内通过线性和放电特性近似;以及岸桥、场桥和AGV每次只能处理一个容器。
AGV状态分为运输状态和充电状态。研究详细描述了这两种状态的转换过程,包括空载运输、在泊位等待和处理、满载运输、在堆场块等待和堆放,以及充电过程。充电所需时间根据当前剩余电量确定。此外,研究考虑了三种AGV路径冲突:超车冲突、交叉冲突和停车冲突,并给出了相应的冲突检测条件。
为了模拟实时AGV操作的系统动态,研究开发了一个AGV调度系统模拟器。该模拟器采用离散时间模拟框架,在初始化场景终止之前,模拟器将系统时间推进到需要AGV做出决策的时间点。决策周期分为两类:当AGV开始满载运输时,由AGV在操作节点完成容器装载的事件触发,并为后续满载运输制定路径规划决策;当AGV变为空载时,由AGV在满载运输目的地完成容器卸载的事件或AGV完成充电的事件触发,之后进行任务分配和路径规划决策。模拟过程包括初始化、循环判断AGV状态并执行相应操作,直到所有装卸任务完成。
多智能体强化学习方法
研究提出了一种基于强化学习(RL)的方法来解决集成的AGV实时调度问题。首先将问题表述为马尔可夫决策过程(MDP),并建立了一个多智能体学习框架。该框架包括一个AGV调度智能体和一个路径规划智能体。调度智能体负责为空闲AGV分配运输或充电任务,路径规划智能体则确定最短运输路径每个段的具体车道。
状态设计对应于多智能体结构,分为AGV调度状态和路径规划状态。调度状态由全局状态和个体状态组成,全局状态表征整体工作负载和AGV分布,个体状态捕捉当前AGV的特征。路径规划状态包含最短运输路径上每个段的空间信息和拥堵状况。
动作空间采用分层离散方式设计。调度动作包括卸载(记为0)、装载(记为1)和充电(记为2)三种类型。一旦任务类型确定,具体的处理节点使用最近距离函数自动选择。路径规划动作包括最短运输路径每个段的车道选择决策,每个段的具体车道从所有可用车道中选择。
奖励函数的设计旨在最小化任务完成时间、提高运输效率、减少处理延迟并减轻路径冲突。为此,设计了一个全局奖励,包括完成时间奖励、任务延迟惩罚、路径冲突惩罚、空载运输惩罚、AGV处理等待惩罚和AGV充电等待惩罚。为了增强多智能体系统的探索能力,还为调度和路径规划智能体分别定制了两种个体奖励。调度智能体主要关注运输效率和充电机会,路径规划智能体则强调避免路径冲突。
基于上述MDP公式,研究开发了一个多智能体学习框架。在每个决策步骤,模拟器首先生成调度状态和路径规划状态。调度智能体和路径规划智能体根据输入状态提供相应的动作。这些调度动作由模拟器执行,随后计算个体奖励并更新系统状态。在所有任务完成后,计算全局奖励并将其添加到每个个体奖励中。调度转换和路径规划转换存储在各目的经验回放缓冲区中。一旦存储的转换数量达到缓冲区容量,就从缓冲区中采样小批量数据来更新调度和路径规划策略。
研究还阐述了MDP驱动的决策框架,该框架将AGV调度和车道选择分开,因为它们在不同的