用于港口微电网和电动卡车车队协同调度的物理约束分层软演员 - 评论家
《Ocean Engineering》:Physics-constrained hierarchical soft actor-critic for coordinated port microgrid and electric truck fleet scheduling
【字体:
大
中
小
】
时间:2026年08月28日
来源:Ocean Engineering 6.3
编辑推荐:
•双层 DRL 将港口能源管理与电动卡车调度耦合。
•汇总的卡车充电负载作为层间的显式耦合变量。
•与基于规则的基准相比,日常运营成本降低 40%。
•即使在 140% 的运输吞吐量下,成本优势仍超过 38%。
•消融实验证实双层耦合贡献了 41.2% 的成本降低。
引言
国
•双层 DRL 将港口能源管理与电动卡车调度耦合。
•汇总的卡车充电负载作为层间的显式耦合变量。
•与基于规则的基准相比,日常运营成本降低 40%。
•即使在 140% 的运输吞吐量下,成本优势仍超过 38%。
•消融实验证实双层耦合贡献了 41.2% 的成本降低。
引言
国际海上运输承载了全球约 80% 的货运量,但也占全球人为温室气体(GHG)排放的约 3%,且预测显示到 2050 年相对于 2008 年水平将增加 90%–130%(国际海事组织,2023)。作为海运物流链中的关键节点,港口既是主要的排放源,也是脱碳的战略杠杆点。港口相关排放源于多项活动——靠泊船舶辅机、货物处理设备、短驳作业重型卡车及现场能源系统——导致氮氧化物(NOx)、二氧化硫(SO2)和颗粒物(PM2.5)等局部空气污染,以及 CO2(美国环境保护署,2016)。为此,国际海事组织(IMO)已逐步收紧排放法规,全球许多港口当局已启动包括岸电(冷铁工艺)、电动起重机和用于港口内部物流的电动汽车(EVs)在内的电气化倡议(Bakar 等,2021)。在这些措施中,用电池电动卡车(BETs)替代柴油集装箱卡车已成为一项特别有影响力和策略,因为短驳卡车通常在受限的港口区域内运行高里程、频繁的启停循环和可预测的路线——这些条件有利于电气化(Feng 等,2025)。然而,随着电气化规模的扩大,港口物流系统与港口能源系统的联系日益紧密:卡车调度和充电调度等物流决策直接决定了电力负载的时间和空间分布,而能源供应约束则限制了可行的物流运营方案(Huang 等,2023)。这种相互依存形成了所谓的电气化港口的交通 - 能源耦合特性(Fang 等,2022)。
因此,港口微电网的高效能源管理吸引了大量研究关注。早期研究将港口能源管理问题表述为混合整数线性规划(MILP)或混合整数非线性规划(MINLP)模型。例如,Sadiq 等(2024)提出了孤岛运行模式的智能港口微电网案例研究,Gennitsaris 和 Kanellos(Gennitsaris 等,2019)制定了面向广泛电气化港口的减排感知需求响应,Zhang 等(2022)在不确定性下耦合了岸电调度与泊位分配。这些基于模型的优化方法在已知概率分布下可产生全局或近全局最优解;然而,其实用有效性受到几个因素的限制:(i) 需要准确的系统模型和预测信息,(ii) 在可再生能源、船舶到达时间和卡车充电需求的不确定性下,实时决策的计算不可行,以及 (iii) 对演变运行条件的适应性有限(Qi 等,2011)。鲁棒优化变体以解的保守性为代价提高了可靠性(Bertsimas 等,2011)。电价和电池管理规则也实质性地影响光伏/电池微电网性能(Ouédraogo 等,2022)。最近,学习驱动模型预测控制结合了可再生能源预测与滚动多目标优化,在纯基于模型的调度和强化学习之间提供了一个相关的中间基准(Li 等,2025)。
为了克服基于模型方法的这些内在局限性,数据驱动方法——特别是深度强化学习(DRL)——被越来越多的研究用于能源管理问题。DRL 结合了深度神经网络的函数逼近能力和强化学习(RL)的顺序决策框架,使智能体能够从与环境的交互中直接学习近最优控制策略,而无需显式的系统模型(Glavic, 2019)。最近的综述(Glavic, 2019; Do?an 等,2026)记录了 DRL 在分布式发电调度、储能调度、需求响应、微电网协调和实时能源定价方面的快速扩展。在微电网能源管理领域,探索了多种 DRL 算法:用于离散动作空间的深度 Q 网络(DQN)(Mnih 等,2015),用于连续控制的深度确定性策略梯度(DDPG)(Recht, 2019),以及最近出现的 Soft Actor-Critic(SAC)——一种离线策略演员 - 评论家算法,通过向标准强化学习目标增加熵最大化项,从而鼓励探索并提高对环境非平稳性的鲁棒性(Duan 等,2021)。例如,Bhujel 等(2023)将 SAC 应用于使用储能系统的微电网电压支撑,而 Song 等(2025a)开发了一个多智能体 SAC 框架,用于考虑阶梯碳交易的联网多能微电网低碳能源管理。最近的安全控制研究强调状态依赖的可行动作和显式安全接口,而不是完全依赖奖励惩罚(Li 等,2026; Wang 等,2026a)。尽管取得了这些进展,DRL 在港口能源管理中的应用仍然相对有限。Song 等(2025b)开发了一个双层框架,其中上层混合整数优化模块协调泊位分配,而下层 TD3 智能体管理泊位运营、换电站调度和港口能源调度。尽管他们的研究显式考虑了交通 - 能源耦合,但并未解决车队级电动卡车任务分配或车辆充电决策与电网侧电力调度之间的分钟级交互。因此,本研究的贡献不仅在于采用双层架构或将船舶替换为卡车,而在于集成基于连续优先级的车辆 - 任务匹配、通过显式电价和充电容量信号协调的 1 分钟/15 分钟决策,以及针对 BESS、电网、充电器、车辆和任务约束的硬可行性投影。
与能源管理文献并行,越来越多的研究从交通方面解决了电动卡车车队的运营挑战。Miao 等(2025)为半开放港口物流中的自动电动卡车开发了复杂性学习驱动的路径规划,显式表示港口道路运营和车辆部署约束。Sun 等(2025)开发了一种基于深度强化学习的城市电动物流车辆网络低能耗调度方法,采用基于编码器 - 解码器架构的异构注意力模型。Park 和 Yang(Park 等,2026)研究了存在分布式能源资源情况下的基于强化学习的充电站调度。在设备和基础设施层面,Di Ilio 等(Di Ilio 等,2021)为港口物流设计了燃料电池/电池混合场桥动力总成,而 Perera 等(2020)审查了城市充电基础设施规划与管理。Zhao 等(2024)的系统综述将电动汽车充电调度分类为基于规则的、数学规划的和强化学习的方法,同时指出实时适应性、可行性和集成电网交互方面的持续挑战。
从上述文献中识别出的关键差距是,港口能源管理和电动卡车车队调度在很大程度上被视为解耦的问题。关于港口微电网能源管理的研究通常将交通侧的电力负载视为外生的、预测的数量,而不建模实时物流决策如何塑造充电负载曲线(Sadiq 等,2024)。相反,关于电动卡车调度和充电优化的研究通常假设固定的电价或无限的电网供应,忽略了港口能源管理系统可用的动态约束和经济激励(Miao 等,2025; Sun 等,2025)。这种解耦是有问题的,因为在电气化港口中,物流运营和能量流需要双向信息交换,尽管目前的分解是故意不对称的:交通系统作为能源系统上的可控负载,而能源系统的定价信号和容量约束应告知物流决策(Huang 等,2023; Fang 等,2022)。少数最近的研究开始解决这种耦合。Huang 等(2023)研究了不确定运行条件下电气化港口的能源 - 物流协调,表明协调运营可以产生显著的成本降低。Guo 等(2026)在交通 - 电力耦合下协调了光伏发电、储能和电动汽车,而 Wang 等(2026a)引入了港口物流能源调度的自适应可行动作设计。Li 等(2025)进一步展示了学习驱动 MPC 路线的多目标可再生能源管理。然而,仍缺乏一个统一的实时运营框架,在耦合的交通 - 能源范式下同时优化港口能源调度和电动卡车车队调度。
为了弥合这一差距,本文提出了一种基于双层 DRL 的港口能源管理策略,实现港口能源调度与电动卡车调度之间的价格和容量引导的分层协调。耦合优化问题被表述为双层马尔可夫决策过程(MDP):上层在粗时间分辨率下管理 BESS 调度和由此产生的电网交换,而下层在更细粒度下处理卡车任务分配和充电;汇总的充电负载作为两层之间的耦合变量。两层均使用带有优先经验回放的 Soft Actor-Critic(SAC),而下层混合动作通过连续优先级解码、可行性掩码、二分匹配和硬投影执行。所提出的框架通过广泛的仿真进行了验证,涵盖训练收敛性、典型日调度、策略比较、敏感性分析、消融研究以及在预测误差下的鲁棒性评估。
基于上述研究差距,本研究通过扩展与 Song 等(2025b)密切相关的框架,从泊位分配和换电站调度推进到车队级电动卡车调度问题,显式表示任务发布时间、截止时间、车辆可用性、能量可行性和充电设施竞争,从而推进了电气化港口的分层交通 - 能源协调。下层策略生成连续的车辆 - 任务优先级分数和充电设定点,通过可行性掩码、匈牙利匹配和硬约束投影转换为可执行的混合离散 - 连续决策。进一步建立了 15 分钟/1 分钟多时间尺度协调机制:上层通信有效的电价信号和可用的充电容量预算,而下层返回汇总的卡车充电需求。通过签名的 BESS 动作、基于平衡的电网交换以及 BESS、变压器、充电器、车辆 -SOC 和任务分配约束的状态依赖投影来维持物理可行性。
因此,本研究的主要贡献体现在建模、控制、实施和验证层面。在建模层面,建立了集中式港口交通 - 能源调度公式,以定义共同目标、决策变量、功率平衡、BESS 运营、车辆能量动态、任务分配、充电基础设施限制和变压器约束。在控制层面,分层 SAC 框架通过显式交换价格、充电容量和汇总负载信息,协调 15 分钟能源管理决策和 1 分钟电动卡车调度决策。在实施层面,保留可行性的混合动作机制通过可行性掩码和匈牙利匹配将连续车辆 - 任务优先级转换为可执行分配,而签名的 BESS 控制和硬投影保留了能源和交通动作的可行性。在验证层面,在相同的基于现场测量的输入下,将所提出的框架与基于规则的控制、MPC、单层 DRL 和解耦变体进行系统评估,同时进行吞吐量敏感性、消融和预测误差鲁棒性测试。表 1 提供了所提出的框架与最密切相关的港口交通 - 能源管理研究之间的简明比较。
章节片段
港口综合能源 - 交通系统建模
所考虑的港口能源 - 交通系统包括光伏(PV)发电阵列、电池储能系统(BESS)、岸电设施、连接主电网的接口以及在港口区域内执行短驳作业的电池电动卡车(BETs)车队。系统组件和信息交换如下所述。港口微电网内的能量流受功率平衡约束支配。在上层的每个时间步长中
训练收敛性与典型日调度
所提出的双层框架的训练动态在图 1 中总结了,使用了五个独立种子(202401-202405)。图 1(a) 显示,平滑累积奖励在第 1-50 回合中从 0.197 ± 0.108 增加到第 51-100 回合中的 0.466 ± 0.081,然后在第 251-300 回合中上升到 0.758 ± 0.088,并在最后 200 个回合期间保持在平台附近。在第 451-500 回合中略微降至 0.764 ± 0.065,与早期学习增益相比很小,且不会
结论
在统一框架下实现港口微电网能源调度和电动卡车车队调度的协调、实时优化是本工作解决的核心挑战。此处开发的双层深度强化学习策略通过汇总卡车充电负载显式耦合了两个子系统,上层 Soft Actor-Critic 智能体以 15 分钟分辨率管理电池储能;电网交换由功率平衡方程推导得出,并且
CRediT 作者贡献声明
李顺:形式分析,撰写 – 初稿。彭世涛:数据整理,监督。祁昭宇:资金获取,撰写 – 审查与编辑。樊兴达:方法论,软件。黄伟:数据整理,资金获取。
数据可用性
支持所报告结果的关键数值数据、控制器设置、可复现性检查和保留可行性的算法在补充材料中提供。
额外的去标识化运行记录和源代码可在合理请求下从通讯作者处获取,但需遵守合作港口的保密要求。
利益冲突声明
作者声明,他们不存在任何可能影响本文报告工作的已知竞争性经济利益或个人关系。
致谢
本工作得到了国家重点研发计划(项目编号:2024YFB4303502)、中央财政引导地方科技发展基金项目(项目编号:Guike ZY24212028 和 25YCGYS00150)以及中央级公益性科研院所基本科研业务费(项目编号:TKS20260103)的支持。
李顺 | 彭世涛 | 齐昭羽 | 樊兴达 | 黄伟
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号