通过大语言模型驱动的奖励塑造与强化学习的电动公交车充电调度决策智能

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:Decision intelligence for electric bus charging scheduling through LLM-driven reward shaping and reinforcement learning

【字体: 大 中 小 】 时间:2026年10月22日 来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4

编辑推荐:

   **摘要与引言翻译** **• 为电动公交车充电调度开发的AI-OR决策智能。• 基于LLM的奖励塑形实现了RL奖励设计的自动化与迭代。• 动作掩码与回滚机制保障了自动化调度的可行性与可靠性。• 奖励演化分析揭示了可迁移的设计原则。** **引言** 电动公交车(EBs

  

**摘要与引言翻译**

**• 为电动公交车充电调度开发的AI-OR决策智能。• 基于LLM的奖励塑形实现了RL奖励设计的自动化与迭代。• 动作掩码与回滚机制保障了自动化调度的可行性与可靠性。• 奖励演化分析揭示了可迁移的设计原则。**

**引言**

电动公交车(EBs)在全球城市公共交通脱碳过程中发挥着日益核心的作用,其大规模部署催生了新型城市车队能源物流系统,在该系统中,车辆运营、场站充电资源、电力采购和时刻表遵守必须协同优化(Ji et al., 2026a, Yang et al., 2024b)。世界资源研究所的数据显示,截至2024年全球约有78万辆电动公交车在运营(Jaeger, 2025)。随着车队规模持续扩大,传统燃油公交车时代不存在的运营挑战日益凸显:如何在有限的充电基础设施下高效协调车辆运营与充电决策(Zhao et al., 2025)。充电调度问题的核心在于确定每辆电动公交车何时以何种功率充电,以最小化运营成本、将用电需求转移至低价时段、维持服务可靠性,并满足时刻表与电池安全约束(Lu et al., 2025, McCabe et al., 2025)。该问题涉及多重挑战,包括分时电价下的电价波动、充电车位容量竞争、行程能耗随机波动以及充电决策的长期时间耦合(Niu et al., 2024)。此类问题通常被建模为数学规划问题,特别是混合整数线性规划(MILP),并通过通用求解器或问题专用启发式算法求解(Rogge et al., 2018, Zhou et al., 2025);然而,面对大规模车队、实时不确定性和长期决策耦合时,这两种路线均面临计算成本急剧上升和难以应对随机环境动态变化的困境(Manzolli et al., 2022)。强化学习(RL)提供了一种有前景的替代方案,因为它以不同的方式应对上述三个困难(Bie et al., 2024, Lai et al., 2024, Othman et al., 2025, Zhang et al., 2025b)。策略通过离线重复交互环境学习,在线决策仅需单次评估学习到的策略,而非随车队规模增长而反复求解组合优化问题;它针对不确定的行程能耗和行驶时间的抽样实现进行优化,而非单一预测点;且折现回报将充电动作的下游影响——如将电量延至低价时段或使用其他电动公交车后续所需的充电车位——传递回当前决策。因此,RL在电动汽车和电动公交车充电调度中已展现出比传统方法更强的灵活性和适应性(Qi et al., 2025b, Zhao et al., 2024)。

然而,大多数现有充电调度的RL研究针对特定场景设计状态空间、动作空间和奖励函数。当车队规模、线路结构或定价机制发生变化时,这些设计往往需要重新调整甚至完全重新设计,缺乏跨场景的泛化能力和适应性(Ji et al., 2026b)。制约RL泛化能力的核心变量是奖励函数:它是指导智能体行为的唯一信号,其结构和参数直接决定学习策略的收敛方向和最终性能(Abouelazm et al., 2024)。在多目标任务中,策略对奖励权重的微小变化高度敏感,可能产生截然不同的行为(Ladosz et al., 2022)。电动公交车充电调度的奖励函数必须同时编码多个相互冲突的目标,包括电力成本、荷电状态(SOC)安全、准点发车和充电连续性。充电连续性关注充电过程的时间稳定性和完整性,因此 discourages频繁启停和功率切换——这会碎片化充电车位占用并增加场站执行难度。传统方法完全依赖领域专家针对每个特定场景手动试错,导致调优成本高且跨场景可迁移性差(Gao et al., 2020)。使该奖励函数难以设计的原因不仅在于目标数量,更在于它们之间的耦合方式。这些目标在尺度上异构且非线性交互,因此其权衡不存在闭式最优权重;其中一些目标——特别是电池安全性和上述充电车位竞争导致的充电容量上限——是必须遵守的不可违背要求,违反后无法在运营日内修复,因此奖励必须将策略引导远离可行性边界,而非仅仅平衡软性成本;此外,有效的奖励函数形态取决于场景,车队规模、时刻表密度、充电车位-公交车比或电价曲线的变化不仅要求调整数值权重,还需调整奖励的函数形式。现有的自动化奖励设计方法仅部分缓解了这一负担,因为它们在前定义的奖励结构框架内调权重或从候选项中选择,而非重塑奖励本身。因此,如何实现奖励函数的自动化设计与迭代优化——重塑其结构和参数——是突破RL在充电调度中泛化瓶颈的关键。

大语言模型(LLMs)在自然语言理解、代码生成和复杂推理方面的最新突破为自动化奖励设计开辟了新路径。EUREKA框架(Ma et al., 2024)首次证明LLMs可通过进化搜索生成达到人类专家水平的奖励函数,Auto MC-Reward(Li et al., 2024)和CARD(Sun et al., 2025)进一步验证了LLM驱动的奖励迭代在各种控制和游戏环境中的可行性。LLM在奖励设计中的独特价值在于其直接操作奖励代码:由于奖励以可执行程序表示,LLM可同时创建和修改其结构与参数,将分时电价曲线、SOC安全下限和时刻表要求等领域语义翻译为可解释的奖励项,并从轨迹统计中诊断失败模式以在闭环中修订奖励,从而超越早期自动化方法在固定结构下的权重调节。除控制任务外,LLMs已应用于运筹学(OR)中的模型构建和启发式生成(Romera-Paredes et al., 2024, Huang et al., 2025, Hong and Li, 2026)以及交通决策(Guo et al., 2024, Yang et al., 2024a),但其应用于强约束车队能源物流仍十分有限。具体而言,无论是LLM驱动的奖励设计还是LLM在交通领域的应用,现有研究通常针对约束较宽松或失败可逆的场景,尚未解决充电调度等硬约束与多目标深度耦合的能源运营问题。在电动公交车充电调度中,由于SOC下限和充电容量是不可违背的,单次迭代失败可能导致不可逆的服务中断和运营损失,这要求LLM-RL框架将奖励探索与约束感知评估及防故障回滚相结合。目前,如何为强约束能源调度问题构建LLM驱动的奖励函数自动迭代优化框架,以及不同LLM在此类闭环优化中的能力边界和行为差异,仍是待填补的研究空白。

本文因此提出了一种LLM-based RL奖励函数自动迭代优化框架,在重塑其结构和参数的同时保持运营可行性,并将其应用于电动公交车充电调度问题。本文的主要贡献如下:(1)为电动公交车车队能源物流构建了高维马尔可夫决策过程(MDP)模型,并提出了一种事件触发的两阶段充电重分配机制。该机制通过动作掩码将动作级运营约束(包括充电连续性和充电容量)嵌入RL决策过程,形成算法无关的框架,使每个执行的充电动作均可行。(2)设计了LLM驱动的奖励塑形框架,自动化RL模型开发中最耗时的部分。通过将奖励函数表示为可执行代码,该框架利用LLMs进行任务解释、性能诊断和结构化探索,同时RL环境和约束处理模块提供定量评估和运营可行性检查。这创建了一个闭环AI-OR工作流,可在有限的人工试错下改进调度策略。(3)在合成仿真场景和广州真实公交运营数据上开展系统实验,评估该框架对成本效率、服务可靠性、能源转移行为的影响,以及在不同车队规模、充电车位-公交车比、线路结构和时刻表密度场景下重新运行奖励优化时的适应性。通过比较三种主流LLM在冷启动和热启动条件下的表现,研究识别了合成场景下的奖励设计原则,并通过消融实验和敏感性分析验证了各模块的贡献。框架如图1所示。

本文其余部分组织如下:第2节回顾相关工作。第3节阐述方法框架。第4节描述案例研究结果与分析。第5节总结全文。

**章节片段**

**电动公交车充电调度优化**

电动公交车充电调度的研究已从数学规划演进至数据驱动方法。在数学规划范畴内,MILP是最广泛使用的建模框架。Zhang et al.(2021)构建了考虑电池退化和非线性充电特性的MILP模型。Zhou et al.(2022a)在单线路场景中联合优化充电调度和电池退化。Bao et al.(2023)提出了充电调度的MILP模型及求解算法。

**方法论**

全文使用的符号汇总于表1,其中每个符号按其在模型中的作用分类为集合或索引、参数、状态变量、决策变量或派生量。

**基本RL验证**

本节使用基本RL模型验证电动公交车充电调度性能。构建了包含10辆电动公交车和5个充电车位的场站仿真环境。场站服务两条线路,每条线路由5辆电动公交车轮换运营(线路A:单程距离15公里,发车间隔25分钟;线路B:单程距离20公里,发车间隔30分钟)。每辆电动公交车的电池容量为300千瓦时,可选充电功率等级为0、60、120或180千瓦。分时电价基于……

**结论**

本文针对电动公交车充电调度中奖励函数设计依赖手动试错且难以跨场景迁移的瓶颈,提出了一种LLM-based RL奖励函数自动迭代优化框架。该框架将奖励函数表示为可执行代码,通过初始化器、……等四个模块的协同运作,实现了从结构生成到定向优化的完全自动化闭环迭代。

**CRediT作者贡献声明**
- 詹佳豪:撰写–审阅与编辑、撰写–初稿、方法论、形式化分析。
- 杨颖:撰写–审阅与编辑、验证、数据整理、资金获取。
- 张哲:调查、形式化分析。
- 刘洋:验证、形式化分析。
- 别义明:资源、概念构思。
- 裴明阳:数据整理。
- 曲晓波:资金获取、概念构思。

**利益冲突声明**
作者声明无已知的、可能影响本文工作的竞争性财务利益或个人关系。

**致谢**
本工作受国家自然科学基金(编号:T2588101、72401174、72601224)、清华大学智能绿色车辆与交通国家重点实验室自主研究项目(编号:ZZ-GG-20250403)以及清华大学(智能绿色车辆与交通国家重点实验室)–杭州机场经济示范区综合交通联合研究中心资助。

詹佳豪 | 杨颖 | 张哲 | 刘洋 | 别义明 | 裴明阳 | 曲晓波
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号