需求不确定性下动态跨区域农业机械调度的增强型近端策略优化

《Swarm and Evolutionary Computation》:Enhanced Proximal Policy Optimization for dynamic cross-regional agricultural machinery dispatching under demand uncertainty

【字体: 大 中 小 】 时间:2026年09月24日 来源:Swarm and Evolutionary Computation 9.6

编辑推荐:

   摘要 本文研究了动态跨区域农业机械调度问题,该问题中,在执行过程中当新的地块需求到来时,需要对异构机械进行重新分配。其科学挑战在于:在遵守类型服务兼容性、时间窗口、跨区域协作协调成本以及强制返场操作的前提下,从真实的田间状态快速做出剩余重新调度决策。本文建立了基于路线的混合整

  

摘要 本文研究了动态跨区域农业机械调度问题,该问题中,在执行过程中当新的地块需求到来时,需要对异构机械进行重新分配。其科学挑战在于:在遵守类型服务兼容性、时间窗口、跨区域协作协调成本以及强制返场操作的前提下,从真实的田间状态快速做出剩余重新调度决策。本文建立了基于路线的混合整数线性模型,通过机械状态插值和闭环完工时间最小化,将静态调度与事件驱动的剩余重新调度统一起来。随后提出了增强的近端策略优化方法(Enhanced PPO),该方法使训练与剩余部署状态对齐,缓解了终端完工时间目标下的延迟奖励传播问题,并将学习到的调度偏好与可行性感知的在线修复相结合。在一个涵盖四种扰动原型的20个案例基准上,Enhanced PPO在全部40个案例-规模-场景比较中均获得了最优的静态和动态完工时间。在各竞争算法之间,中位数静态完工时间差距范围为6.10%至9.51%,而中位数动态差距范围为1.19%至3.49%;统计检验进一步表明,在所有扰动场景下其性能均显著且更为稳定。

引言 大规模农业的机械化将农作物生产转变为一项物流密集型作业,其中异构机械车队必须在分散的地块、多个合作社仓库以及紧密耦合的作业时间线之间进行协调。现有的田间物流、动态路径和跨区域机械调度研究表明,机械调度不再是一个简单的设备分配问题,而是一个联合的分配、路径、时机和协调问题[1],[2],[3],[4]。相关的田间物流和动态路径研究也加强了这一解读[5],[6],[7],[8]。近期的多区域和共享机械研究进一步凸显了在线协调和协作调整的必要性[9],[10],[11],[12]。动态版本更为困难,因为在晚到的服务请求、作物成熟度变化、优先级调整、故障或维护延迟之后,类型兼容性、合作社责任区域、生物时间窗口和返场要求仍必须保持有效。一旦观察到扰动,调度员必须保留已完成的服务,延续已经在途或正在服务中的机械,并从实际的田间状态修复未完成的路径集合。因此,核心运营挑战是在承诺约束下的剩余重新调度,而非在更大需求集上的静态路径优化[13],[14],[15],[16]。

这种剩余视角在解决方案质量与在线响应速度之间造成了方法论上的张力。分钟级响应要求指的是扰动揭示后的部署时事件响应,它指的是为新增插入的地块构建修订后的可行分配所需的时间,而非离线基准实验中重复运行或完整实例求解所使用的累计挂钟时间。精确方法和元启发式方法可以产生强大的调度方案,但每次动态事件可能需要对分配、路径、时机和返场操作进行新一轮组合搜索[17],[18],[19],[20]。群体和进化搜索方法为此类组合设置提供了额外的启发式基线[21],[22],[23],[24]。学习式路径策略提供了一条互补路线,因为训练成本在离线阶段支付,部署时可以简化为快速推理[25],[26],[27],[28]。在线神经路径和学习改进启发式方法将此方向扩展到更多动态部署设置[29],[30],[31]。PPO、GAE和奖励整形研究提供了相关的策略梯度基础[32],[33],[34]。然而,当策略部署在部分执行的调度方案而非干净的初始实例上时,仅靠快速推理是不够的。因此,科学差距在于缺乏一个在决策状态发生变化后仍然有效的学习框架:它必须从剩余机械状态中学习,保留已执行的承诺,在完工时间目标下传播时间信用,并将决策限制在类型可行的机械-地块配对上。

为弥合这一差距,本文提出了Enhanced PPO,一种用于具有类型兼容性、时间窗口和执行中剩余重新调度的动态跨区域农业机械调度的深度强化学习框架。该框架围绕三个科学思想组织:剩余状态学习以减少训练-部署不匹配,密集时间反馈以缓解终端完工时间目标下的延迟奖励传播,以及混合学习-启发式推理以在线修复一次性构造决策。类型动作掩码被用作严格的机械-地块兼容性所必需的可行性保持实施层,而非独立的方法论贡献。详细的算法机制在第5节中介绍;三个贡献如下。

1. 建立了一个动态跨区域农业机械调度问题的数学模型,以联合刻画类型化机械-地块兼容性、显式双向时间窗口、强制返场约束、跨合作社区域和作业中途需求插入事件。这些特征的组合在所有先前工作中均未出现,创造了一个比现有农业调度或VRPTW建模在质量上更为丰富、在操作上更为现实的问题。定义了四种扰动原型(区域聚集型、边界跨区型、离散紧急型和类型特异性冲击型)来刻画动态需求插入的主要模式,并实现原型特异性分析。

2. 开发了一个基于路线的剩余状态混合整数线性规划(MILP),显式建模事件时机械状态插值(从观测到的执行状态)、从未完成和新增插入需求构建的剩余集,以及事件驱动再优化下的闭环完工时间。该模型通过机械可用时间αme和剩余旅行时间t?mope,在一个参数化模型内统一了静态和动态调度,从而在结构相同的实例上既支持精确求解,也支持基于学习的近似。

3. 提出Enhanced PPO以弥合标准PPO与动态农场调度之间的四个结构性差距。剩余问题课程学习方案使训练和部署状态分布对齐;带有GAE优势归一化的密集投影完工时间奖励信号缓解了延迟终端完工时间反馈下的延迟奖励传播和时间信用分配困难;类型动作掩码作为可行性层,将策略限制在类型兼容的可执行子空间内;多回合竞赛方案结合混合策略-启发式评分缓解了短视的单回合推理;回合后局部搜索修复剩余的局部次优性。这些修改构成了一个耦合设计,应对动态剩余重新调度中的全谱系挑战。

本文其余部分组织如下。第2节回顾农业机械调度、动态车辆路径和组合优化的深度强化学习的相关工作。第3节正式定义动态跨区域调度问题及其决策结构。第4节开发MILP建模和动态剩余重新调度模型。第5节呈现Enhanced PPO框架,包括状态表示、奖励设计、四个差距弥合修改和混合推理机制。第6节描述实验设计、基准结构和带有案例分析和跨案例综合的结果。第7节总结发现、局限性和未来方向。

章节片段 农业机械调度与基于MILP的路径规划 农业机械调度已从单一地块的设备分配演变为田间物流、多机械路径规划和协作调度。Bochtis等人[6]的综述以及Bochtis和S?rensen[7],[13]的田间物流建模确立了机械作业应当被建模为空间路径和同步问题,而非孤立的分配决策。Seyyedhasani和Joseph[14]进一步表明,显式的车辆路径表示……

运营背景与形式化设置 考虑一个规划时间范围[0,H],在此期间,一组合作社C共同运营一支异构机械车队M,以服务一组农田地块P。每台机械在时间范围开始时从其所属合作社出发,服务其分配的地块,并在每日作业结束时必须返回其所属仓库。每台机械m∈M由一个元组(κm,rm,vm,h(m),?mH)表征,其中κm∈K为其机械类型(K为车队中所有类型的有限集合),rm>0……

机械-地块类型兼容性 当且仅当κm=τp时,机械m与地块p兼容。这通过二元兼容性指示器编码为:ηmp=1(当κm=τp时),0(否则)。兼容性矩阵{ηmp}m∈M,p∈P在实际中是稀疏的:对于具有|K|种不同类型且类型分布均匀的 fleet,每台机械平均与约|P|/|K|个地块兼容。这种稀疏性是分配子问题复杂性的主要来源之一,直接推动了Enhanced中掩码动作可行性层的动机。

用于动态农场调度的Enhanced PPO 图2在引入组件级细节之前提供了Enhanced PPO完整流程的概述。该框架将离线训练与部署时推理耦合在一起。在离线阶段,启发式演示为策略提供暖启动,动态扰动采样和剩余状态课程使学习者接触真实的事件后子问题,PPO更新在密集奖励反馈下训练一个成对掩码策略。在部署阶段,训练好的策略接收……

实验设置、基准设计与评估目标 评估了六种算法:Enhanced PPO、原始PPO以及四种元启发式,分别为ABC[21]、GWO[22]、WOA[23]和SSA[24]。两种PPO变体作为已训练的推理模型部署,无在线再训练,而元启发式方法则通过随机键搜索求解相同的剩余实例。所有算法共享相同的剩余表示,即公式(27)-(28)。每个设置在Windows 10、Python 3.10.9和PyTorch 1.12.1(仅CPU)上重复30次。该基准……

结论 本文研究了具有时间窗口、类型兼容性、责任区域和事件驱动需求插入的动态跨区域农业机械调度。得出三个主要结论。第一,通过事件时机械状态插值、剩余集构建和闭环完工时间,统一的基于路线的MILP可以表示静态调度和事件驱动的剩余重新调度。第二,Enhanced PPO在该设置下弥合了标准PPO的四个结构性差距:……

CRediT作者贡献声明 张文康:撰写——初稿、软件、方法论、概念化。王明:验证、调查。钱龙哲:撰写——审阅与编辑。褚剑:撰写——审阅与编辑、监督、概念化。

利益冲突声明 作者声明不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。

致谢 本研究工作由中国国家自然科学基金面上项目(批准号:32471989)和中国国家自然科学基金面上项目(批准号:32271998)资助。

张文康|王明|钱龙哲|褚剑
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号