通过自适应课程强化学习和元启发式优化实现具有区域隔离意识的多智能体目标分配

《Swarm and Evolutionary Computation》:Regional-isolation-aware multi-agent target allocation via adaptive curriculum reinforcement learning and metaheuristic optimization

【字体: 大 中 小 】 时间:2026年09月24日 来源:Swarm and Evolutionary Computation 9.6

编辑推荐:

  **摘要** 多智能体目标分配是智能系统中的一个基本问题。在实际应用中,由于信息不完整以及区域隔离导致的通信受限,智能体往往只能基于本地观测来做出合作决策,这大大增加了问题解决的难度。为了解决这一问题,本文研究了具有区域隔离意识的目标分配问题,并提出了一个分阶段解决框架,该框

  **摘要**
多智能体目标分配是智能系统中的一个基本问题。在实际应用中,由于信息不完整以及区域隔离导致的通信受限,智能体往往只能基于本地观测来做出合作决策,这大大增加了问题解决的难度。为了解决这一问题,本文研究了具有区域隔离意识的目标分配问题,并提出了一个分阶段解决框架,该框架将自适应课程强化学习与 metaheuristic 优化相结合。该框架将全局分配过程分为两个阶段:组间目标簇选择和组内目标分配。在组选择阶段,设计了一种具有嵌套结构的自适应课程强化学习机制,通过逐步增加任务复杂性来提高训练稳定性和策略质量。在组内分配阶段,问题被构建为一个无环多重旅行商问题,并提出了一种改进的 Energy Valley 优化算法来高效搜索高质量的解决方案。基于此,进行了广泛的消融研究、对比实验和扩展实验,系统地评估了所提出的方法。结果表明,该方法在解决方案质量和计算效率之间取得了良好的平衡,验证了在复杂的多智能体合作决策问题中将强化学习与 metaheuristic 优化结合的有效性和应用潜力。

**引言**
随着优化算法和硬件技术的快速发展,智能无人系统引起了广泛的研究兴趣,并在航空航天[1]、[2]、救灾[3]、[4]和农业[5]等领域找到了应用。由于现实世界问题的大规模和复杂协调需求,多智能体系统已成为一个突出的研究焦点。目标分配问题是多智能体系统中的一个基本问题,其核心目标是使多个智能体能够在共享环境中协作完成任务或实现目标。然而,在实际场景中,多智能体系统经常面临感知、通信或空间领域的限制,这些限制通常使每个智能体只能观察到部分或局部的信息。这些限制严重干扰了智能体的决策过程,并大大增加了目标分配问题的复杂性。考虑到现实世界场景中可能存在的区域隔离和不完整信息,本文研究了区域隔离目标分配问题(RITA),其中目标倾向于在簇中空间分布。在每个簇内,可以实现完全通信和集中计算,而簇间通信则受到某些约束。在执行任务时,每个智能体可以选择连接到任何簇的中心计算节点,从而与其他连接到同一簇的智能体及其内部的目标组成一个组。同一组内的智能体可以访问其所在簇内目标分布的详细信息,以及其他簇的目标分布的有限总结,以支持组选择决策。尽管对多智能体目标分配问题已经进行了大量研究,但大多数现有方法假设信息完全可获取或全局通信可靠。传统的优化方法通常依赖于对所有目标和智能体的集中式全局知识,这在区域间通信受限的情况下变得不切实际。Metaheuristic 算法在解决路径规划和分配问题方面表现出强大的性能;然而,它们通常需要完整的问题信息,并且难以与分布式决策过程集成。基于强化学习(RL)的方法可以在不确定性下增强决策能力,但在解决大规模分配问题时,它们往往受到过大的组合动作空间和训练不稳定性的限制。为了缓解这些问题,课程学习被引入作为一种有效的技术,通过逐渐增加任务难度来稳定 RL。然而,大多数现有的课程学习策略依赖于简单的难度调度机制,主要用于相对低维的任务。它们在涉及层次化决策结构的大规模组合分配问题上的有效性仍然有限。这些限制突显了需要一个新框架,该框架能够在区域隔离和不完整信息的情况下有效协调多智能体目标分配,同时保持计算效率和可扩展性。为了解决这些挑战,本文提出了一种基于自适应课程学习和 Metaheuristic 优化的分阶段目标分配方法(PACLM)。在这种方法中,每个决策轮次,智能体首先选择并加入一个组连接,然后在该组内使用优化方法来确定具体的目标分配策略。为了在不完整信息的情况下有效学习组选择策略,引入了一种自适应课程强化学习机制。与通过静态调度调整任务难度的传统课程学习方法不同,所提出的方法采用了一种嵌套的课程结构,逐步扩展决策环境的复杂性。这种设计使 RL 模型能够逐渐适应不断增长的组合决策空间,同时保持稳定的训练动态。对于组内分配,问题被构建为一个无环多重旅行商问题。为了在这种组合空间中高效搜索高质量的解决方案,提出了一种改进的 Energy Valley 优化(MEVO)算法。该算法结合了问题特定的编码策略和搜索机制,以提高探索候选分配解决方案的效率。实验结果表明,通过将强化学习与 metaheuristic 优化相结合,PACLM 框架利用了这两种方法的互补优势,揭示了在不完整信息下的组合优化问题中强化学习的有效性和潜力。

**本文的主要贡献总结如下:**
• 提出了一种考虑区域隔离的目标分配框架,以解决在不完整信息下的多智能体协调问题。所提出的框架将全局分配问题分解为组间簇选择阶段和组内目标分配阶段,使智能体能够在全局信息有限的情况下做出有效决策。
• 开发了一种自适应课程强化学习机制,以在部分可观测性下学习组选择策略。通过引入一个在训练过程中逐步增加任务复杂性的嵌套课程结构,所提出的方法提高了大规模组合环境中强化学习的收敛稳定性和决策质量。
• 将组内分配问题构建为一个无环多重旅行商问题(mTSP),并提出了一种改进的 Energy Valley 优化算法来高效解决由此产生的组合优化问题。此外,还引入了一种事件触发重新分配机制,以在执行任务期间动态调整分配策略。

**本文的其余部分组织如下。** 第 2 节回顾了相关研究。第 3 节介绍了在不完整信息下的目标分配问题建模。第 4 节详细介绍了用于训练组选择策略的自适应课程强化学习算法以及用于解决局部目标分配问题的 metaheuristic 算法。第 5 节讨论了实验结果和分析。第 6 节讨论了所提出方法的通用性和适用性,第 7 节对整篇论文进行了总结。

**相关工作**
本节简要回顾了关于智能簇中目标分配问题的最新文献,强调了各研究和方法设计之间的差异。这些工作反映了运筹学方法[6]、[7]、[8]、metaheuristic 算法[9]、[10]、[11]、[12]以及强化学习方法[13]、[14]、[15]、[16]日益增长的研究兴趣。此外,还研究了结合多种方法的分阶段设计框架。

**场景**
本文研究了在三维环境中具有不完整目标信息的智能群目标分配问题。考虑到现实世界条件,待分配的目标在有限的三维空间中的簇内随机分布,x、y 和 z 方向的最大范围都设为 eM。对于目标分布,过程如下:首先在空间中生成 Ng 个虚拟椭球体,并随机分配轴长。

**方法论**
对于具有区域隔离的多智能体目标分配问题,区域分离导致的信息不完整为分配决策引入了不确定性,从而本质上导致了一个组选择问题。为了解决这个问题,提出了 PACLM 方法。该框架的核心思想是将复杂的全局分配问题分解为两个互补的决策阶段,并为每个阶段设计适当的计算策略。

**实验与分析**
本节展示了实验结果,以证明所提出方法的有效性。实验设置包括一个 Intel Core i7-14700KF CPU 和 32 GB RAM,以及一个 NVIDIA GeForce RTX 4070Ti Super GPU。首先进行仿真实验以验证 PACLM 算法的有效性。然后进行消融研究,以说明算法中各种设计组件的必要性,特别关注验证其优势。

**通用性和适用性讨论**
尽管 PACLM 框架是在区域隔离目标分配(RITA)问题的背景下进行评估的,但其基本设计并不限于这一特定场景。该方法的核心思想是将复杂的多智能体分配问题分解为两个层次化的决策阶段:一个在高信息不完整下的高级决策阶段,以及一个基于相对完整区域信息的低级阶段进行局部组合优化的阶段。

**结论**
本文研究了具有区域隔离特征的多智能体目标分配问题,其中主要挑战在于使智能群在不完整信息下做出决策。为了解决部分可观测性和大规模组合决策空间带来的挑战,提出了一种名为 PACLM 的分阶段分配框架。该框架将全局分配问题分解为基于全局有限信息的组选择决策阶段。

**作者贡献声明**
王子恒:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。
余学伟:撰写——审阅与编辑、可视化、验证、软件、调查、数据管理。
谢光明:撰写——审阅与编辑、验证、监督、资源管理、项目行政。
张建雷:撰写——审阅与编辑、验证、监督、资源管理、项目行政、资金获取、数据管理。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报道的工作。

**致谢**
本研究得到了中国国家自然科学基金(批准号 62573239 和 62473211)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号