大规模多智能体强化学习的系统性综述:抽象、分解与演化
《Swarm and Evolutionary Computation》:A systematic survey on large-scale multi-agent reinforcement learning: Abstraction, decomposition, and evolution
【字体:
大
中
小
】
时间:2026年09月24日
来源:Swarm and Evolutionary Computation 9.6
编辑推荐:
摘要
随着多智能体系统扩展到大规模规模,传统的多智能体强化学习(MARL)受到维度灾难、环境非平稳性以及信用分配问题加剧的严重制约。现有综述主要关注一般性的MARL或小规模协作,缺乏针对大规模场景的系统性方法综述。本综述系统回顾了2016年至2026年间发表的一批经过精心筛
摘要
随着多智能体系统扩展到大规模规模,传统的多智能体强化学习(MARL)受到维度灾难、环境非平稳性以及信用分配问题加剧的严重制约。现有综述主要关注一般性的MARL或小规模协作,缺乏针对大规模场景的系统性方法综述。本综述系统回顾了2016年至2026年间发表的一批经过精心筛选的论文,这些论文通过关键词检索在六个主要数据库(IEEE Xplore、ACM Digital Library、arXiv、Web of Science、Scopus和Google Scholar)中识别得出,并定义了明确的纳入和排除标准。我们提出了一种新的分类体系,根据各算法底层的求解理念对大规模MARL算法进行分类:抽象化(时间抽象、空间抽象和群体抽象)以降低模型复杂度,以及分解结合渐进进化以降低任务难度。对于每一类别,我们提供了关键性的对比分析,讨论了失效模式和局限性,并将方法与它们所针对的具体可扩展性瓶颈进行了对应。我们进一步回顾了代表性的工程应用——涵盖计算作业调度、智能交通系统到物理群体对抗等领域——并对标准基准环境进行了批判性评估。最后,我们识别了开放挑战,提出了具体的研究问题,并提出了该领域的三阶段路线图。本综述旨在为进入大规模多智能体强化学习领域的研究者提供结构化指南,并为设计可扩展多智能体系统的从业者提供关键参考。
引言
现实世界由众多实体相互作用的复杂系统组成。随着现代技术的发展,我们正在见证大规模多智能体系统(LMAS)的迅速涌现。这些系统涉及群体机器人[1]、智慧城市交通控制[2]和大规模多人在线游戏[3]等关键应用。与小型系统不同,LMAS涉及数百甚至数千个智能体。这些智能体感知复杂环境、与邻居通信并做出决策以实现集体目标。因此,控制协调大规模智能体群体的能力正成为下一代人工智能的基本要求。
机器学习和人工智能的快速发展从根本上改变了跨多种科学和工程学科中复杂系统的建模与分析[4]。在金融领域,基于神经网络的模型在捕捉非线性市场动态和波动模式方面展现了卓越的能力[5,6]。在工程和材料科学领域,高斯过程回归[7,8]已成为一种强大的概率工具,用于在数据稀缺条件下建模不确定性感知预测。与此同时,图形技术在表示和分析网络化系统中的结构依赖关系方面已被证明有效,集成和复合方法则为异构数据融合和多源预测提供了稳健解决方案[9,10]。这些跨领域的成功案例凸显了一个统一原则:当系统呈现高维、非线性和互联动态时,先进的机器学习/人工智能模型提供了捕捉涌现行为不可或缺的**工具**[11,12]。大规模多智能体强化学习恰好处于这一交叉点——那里并发学习智能体引入的非平稳性、联合状态-动作空间的组合爆炸以及智能体交互间的复杂耦合共同创造了一个极其复杂的建模挑战[13]。受这一跨学科证据的启发,本综述系统考察了基于抽象、分解和进化的方法如何解决LS-MARL中的核心挑战。
为在这些系统中实现自主决策,多智能体强化学习(MARL)已成为一种强大的数据驱动方法。与需要精确数学建模系统动态的传统控制方法不同,MARL使智能体能够通过与环境交互来学习最优策略。近年来,深度强化学习(DRL)在星际争霸II[14]等具有挑战性的领域取得了显著成功。这些突破展示了MARL处理复杂协调问题的潜力。因此,将MARL算法扩展到大规模场景已成为核心研究焦点。
鉴于该领域的快速增长,已有若干综述试图总结MARL的进展。如图1和表1所示,我们可以将现有综述大致分为四组:一般基础与概览;协作与通信;特定领域应用;可扩展性。一般基础部分大多关注MARL作为未来发展的可扩展性和前景,未提供详细的总结或概括。在协作与通信部分,大规模场景仅占一小部分,其不同的协作方法未被详细总结和整理。特定领域应用部分详细阐述了大规模多智能体强化学习(LS-MARL)在该场景中的应用,但缺乏对不同领域中通用方法的总结和组织。此外,专门聚焦于可扩展性方面的综述太少。在关于可扩展性的稀少综述中,存在几个值得注意的例外,尽管它们在提供全面结构分析方面仍然不足。具体而言,Cui和Tahir[15]从四个角度总结了大规模多智能体强化学习的当前研究现状:基于图的方法、平均场极限、群体智能以及部分可观测性和去中心化。然而,这篇综述主要从数学角度出发,导致文章忽视了规模方面的通用适用性,过度关注数量趋于无穷大的情形,因此存在一定局限性。Liu等人[16]引入了一种新的分类体系,将可扩展性问题分为智能体复杂度、环境复杂度和鲁棒性,并广泛回顾了包括课程学习和迁移学习在内的最先进方法来应对这些挑战。然而,该综述主要关注智能体和环境的规模,对大规模深度模型本身的计算负担关注较少。此外,虽然讨论了任务复杂度,但缺乏对求解长周期、稀疏奖励任务的结构分解方法的更深入分析。
因此,本综述根据各方法的底层求解理念,系统分类并回顾了最近的大规模MARL算法。我们认为核心解决方案在于两种方法论:通过抽象化解决模型复杂度,以及通过分解或进化解决任务难度。如图2所示,我们从两大方面出发,将模型复杂度划分为三种抽象:时间抽象、空间抽象和群体抽象;将任务复杂度分为两部分:分解和进化。
类别边界是操作性的而非互斥的。我们将每种方法分配给产生其主要声明的扩展增益的机制:时间抽象减少有效决策深度;空间抽象稀疏化或聚合智能体间依赖关系;群体抽象用共享的、局部的或分布式的表示替换智能体特定交互模型;任务分解划分联合目标或动作空间;渐进进化在有序任务规模序列中转移能力;EC-DRL混合化使用基于种群的搜索进行策略、架构、拓扑或课程优化。混合方法在表A.1中获得次级标签,这防止了重复计数同时保留了跨类别链接。
LS-MARL与群体计算和进化计算的交叉既是自然的又是未被充分探索的。群体智能——其特点是去中心化协调、简单个体规则产生的涌现集体行为以及通过群体水平适应实现的可扩展性——与本综述所解决的可扩展性挑战共享深层概念基础。进化计算提供了使策略群体适应、多样化和扩展的优化机制。
本文其余部分的结构旨在为大规模多智能体强化学习领域提供全面的指南。第2节建立理论基础,从标准强化学习概念开始并扩展至多智能体领域,然后正式定义大规模系统的范围和独特特征。第3节构成本综述的核心,我们在其中提出了一种基于两种问题求解思维方法的新分类:模型复杂度和任务难度。我们首先考察通过抽象化缓解模型复杂度的技术,详细阐述了时间、空间和群体水平降维的方法论。随后,我们探讨了应对任务难度的策略,专注于解决方案结构分解和智能体水平进化方法。第4节将这些理论进展与实践联系起来,回顾了计算调度、交通管理和多智能体控制等关键应用领域,并总结了典型基准环境。最后,第5节总结了综述,概述了当前进展,并对该领域的开放挑战和未来研究方向进行了前瞻性讨论。
本综述遵循结构化审查协议,使范围决策和分类分配可追溯。文献检索最后更新于2026年5月,涵盖IEEE Xplore、ACM Digital Library、Web of Science、Scopus、Google Scholar和arXiv。使用反向和正向引用检索以识别基础性工作和最初检索到的预印本的存档版本。
布尔查询结合了三个概念组:("multi-agent reinforcement learning" OR MARL OR "multi-agent deep reinforcement learning")AND("large-scale" OR scalable OR "many-agent" OR massive OR swarm)AND(abstraction OR decomposition OR curriculum OR evolutionary OR benchmark OR communication OR "mean field" OR "parameter sharing")。数据库特定语法经调整但不改变这些概念。
主要时间窗口为2016年1月至2026年5月,对应DQN之后深度MARL的增长期。更早的工作仅在它们提供了被审查的LS-MARL文献直接使用的理论或算法基础时才被保留,例如半马尔可夫决策过程、层级强化学习、平均场模型和神经进化。
当研究满足以下条件时被纳入:(1)评估了至少20个同时活跃的智能体,或提出了明确的规模依赖理论或复杂度分析;(2)做出了与MARL可扩展性相关的算法、架构、系统或基准贡献;(3)提供了足够的方法论和实验细节以识别扩展机制和证据。当论文分析扩展行为而不仅仅是报告小规模固定设置时,接受更低的智能体数量。
当研究满足以下条件时被排除:(1)处理单智能体学习且无明确的多智能体扩展;(2)使用少于20个智能体且未提供扩展分析;(3)是不可追溯的、重复的或已被替代的版本;或(4)提及可扩展性但未进行评估或分析。优先选择同行评审的存档版本。仅在无法通过检索截止日期验证存档版本时才保留预印本,并明确说明其状态。
筛选通过关键词检索、重复去除、标题/摘要筛选和全文资格评估进行。对于每个纳入的研究,我们记录了发表状态、应用领域、最大报告智能体数量、训练和执行结构、通信模式、计算声明、评估环境和已声明的局限性。分类分配遵循上述定义的主要机制规则;模糊情况在表A.1中交叉标注。此程序将经验规模演示与理论可扩展性声明区分开来,避免仅将模拟实体数量视为算法可扩展性的证据。
章节摘录
背景
本节建立了综述的理论基础。我们首先回顾强化学习的标准公式及其向MARL的扩展。随后,我们正式定义大规模MARL的独特特征,并分析了区分大规模系统与小规模系统的基本挑战——特别是维度灾难和信用分配问题。这一理论框架为大规模多智能体强化学习的研究方向提供了必要的背景。
为解决大规模MARL中维度爆炸和策略收敛困难的挑战,我们将主要挑战识别为智能体交互建模的维度过高和任务的极大复杂度。研究人员已采用各种方法解决这些问题,建立了若干成熟的方法框架。在本节中,我们总结了现有的LS-MARL方法,讨论了它们的贡献和局限性,并概述了已建立的
大规模多智能体强化学习的应用与典型环境
近年来,大规模多智能体方法已被广泛应用于一系列关键领域,包括计算调度、交通管理和集体多智能体控制。同时,为应对这些真实场景固有的复杂性,研究人员构建了高保真虚拟实验环境,以弥合模拟与现实之间的差距。本节全面概述了这些新兴的
总结
本综述回顾了大规模多智能体强化学习的研究,并按降低模型或任务复杂度的机制进行了组织。时间、空间和群体抽象分别减少有效决策深度、交互密度或智能体特定表示成本;任务分解、渐进进化和EC-DRL混合化重构了优化问题。表2中的比较显示,没有一种方法族在计算延迟、通信等方面全面占优。
CRediT作者贡献声明
Lun Zhang:撰写——审阅与编辑,监督,方法论,概念化。Baichuan Wang:撰写——原稿,可视化。Zhifang Chen:验证。Hao Chen:撰写——审阅与编辑,资金获取。Jianxing Gong:验证。Jian Huang:监督。Sihang Zhou:方法论,研究,资金获取。
Lun Zhang | Baichuan Wang | Zhifang Chen | Hao Chen | Jianxing Gong | Jian Huang | Sihang Zhou
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号