基于Transformer的多智能体强化学习中的领导者-追随者通信图优化方法
《Neurocomputing》:Leader-follower communication graph optimization method for multi-agent reinforcement learning via transformer
【字体:
大
中
小
】
时间:2026年03月29日
来源:Neurocomputing 6.5
编辑推荐:
多智能体强化学习中的通信优化方法,提出动态领导-跟随拓扑结合多智能体Transformer架构,通过密度聚类形成局部簇并选举领导者,结合信任加权注意力机制过滤冗余信息,实现高效通信与协作,在StarCraftII和MPE基准上验证有效性。
王超|徐翔
中国深圳市南方科技大学控制理论与智能系统重点实验室及系统设计与智能制造学院
摘要
在多智能体强化学习(MARL)中,高效通信至关重要。智能体必须在部分可观察性的情况下执行分散式策略并进行协调。我们提出了LF-Commer,这是一种通信图优化方法,它将动态的领导者-追随者拓扑结构与多智能体Transformer相结合,以提高协调性。LF-Commer通过基于密度的聚类形成空间上相邻的簇,并在每个簇中选择一个领导者来组织信息聚合和传播。随着环境的变化,LF-Commer会在线更新通信图。这种设计减少了无效的通信,提高了可扩展性。为了提高通信质量,我们进一步引入了基于信任的注意力机制。将层次信任矩阵融入自注意力中,以强调可靠的交互并过滤冗余信息。编码器利用生成的稀疏图从局部观测中构建共享表示,然后解码器以自回归的方式生成动作以供分散执行。我们在StarCraftII多智能体挑战赛(SMAC)和多智能体粒子环境(MPE)中评估了LF-Commer的性能。结果表明,LF-Commer在胜率和累积奖励方面始终优于竞争基线。
引言
多智能体强化学习(MARL)的出现是为了满足现实世界环境中对能够处理合作和协作场景的模型的日益增长的需求[1]。这些场景通常涉及多个决策智能体,每个智能体都在多智能体系统中做出决策。作为强化学习的扩展,MARL将决策优化的基本范式应用于多智能体系统,使智能体能够交互、通信和协作以完成共同任务或解决复杂问题[2]。在接收到各自的观测结果后[3],每个智能体通过其决策模块[3]选择一个动作[4],然后将这些动作组合成一个联合动作[5],应用于环境以集体获得奖励和下一组观测结果[6]。作为分布式人工智能中的一个重要研究方向,MARL在工业制造[7]、交通[8]、无人集群系统和军事决策[9]等领域具有重要的实际应用。
尽管在过去十年中,多智能体协调技术取得了显著进展,但由于智能体之间以及智能体与环境之间的交互复杂性,仍然存在挑战[6]。在许多现实世界场景中,集中式控制器并不实用,因为智能体通常独立运行且没有同步[7]。集中训练与分散执行(CTDE)[8]在集中式和分散式方法之间提供了一种折中方案,但并不总是优于纯分散式训练。此外,MARL中庞大的联合动作空间可能导致“维度灾难”,而对智能体策略的单独更新可能会导致环境不稳定[9]。
在多智能体系统(MAS)中,整合所有智能体的训练信息在实际应用中面临重大挑战。基于通信的多智能体算法[10]、[11]、[12]、[13]旨在使智能体能够感知和处理来自其他智能体的信息,从而通过通信弥补缺失的环境信息并促进智能体之间的更好协作。然而,在完全独立性和有限信息交换的严格要求下,提取有效的通信信息同时保持完全独立的学习仍然是一个重大挑战[14]。
为了解决多智能体系统(MAS)中的通信挑战,我们利用了Transformer强大的序列处理能力。这些模型在处理序列和理解数据中的复杂关系方面表现出色,使其非常适合处理MAS中发生的自然、逐步的交互。像Transformer这样的序列模型最近在自然语言处理(NLP)[15]中取得了令人印象深刻的结果。例如,GPT[16]和BERT[17]等模型使用自回归或双向Transformer来理解语言,从而捕捉其序列性质和详细依赖关系。我们使用多智能体Transformer(MAT)[18]的工作是一个将序列模型应用于MAS的新例子。在这里,我们将多个智能体之间的交互视为一类时间序列。Transformer的自注意力机制帮助我们发现和理解智能体之间的复杂依赖关系和发展动态。为了充分利用Transformer在MAS中的优势,我们开发了
LF-Commer。我们的主要贡献总结如下:
•LF-Commer方法根据智能体的空间位置对它们进行聚类,并在每个子区域内指定领导者,从而最小化冗余通信并促进高效的信息交换。与依赖静态或完全连接通信图的先前工作不同,我们的设计能够动态适应环境变化和任务需求,显著降低通信开销并提高可扩展性。
•利用自注意力和基于信任的层次注意力来反映领导者-追随者结构,LF-Commer联合编码智能体的观测结果和通信。这种设计支持自回归动作生成和并行训练,从而提高学习效率和可扩展性。与MAPPO[19]、HAPPO[20]和TarMAC[13]等现有算法相比,LF-Commer在大型和动态的多智能体环境中表现出更强的表现力和适应性。
•在多个具有挑战性的MARL基准测试中的广泛评估表明,LF-Commer始终表现出优越的性能,结果符合直观预期。在各种协作任务中,我们的方法优于稳健的基线方法,突显了其有效性和适应性。
部分内容
多智能体强化学习
最近,MARL因其在处理复杂任务(尤其是在马尔可夫游戏中)方面的能力而受到广泛关注[1]。在大多数MARL方法中,集中训练与分散执行(CTDE)的概念已经变得相当标准[8]。这种设置允许智能体在训练期间利用全局信息,而在执行时以分散的、基于观测的方式执行策略。这使得系统更加灵活,更能应对不同情况。像MADDPG这样的技术
方法论
受到层次强化学习理论[32]、[33]的启发,我们的团队提出通过领导者-追随者框架优化智能体的通信网络拓扑结构,以解决与多智能体协作相关的挑战。这项工作侧重于学习更高效的通信拓扑结构,以减少冗余通信,并设计高效的通信方法来交换智能体之间的观测数据。此外,Transformer接收来自
实验
我们考虑了两个最常见的基准测试:StarCraftII多智能体挑战赛[35]和多智能体粒子环境[21]来评估MARL算法。值得注意的是,在某些领域,我们的目标不仅仅是最大化胜率或累积奖励。我们还关注最小化每集所需的平均步骤数,强调尽可能高效地实现目标的重要性。
结论
在本文中,我们提出了LF-Commer,这是一种通过领导者-追随者架构和多智能体Transformer优化多智能体通信和协作的新方法。我们的方法使用聚类算法动态地将智能体划分为簇,并分配簇领导者来协调簇内通信和汇总来自追随者的信息。整合的领导者-追随者观测结果通过基于Transformer的编码器-解码器进行编码和处理
CRediT作者贡献声明
王超:撰写——原始草案、方法论。徐翔:撰写——审阅与编辑、方法论。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
致谢
这项工作部分得到了深圳市控制理论与智能系统重点实验室(项目编号ZDSYS20220330161800001)和国家自然科学基金青年科学基金(项目编号62303209)的支持。
徐翔于2014年获得中国南京理工大学的工程学士学位,2018年获得香港城市大学的博士学位。2018年至2021年,他在香港城市大学生物医学工程系担任博士后研究员。2022年,他加入了中国深圳的南方科技大学,目前担任副教授。他的研究兴趣包括多智能体系统控制
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号