基于群体互动的角色适应的可扩展多智能体强化学习

《Neurocomputing》:Scalable multi-agent reinforcement learning with group interaction-based role adaptation

【字体: 大 中 小 】 时间:2026年07月09日 来源:Neurocomputing 6.7

编辑推荐:

  李世伟|王梦柯|王涛|罗向峰|谢绍荣中国上海,上海大学计算机工程与科学学院摘要在多智能体强化学习中,传统的集中式训练难以适应不断变化的智能体群体。本文提出了基于群体交互的角色自适应框架GIRA,这是一种针对同质多智能体系统的可扩展MARL框架,旨在解决参数共享情况下的群体规模扩展

  
李世伟|王梦柯|王涛|罗向峰|谢绍荣
中国上海,上海大学计算机工程与科学学院

摘要

在多智能体强化学习中,传统的集中式训练难以适应不断变化的智能体群体。本文提出了基于群体交互的角色自适应框架GIRA,这是一种针对同质多智能体系统的可扩展MARL框架,旨在解决参数共享情况下的群体规模扩展和策略同质化问题。传统的集中式评价函数依赖于固定大小的输入,因此无法在不重新训练的情况下处理动态变化的智能体群体。同时,参数共享往往会导致策略同质化,限制了智能体之间的行为多样性。GIRA通过三种机制来解决这些问题:具有轨迹对齐经验回放的群体自适应集中式训练策略、能够建模群体规模以提升模型对动态智能体群体感知能力和适应性的智能体群体编码器,以及利用智能体间通信信号来促进策略差异化和协作效率的交互感知角色生成机制。在具有共享观测空间和动作空间的合作及对抗环境中的大量实验表明,GIRA能够在动态群体变化的情况下保持稳定性能,并在未知团队规模下实现良好的泛化能力。

引言

多智能体强化学习在无人系统中发挥着重要作用。它已被广泛应用于交通模拟[1]、[2]、[3]、[4]、[5]、紧急调度[6]、[7]以及网络资源分配[8]、[9]等大规模领域。集中式训练与分布式执行框架是解决MARL中部分可观测性和环境非稳定性等问题的主流方法[10]、[11]。该框架通过在集中式训练阶段利用全局信息来稳定学习过程,同时在分布式执行阶段让智能体仅依据本地观测结果做出决策,从而实现可扩展的决策制定。基于这一框架,演员-评论家方法[12]通常采用基于全局信息的集中式评论家,以及仅依赖本地观测结果的分布式演员。
在现实场景中,由于系统扩展、环境变化或任务需求的变化,智能体数量往往会发生变化。在适应性控制领域,人们已经研究了针对类似突然结构变化情况的鲁棒性,比如执行器故障和受限动力学问题。在这些情况下,通常会采用复合学习和弹性控制机制来保持系统的稳定性和可行性[13]。然而,大多数现有的基于CTDE的MARL方法[10]、[11]仍然假设智能体群体数量是固定的。当这些模型被应用于动态多智能体环境时,这种假设可能会导致策略失效。
图1所示的追捕任务就体现了这一挑战。最初,经过四个智能体训练得到的策略能够形成有效的包围态势(图1(a))。但是,当有新的智能体加入团队后(图1(b)),原有的策略无法适应新的结构,从而导致队形混乱(图1(c))。相比之下,一个自适应策略能够成功重新组织团队,保持协调的行动(图1(d))。这一示例充分说明了,基于固定数量智能体训练得到的策略缺乏处理动态智能体群体并调整集体策略的适应性。
传统CTDE框架的核心可扩展性限制在于其集中式评论家。由于评论家会将所有智能体的信息合并为一个固定长度的向量,其输入维度严格取决于智能体数量,因此每当群体规模发生变化时就需要重新训练。近期的一些研究尝试使用基于图或注意力机制的评论家来打破这一固定维度限制,其中一些方法还实现了在测试时对不同团队规模的零样本泛化[14]、[15]、[16]。不过,这些方法通常假设在每个回合开始时智能体群体数量是固定的,对于训练过程中出现的群体数量变化支持有限。当智能体动态地进入或离开系统时,轨迹的时间连续性会被打断,从而导致不同时间步的样本不一致,进而影响训练过程的稳定性。
除了集中式训练之外,分布式执行阶段也存在着可扩展性问题。从单个智能体的角度来看,相同的本地观测结果可能需要根据整体智能体数量的不同而采取不同的响应措施。如果智能体无法感知到这类结构变化,其策略就无法适应动态变化的群体,从而导致决策效果不佳。
例如,那些采用独立策略的架构就不太适合处理动态变化的智能体群体。当有新智能体加入时,很难确定应该复制哪种现有策略,而从零开始训练新策略则会在计算上效率低下。在智能体共享相同观测空间和动作空间的同质多智能体系统中,参数共享提供了一种可扩展的替代方案。然而,参数共享往往会导致不必要的策略同质化。基于角色的MARL方法[17]、[18]试图通过鼓励策略多样性来克服这一限制。不过,策略多样性不仅取决于单个智能体的特性,还取决于智能体在群体层面上的相互作用和相互影响方式。尽管有一些现有方法[19]、[20]引入了交互信息来促进协调,但这些信息通常只在策略学习阶段被利用,而非用于指导角色生成过程。因此,角色往往是根据本地观测或单个智能体的轨迹来推断的,这可能无法捕捉到全局的交互结构。这种不匹配会限制所学角色的表达能力,进而妨碍在智能体群体不断变化的环境中的自适应协调。
鉴于这些局限性,我们提出了一种适用于动态智能体群体的可扩展MARL框架,该框架整合了可扩展的训练方式、能够感知群体变化的策略自适应机制以及基于交互的角色生成机制。
我们的主要贡献如下:
  • •
    我们采用了基于自注意力的集中式评论家作为可扩展的框架核心,并将其与零填充动态回放缓冲区相结合,从而实现了在时间步级别群体变化情况下的轨迹对齐集中式训练,而这是传统固定尺寸评论家所无法实现的。
  • •
    我们开发了一种智能体群体编码器,提升了模型对智能体群体动态变化的适应能力。
  • •
    我们引入了一种角色生成机制,该机制利用群体交互信号来优化角色分配,而现有方法主要依赖个体观测结果。我们采用了双重目标优化策略,既提升了角色表示的独特性,又增强了特定角色策略的差异性,从而提高了整体的协调效率。
在包括合作型任务(MPE-Formation、UGV-Formation)以及大规模对抗型任务(MAgent-Battle)在内的多种环境中的实验结果表明,我们的方法具有很强的有效性。在智能体数量固定的情况下,该方法能够实现更高的精度和效率,并且任务成功率可达100%;而在智能体群体动态变化的情况下,它仍能保持稳定的收敛性并具备良好的适应性,还能有效泛化到未知的团队规模。

章节节选

集中式训练的可扩展性

VDN[21]将联合Q值函数分解为多个个体Q值函数的线性之和,从而避免了评论家输入对智能体数量的显式依赖。在VDN的基础上,RADAR[22]引入了对抗性价值分解方法,用于训练具有不同群体规模的竞争团队。
EPC[23]通过基于课程的训练流程来实现对大规模智能体群体的处理,即在训练的不同阶段逐步增加智能体数量,同时结合进化算法

背景

本节为我们的工作提供必要的背景知识。首先,我们将合作多智能体任务形式化为一种分布式部分可观测马尔可夫决策过程。接着,我们介绍了在集中式训练与分布式执行范式下的多智能体演员-评论家框架。

方法

本研究聚焦于同质多智能体系统,即所有智能体都共享相同的观测空间和动作空间。如图2所示,所提出的框架由三个主要组成部分构成:(a)具有动态回放缓冲区和基于注意力机制的评论家的群体自适应集中式训练机制;(b)能够嵌入智能体数量信息的智能体群体编码器;(c)融合了群体消息传递和角色差异化机制的交互感知角色学习模块。
在这种框架下

实验

我们进行了多项实验,以探讨以下问题:(1)在我们的方法在智能体数量固定的场景中是否优于现有基准方法?(第5.2节)(2)它对动态变化的智能体数量的自适应能力如何?(第5.3节)(3)所提出的角色机制对行为多样性的影响是什么?(第5.4节)(4)它能否实现对未知团队规模的零样本泛化?(第5.5节)

结论

在本文中,我们提出了一种专为动态群体环境中的可扩展性和适应性而设计的多智能体强化学习框架。该框架整合了三个关键组件:群体自适应集中式训练机制、智能体群体编码器以及交互感知角色学习模块。
在多种不同环境中的大量实验表明,我们的方法不仅在不同团队规模下都能展现出更优异的性能,而且还实现了零样本

CRediT作者贡献说明

李世伟:写作——审阅与编辑,写作——初稿撰写,方法论,研究分析,概念设计。王梦柯:方法论,研究分析,概念设计。王涛:方法论,研究分析,概念设计。罗向峰:写作——审阅与编辑,指导监督,方法论,概念设计。谢绍荣:写作——审阅与编辑,指导监督,方法论,概念设计。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。
李世伟目前是上海大学计算机工程与科学学院的硕士生。她的研究兴趣包括多智能体系统中的合作控制、群体交互建模以及自适应角色表示技术。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号