H2SOC:面向多智能体强化学习的层级异构自组织协作

《Knowledge-Based Systems》:H2SOC: Hierarchical Heterogeneous Self-Organized Cooperation for multi-agent reinforcement learning

【字体: 大 中 小 】 时间:2026年09月28日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   用于多智能体强化学习(MARL)中动态自组织协作分组的新型H2SOC框架。我们方法有效性和原则性设计的理论分析。由新型HMF近似支持的异构任务分布式执行。与基于CTDE的价值分解方法实现无缝插拔式集成。在具有挑战性的基准环境中达到最先进性能。引言 协作式多智能体强化学习(MA

  

用于多智能体强化学习(MARL)中动态自组织协作分组的新型H2SOC框架。我们方法有效性和原则性设计的理论分析。由新型HMF近似支持的异构任务分布式执行。与基于CTDE的价值分解方法实现无缝插拔式集成。在具有挑战性的基准环境中达到最先进性能。引言 协作式多智能体强化学习(MARL)旨在训练智能体以实现共同目标,并已被广泛应用于复杂的现实世界问题[1]、[2],例如智能交通[3]、[4]、[5]、[6]、游戏AI[7]、[8]、[9]、无人机控制[10]、[11]、[12]以及AI原生的6G蜂窝系统[13]、[14]、[15]。在多智能体系统中,部分可观测性和维度灾难[16]构成了根本性挑战,使得传统强化学习方法难以奏效。为解决这些问题,大多数MARL方法采用集中训练分散执行(CTDE)范式[17]、[18],其中智能体利用全局信息进行训练,但仅基于局部观测做出决策。近年来,CTDE框架下的价值分解已成为解决协作式MARL问题的成熟范式。它通过将联合价值函数根据个体信用分配进行分解,使智能体能够学习自身的最优策略[19]、[20]、[21]、[22]。然而,尽管现有的价值分解方法具有较强的表达能力,智能体往往倾向于学习相似的行为。这种同质化行为很容易导致局部最优的协作策略[23]、[24]、[25]。为了解决这一局限性,若干工作[17]、[26]、[27]提出了显式训练异质策略的方法。尽管这些方法促进了行为多样性,但在多智能体环境中丢弃参数共享会大幅降低样本效率[27]。为平衡行为多样性与训练效率,分组机制已成为一个有前景的方向。尽管早期的预定义分组[28]、[29]或基于角色的方法[24]、[30]在高度动态的环境中难以应对,但近期自适应分组的进展[31]、[32]、[33]显著改善了团队协作,如第2.1节所总结。然而,为了捕捉复杂的群体动态,大多数现有的自适应分组策略在执行期间隐式或显式地依赖全局信息,这违背了严格的CTDE范式并限制了真正的分布式部署。这引出了第一个关键差距:如何在执行期间不使用任何全局信息的情况下实现动态且自适应的分组?为了弥合这一差距,并在不损害执行独立性的前提下进一步提升动态协作性能,我们提出了一种名为分层异质自组织协作(H2SOC)的新型MARL方法。在多尺度表示学习的驱动下,H2SOC严格遵循CTDE框架,通过解耦宏观层级的结构分组与微观层级的局部特征学习来实现。在团队层级,我们设计了一种自监督结构,引导智能体基于全局信息学习拓扑关系以实现自动分组,同时采用参数共享机制来支持这些分组特征的全分布式执行。在智能体层级,每个智能体基于其局部观测执行均值场特征学习,并通过整合分组特征进一步增强其网络表示能力。通过解耦结构分组与局部特征学习,H2SOC在保持高样本效率的同时确保了行为多样性。不幸的是,现有的均值场近似方法[34]、[35]无法直接应用于智能体层级,因为将其应用于复杂异构系统时揭示了两个根本性局限。首先,如图1所示,标准均值场方法假设邻居影响是同质的,忽略了不同类型智能体的多样角色和异质影响。其次,现有的多类型均值场近似尝试仍然严重依赖决策期间的全局信息。关于均值场强化学习的相关工作在第2.2节中讨论。因此,第二个关键差距出现:如何设计一种均值场近似来建模异质交互并支持完全去中心化的执行?为了克服这一差距,我们在智能体层级提出了一种显式的异质均值场(HMF)近似方法。该方法旨在捕捉多类型邻居影响,同时与仅基于局部观测的全分布式执行完全兼容。此外,为了建立HMF的有效性,我们首先在定理1中给出了其数学表示。在此基础上,我们在定理2中推导了近似误差的理论上界。最后,我们在定理3中证明了系统收敛到纳什均衡有界邻域的性质。本文的主要贡献总结如下:• 符合CTDE的动态分组方法。与需要执行期间全局信息的先前方法不同,H2SOC严格遵循CTDE范式,仅在集中训练期间使用全局状态。这允许实现动态自组织分组,同时确保执行完全去中心化且仅基于局部观测。• 支持分布式执行的HMF近似。突破了传统均值场强化学习的同质性和集中执行假设,我们的HMF方法显式建模多类型智能体交互并支持完全去中心化的决策。我们进一步提供了严格的理论基础,建立了其数学表示、近似误差界和收敛性质。• 在SMAC-HARD上的最先进性能。即使面对采用混合策略的对手,H2SOC仍保持强大性能,比现有最先进方法绝对提升11.4个百分点。此外,作为灵活的插拔式模块,我们的方法分别以53.3和73.5个百分点的绝对提升显著改善了QMIX和QPLEX的性能。章节片段 相关工作 为阐明H2SOC与最密切相关方法的差异,表1从两个正交维度——建模范式和执行模式——系统地比较了代表性方法。多智能体强化学习 包含??个智能体的随机博弈[56]可形式化为一个元组??:???(??,??1,…,????,??1,…,????,??,??),其中??表示状态空间,????表示智能体??∈{1,…,??}的动作空间。智能体??的奖励函数定义为????:??×??1×?×????→?。转移概率??:??×??1×?×????→??(??)描述了状态??随时间的随机演化。常数??∈[0,1)代表未来奖励的折扣因子。对于智能体??,其对应的策略定义为????:??→??(????)。令???[??1,…,???? 分层学习方法 本节从三部分详细介绍我们的方法。首先,我们描述通过HMF近似进行的智能体层级特征学习。然后,我们呈现团队层级分组特征学习模块。最后,我们整合这两个模块并详细介绍H2SOC方法,包括其训练框架。我们首先区分"组"这一术语在分层学习框架中的两种含义:• 第4.1节中的"组"指智能体层级上的异质子集????。这是一个理论实验 所有实验均在配备96核AMD Ryzen Threadripper PRO 7995WX CPU和NVIDIA RTX PRO 6000 GPU的高性能计算平台上进行,运行Ubuntu 20.04.6 LTS操作系统。为评估所提出H2SOC算法的有效性,我们采用SMAC-HARD基准[59]作为主要实验。为确保统计可靠性并降低随机性影响,每个算法在每个场景中执行五次。详细描述 结论 本文提出了一种名为H2SOC的新型MARL方法。该方法在团队层级和智能体层级均执行多尺度表示学习,使智能体能够在复杂多智能体环境中实现动态且自适应的分组。我们通过定理1–4从理论上分析了方法的有效性和原则性设计,突显了其坚实的理论基础。此外,我们提出了H2SOC的插拔式变体,能够无缝集成 CRediT作者贡献声明 Yue Pan:撰写——初稿、方法论、概念构思。Jinlong Lei:撰写——审阅与编辑、监督、经费获取。Peng Yi:监督、经费获取。Lu Cao:撰写——审阅与编辑、项目管理、概念构思。利益冲突声明 作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。致谢 本研究由中国国家重点研发计划(编号2022YFA1004701)、国家自然科学基金(编号72271187、62373283、62088101)、上海市科技重大专项(编号2021SHZDZX0100)以及中央高校基本科研业务费资助。Yue Pan于2022年在中国南昌大学获得自动化学士学位。目前他正在同济大学攻读控制科学与工程博士学位。他的主要研究方向包括多智能体强化学习、多智能体系统决策、自动驾驶以及交互行为智能体建模。Yue Pan | Jinlong Lei | Peng Yi | Lu Cao
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号