用于多智能体强化学习的双重蒸馏网络

《Neurocomputing》:Double distillation network for multi-agent reinforcement learning

【字体: 大 中 小 】 时间:2026年03月26日 来源:Neurocomputing 6.5

编辑推荐:

  多智能体强化学习(MARL)中,传统CTDE框架因局部观测不完整导致累积误差,影响协作策略训练。本文提出双蒸馏网络(DDN),通过外部蒸馏模块(EDM)和内部蒸馏模块(IDM)协同优化:EDM采用全局指导网络与局部策略网络的多级蒸馏机制,减少全局-局部信息差距;IDM基于全局状态新颖性设计内在奖励,提升探索效率。实验表明,DDN在星际争霸II和捕食者-猎物基准上显著降低误差,增强协作策略学习效果。

  
杨周|王思颖|陈文宇|张若宁|赵志通|张子轩|马子军
中国电子科技大学计算机科学与工程学院,成都,中国

摘要

多智能体强化学习(MARL)通常在集中训练和分散执行(CTDE)框架下进行,以缓解环境非平稳性问题。然而,传统方法在执行过程中常常受到部分可观测性的限制,导致智能体之间出现累积误差,阻碍了有效合作策略的开发。为了解决这一挑战,我们提出了双蒸馏网络(DDN),该网络整合了两个互补的蒸馏模块,在信息受限的情况下促进鲁棒协调和高效协作。具体而言,外部蒸馏模块利用全局引导网络和局部策略网络通过多层蒸馏促进知识传递,从而弥合全局训练和局部执行之间的差距。此外,内部蒸馏模块利用由全局状态驱动的内在奖励来增强智能体的探索能力。在StarCraft II和Predator–Prey基准测试中的实验结果表明,所提出的方法有效减少了固有误差,提高了探索效率,并显著改善了合作策略学习的质量。

引言

在过去的几十年中,协作式多智能体强化学习(MARL)在多个领域展现了巨大潜力,包括无人机[1]、机器人协作[2]和自动驾驶车辆[3]。然而,协作智能体通常具有有限的观测范围,只能访问部分局部信息,这在观测不稳定和决策不确定的环境中给协作过程带来了重大挑战。
为了解决这些非平稳性问题,常用的方法是实施集中训练与分散执行(CTDE)[4]范式,该范式有助于在训练期间稳定策略变化。该框架的主要概念是允许智能体在训练阶段访问全局状态信息,而在执行阶段仍仅使用部分观测数据来模拟分散决策过程。这使智能体能够有效整合全局信息,显著缓解环境引起的非平稳性。不幸的是,当前的CTDE方法主要强调集中价值函数的分解过程,同时确保其遵循个体-全局-最大(IGM)准则。它们可能会忽略全局状态信息的作用,例如VDN[5],或者像QMIX[6]和QATTEN[7]那样间接嵌入这些状态特征。换句话说,全局状态信息的特征以及全局和局部观测之间的差异没有得到策略网络和决策过程的有效利用,这可能会阻碍协作策略的训练效率。
此外,即使集中价值函数被正确分解,整合全局状态信息的集中价值函数与用于智能体决策的局部效用函数之间仍然存在固有误差。随着模型与环境的交互,这种误差会逐渐累积,不可避免地影响协作策略的训练。因此,当前的问题是:如何在确保智能体基于局部观测进行决策的同时,更好地利用全局状态信息?最近的研究试图通过引入将全局知识传递给分散智能体的机制来解决这个问题,在执行阶段,智能体只需模仿或复制训练中的效用函数。例如,COPA[8]采用了一个教练-玩家框架,其中具有全局观测的集中教练协调分散智能体。CTDS[9]采用教师-学生架构,通过蒸馏将从全局状态学到的知识传递给分散策略。IGM-DA[10]通过将分解过程与贝尔曼迭代解耦来解决价值分解错误。此外,CSRL[11]引入了一个指挥官-士兵框架,其中虚拟指挥官定期编码全局信息以指导分散智能体。然而,这些方法通常将全局信息视为辅助指导,而不是直接将其整合到价值学习中,这限制了全局状态信息在协作策略优化中的有效利用。
在本文中,我们提出了一个名为双蒸馏网络(DDN)的混合蒸馏框架,以减少全局状态信息整合的固有误差。与现有方法不同,DDN结合了两个不同的蒸馏模块来分别减轻这些误差并有效整合状态信息。具体来说,外部蒸馏模块(EDM)采用领导者-跟随者架构,其中领导者由全局引导网络(GGN)组成,该网络通过个性化融合模块将状态信息整合到每个智能体的观测特征中,这些模块针对每个单独的观测进行了定制。跟随者代表局部策略网络(LPN),其中每个智能体仅包含其自身的局部观测数据。DDN采用多层特征对齐知识蒸馏机制来减少领导者与跟随者之间的差距,通过这种隔离机制减少了固有误差,使跟随者的LPN能够间接从环境反馈中学习。此外,内部蒸馏模块(IDM)结合了与全局状态特征相关的内在奖励。内在奖励来源于随机初始化的目标网络和编码全局状态信息的预测网络之间的差异,这意味着两个网络越接近,探索的强度就越高。内部蒸馏模块的特殊设计直接将全局状态信息整合到奖励信号中,有效增强了智能体的探索能力,显著提高了协作策略学习的效率和质量。本工作的主要贡献总结如下:
  1. 我们提出了一个双蒸馏网络作为CTDE范式内的结构化补偿框架。所提出的架构整合了两种互补的蒸馏机制,即外部蒸馏模块和内部蒸馏模块,共同减轻了由分散执行和探索不足引起的累积固有误差,从而为基于CTDE的多智能体强化学习建立了一个通用增强框架。
  2. 我们设计了一个基于领导者-跟随者架构的外部蒸馏模块。在该模块中,全局引导网络在训练期间整合了个性化的全局状态信息,而局部策略网络在执行期间仅依赖局部观测数据。通过多层蒸馏,EDM有效减少了CTDE框架内由分散状态融合引入的固有误差。
  3. 我们设计了一个受好奇心驱动机制启发的内部蒸馏模块。通过评估全局状态特征的新颖性并生成相应的内在奖励,IDM促进了协作探索,鼓励智能体探索状态空间中代表性不足的区域,从而减轻了集中估计偏差。

MARL中的现有方法

多智能体系统通常根据智能体交互的性质被分类为协作型、竞争型或混合型。[12],[13]。在完全协作任务中,所有智能体被赋予相同的奖励函数,并且需要朝着共同目标进行协作。完全竞争环境通常由两个对立的智能体组组成,它们在随机游戏框架下运作,其中奖励函数由零和关系定义,每个智能体都旨在最大化

Dec-POMDPs

完全协作的多智能体任务被建模为一个分散的、部分可观测的马尔可夫决策过程(Dec-POMDP)[52],表示为一个元组,其中表示环境中的全局状态。在每个时间步长,每个智能体选择一个动作,表示所有智能体在时间的集体动作。每个智能体都有根据某些观测函数的个体观测。环境的状态转移函数控制状态转移动态。

方法

为了减轻CTDE范式下价值分解引起的固有误差,我们提出了双蒸馏网络(DDN),该网络明确针对集中训练和分散执行产生的两个主要近似误差源。具体来说,DDN由两个协作模块组成,即外部蒸馏模块和内部蒸馏模块,如图1所示。EDM专注于通过

实验

在本节中,我们在两个广泛采用的MARL基准测试SMAC[55]和Predator-Prey上进行了实验,以评估所提出的DDN的有效性。我们将DDN与几种广泛使用的基线方法进行了比较,并进行了消融研究,以检验其关键组件的贡献,包括个性化状态表示、多层蒸馏损失和随机掩码机制。此外,为了评估该框架的实际应用性,我们分析了其

结论

在本文中,我们提出了一个双蒸馏网络(DDN),以减轻从集中训练到分散执行过程中产生的固有误差。DDN由两个互补模块组成:外部蒸馏模块,它通过领导者-跟随者架构弥合全局-局部信息差距;内部蒸馏模块,它通过来自全局状态新颖性的内在奖励增强探索能力。这两个模块共同

致谢

本研究得到了四川省智能感知与控制重点实验室(项目编号2025IPCZ02)、国家重点研发计划(项目编号2022YFB4300603)和中国国家自然科学基金联合基金(项目编号U22B2061)的支持。

CRediT作者贡献声明

杨周:写作 – 审稿与编辑,撰写原始草案,可视化,验证,监督,项目管理,方法论,概念化。王思颖:写作 – 审稿与编辑,可视化,验证,监督,项目管理,方法论,概念化。陈文宇:写作 – 审稿与编辑,监督,项目管理,方法论,概念化。张若宁:可视化,验证,方法论,概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
杨周目前是中国电子科技大学计算机科学与工程学院的博士候选人。她的研究兴趣包括多智能体强化学习。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号