多智能体强化学习在工程系统管理中去中心化的代价
《RELIABILITY ENGINEERING & SYSTEM SAFETY》:The price of decentralization in managing engineering systems through multi-agent reinforcement learning
【字体:
大
中
小
】
时间:2026年09月30日
来源:RELIABILITY ENGINEERING & SYSTEM SAFETY 13.7
编辑推荐:
• 冗余可能阻碍去中心化学习下的多智能体协作。
• 系统冗余的增加可能导致去中心化的代价更高。
• 为检修规划中的多智能体深度强化学习提供基准测试。
• 将MADRL算法与(近)最优和启发式基线进行评估对比。
• 提供一套可复现的MADRL算法实现。
引言
大规模基础设施
• 冗余可能阻碍去中心化学习下的多智能体协作。
• 系统冗余的增加可能导致去中心化的代价更高。
• 为检修规划中的多智能体深度强化学习提供基准测试。
• 将MADRL算法与(近)最优和启发式基线进行评估对比。
• 提供一套可复现的MADRL算法实现。
引言
大规模基础设施系统,如电力网、道路网络和通信系统,需要有效的长期检查与维护(I&M)来维持其可靠性。部分可观测马尔可夫决策过程(POMDP)为在性能、数据和退化不确定性下对此类工程系统进行检修规划提供了系统化的数学框架。POMDP解决了该问题固有的若干挑战,如组件属性的随机变化、损伤状态的部分可观测性以及长期规划跨度 [1]、[2]、[3]、[4]、[5]、[6]、[7]。在多组件系统中,POMDP的精确解通常计算上不可行,这促使了各种近似方法被用于检修规划。这些方法包括:(i) 使用基于风险或基于状态规则来参数化策略空间的启发式方法,以保持搜索空间的可行性 [8]、[9];(ii) 利用环境仿真器执行近似信念空间前瞻的在线规划方法,如部分可观测蒙特卡洛规划(POMCP)[10];以及 (iii) 在信念空间上近似最优行为的离线规划方法,包括基于点的值迭代方法(PBVI)[11]、[12] 或深度强化学习(DRL)[13]、[14]、[15]、[16]。
然而,对于多组件系统,联合状态、动作和观测空间随组件数量呈指数增长,使得近最优POMDP解在大规模实际检修规划问题中变得不可行。为了缓解维度灾难问题,去中心化POMDP(Dec-POMDP)通过在框架中为每个组件或子系统指定一个智能体来扩展POMDP框架。这种去中心化有效地将问题转化为协作多智能体任务。类似地,这一核心思想也应用于求解方法,产生了多智能体深度强化学习(MADRL)[17]、[18]。均值场方法,如均值场强化学习 [19],通过建模个体智能体之间的交互与宏观群体统计量,将这一思想进一步扩展到大规模智能体群体。图1展示了不同求解方法的相对可扩展性,从单智能体、基于点的POMDP求解器到MADRL。虽然精确搜索和启发式搜索方法,如针对Dec-POMDP的基于PBVI的方法 [20] 和多智能体A* [21],将规划和搜索技术扩展到了多智能体场景,但由于联合动作空间和信念空间的指数增长,它们仍然受限于小规模问题实例。相比之下,MADRL以放宽最优性保证为代价换取了更好的可扩展性。在MADRL取得成功后,检修规划领域的多项工作采用了这一范式来解决可扩展性问题 [22]、[23]、[24]、[25]、[26]、[27]、[28]、[29]。
虽然强化学习中的去中心化放宽缓解了可扩展性挑战,但也可能引入与多智能体学习相关的路径依赖问题,如阴影均衡、环境非平稳性、帕累托选择问题和多智能体信用分配问题,这些问题可能阻碍收敛到最优策略 [30]、[31]。这些学习路径问题产生了我们所说的去中心化代价:在利用去中心化控制实现多智能体决策问题可扩展性时所引起的最优性相对损失。由于底层的奖励模型和环境动态会影响这些路径问题的严重程度 [31],它们对检修规划问题中学习到的策略的影响仍有待理解。为了系统地理解这些影响,我们对比了三种主要的MADRL范式:集中训练集中执行(CTCE)、集中训练去中心化执行(CTDE)和去中心化训练去中心化执行(DTDE)。
现有工作对MADRL算法的性能进行了基准测试 [24]、[32]、[33],包括高达100个组件的系统 [24]。然而,这些评估依赖于启发式基线,它们不提供最优性保证,且在不同的问题设置下性能差异较大。虽然这些研究展示了去中心化方法的可扩展性,但它们无法直接量化去中心化造成的最优性损失。因此,我们研究了可以计算(近)最优集中式解的系统,使我们能够针对一个有原则的参考标准来衡量去中心化代价。如果仅使用启发式方法作为基线,这些损失可能会被掩盖。本工作在 [34] 的基础上,引入了新的环境和更广泛的MADRL智能体集合,以研究检修规划中的多智能体学习路径问题。与现有基准和求解方法的详细比较在第1.1节中提供。
为了解决在追踪去中心化代价方面的这些局限性,我们引入了基于 $k$-out-of-$n$:G 系统的基准测试环境,重点研究具有 $n=4$ 个组件的系统,同时变化冗余参数 $k$ 从1(并联)到 $n$(串联)[35]。这些环境捕捉了真实退化系统的关键特征,同时对集中式算法保持可解性。它们包括退化动态(使用上三角矩阵建模)、冗余、检查和维修动作、损伤状态的部分可观测性以及异构组件。在这些环境中,智能体必须协同规划动作,在无限时间跨度上最小化长期的检查和维修成本。我们采用折现无限时域公式。这避免了使用有限时域变体配合折现无限时域求解器所需的显式时间增广。这些公式通常将时间步编码在状态中,这会使状态空间乘以规划跨度并增加规划复杂度。为验证我们发现的一致性,我们还研究了规模较小的系统,即 $n=2$ 和 $n=3$ 个组件的系统,类比定义为 $n=4$ 系统的子集。如图1所示,小规模系统使问题处于单智能体方法的可解范围内,使我们能够使用具有性能保证的基于点的POMDP求解器SARSOP [12] 计算(近)最优解,并严格对比DRL算法与启发式方法的性能。利用这一框架,我们评估了常用MADRL算法的最优性,包括基于值和演员-评论家方法,以及同策略和异策略方法。
我们发现,在串联和类串联系统中性能保持接近最优;然而,随着冗余增加(即 $k$ 值降低),去中心化智能体的性能开始偏离最优,导致最优性损失。特别地,去中心化算法的平均最优性差距从4-out-of-4串联系统中的 0.3%±0.4% 增加到高度冗余的1-out-of-4系统中的 10.3%±3.9%。为进一步验证这一趋势,我们进行了消融实验,去除了动员成本,即在启动干预时产生的固定成本,并变化了失效惩罚,即在系统失效时产生的成本,我们观察到相同的效果。因此,我们提供了当前MADRL方法在检修语境下关键局限性的洞察,并为诊断这些挑战提供了基准,为开发更有效的算法提供参考。为补充经验性发现,我们分析了一个简化的检修矩阵博弈,该博弈隔离了冗余所诱导的协作结构。该分析表明,基于值分解的方法,即将联合动作值近似为各智能体值的(单调)加性组合,在存在冗余时可能次优。虽然该分析是在单步设置中推导的,但它提供了为什么此类方法在具有冗余的系统中可能面临困难的直觉解释。最后,尽管去中心化学习已知的路径问题,但某些去中心化算法在挑战性设置中的表现明显优于其他算法。在1-out-of-4系统中,表现最好的IACC-PS策略将最优性差距降低至 6.3%,而所测试算法的平均差距为 10.3%。
本工作的主要贡献总结如下:
• 我们系统地比较了三种主要的多智能体学习范式,并表明虽然去中心化在串联和类串联系统中实现了接近最优的性能,但增加冗余会引发协作挑战,可能导致最优性损失。
• 我们引入了具有(近)最优基线的检修规划基准测试环境。这些基准基于具有 $n=4$ 个组件的 $k$-out-of-$n$ 系统,$k \in \{1,2,3,4\}$ 可变,并捕捉了真实系统的关键特征,包括退化、冗余、检查和维修动作、部分可观测性以及组件异构性。
• 我们提供了开源的基准测试环境、(近)最优基线和DRL实现,使得在提出的基准上可以进行可复现的比较。
我们的基准测试环境、算法实现、基线和用于复现本文结果的训练模型可在 github.com/prateekbhustali/price-of-decentralization 公开获取。
为制定检修规划策略,传统方法使用预定义策略子空间内的策略搜索。即使在小型问题上,对可行策略空间的穷举搜索也是不可行的。这些子空间由基于风险的阈值、定期检查或基于状态的维护等启发式方法定义 [8]、[9]、[36]。然而,这些启发式方法通常被DRL方法所超越,并且可能将最优策略排除在所搜索的策略子空间之外。
去中心化方法在基准测试问题上显示出有前景的结果 [33]、[37]、[38]。一方面,检修规划领域的许多近期工作通过将问题表述为Dec-POMDP并使用MADRL算法求解来解决可扩展性挑战 [22]、[24]、[25]、[26]、[27]、[39]。例如,[22] 通过假设给定智能体当前动作-观测历史(或联合信念)时动作的条件独立性来缓解策略输出的指数增长。另一方面,如 [7] 等工作引入了逐组件POMDP公式,它将系统级决策问题分解为逐组件的POMDP,同时保留系统级依赖关系(如动员成本)。这种分解使得可以使用如图1所示的POMDP求解方法。
关于在CTCE、CTDE和DTDE范式下对MADRL算法进行比较的先前工作可在 [32] 中找到。他们在相对较小的状态/动作空间问题上对MADRL算法进行了基准测试,并研究了策略梯度方法。[40] 研究了集中式评论家的作用及其相对于去中心化评论家的优势。他们还从理论和实证上证明了使用集中式评论家进行训练的不足之处。最近,[33] 在多样化环境上广泛地基准测试了基于值和基于策略梯度的MADRL算法。相比之下,本工作在CTCE、CTDE和DTDE范式下对MADRL算法进行基准测试,同时与(近)最优基线进行比较。此外,我们研究了冗余在多智能体协作中的作用,特别是在检修规划语境下。
为了具体考察MADRL算法在检修规划中的有效性,[24] 对最先进的CTDE和DTDE算法在多达100个组件的大规模系统中的性能进行了基准测试。虽然他们在这个规模上研究了检修规划,但其评估依赖于不提供最优性保证的启发式基线。此外,他们的研究并未具体考察冗余在塑造多智能体学习性能方面的作用。
[34] 的近期工作为有限时域 $k$-out-of-5 系统中的集中式和去中心化MADRL公式在检修规划中的应用提供了比较。该研究将异策略方法与启发式基线进行了评估,并报告了冗余可能阻碍协作。我们现在以此为基础,旨在明确量化去中心化所诱导的最优性损失。为此,我们引入了无限时域 $k$-out-of-$n$ 基准测试环境,$n \in \{2,3,4\}$,使得集中式(近)最优SARSOP策略仍然可行,并评估了跨越CTCE、CTDE和DTDE的更广泛的同策略和异策略算法集合。这使得可以直接衡量去中心化代价,并揭示冗余诱导的退化如何随算法族和成本设定而变化。最后,我们的分析从理论上将值分解的局限性连接到可靠性系统中的冗余。
章节摘要
**背景:公式化与求解框架**
在本节中,我们简要概述了本工作所使用的数学框架,并在第4节中将这些框架与检修问题具体联系起来。
**多智能体深度强化学习(MADRL)**
Dec-POMDP很难最优求解,因为它们需要在一个随智能体数量指数增长的联合策略空间上进行推理 [49]。为了缓解维度灾难问题,MADRL通过在多智能体之间去中心化决策来扩展单智能体DRL。这一扩展与单智能体RL中的固有算法分类(如基于模型/无模型、基于值/演员-评论家、同策略/异策略)是正交的,因此许多算法变体可以...
**问题陈述**
如第2.3节所介绍,Dec-POMDP框架形式化了不确定性下的去中心化序贯决策。在检修规划的语境下,它为多组件或多子系统工程系统提供了一种结构化的建模方式,其中去中心化智能体必须基于局部观测采取行动并协调以管理退化并最小化长期检修成本。它封装了一个退化工程系统,其中:
• $\mathcal{M} \triangleq \{1, \ldots, M\}$ 是智能体集合
**实验设置**
我们通过在Climb Game和前述章节所述的 $k$-out-of-$n$ 环境中对跨越CTCE、CTDE和DTDE的MARL算法进行基准测试,来考察冗余如何影响协作和学习。性能通过公式(11)中的期望折现回报(或成本)$J$ 来衡量,同时考虑跨随机种子的变异性。
为了解释结果,我们将其与(近)最优SARSOP策略以及一个经过优化的启发式基线进行比较,需要注意到的是蒙特卡洛方法对??的估计值。
**结果与讨论**
按照上一节所述的评估协议,图4和图5中的箱线图展示了十次训练运行(随机种子)中每个深度强化学习算法的最佳性能。在图5中,我们以(近)最优SARSOP基线为基准对结果进行归一化,以便在不同系统配置之间进行比较。图6总结了这种比较,以冗余级别下的分散化代价来呈现。各分散算法之间的平均最优性差距呈增加趋势。
**结论与未来工作**
大规模部分可观测工程系统的检修与维护规划需要分散式控制以实现可扩展性,因为集中式方法由于联合状态、观测和动作空间的指数级增长而变得不可行。尽管多智能体深度强化学习通过分散策略学习实现了可扩展的近似方法,但它也引入了协调缺陷,此外还有函数近似和优化方面的问题。
**CRediT作者贡献声明**
Prateek Bhustali:写作——审阅与编辑,写作——原稿撰写,可视化,软件,方法论,调查,形式分析,数据整理,概念化。
Pablo G. Morato:写作——审阅与编辑,验证,软件,资源,方法论,调查,形式分析。
Konstantinos G. Papakonstantinou:写作——审阅与编辑,资源,方法论。
Charalampos P. Andriotis:写作——审阅与编辑,验证,指导,项目管理。
**关于稿件中生成式AI及AI辅助技术的声明**
在准备本稿件过程中,作者仅使用ChatGPT(OpenAI)进行语言和文本检查,以提高呈现的清晰度并检测拼写错误。此外,还使用了Codex(OpenAI)来辅助代码检查。所有借助这些工具生成的输出均经过作者的审阅、验证和编辑,作者对已发表文章的内容承担全部责任。
**利益冲突声明**
作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
**致谢**
Prateek Bhustali和Charalampos P. Andriotis博士感谢代尔夫特理工大学AI实验室项目提供的支持。本工作使用了由代尔夫特高性能计算中心运营的DelftBlue超级计算机[62]。
Prateek Bhustali | Pablo G. Morato | Konstantinos G. Papakonstantinou | Charalampos P. Andriotis
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号