AGAM:一种用于强化学习中动作掩码融合的随机初始化策略网络

《Knowledge-Based Systems》:AGAM: A randomly initialized policy network for action mask fusion in reinforcement learning

【字体: 大 中 小 】 时间:2026年07月10日 来源:Knowledge-Based Systems 8.0

编辑推荐:

  薛布青|陈倩|王泽龙|杜凌康|赵佳琪|胡涛•AGAM是一种随机初始化的强化学习策略,通过调整权重将动作掩码嵌入智能体的决策中。•AGAM凭借更高的奖励值优于主流基准方法。•AGAM无需手动初始化参数,从而提升强化学习智能体的收敛性能。 引言 强化学习已广泛应用于推荐系统[1]、

  薛布青|陈倩|王泽龙|杜凌康|赵佳琪|胡涛•AGAM是一种随机初始化的强化学习策略,通过调整权重将动作掩码嵌入智能体的决策中。•AGAM凭借更高的奖励值优于主流基准方法。•AGAM无需手动初始化参数,从而提升强化学习智能体的收敛性能。

引言
强化学习已广泛应用于推荐系统[1]、[2]、医疗健康领域[3]、[4]、任务调度[5]、交通系统[3]等诸多方面。通常,强化学习可被建模为马尔可夫决策过程,其中智能体通过与环境的交互来优化其策略,以最大化折现后的奖励[6]。目前,强化学习的研究主要集中在强化学习策略网络的设计[7]、[8]、[9]、策略更新优化[10]、[11]以及强化学习的应用[12]上。具体而言,强化学习策略网络的设计旨在通过针对特定问题进行定制来提升智能体的性能,这类技术已被广泛应用于对抗系统[13]、[14]、资源管理[15]、机器控制[6]等领域。

在那些动作有效性明确的特定强化学习环境中,可以高效地构建动作掩码——这类掩码能够指定给定状态下的有效动作[16]。由于动作掩码能够将受限马尔可夫决策过程转化为标准马尔可夫决策过程,因此将其纳入强化学习策略网络的设计中一直备受关注[17]。如图1(a)所示,动作掩码可将策略网络选出的无效动作转换为有效动作。具体来说,动作掩码通过降低无效交互的频率或减少交互中断的概率,提升了强化学习的样本效率[18]。以自动驾驶汽车转弯为例,当汽车面临右转情况时,如果智能体试图执行“左转”或“直行”等无效动作,动作掩码会将这些无效动作重新映射为有效的“右转”动作,如图1(b)所示。

关于动作掩码的研究已经从简单的应用拓展到理论层面。为了解决MOBA游戏中大量无效动作的问题,Oriol等人[19]将动作掩码融入策略中,显著提升了智能体的训练样本效率。从优化角度出发,Huang等人[20]研究了将动作掩码纳入策略网络对模型梯度的影响,并从理论上证明了动作掩码在策略网络中的有效性。然而,虽然动作掩码成功解决了无效动作的问题,但由此带来的动作分布变化会增加策略梯度估计的方差,进而降低智能体优化的效率。为了探索有效的高价值动作,策略网络需要更多交互来理解输出逻辑值与动作掩码之间的关系,这成为了优化效率提升的瓶颈[21]。

再回到自动驾驶汽车转弯的场景,其设置与之前的情况有所不同,如图1(c)所示。根据动作掩码,汽车在当前状态下的有效动作被定义为“直行”和“右转”。当汽车执行“左转”这一无效动作时,动作掩码会以一定的概率将其映射为这两个有效动作之一,而该概率可能由状态中的其他因素决定。为了确定哪种动作的价值更高,智能体需要更多次尝试来结合逻辑值与动作掩码。这样一来,一个棘手的问题便出现了:智能体如何高效地将动作掩码与逻辑值相结合?这个问题的复杂性体现在两个层面。一方面,为了完全融合动作掩码与动作逻辑值,策略网络需要深入整合动作掩码信息;另一方面,为了让智能体能够在优化过程中调整动作掩码和动作逻辑值的权重,策略网络需要具备一定的灵活性。

针对基于策略的强化学习中的这一问题,我们提出了一种自适应门控动作掩码策略网络,即AGAM。简而言之,AGAM通过自适应调整动作掩码和逻辑值的权重,提升了智能体的奖励性能。具体而言,AGAM引入了一个自适应门控模块,能够在智能体优化过程中动态调整分配给动作掩码和逻辑值的权重。值得注意的是,与基准策略网络相比,AGAM仅增加了极少的参数数量。据我们所知,AGAM是首个能在训练过程中自动初始化参数并动态调整动作掩码权重的策略网络。其主要贡献如下:
•我们提出了用于基于策略的强化学习的AGAM策略网络,该网络通过在训练过程中自适应调整动作掩码的权重,提升了智能体的优化效率。
•我们对配备AGAM的策略网络的收敛特性进行了启发式分析。此外,我们还分析了AGAM相较于简单网络在计算复杂度和参数数量方面的差异,发现这些增加量可以忽略不计。
•我们在四种不同的Gym环境中评估了AGAM的性能。与四种最先进的基准方法相比,AGAM的平均奖励提升了高达86%。
•我们对AGAM在现实世界的水库运行问题上的性能进行了测试,结果表明AGAM能够满足实际应用的需求。

本文的其余结构如下:第2节回顾相关研究,第3节介绍基本概念并阐述需要解决的问题。第4、5、6和7节分别介绍所提出的AGAM策略网络、启发式分析、实证验证以及讨论与未来工作。最后,第8节对全文进行总结。

相关研究
将动作掩码信息融入策略网络的过程可被建模为受限马尔可夫决策过程,在该过程中,智能体需要在确保其预期累积约束成本低于特定阈值的前提下,最大化其折现后的长期奖励[22]、[23]。通常,这类研究主要涉及两种类型的约束,即软约束和硬约束[24]。值得注意的是,我们所提出的AGAM属于硬约束范畴。

软约束。软约束要求……

背景
在标准的强化学习框架中,智能体通过与环境交互来最大化长期折现奖励[36]。这一优化问题可以被建模为马尔可夫决策过程,记为{S, A, P, R, γ},其中S表示状态集合,A表示动作集合,P:S×A×S→[0,1]是转移概率函数,R:S×A→R是奖励函数,γ∈[0,1)是折扣因子。在每个时间步t,由θ参数化的智能体处于状态st∈S中,它会根据……选择动作at∈A。

动机
如前文所述,动作掩码不仅能过滤掉策略网络产生的无效动作,还会影响其输出动作的分布,从而成为优化效率提升的瓶颈。分配给动作掩码的权重在决定智能体的优化效率方面起着重要作用。在优化初期,若给动作掩码分配较高的权重,就可以使无效动作的概率趋于均衡,从而帮助智能体……

配备AGAM的基于策略的强化学习模型的收敛性分析
为分析AGAM在基于策略的强化学习中的收敛性能,我们首先给出以下常见假设:
假设1:策略平滑性[41]策略函数πθ(a|s)及其对数梯度?θlogπθ(a|s)对于参数θ来说是利普希茨连续的。
假设2:学习率条件[42]学习率序列{αk}满足罗宾斯-蒙罗条件:∑k=1∞αk=∞且∑k=1∞αk2<∞。
假设3:无偏梯度估计[35]在每次迭代k时,都可以获得一个无偏的随机梯度估计g?(θk),使得:E[g?(θk)|θk]=?θJ(θk)。
假设4:有界方差[43]随机梯度的方差……

实现
测试条件。测试系统的硬件配置包括一台Intel Core I7-12700CPU和一块NVIDIA GeForce 3090 Ti GPU。所使用的操作系统是Windows 11 Professional,安装了Python 3.9,同时使用了PyTorch 1.13神经网络框架。我们选择了三种主流算法——策略梯度算法[47]、演员-评论家算法[48]以及PPO,作为测试策略网络的基础。

1 所有结果

讨论与未来工作
AGAM通过利用近期交互轨迹的信息,在优化过程中自适应调整动作掩码的权重。未经进一步调整,AGAM与大多数基于价值的强化学习算法并不兼容。这种不兼容性源于这些方法通常依赖于从大量不同轨迹中采样并整合经验。未来研究的一个重要方向就是让AGAM能够在基于价值的强化学习框架中有效运行。

结论
AGAM是一种随机初始化的策略网络,它通过采用自适应的动作掩码权重来提升策略网络的优化效率。我们证明了与AGAM结合的强化学习算法具有启发式的收敛性,为训练过程提供了理论支持。实验结果表明,基于AGAM的算法在训练和测试阶段的奖励性能均显著优于之前的网络。此外,AGAM的随机初始化方式避免了……

CRediT作者贡献声明
薛布青:写作——审稿与编辑、写作——初稿撰写、软件开发、方法设计、研究实施、概念构思。陈倩:写作——审稿与编辑、指导监督、研究实施、概念构思。王泽龙:写作——审稿与编辑、指导监督。杜凌康:写作——审稿与编辑、研究实施。赵佳琪:写作——审稿与编辑。胡涛:写作——审稿与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金(编号:62502366;62572369;62502359)、国家密码科学基金(编号:2025NCSF02016)、中国博士后科学基金会博士后 Fellowship项目(编号:GZB20250803;2025M781514;GZB20250409)以及陕西省博士后科研基金(编号:2025BSHSDZZ204)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号