基于权重冻结与马尔可夫毯降维的进化强化学习

《Swarm and Evolutionary Computation》:Evolutionary reinforcement learning with weight-freezing and Markov Blanket-based dimensionality reduction

【字体: 大 中 小 】 时间:2026年03月06日 来源:Swarm and Evolutionary Computation 9.6

编辑推荐:

  奥拉达约·S·阿贾尼|李钟泰克|塔克秉哲韩国庆北国立大学计算机科学与工程学院,大邱市北区大学路41566,韩国摘要通过进化算法实现的深度神经进化在深度强化学习中展现出作为基于梯度优化方法的可行替代方案的重大潜力,尤其是因为进化算法具有高度并行性。尽管有这些优势,进化算法在处理深度

  奥拉达约·S·阿贾尼|李钟泰克|塔克秉哲韩国庆北国立大学计算机科学与工程学院,大邱市北区大学路41566,韩国摘要通过进化算法实现的深度神经进化在深度强化学习中展现出作为基于梯度优化方法的可行替代方案的重大潜力,尤其是因为进化算法具有高度并行性。尽管有这些优势,进化算法在处理深度神经网络的高维搜索空间时仍面临困难,而且由于深度强化学习环境的动态特性,用于处理大规模优化的专用机制往往无法发挥作用。本文提出了一种新的表示层方法,该方法结合了权重冻结和马尔可夫毯技术。具体而言,采用同步马尔可夫毯算法来识别一组最小的条件权重(内在权重),使得目标函数与其他所有权重无关。因此,在进化优化过程中,只有内在权重会被优化,而非内在权重则被冻结。通过冻结非内在权重,我们大幅减少了优化空间,使进化搜索仅集中在通过马尔可夫毯学习得到的内在权重上。我们将这一机制融入标准遗传算法中,并在七种深度强化学习基准测试中进行了评估。实验结果表明,我们的方法平均可将参数维度降低97%以上,同时相较于其他基线进化算法,政策性能得到提升或保持不变。通过与文献中其他降维训练方法以及传统和混合深度强化学习算法的比较实验,也证明了所提方法的性能优势。这项工作凸显了将概率图模型与进化计算相结合以克服进化深度强化学习中可扩展性挑战的可行性。引言近年来,深度强化学习已成为包括大型语言模型、机器人技术和自动驾驶在内的众多应用领域的首选学习方法。深度强化学习成功的关键在于将深度学习整合到传统的强化学习框架中,从而使智能体能够直接从原始的高维输入中学习,更有效地应对复杂环境。然而,这种整合使得深度强化学习算法严重依赖反向传播,而反向传播需要利用损失函数的梯度来优化相关深度神经网络的权重。通常,基于梯度的学习方法容易陷入局部最小值或鞍点,要求模型具有可微性,还可能面临梯度爆炸或消失的问题。此外,由于基于梯度的深度强化学习方法依赖于顺序数据收集和梯度更新,因此计算成本高昂,且难以高效并行化。为了解决这些难题,无梯度学习方法作为传统深度强化学习算法的替代方案越来越受到关注。其中,进化算法是一类极具潜力的黑箱优化器,能够无需梯度信息即可直接优化策略网络参数——这一过程通常被称为进化强化学习或神经进化。进化强化学习方法结合了进化算法的探索能力与深度神经网络的表示能力,已成功应用于各种领域,尤其是那些需要在线决策的复杂环境,如自主无人机导航、连续动作移动控制以及云服务优化。与基于梯度的深度强化学习相比,进化强化学习方法在分布式硬件上的可扩展性更强,对噪声或稀疏奖励信号的鲁棒性更高,且不需要环境和策略具备可微性。总体而言,进化强化学习方法可以通过两种主要方式整合进化算法与深度强化学习:一是利用进化算法辅助深度强化学习学习过程,例如引导探索或初始化策略参数;二是单独使用进化算法在纯粹的神经进化环境中直接优化深度神经网络的权重。本研究属于第二类,即仅使用进化算法来演化深度神经网络参数,而不进行梯度更新。尽管如此,由于现代深度神经网络具有极高的参数维度,进化强化学习仍然面临着显著的可扩展性挑战。标准进化算法的性能通常会随着维度增加而下降,而且用于处理大规模优化的传统机制在深度强化学习环境中也常常因环境目标的动态变化而失效。为缓解这一问题,近期研究探索了降维训练技术,如表示学习与权重冻结,旨在在保持学习效率的同时缩小搜索空间。在表示学习中,高维数据或搜索空间会被转换为低维空间,同时保留其核心特征,从而在低维搜索空间上进行训练或优化。然而,寻找这样的低维搜索空间并非易事。在某些研究中,首先对密集型神经网络进行完全优化以获得最佳解,之后采用迭代方法,逐步采样并训练维度逐渐增加的随机子空间,直到找到与完全优化后的网络相当的解。首次出现此类相当解的最小维度被称为该任务的内在维度。研究表明,许多学习问题本质上具有较低的内在维度,增加参数数量往往只会扩大解空间,而不会带来显著收益。有趣的是,在所分析的模型中,超过95%的参数被认为与任务无关。类似地,还有研究提出了张量分解技术,用于减少强化学习策略中的参数数量,该技术在保持Atari基准测试性能的同时实现了显著的参数压缩。在此基础上,还有研究提出了基于自编码器的降维框架,用于深度强化学习中的神经进化。在这种方法中,策略优化在由自编码器生成的紧凑潜在空间中进行,从而有效将搜索限制在低维流形内,同时仍能发现高性能策略。不过,用于学习这些低维表示的核心方法大多基于梯度,这与神经进化的目标相悖。另一方面,权重冻结则意味着只训练深度神经网络中的一部分,即让许多权重固定在零值或随机初始化的值,这样做可以降低内存需求、加快收敛速度,还有可能缩短推理和训练的运行时间。在强化学习领域,有研究提出了梯度监控方法,通过仅基于某些学习参数来进行梯度更新,从而实现有针对性的学习过程,此时部分权重会被冻结,而其他权重则继续优化。这项工作的重点之一就是确定应冻结哪些梯度以及何时冻结,以便使训练最为有效。基于权重冻结的神经进化方法相对较少,因为很难判断应该冻结哪些权重以及冻结多少权重。此外,通过随机交替冻结和解冻权重来获得可接受性能的简单方法,被认为计算成本过高,尤其是在优化深度强化学习智能体这一被视为高难度优化问题的场景中。综上所述,现有的表示层降维技术并不适合神经进化,因为它们的学习机制通常依赖于基于梯度的优化。虽然权重冻结在概念上与神经进化的原则相符,但如何确定要冻结哪些权重、何时冻结以及针对特定任务应冻结多少权重,仍然是一个重大挑战。鉴于需要一种与无梯度神经进化完全兼容的降维技术,且能够自适应地确定训练过程中应冻结的相关参数子集,本研究提出了一种深度强化学习的神经进化方法,该方法将基于马尔可夫毯的表示学习机制与权重冻结相结合,以减少进化算法需要演化的网络权重或决策变量数量。一般来说,马尔可夫毯是一种有效的识别方法,可用于确定能使所有其他变量条件独立于目标变量的最小变量集。在本研究中,目标变量被设定为目标值(奖励),而网络权重则被视为候选变量。在此框架下应用马尔可夫毯,我们可以识别出哪些权重(或权重组)真正有助于策略的性能,哪些则是多余的。与大多数降维方法不同,马尔可夫毯能够从数据中自动确定内在维度。因此,对于那些决策变量为深度强化学习策略网络权重的初始种群,可通过马尔可夫毯算法来学习目标空间的内在维度或权重。这样一来,在进化或优化过程中,只有内在权重会被优化,而非内在权重或变量则被冻结。所提出的方案被融入标准遗传算法中,并在四种深度强化学习任务上进行了测试。实验结果表明,该方法不仅能够在七种不同的深度强化学习任务中将参数维度平均降低97%以上,还能提升优化效果,优于基线进化算法。此外,通过与文献中其他降维训练方法的比较实验,也证明了该方法的性能优势。本研究的主要贡献如下:1. 提出了一种新的表示层方法,结合马尔可夫毯和权重冻结技术,用于查找和优化深度强化学习策略的内在低维权重或参数。2. 作为一种降维方法,该方案可融入任何进化算法框架,以推动深度神经进化的发展。3. 将该方案融入遗传算法中,并在七种不同的深度强化学习任务上进行了测试。4. 性能评估表明,该方案能够将参数空间减少约97%,同时在不同任务中使平均奖励提升3%至117%。本文的其余结构如下:第2节回顾相关文献;第3节介绍权重冻结和马尔可夫毯的背景知识;第4节阐述我们基于马尔可夫毯和权重冻结为进化算法设计的降维优化方案;第5节介绍所研究的深度强化学习任务及实验设置;第6节呈现实验结果与讨论;第7节总结未来研究方向。相关研究本节回顾与所提方法相关的先前研究,重点介绍深度强化学习以及一般深度神经网络领域中进化强化学习和降维训练的最新进展。权重冻结权重冻结是文献中广泛研究的降维训练方法之一。在权重冻结技术中,深度神经网络的部分组件会被固定在随机初始化的值上,在整个网络训练过程中不再进行任何更新。对于一个具有向量化权重Θ∈RD的神经网络fΘ:Rm→Rn,其中D为网络的总参数数,降维训练的目标是通过找到一个表示Ψt:Rd→RD,Θt=Ψt(?t),且d?D,从而仅训练网络参数Θ的一部分。所提出的方法本研究提出的降维优化方法包含两个核心概念:马尔可夫毯学习,以及如何利用所发现的马尔可夫毯在进化算法框架内实现降维。图1展示了所提降维方案的逐步流程。如图1所示,该方案始于数据生成阶段。对于一个问题维度为D的任务,首先初始化一个包含D维解决方案的种群P。模拟深度强化学习问题在深度强化学习的神经进化中,策略网络是通过进化算法进行训练或优化的。具体而言,一个深度强化学习任务被建模为一个黑箱优化问题,其中底层深度神经网络的参数被视为需要由进化算法优化的决策变量。目标函数通常是根据多个完整的马尔可夫决策过程循环中所获得的累积回报来定义的。本研究采用了相同的评估协议和框架。实验结果与讨论本节呈现了本研究进行的实验结果。首先,我们评估了所提出的决策变量缩减方案的效果,重点说明了应用基于马尔可夫毯的缩减方法后问题维度的变化情况。其次,我们根据获得的平均累积奖励来报告所研究算法在特定任务上的性能,并对结果的统计显著性进行分析。底层算法的性能结论本文提出了一种用于深度强化学习任务降维优化的框架,该框架利用马尔可夫毯分析和权重冻结技术,仅筛选并演化强化学习策略中具有因果本质的参数。基于STMB的内在维度识别方法平均而言,仅将原始网络参数中不到3%的认定为对所有七种评估过的强化学习任务性能至关重要的参数。换言之,所提出的方法实现了……CRediT作者贡献声明奥拉达约·S·阿贾尼:写作——初稿撰写,写作——审阅与编辑,软件,方法论,形式分析,概念设计。李钟泰克:写作——审阅与编辑,资金获取。朴秉哲:写作——审阅与编辑,验证,资源,资金获取。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。致谢本研究得到了韩国庆北国立大学计算机科学与工程学院教育部的BK21 FOUR项目(人工智能驱动的融合软件教育研究计划,编号4120240214871)以及韩国政府资助的韩国国家研究基金会(NRF)项目(MSIT,编号RS-2021-NR060080)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号