基因增强型交叉熵强化学习

《Neurocomputing》:Genetic-Enhanced Cross-Entropy reinforcement learning

【字体: 大 中 小 】 时间:2026年03月24日 来源:Neurocomputing 6.5

编辑推荐:

  提出GA增强的CEM强化学习框架GECE-RL,通过周期性遗传算法探索弥补交叉熵方法的探索不足,结合行为新颖性注入机制灵活优化探索,实验表明在12个RL基准任务中相比基线方法训练时间减少49%,性能提升9.88%,自动驾驶任务成功率提高18.2%。

  
张瑶|黄平|傅铮|张瑞

摘要

进化强化学习(ERL)在计算效率与高性能之间难以取得平衡。仅依赖交叉熵方法(CEM)的方法探索能力有限,而基于遗传算法(GA)的方法优化效率较低。现有的混合方法通常会增加复杂性,从而削弱计算优势。为了解决这些问题,我们提出了遗传增强型交叉熵强化学习(GECE-RL)。其主要动机是建立一种单向增强策略。在这种机制下,GA定期进行积极探索,以辅助主要的CEM优化器。因此,我们可以在不引入复杂耦合的情况下有效克服CEM的探索限制。具体来说,我们的方法引入了两个核心组件:(i)遗传增强型CEM策略,该策略实现了这种非对称协作,形成了一个协同循环;(ii)灵活的行为新颖性注入(BNI)组件,该组件促进策略多样性,并在GA阶段过滤掉冗余个体。这种设计建立了一个协同循环:CEM作为稳定、高效的优化核心,而GA则作为定期的探索辅助工具。实验结果表明,与基线方法相比,GECE-RL将训练时间减少了49%,最终性能提高了9.88%,在真实世界自动驾驶任务中的成功率提高了18.2%。GECE-RL的代码已开源,链接为:https://github.com/Sofilyzia/gece-rl.git。

引言

进化算法(EAs)是一类无需梯度的优化方法[1]。遗传算法(GA)[2]和交叉熵方法(CEM)[3]是EAs中的两种经典方法,GA模仿物种选择和个体变异,而CEM基于概率分布。EAs以其强大的探索能力和全局收敛性而闻名,但它们面临样本效率低[4]等挑战。强化学习(RL)是一系列决策方法,它在优化方面表现出色,并且在多个领域都有良好的应用[5],但也存在探索能力有限和收敛性差的问题[6]。进化强化学习结合了EAs和RL的优势[7],在优化问题和序列决策任务中展示了出色的性能[8]。
现有的进化强化学习方法通常面临两个核心挑战:(i)设计的进化机制难以在计算效率与整体性能之间实现帕累托最优[9]。在进化强化学习框架中,CEM和GA是最常用的两种进化机制[7]。然而,CEM存在探索覆盖范围低的问题,而GA的优化能力不足[10],导致仅基于CEM或GA的方法在复杂任务中难以持续获得优异性能[8]。现有的优化进化过程的方法依赖于复杂的机制,例如引入多个RL学习器、将模仿学习应用于选择操作符或添加额外的Q值过滤来淘汰低质量个体[11]。虽然这些方法在特定场景下可能带来好处,但它们往往会增加算法复杂性,并掩盖了简单框架的潜在优势。因此,它们可能会降低计算效率,而不总是带来有意义的性能提升。(ii)缺乏灵活的组件来减少不必要的探索。现有方法要么忽略种群中个体的冗余行为[12],要么将避免冗余的过程与算法框架紧密集成,大大限制了算法的灵活性[13]。
本文通过利用CEM和GA的特点,探索了进化强化学习中效率和性能的帕累托前沿,提出了一种新颖的遗传增强型CEM策略。该策略在保持算法简单性的同时,增强了探索能力和性能。由于该策略的整体性能优异,可以显著减少RL迭代次数,从而从根本上提高计算效率[14]。此外,还提出了行为新颖性注入(BNI),该组件鼓励策略新颖性,以灵活地减少种群个体之间的冗余探索。所提出的方法构建了CEM和GA的核心优势的映射,有效促进了种群的稳定进化。
我们的主要贡献如下:
  • •
    GA和CEM之间的新型协作策略:我们引入了一种单向的、时间映射的合作伙伴关系,其中GA定期进行积极探索,以辅助主要的CEM优化器。这种策略克服了CEM的探索限制,而无需复杂耦合的混合机制。
  • •
    一种增强探索多样性的灵活机制:我们提出了BNI,这是一种解耦的组件,可以促进策略新颖性并过滤需要注入的个体。BNI特别改善了GA的探索过程,为冗余探索提供了灵活的解决方案,且不与我们的主要框架紧密绑定。

章节摘录

进化算法

进化算法是黑盒优化方法,它们可以在不需要过程可微分的情况下迭代地生成更好的策略[15]。EAs的进化过程通常包括以下步骤:(i)随机初始化一个种群。

相关工作

进化强化学习旨在利用基于种群的进化算法和基于梯度的强化学习的互补优势。该领域主要沿着两条路径发展。第一条路径以基础ERL框架[23]为代表,它在遗传算法和中央RL代理之间建立了协同循环。在这里,通过GA进化出的代理种群丰富了共享的经验回放缓冲区,从而加速了

方法论

所提出的GECE-RL能够在计算效率与整体性能之间实现最佳平衡。它包括两个核心组件:(i)遗传增强型CEM策略,该策略在第1节中介绍,并已初步验证了其潜力;(ii)行为新颖性注入,它灵活地减少了个体之间的探索区域重叠。

基准测试和基线

为了全面评估GECE-RL的性能,实验基线包括结合了EAs和RL的先进方法,以及经典的RL方法,即TD3、SAC [37]、PPO [38]和DDPG [39],共11种具有竞争力的方法。GECE-RL框架在12个经典RL任务中进行了系统评估。注意,BipedalWalkerHardcore使用的是v3版本,而所有其他环境使用的是v2版本。
为了确保公平比较,所有方法都

结论

本文解决了进化强化学习中计算效率与性能之间的平衡问题,现有混合方法往往引入了过多的复杂性,影响了其实用性。为此,我们提出了GECE-RL,这是一个基于两项关键创新的新框架。首先,遗传增强型CEM策略在两种进化算法之间建立了非对称的协作关系。其次,灵活的行为新颖性注入

CRediT作者贡献声明

张瑶:撰写——原始草稿,方法论部分。黄平:撰写——审阅与编辑。傅铮:撰写——审阅与编辑。张瑞:撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

作者感谢中央高校基本科研业务费(项目编号3072024LJ0406)的支持。

写作过程中生成式AI和AI辅助技术的使用

在准备这项工作时,作者使用了GPT-5来帮助完善和提升内容的清晰度和语言表达。使用该工具后,作者根据需要审查和编辑了内容,并对发表文章的内容负全责。
张瑶目前正在哈尔滨工程大学攻读人工智能硕士学位。他的研究兴趣包括强化学习和智能决策,同时也在研究自动驾驶和大规模语言模型。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号