基于大语言模型的渐进式子目标聚合长序列决策制定
《Engineering Applications of Artificial Intelligence》:Progressive subgoal-aggregated long-sequence decision-making with large language models
【字体:
大
中
小
】
时间:2026年07月08日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
李亚东|刘一良|张彤|黄波|崔震中国南京科技大学计算机科学与工程学院摘要在长时序、稀疏奖励的任务中,强化学习智能体往往因缺乏指导性的试错探索而面临严重的样本效率问题。虽然近期有一些研究将大型语言模型作为高级规划器,但它们要么假设智能体已具备一定的技能库,要么在不考虑智能体实际能力
李亚东|刘一良|张彤|黄波|崔震中国南京科技大学计算机科学与工程学院摘要在长时序、稀疏奖励的任务中,强化学习智能体往往因缺乏指导性的试错探索而面临严重的样本效率问题。虽然近期有一些研究将大型语言模型作为高级规划器,但它们要么假设智能体已具备一定的技能库,要么在不考虑智能体实际能力的情况下生成无约束的子目标,从而导致在稀疏奖励环境下执行策略的稳定性较差。为解决这些问题,本研究提出了LLMBA(基于大型语言模型的智能体技能导师与行为规划器),这是一种分层框架,其中大型语言模型在训练阶段充当技能导师,在推理阶段则担任行为规划器,通过基于语言的子任务分解,实现逐步技能获取与稳健的长时序执行。在训练过程中,一个自主的课程模块利用大型语言模型生成语义上合理的子任务,其复杂度会根据智能体能力的提升而相应调整,从而在稀疏奖励环境下逐步构建可复用的技能集。在推理阶段,一个具有闭环执行监控的迭代任务规划器会将长时序任务分解为从所学技能集中选取的可执行子任务序列,并在检测到失败时进行选择性重新规划,以此减少由大型语言模型生成的次优计划带来的错误传播。在MiniGrid和MiniHack上的大量实验表明,采用近端策略优化和优势演员-评论家算法实现的该框架,相比传统强化学习方法显著提升了任务完成率和样本效率,并且在长时序、稀疏奖励任务上表现与具有强大内在动机的方法相当。消融实验进一步验证了各组件的作用。
引言深度强化学习在众多任务中取得了令人瞩目的成就,但其应用大多局限于奖励结构相对密集或能够获取环境全局状态的场景,比如围棋等棋类游戏。相比之下,现实世界中的场景给强化学习智能体带来了巨大挑战:在大多数实际应用中,智能体很少能获得对学习过程至关重要的密集、逐步的奖励。此外,许多现实世界任务所具有的庞大探索空间进一步加剧了这一难题,导致样本效率极低。因此,智能体难以找到能够最大化长期奖励的有效策略,这成为将强化学习应用于实际场景的障碍。许多研究试图通过引入内在奖励来促进智能体的探索,以弥补外部奖励的缺失,但这些方法通常依赖无法体现任务结构且容易受环境微小变化影响的启发式奖励信号。与无方向性的好奇心不同,高效的学习往往依赖于有指导的、分阶段的技能获取,即先引入与当前能力相匹配的简单子任务,再逐步组合这些子任务以实现复杂目标。
受此启发,近期的一些研究试图通过将大型语言模型作为高级规划器或教学导师,来弥合强化学习与结构化推理之间的差距。然而,现有的基于大型语言模型的强化学习方法通常存在两类局限:一类是将大型语言模型纯粹视为高级规划器,这类方法往往假设智能体已具备一定的低级技能,这些技能通常以硬编码控制器或脚本化API的形式实现,从而导致高级推理与技能获取脱节,使得大型语言模型生成的计划与智能体的实际行为能力不一致;另一类则是利用大型语言模型驱动探索,通过生成无约束的候选子目标作为内在奖励信号,而不考虑智能体能力的变化或特定远期目标所需的顺序结构,往往导致无方向的探索以及在稀疏奖励环境下执行策略的稳定性差。为解决这些局限性,本研究提出了LLMBA,这是一种分层式的基于大型语言模型的框架,在训练阶段大型语言模型充当技能导师,在推理阶段则担任行为规划器,通过基于语言的子任务实现统一的学习与决策过程。具体而言,在训练过程中,LLMBA包含一个自主的课程模块,该模块根据智能体的观察结果和任务完成历史动态生成子任务,从简单任务开始并逐步增加其复杂度,以匹配智能体能力的提升,从而帮助智能体掌握基础技能并构建可复用的技能集,进而减轻稀疏奖励环境下巨大的探索负担。在推理阶段,一个迭代任务规划器利用大型语言模型的推理能力,将长时序任务分解为预先学习的可执行子任务序列。为避免由大型语言模型生成的次优计划带来的错误传播,该规划器还配备了闭环执行监控机制,能够实时检测执行失败并在必要时触发重新规划。这样一来,LLMBA既保持了基于语言的决策灵活性,又确保了高级计划与智能体的实际行为能力保持一致,从而实现可靠的长时序执行。从算法层面来看,LLMBA对底层强化学习算法的要求极为简单,它仅要求智能体的函数近似器能够接受基于语言的子目标作为除状态观测之外的额外输入。这种轻量级的接口使得LLMBA能够轻松与标准的策略梯度法和演员-评论家法相兼容。在本研究中,LLMBA被应用于近端策略优化和优势演员-评论家算法之上。实验在MiniGrid和MiniHack环境中进行,这两种环境都具有长时序任务和稀疏的语言化目标,非常适合评估高级推理、逐步技能获取以及可复用技能的应用能力。总之,本研究的贡献主要有三点:首先,提出了LLMBA,这是一种分层式的基于大型语言模型的强化学习框架,它将训练阶段的基于课程的、基于语言的技能获取与推理阶段的考虑执行的迭代规划相结合,通过共享的基于语言的子任务接口,减少了对手工指定技能库的依赖,提升了计划层面的适应性;其次,设计了自主的课程模块,其中大型语言模型充当技能导师,根据智能体能力的提升生成与其能力相匹配的子任务,从而在稀疏奖励环境下逐步构建可复用的基于语言的技能集;最后,开发了具有闭环执行监控的迭代任务规划器,该规划器能够将长时序任务分解为基于技能的子任务序列,并在检测到失败时触发重新规划,从而减少由大型语言模型生成的次优计划带来的错误传播。
相关工作目标条件强化学习。目标条件强化学习通过将目标状态纳入状态-动作框架,使智能体能够学习实现特定目标的策略。Schaul等人提出了通用价值函数近似器的概念,该概念将目标融入价值函数估计中,以帮助学习实现目标的策略。为进一步提升样本效率,问题描述在标准强化学习中,智能体通过与环境的交互来学习能够最大化预期累积回报的策略。这一问题通常被表述为马尔可夫决策过程,由其状态空间、动作空间、状态转移函数、奖励函数以及折扣因子共同定义。在每个时间步中,智能体会观测到当前状态,然后根据概率分布选择相应的动作,方法LLMBA采用分层架构,明确地将决策过程分为两个相互作用的层次:大型语言模型负责宏观层面的推理,即基于语言的子任务生成和任务规划,而策略网络则负责微观层面的控制,也就是在环境中执行基本动作,如图1所示。这种设计遵循两个原则:首先是语言基础性,即所有大型语言模型的输出都是从给定环境中抽取的、基于语言的子任务;实验在MiniGrid和MiniHack基准测试平台上进行了验证,旨在展示LLMBA相较于传统强化学习、分层强化学习、基于课程的强化学习以及内在奖励探索强化学习算法的具体优势,并测试其在处理长序列决策问题方面的潜力。MiniGrid是一个基于二维网格的易于使用的强化学习平台讨论本研究提出了LLMBA,这是一种基于大型语言模型的强化学习方法,其主要贡献在于拥有一个能够根据智能体能力进行技能训练的自主课程模块,以及一个用于推理阶段执行监控的闭环迭代规划器。这两个组件通过统一的基于语言的接口,将高级语言推理与低级策略学习有机结合。在MiniGrid和MiniHack环境上的大量实验表明,LLMBA始终能够提升性能。
CRediT作者贡献声明李亚东:撰写——初稿、软件、方法论。刘一良:数据整理。张彤:撰写——审阅与编辑、研究。黄波:可视化、验证。崔震:撰写——审阅与编辑、研究、资金获取。
利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文的研究成果。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号