《Electronics》:Evaluation of Multi-Model Architecture Against Single-Model PPO in the MiniGrid Environment
编辑推荐:
在强化学习中,奖励稀疏性是求解复杂问题时的一个显著难题。在某些环境中,只有在通过多个步骤成功解决问题之后才会给予奖励,此时用于优化的信号可能过于微弱,从而阻碍智能体学习。然而,这一问题可以通过将复杂问题拆解为一组更简单的任务来解决,并使智能体学会执行这些任务。
在强化学习中,奖励稀疏性是求解复杂问题时的一个显著难题。在某些环境中,只有在通过多个步骤成功解决问题之后才会给予奖励,此时用于优化的信号可能过于微弱,从而阻碍智能体学习。然而,这一问题可以通过将复杂问题拆解为一组更简单的任务来解决,并使智能体学会执行这些任务。本文提出了一种可能的解决方案,即采用专家混合(Mixture-of-Experts, MoE)架构。该方案分别使用独立模型进行规划、专家输出路由以及单一子任务求解。该方案在MiniGrid环境中实现,MiniGrid允许设计任意复杂的问题。本文结果表明,多模型智能体相比单一强化学习智能体,能够求解由多个步骤构成的更复杂问题。
本文发表于《Electronics》,研究聚焦于强化学习(Reinforcement Learning, RL)在稀疏奖励条件下求解多步骤复杂任务时面临的核心瓶颈。传统端到端RL智能体在环境奖励仅于任务末端给出时,常因信用分配问题而难以判断中间动作对最终成功的贡献,尤其在任务包含多个相互依赖的子步骤时,这一问题会进一步放大。MiniGrid作为一个轻量、可扩展且适合研究层次规划与长时程决策的网格环境,为检验复杂任务分解策略提供了良好平台。研究人员正是针对单体式近端策略优化(Proximal Policy Optimization, PPO)模型在复杂、多阶段任务中的学习停滞问题,提出了一种由大语言模型(Large Language Model, LLM)与专家混合(Mixture-of-Experts, MoE)共同组成的模块化架构,意在将全局规划与局部执行解耦,通过任务分解减弱奖励稀疏的不利影响。
现有问题主要体现在三个层面。其一,单一RL策略在长序列依赖任务中容易因反馈延迟而难以收敛;其二,即便借助课程学习(curriculum learning)或子目标奖励塑形(reward shaping),许多方法仍然保留单一策略结构,未真正实现决策专门化;其三,将LLM直接置于每一步动作决策中虽可利用其推理能力,却会带来高昂计算开销与上下文窗口限制。基于这些不足,研究人员开展本研究,旨在验证一种训练与推理职责分离的架构:训练阶段保持标准RL流程不变,推理阶段仅在每个回合开始时调用一次LLM生成高层子任务序列,再由专门训练的PPO专家分别执行对应子任务,并由门控网络(gating network)进行硬路由(hard routing)选择。该研究的目的不是穷尽比较所有层次强化学习范式,而是建立一个在MiniGrid稀疏奖励条件下可实际工作的模块化基线。
研究人员首先扩展了MiniGrid(v3.0.0)环境,使其能够更精确地控制任务复杂度,并输出结构化文本场景描述,以支持LLM规划。环境网格大小固定为11 × 11,复杂度主要由房间数和每个房间中的物体数决定。为避免出现不可解场景,研究中对物体放置施加了约束,并保留默认环境动力学及奖励结构,仅额外引入专用“done”动作,用于在子任务完成时将控制权返回门控模块。由于初步实验表明专家模型难以学会完整的“钥匙—门”交互机制,研究中在训练阶段将房间之间的门保持为未上锁状态,并额外在房间内随机加入锁门,以暴露模型于相关观测,从而缓解推理阶段对锁门场景的混淆。这一处理也说明,研究人员严格围绕实际训练表现对环境进行了针对性设计。
方法上,专家策略采用PPO算法训练。PPO作为策略梯度(policy gradient)方法,通过裁剪(clipping)机制近似信赖域约束,以避免策略更新过大带来的不稳定性。研究使用“stable baselines 3”(v2.7.0)实现PPO,并为MiniGrid状态构建了自定义神经网络。状态输入包括三个模态:表示智能体朝向的方向输入、表示局部观察窗口的图像输入,以及由当前任务文本分词得到的任务输入。三个子网络分别提取特征后拼接,再送入策略头和值函数头。值得注意的是,研究发现完全可观测环境反而不利于学习,因此最终采用MiniGrid默认的7 × 7自我中心局部观测视图,以保持部分可观测性。超参数方面,研究使用“Hydra”(v1.3.2)中的PB2算法进行基于群体的超参数搜索,并将训练拆分为多个连续阶段,以缓解后期更新步数过多所引发的不稳定问题。
简要而言,作者采用了四项关键技术方法:其一,在扩展的MiniGrid环境中构建可控复杂度的多房间任务,并生成结构化文本场景描述;其二,使用PPO训练若干独立专家策略,分别求解“go to goal”“go to ”“toggle ”与“pick up ”等预定义子任务;其三,以监督学习方式训练硬门控网络,将LLM输出的子任务路由到对应专家;其四,在推理阶段调用qwen3:30b大语言模型,仅于每个回合开始时根据场景文本与全局任务生成子任务序列。实验评估包含训练稳定性分析、与无LLM的端到端PPO基线比较,以及前100个回合的人工核验。
研究结果部分可按论文原有结构加以概括。
3.1. Environment
研究人员在MiniGrid中实现了自定义环境扩展,以支持复杂任务分解与LLM规划。通过控制房间布局、门状态、钥匙与箱体配置,环境能够生成多步骤任务,同时保证场景可解。文本化场景描述仅保留房间数量、门状态、房间内对象及总体任务等关键要素,以减少提示词冗余并提升LLM规划质量。相关实验说明,适度简化输入描述有助于提升LLM输出有效性。
3.2. Proximal Policy Optimization
研究中将PPO作为专家学习算法,利用裁剪式目标函数稳定策略更新。结果显示,PPO能够有效学习单一、明确的子任务,但当其被用于直接学习全局复杂任务时,性能明显受限。这一发现构成后续采用任务分解与模块化执行框架的直接依据。
3.2.1. Policy
研究设计了一个多输入神经网络,用于处理方向、局部视觉状态与文本任务三类信息。该结构支持部分可观测环境中的策略学习。实验中发现,采用局部视野优于完全可观测状态,原因在于后者连续状态差异过小,不利于模型提取有区分度的学习信号。
3.2.2. Hyperparameter Search
通过群体式超参数搜索与多阶段训练策略,研究提升了专家模型训练稳定性。后期采用更少的更新轮次与更低学习率,可在避免训练震荡的同时获得渐进式性能提升。这一训练方案对较难的“pick up”与“toggle”子任务尤为关键。
3.3. Mixture of Experts
研究构建了基于硬路由的MoE架构。与经典联合优化的软门控MoE不同,本研究中的专家先独立预训练,再由门控网络根据子任务文本选择单个专家执行。门控网络采用监督学习训练,输出one-hot路由向量。研究指出,在固定词汇条件下,确定性字符串匹配原则上也可完成此任务,但训练式门控网络对LLM输出的轻微措辞变化更具鲁棒性,并为未来扩展到软门控保留了结构上的可能性。
3.4. Large Language Model
LLM在本研究中仅承担高层规划职能。每个回合开始时,场景文本描述与全局任务输入LLM,由其生成预定义格式的逐步子任务计划;之后LLM不再参与本回合决策。采用的模型为qwen3:30b。人工核验前100个回合的结果显示,LLM在该样本中未出现规划错误,说明整体系统失效主要来自执行模块而非规划模块。
4. Experimental Results
实验首先训练四类专家模型。结果显示,“go to goal”最容易学习,仅需两轮训练即可达到最大可能性能;“pick up”训练时间显著更长,需要五轮训练且后续收益递减。不同随机种子下,四类专家都表现出一致的单调提升与最终收敛趋势,没有出现完全学不会或发散的情况,说明专家训练在定性上较为稳定,但较难子任务在最终性能水平上存在一定方差。
作为对照,研究人员还训练了不使用LLM的端到端PPO模型,使其直接解决全局复杂任务。结果表明,该模型在训练早期有所提升,但很快在较低水平处平台化,后续训练也难以继续改善。这与研究假设一致,即单一PPO策略难以解决需要多步依赖与长期规划的任务。
专家泛化测试结果表明,各专家在自身训练任务上表现最佳,而在未训练任务上平均奖励接近零,说明专家功能分化明确。其中“toggle”与“pick up”性能明显低于“go to goal”与“go to object”,这也成为限制整体系统成功率的关键因素。因为在LLM + MoE架构中,全局任务能否成功取决于所有子任务是否依次执行成功,任何一个专家执行失败都可能导致整回合失败。
模型比较结果显示,在复杂多步骤任务上,“PPO”单模型方案表现最差;引入LLM后的“LLM + PPO”获得显著提升;“LLM + Mixture of Experts”则取得最佳成绩。研究据此得出结论:当复杂问题可被分解为已知简单子任务时,由LLM负责分解、由专门专家负责执行的多模型体系,比在同一复杂度下由单一RL模型端到端求解更有效。按子任务数量分层分析可见,单一子任务场景下各模型差异较小,但随着子任务数增加,所有模型奖励均下降,且带有LLM规划的模型始终大幅领先。
对前100个回合的人工记录进一步验证了这一点。在简单目标场景中,各模型都能完成任务;在包含3个子任务的场景中,需完成“拾取钥匙—开门—到达目标”等步骤,此时LLM引导的模型明显优于无语言模型基线;在4个子任务场景中,钥匙被置于箱体内,任务复杂度进一步提高。由于4个及以上子任务的样本数较少,相关结果统计可靠性有限,但总体趋势仍支持模块化架构的优势。值得注意的是,无语言模型基线曾偶然成功解决一个3子任务场景,原因是出现了“顺路拾取障碍物比绕路更优”的涌现行为,而该障碍物恰好是钥匙。这一观察并未改变整体结论,反而说明端到端PPO的成功更多源于偶发策略,而非稳定的规划能力。
讨论部分强调,该模块化架构为稀疏奖励与长时程任务提供了有前景的研究方向。规划与执行的显式分离降低了单体策略中的任务干扰问题,但同时引出新的研究问题,例如专家应如何自动定义、LLM与专家模块应如何更自然地耦合、以及是否能够在无文本中间表示的情况下直接将环境状态输入多模态模型。研究人员也明确指出,本文的主要目标是与广泛使用的平坦RL基线PPO进行对比,而非全面优于所有层次强化学习方法;后续工作应在此有效基线上系统比较options、feudal结构与子目标驱动等层次RL方案。论文还讨论了若干改进方向,包括使用软门控MoE以支持自组织专家、学习式提示词设计、以小型LLM替代简单GRU处理文本任务输入,以及利用更强的多模态模型直接理解图像状态。此外,当前验证仅限于MiniGrid,未来应在更复杂环境、机器人迁移与群体机器人(swarm robotics)场景中检验其可扩展性。
研究结论部分可译述如下:本文围绕强化学习中的稀疏奖励问题开展研究,并提出一种层次化架构作为解决方案。该方案通过在稠密奖励子任务环境中训练RL智能体,并将其与LLM结合以处理全局稀疏性,从而有效缓解了相关困难。该方法的另一项优势在于模块化。随着新LLM不断出现,仅需调整单一配置参数即可升级规划模块,从而有望解决更复杂任务。与相关研究相比,本文方案避免了让LLM直接逐步控制智能体所带来的额外负担,也避免了在训练阶段引入LLM而造成的大幅计算开销。通过将LLM置于推理阶段执行高层规划,并让RL负责低层执行,研究实现了训练复杂度下降、训练速度提升以及硬件门槛降低,同时更充分地发挥了两类技术各自的优势。总体而言,本文实证表明,在MiniGrid环境中,相较单模型PPO基线,基于LLM规划与MoE执行的多模型架构更适合求解多步骤、相互依赖且奖励稀疏的复杂任务。