编辑推荐:
这篇综述针对强化学习(RL)的安全与离线学习难题,提出了一种整合累计成本约束与行为策略正则化的离线约束策略优化新框架,并通过拉格朗日对偶性(Lagrangian duality)推导了其解析解。为预防分布偏移(distribution-shift)导致的不安全动作,文章创新性地引入了基于条件变分自编码器(CVAE)的“安全锚定”机制,将策略更新限制在离线数据定义的安全区域内,从而提升了算法在实际部署中的安全鲁棒性。
亮点 (Highlights)
- •
我们运用拉格朗日对偶性(Lagrangian duality)为安全离线约束策略优化问题找到了一个“标准答案”(解析解),并且证明,按照这个答案一步步(迭代)更新策略,能确保策略性能“芝麻开花节节高”(单调提升),同时还能将相对于行为策略的最坏情况(worst-case)成本“关在笼子里”(有界)。
- •
我们想出了一个“安全锚定”的妙招,利用条件变分自编码器(CVAE)从离线数据中“萃取”出安全动作的分布。这就像一个“安全围栏”,明确地限制策略只能在这个安全区域内“活动”,从而把那些可能导致安全约束“越线”的分布外(Out-of-Distribution, OOD)动作“拒之门外”。
- •
我们推出了“带安全锚定的离线约束策略优化”(OCPO-SA)算法。在Safety-Gymnasium和Bullet-Safety-Gym这两个“安全考场”上进行的大量实验表明,OCPO-SA在所有测试环境中都“稳操安全券”,与对比算法中表现最佳的基线相比,平均成本足足降低了24%。
简介 (Introduction)
强化学习(RL)是一种用于序列决策的智能范式,它能让智能体(Agent)通过与环境的“互动游戏”来优化长期累积目标。相比于“有样学样”的监督或模仿学习,RL能“深谋远虑”,在游戏、自动驾驶、机器人、推荐系统等多个领域展现出了诱人的应用前景。
然而,当RL想要踏入现实世界时,越来越多的目光投向了那些“安全至上”的关键领域。在这些场景下,对安全、鲁棒AI的渴望,凸显了可靠数据驱动建模的重要性,这在不安全网络入侵检测、医疗诊断、鲁棒神经状态估计等应用中“一目了然”。因此,确保决策过程的安全不再只是“锦上添花”,而是“雪中送炭”的核心需求。但传统RL“摸着石头过河”(试错探索)的机制,往往伴随着高昂的数据收集成本和难以承受的灾难性失败风险,这在理论与现实应用之间“划下了一道鸿沟”。
为了“架起这座桥”,RL必须同时应对“数据金贵”(低样本效率)和“安全第一”(严格安全关切)这两大交织的挑战。为此,我们的工作聚焦于安全离线RL。这个范式旨在从静态数据集中学习出满足约束的策略,从而既避免了危险的在线交互,又能最大化利用已有的历史数据“宝藏”。然而,达成此目标需要克服离线学习和安全约束优化的双重“顽疾”。
离线强化学习(Offline RL) 通过从固定数据集学习、无需额外环境交互来提高样本效率。但它有个“阿喀琉斯之踵”——分布偏移:学到的策略可能产生与数据集“分道扬镳”的状态-动作分布,导致价值高估和性能“跳水”。为了缓解此问题,许多离线RL方法(例如通过隐式行为建模或保守价值正则化)将策略更新限制在行为策略附近“活动”。
安全性 是RL部署到现实系统中的另一项“铁律”。安全RL通常被建模为约束马尔可夫决策过程(CMDP),约束可以作为每个时间步的“硬杠杠”,也可以作为整个轨迹期望上的“软指标”。
将这些安全机制直接应用于静态数据集,形成了安全离线RL范式,也带来了独特且交织的复杂性。标准离线RL的分布偏移问题已被放大,因为安全约束对分布不匹配“异常敏感”。具体来说,在标准离线RL中,采取分布外动作“顶多”导致价值高估和奖励不佳;但在安全离线RL中,执行未知的分布外动作极有可能造成成本低估,进而在实际部署中引发灾难性的安全违规。此外,由于智能体被严格禁止与环境交互以“纠错”,确保离线设置下的安全性本质上“更具挑战”。
现有方法如CPQ和COptiDICE将安全离线RL建模为多约束优化问题。然而,这些工作通常缺乏对离线约束策略优化问题的理论解析解,这限制了对性能单调性的理解。而且在实际中,由于分布控制的不完美,这些方法的策略在部署时仍可能频繁违反成本约束,无法提供“铁板一块”的安全保证。
受上述讨论启发,我们致力于开发一种“理论扎实、实践安全”的安全离线RL算法。本研究的主要贡献“清单”如下:
- •
我们利用拉格朗日对偶性,为安全离线约束策略优化问题推导出了一个“标准答案”(解析解),并证明迭代策略更新能确保性能“只进不退”(单调提升),同时将相对于行为策略的最坏情况成本“锁在”有界范围内。
- •
我们提出了一个使用条件变分自编码器的“安全锚定”机制。我们从离线数据中“提炼”出安全动作的分布,从而明确约束策略更新,防止可能导致安全约束“破防”的分布外动作。
- •
我们推出了OCPO-SA算法。在Safety-Gymnasium和Bullet-Safety-Gym基准上的实验结果表明,OCPO-SA在所有测试环境中都“稳坐安全钓鱼台”,与对比算法中表现最佳的基线相比,平均成本“砍掉”了24%。
离线RL (Offline RL)
离线RL旨在从预先收集的数据集中学习RL策略。离线RL面临的“头号公敌”是分布偏移,即学习策略的分布与行为策略的分布“对不上号”。批量约束Q学习是一种可用于连续状态-动作空间任务的离线算法,它也不需要知道生成训练数据的具体行为策略是“何方神圣”。
预备知识 (Preliminary)
安全RL问题被建模为一个CMDP,它由一个六元组{S, A, P, r, c, γ}定义,其中S代表状态有限集;A代表动作有限集;P:S?×?A?×?S?→?[0, 1]是状态转移概率函数;r:S?×?A?→?R是奖励函数;c:S?×?A?→?R是成本函数;γ?∈?[0, 1)是折扣因子。安全RL的目标是找到一个策略,在满足成本约束条件的同时,最大化期望累积奖励。
离线保守策略改进分析 (Analysis of Offline Conservative Policy Improvement)
为了防止安全离线RL设置中的分布偏移,一个自然的想法是将行为正则化机制引入约束策略优化。类似于Lee等人和Xu等人的工作,我们考虑以下离线保守策略改进问题。
实验 (Experiments)
在本节中,我们首先概述实验设置,包括基线、基准、指标和实现细节。然后,我们展示实验结果与分析。在实验中,我们验证了所提方法在各种流行的安全RL任务上,有效超越了其他流行的对比方法。我们的实现配置列举如下。关于软件配置,我们使用了CUDA 11.8、Torch 1.13.1、bullet-safety-gym 1.4.0和Safety-Gymnasium。
结论 (Conclusion)
我们提出了OCPO-SA,一种新颖的安全离线RL算法。为确保安全性并解决分布偏移,我们将累计成本约束和行为正则化纳入策略优化目标,并推导了由此产生的约束策略改进问题的解析解。我们进一步分析了性能的单调提升特性,并在离线数据集分布下提供了关于期望成本有界的安全保证。在实际实现中,我们通过一个基于条件变分自编码器的“安全锚定”机制,从离线数据中“蒸馏”出安全动作分布,将策略更新明确限制在此安全区域内,以防止可能导致约束违规的分布外动作。我们在两个广泛使用的安全RL基准上进行了广泛的实验评估。与最先进的基线相比,OCPO-SA在所有测试环境中都实现了安全约束满足,平均成本降低了24%。实验结果验证了OCPO-SA在保持高样本效率的同时,实现强大安全保证的有效性。