基于约束强化学习的神经网络编码控制策略安全保障

《IEEE Open Journal of Control Systems》:Safety Guarantees for Neural Network-Encoded Control Policies Through Constrained Reinforcement Learning

【字体: 大 中 小 】 时间:2026年03月12日 来源:IEEE Open Journal of Control Systems 2.1

编辑推荐:

  摘要:强化学习目前还无法生成具有安全保障的控制策略。尽管这类数据驱动的控制算法在研究环境中取得了显著成效,但这仍是其在现实问题中应用的一大障碍。因此,本文探讨了安全约束强化学习的方法,旨在在训练过程中乃至训练结束后,都能可靠地生成具有安全保障的控制策略。首先,我们基于状态空间中的

  

摘要:

强化学习目前还无法生成具有安全保障的控制策略。尽管这类数据驱动的控制算法在研究环境中取得了显著成效,但这仍是其在现实问题中应用的一大障碍。因此,本文探讨了安全约束强化学习的方法,旨在在训练过程中乃至训练结束后,都能可靠地生成具有安全保障的控制策略。首先,我们基于状态空间中的明确支撑样本,为控制策略的参数空间设定一系列约束条件。接着,我们引入了一种新的属性,拓展了通常所知的控制不变性概念,从而能够为神经网络编码的控制策略构建安全保障。我们提出通过这些安全约束来扩展策略优化问题,从而确保在每一个中间学习步骤以及最终得到的控制策略中都能满足系统约束条件。为了解决这个非线性约束优化问题,我们采用了原始内点法,该方法便于使用一阶求解器。最后,我们通过数值实验验证了这种带有安全约束的强化学习控制方法的有效性。研究还表明,引入策略约束能够改善收敛性能,并降低训练过程的随机性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号