面向重放攻击与非仿射执行器故障的混沌系统的基于强化学习的预定时最优控制
《Chaos, Solitons & Fractals》:Reinforcement learning-based prescribed-time optimal control for chaotic systems with replay attacks and non-affine actuator faults
【字体:
大
中
小
】
时间:2026年10月22日
来源:Chaos, Solitons & Fractals 5.7
编辑推荐:
• 引入强化学习来评估控制性能并构建控制器。• 设计预设时间控制器以提高控制性能。• 将重放攻击建模为反馈通道中的未知时滞扰动。• 考虑具有未知时变输入功率的非仿射执行器故障。
**引言**
作为机器学习的一个关键分支,强化学习(RL)通过智能体与环境之间的持续交互,利用
• 引入强化学习来评估控制性能并构建控制器。• 设计预设时间控制器以提高控制性能。• 将重放攻击建模为反馈通道中的未知时滞扰动。• 考虑具有未知时变输入功率的非仿射执行器故障。
**引言**
作为机器学习的一个关键分支,强化学习(RL)通过智能体与环境之间的持续交互,利用试错机制最大化累积奖励,从而在未知环境中实现对最优决策策略的自适应学习[1]、[2]、[3]。在控制工程领域,强化学习为解决涉及未知模型和环境不确定性的问题提供了一种全新的范式,已被广泛应用于机器人控制、自动驾驶和交通信号优化等领域[4]、[5]、[6]。尽管最优控制能够为动态系统寻求最大化给定性能指标的控制策略,但传统的求解Hamilton-Jacobi-Bellman(HJB)方程的最优方法在处理强非线性和高维性问题时面临严重的维数灾难[7]、[8]、[9]。通过在线与系统持续交互以优化控制策略,强化学习可以有效避免对精确系统模型的依赖,为解决最优控制问题提供了一种新的数据驱动范式[10]、[11]。尽管这种结合方法在非线系统控制中展现了巨大的潜力,但将基于强化学习的控制扩展到涉及多重不确定性的复杂系统仍然具有重要意义。
由于混沌系统对初始条件极度敏感且具有丰富的非线性动态行为,在安全通信、图像加密和信号处理等领域展现出了显著的应用潜力[12]、[13]、[14]。混沌系统的同步控制一直是非线性控制领域的研究热点,近年来取得了丰富的成果[15]、[16]、[17]、[18]、[19]。此外,作为控制系统中执行指令的关键组件,执行器在长时间运行过程中不可避免地面临增益退化和偏差漂移等问题,导致故障严重影响系统性能和安全性[20]、[21]、[22]。然而,在实际工程应用中,执行器性能退化往往导致输入输出映射的非线性畸变,使得输入功率随运行时间和工况发生漂移。现有研究[23]、[24]、[25]已明确指出,忽略输入功率变化将导致理论模型与实际性能之间产生不可忽视的偏差。此类非仿射故障广泛应用于风力发电和高超音速飞行器等领域。因此,针对全新形式的执行器故障进行研究,具有显著的理论价值和实际意义。
随着通信技术的快速发展,网络化控制系统成为现代控制理论的研究前沿[26]、[27]、[28]、[29]。然而,网络通信的高开放性和脆弱性使控制指令和状态数据极易受到恶意攻击,给系统稳定性和安全性带来严峻挑战[30]、[31]、[32]。由于重放攻击具有高隐蔽性和执行简单性,已成为最具威胁的攻击方式之一。在重放攻击中,攻击者非法截获传感器或控制器之间的通信数据包,在特定时刻将先前记录的历史信号重新发送给目标系统[33]、[34]、[35]。此类攻击对系统安全防御构成了严峻挑战。由于对系统性能的要求日益严格,传统控制方法无法满足工业应用中稳态误差精度的定量要求。因此,研究人员提出了柔性控制方法来提升系统控制性能[36]、[37]、[38]、[39]。为进一步提高控制系统的运行效率,一些具有预设时间性能(PTP)的控制策略被提出[40]、[41]、[42]。这两个概念的引入与融合使系统能够更快速、更精确地响应实际工程场景,对工程研究具有重要意义。
受上述研究的启发,本文研究了遭受重放攻击和非仿射执行器故障(NAAF)的Liu混沌系统的自适应强化学习预设时间控制问题。主要贡献如下:
(1)与传统的HJB最优控制方法[7]、[8]、[9]以及有限时间/固定时间控制器[16]、[17]、[18]、[24]不同,本文提出的演员-评论家(actor-critic)框架能够在不依赖精确模型的情况下在线学习最优策略,所提出的预设时间控制器可确保同步误差在任意设定时间内收敛,且收敛时间独立于初始状态。针对最优控制与预设时间控制同时存在时的耦合效应,本文将预设时间增益嵌入HJB方程中,确保最优控制器的解包含收敛时间约束,从而实现最优性与预设时间收敛的协调设计。
(2)与常见的具有线性增益和偏差故障的容错控制结果[20]、[21]、[22]相比,本文提出了一种新的非仿射执行器故障,其涉及未知时变输入功率,这对控制设计提出了挑战。此外,本文将重放攻击建模为随机时滞扰动,并使用滤波器重构历史状态。为应对故障与攻击引起的结构性耦合,本文将Bernoulli凸模型与有限覆盖原理相结合以表征攻击影响,并采用自适应估计方法补偿由攻击、故障和饱和引起的集总不确定性。
**问题描述**
本文考虑一类Liu混沌系统,主系统和从系统的数学模型分别如(1)、(2)所示:
主系统:
??,? = 10(x?,? - x?,?)
??,? = 40x?,? - x?,?x?,?
??,? = -2.5x?,? + 4x?,?2
从系统:
??,? = 10(y?,? - y?,?)
??,? = 40y?,? - y?,?y?,? + ū?
??,? = -2.5y?,? + 4y?,?2 + ū?
其中x?,?、y?,?(i = 1, 2, 3)表示系统状态,ū?和ū?表示饱和控制输入。
输入饱和的具体形式表示为:
ū? = sat(u?^F) =
{ u_max, u?^F > u_max
u?^F, -u_max ≤ u?^F ≤ u_max, j = 1, 2
-u_max, u?^F < -u_max }
**具有预设时间的最优容错控制器设计**
首先,定义误差变量为:
z? = y??,? - x??,?
z? = y??,? - x??,? - α?_f
z? = y??,? - x??,?
其中α?_f表示最优虚拟控制器α的滤波器输出,该信号由以下一阶滤波器导出:
Γ α??_f + α?_f = α - (2π/T?)Ψ?2(α?_f - α) - (2π/T?)Ψ?2(α?_f - α)
其中α?_f(0) = α(0),0 < Γ < 2/11为常数,可得α??_f = -(1/Γ)(ω + (2π/T?)Ψ?2(ω) + (2π/T?)Ψ?2(ω)),并定义滤波误差为ω = α?_f - α。
在最优控制框架中,定义代价函数θ? = z?2 + (•)2来评估控制……
**仿真实例**
本节通过数值仿真验证所提出的理论方案的有效性。
主系统的初始值选取为x?,?(0) = 1, x?,?(0) = 2, x?,?(0) = 10;从系统的初始值选取为y?,?(0) = 10, y?,?(0) = 20, y?,?(0) = 0。预设时间常数设为T? = 3√2 s。重放攻击的时间间隔为t ∈ [4, 6]、t ∈ [11, 13]、t ∈ [20, 22],攻击引起的时滞常数为ε = 1 s。执行器故障函数……
**结论**
本文研究了基于强化学习的统一混沌系统的预设时间最优控制问题。通过引入演员-评论家框架,本文同时优化了执行代价和控制性能。对于所考虑的重放攻击,本文通过结合Bernoulli随机变量、有限覆盖原理和一阶滤波器实现了在线补偿。为更好地处理执行器故障,本文利用了执行器的有界特性……
**CRediT作者贡献声明**
杨亚东:撰写——初稿,验证,概念构思。
沈启坤:撰写——审阅与编辑,资金获取,概念构思。
**利益冲突声明**
作者声明不存在任何可能影响本文工作的已知竞争性财务利益或个人关系。
**致谢**
本研究得到了国家自然科学基金资助(批准号:62273300)。
杨亚东 | 沈启坤