基于数据的同伦强化学习在完全未知的Takagi-Sugeno模糊马尔可夫跳跃系统的自适应跟踪控制中的应用

《Communications in Nonlinear Science and Numerical Simulation》:Data-Driven Homotopic Reinforcement Learning for Adaptive Tracking Control of Completely Unknown Takagi–Sugeno Fuzzy Markovian Jump Systems

【字体: 大 中 小 】 时间:2026年09月25日 来源:Communications in Nonlinear Science and Numerical Simulation 3.8

编辑推荐:

  **摘要** 本文研究了基于Takagi–Sugeno(T–S)模糊规则表示的完全未知非线性马尔可夫跳跃系统的自适应跟踪控制。为了解决策略迭代式强化学习的初始化瓶颈问题,我们提出了一种数据驱动的同伦 Actor-Critic 框架,该框架从规范化的贝尔曼问题出发,直接过渡到原

  **摘要**
本文研究了基于Takagi–Sugeno(T–S)模糊规则表示的完全未知非线性马尔可夫跳跃系统的自适应跟踪控制。为了解决策略迭代式强化学习的初始化瓶颈问题,我们提出了一种数据驱动的同伦 Actor-Critic 框架,该框架从规范化的贝尔曼问题出发,直接过渡到原始的最优跟踪目标,而无需手工设计稳定的初始策略。跟踪问题是在一个包含折扣模式耦合成本的增强误差-参考状态上构建的,这确保了在持续参考情况下价值函数的存在性。对于同伦框架,我们建立了贝尔曼算子的收缩相关规则性,推导出了相对于原始最优价值函数的显式同伦逼近界限,并证明了在函数逼近误差下的策略改进和近似 ε-最优性。在实际应用中,该实现仍然是数据驱动的:Critic 评估和策略学习使用采样的状态、输入和模式轨迹,无需预先知道系统的局部矩阵或转移概率;Actor-Critic 实现使用了状态-动作(Q形式)Critic,因此策略梯度计算不需要任何关于植物动态的替代模型。在三个基准测试(一个非线性模糊马尔可夫跳跃跟踪问题、一个随机模糊流行病干预模型和一个机器人臂跟踪问题)上的蒙特卡洛实验表明,所提出的方法比从零开始的 Actor-Critic 方法性能显著提升,特别是在机器人臂基准测试中效果尤为明显。通过控制性消融实验(其中策略迭代使用相同的初始行为策略进行训练,但在匹配的交互预算下不使用连续性),我们确定了这一优势的来源:它源于锚定的、安全初始化的学习过程,而非同伦路径本身;这一过程在其中一个基准测试中带来了小幅度的好处,在另一个基准测试中没有明显效果,在第三个基准测试中则带来了轻微的惩罚。另一个故意使用无信息锚点的消融实验表明,该方法不依赖于精心设计的初始行为策略。因此,我们将同伦连续性视为提供上述理论保证的机制,将锚定初始化视为实现实证收益的关键因素,而不是将性能提升直接归因于连续性本身。

**引言**
对于非线性随机混合系统而言,自适应跟踪控制仍然是一个核心研究课题,因为突然的制度切换、结构不确定性以及持续的参考值共同挑战了建模、稳定性分析和数值计算。马尔可夫跳跃系统(MJSs)为随机制度切换提供了一个原理性的框架[1],而Takagi–Sugeno(T–S)模糊模型通过加权局部模型为非线性动态提供了可行的表示方法[2]。强化学习(RL)和自适应动态规划(ADP)在这种背景下特别具有吸引力,因为它们可以直接从轨迹数据中获取近乎最优的反馈,从而减少了对精确模型识别的依赖[3]、[4]。

**第一个比较类别:ADP/RL 泰跟踪 for Markovian Jump Systems**
这一领域的研究建立了增强状态跟踪和折扣公式,并针对部分已知或完全未知的跳跃动态开发了 Actor-Critic 或 IRL 更新方法[5]、[6]、[7]、[8]、[9]。这些研究奠定了关键基础,但在许多实现中,策略更新仍然对初始化敏感,并且实际上依赖于用户选择的起始控制器或在选定基线附近的梯度训练。相比之下,本文保持相同的难点——完全未知的 T–S 模糊 MJS 跟踪问题以及持续的参考值——同时保留了增强状态折扣目标,但重新设计了学习流程,使得控制器是通过同伦连续性获得的,而不是通过手工设计的稳定初始策略。

**第二个比较类别:基于同伦/连续性的 RL**
现有的同伦研究显示,规范化路径可以提高优化稳定性,并可以放宽非线性控制学习中的严格初始化要求[10]。通常不太明确的是,对于完全未知的 T–S 模糊 MJSs 的跟踪问题,如何进行离散时间的、模式耦合的贝尔曼算子分析。我们在这个类别中的贡献不是提出一个新的同伦原理,而是将其专门应用于当前的随机混合跟踪问题,并采用算子级别的公式:我们定义了一个离散时间的同伦贝尔曼族,将 ??=0 与简化的规范化问题联系起来,将 ??=1 与原始目标联系起来,并将这一路径与数据驱动的 Actor-Critic 实现相结合。

**第三个比较类别:具有更强结构假设的模糊/跳跃控制论文**
一些相关研究考虑了非脆弱输出反馈、事件触发、区间型2模糊结构、延迟/故障通道或其他丰富的架构[11]、[12]、[13]、[14]、[15]、[16]。这些研究很有价值,但它们通过增加建模结构或辅助机制解决了不同的问题变体。本文有意保持标准的 T–S 模糊 MJS 跟踪问题,并在完全模型不确定性的情况下提出了一个具体且狭义的进展:一种数据驱动的同伦 Actor-Critic 设计,它消除了手工设计的稳定初始化,并得到了与收缩相关的算子分析、同伦逼近界限、策略改进保证和近似贪婪性能界限的支持。我们明确指出,这一进展在于学习流程本身,而不是模糊建模;该方法没有利用 T–S 规则的隶属函数或凸组合结构,也没有声称具有特定于模糊的机制(详见备注1)。因此,这种新颖性被定位为针对这一特定环境的集中整合,而不是对所有模糊/跳跃 RL 框架的普遍优势。

**主要贡献**
与现有文献相比,我们的主要贡献如下:
(C1) 我们为完全未知的模式依赖非线性植物制定了跟踪问题,采用增强误差-参考状态和折扣模式耦合成本,这适用于持续的参考轨迹,符合标准 T–S 模糊马尔可夫跳跃设置。模糊表示固定了植物的规则性类别,而不是进入算法本身;详见备注1。
(C2) 我们引入了一个同伦规范化的贝尔曼方程,它将以行为策略为中心的控制问题连续变形为原始的最优跟踪问题,消除了设计者提供稳定初始策略的要求。我们明确指出,这种构建的动机在于它所提供的保证,而不是经验上的速度优势;详见(C4)。
(C3) 我们证明了同伦贝尔曼算子的收缩性质,推导出了相对于原始最优价值函数的显式同伦误差界限,并为 Actor-Critic 实现建立了策略改进和近似 ε-最优性结果。我们还给出了用于跟踪稳定性分析的 Lyapunov 可比性条件的显式且始终满足的充分条件,以及一个数值上可检验的程序来收紧其常数。
(C4) 我们采用了配对的统计推断协议——自助置信区间、配对 t-检验、Wilcoxon 符号秩检验和 Holm 调整的 p-值,应用于三个基准测试的四个指标,并通过控制性消融实验验证了这一流程的两个组成部分。用相同的初始行为策略启动策略迭代,但在匹配的交互预算下取消连续性,结果表明,相对于从头开始的训练,实证优势来源于锚定的初始化,而不是同伦路径本身。我们在第6.5节中完整报告了这一负面结果,因为它界定了所提出的连续性在实践中能做什么和不能做什么。

**符号和预备知识**
表1总结了本文中使用的所有主要符号。

**术语**
在本文中,我们使用了三个相关但不同的术语,并在此明确了它们的含义以避免歧义。“未知动态”指的是方程(5)中的植物映射 ???:其局部矩阵 Air、Bir、air 和残差 Δr 从未被确定,而 T–S 模糊表示(2)仅作为可接受动态类别的结构规则性假设使用,而不是要估计的模型。“数据驱动”指的是如何利用数据来进行学习。

**同伦强化学习公式**
所提出模型的整体工作流程如图1所示。

**理论保证**
为了使算子理论声明更加精确,我们引入了与静态策略 ??={????}??∈?? 相关的特定策略贝尔曼算子:(?????????)???(??)=??????(??,?????(??))+?????∑??=1?????????????(????(??,?????(??)))。最优贝尔曼算子为 (???????)???(??)=min??∈???{??????(??,??)+?????∑??=1?????????????(????(??,??))。我们在带范数 ∥??∥∞=max1≤??≤???sup??∈Ω?|?????(??)| 的 Banach 空间 ??(Ω)?? 上进行研究:{??=(??1,?,????):????:Ω→? 且连续]。

**假设2**
以下假设成立:
(H1) Ω??23 是紧凑的。
(H2) 对于每个模式 ??∈??,????(??,??) 在 (??,??)∈Ω×?? 中是连续的。
(H3) ?????? 是紧凑的。

**神经Actor-Critic实现**
所提出的模型架构和信号流如图1所示,算法1给出了相应的训练循环。其 Actor-Critic 结构遵循标准 ADP/RL 观点[3]、[17]、[18]、[19],实现了五个耦合模块:由有界行为策略 ub 初始化的重放缓冲区、用于 λ 的同伦调度器、用于模式的 Critic、用于模式的 Actor 以及一个安全的数据收集循环,该循环将学习到的策略与 ub 和探索噪声混合。

**实验设计**
数值研究包含了三个结构复杂性和物理复杂性逐渐增加的蒙特卡洛基准测试。基准测试1是一个具有两个输入、三种模式和每种模式三种模糊规则的非线性四状态 T–S 模糊马尔可夫跳跃跟踪问题。所需的轨迹是正弦波且持续的,因此增强状态折扣公式是必要的。基准测试2是一个具有五个状态、两个输入和三种马尔可夫模式的随机 SEIQR 流行病干预模型;

**结论**
本文提出了一种数据驱动的同伦 Actor-Critic 方法,用于完全未知的 T–S 模糊马尔可夫跳跃系统的自适应跟踪控制。核心贡献是通过将学习锚定在受限的行为策略上,并将贝尔曼同伦延续到原始目标,从而消除了传统策略迭代式 RL 中的稳定初始策略瓶颈,同时保持了持续参考值所需的增强状态跟踪公式和折扣设计。

**未引用的引用**
图6缺失。

**声明**
生成式 AI 声明。作者声明遵守期刊关于生成式 AI 的政策,并对本文中的所有科学内容、分析和结论负全责。

**数据可用性**
用于蒙特卡洛实验的数据集和代码可在合理请求下从相应作者处获得,并将在接受后存入公共仓库。

**CRediT 作者贡献声明**
Yershat Sapazhanov:写作——原始草稿、可视化、软件、方法论、调查、形式分析、概念化。
Shirali Kadyrov:写作——审稿与编辑、验证、方法论、形式分析。
Rakkiyappan Rajan:写作——审稿与编辑、监督、方法论、概念化。
Ardak Kashkynbayev:写作——审稿与编辑、监督、项目管理、资金获取、概念化。

**利益冲突声明**
作者声明他们没有已知的财务利益或可能影响本文工作的个人关系。

**Yershat Sapazhanov | Shirali Kadyrov | Rakkiyappan Rajan | Ardak Kashkynbayev**
Narxoz 大学,55 Zhandossov 街,阿拉木图,050035,哈萨克斯坦
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号