《IEEE/CAA Journal of Automatica Sinica》:Input-Output Data Driven Intelligent H∞
Fault-Tolerant Tracking Control for Industrial Process in Industry 5.0
编辑推荐:
本文针对工业过程中系统状态不可观测、外部扰动及执行器故障等挑战,提出一种基于输入输出数据的离策略Q学习H∞容错跟踪控制方法。通过构建增广系统和状态重构技术,实现了无需模型信息的控制器设计,在注塑成型过程仿真中验证了该方法在正常与故障工况下均能快速收敛并保持稳定跟踪,为工业5.0背景下智能控制系统开发提供了新思路。
在工业5.0时代,智能制造系统面临着日益复杂的运行环境挑战。生产过程中执行器可能发生增益异常(α<1或α>1),系统状态往往不可直接测量,外加随机扰动持续影响,传统基于精确数学模型的控制方法难以保障系统稳定性和跟踪精度。现有强化学习(Reinforcement Learning, RL)方法虽能通过数据驱动实现优化控制,但策略算法存在探索效率低、易陷局部最优的缺陷,且鲜有研究系统考虑执行器故障与扰动共存场景的容错控制(Fault-Tolerant Control, FTC)问题。
针对上述问题,王立敏团队在《IEEE/CAA Journal of Automatica Sinica》发表研究,提出一种输入输出数据驱动的智能H∞容错跟踪控制方法。该方法通过离策略Q学习(Off-policy Q-learning)直接利用过程历史数据设计控制器,无需系统状态信息即可实现扰动抑制与故障容错。研究以注塑成型过程为案例,验证了所提方法在正常(α=1)、执行器增益衰减(α=0.6)和增益放大(α=1.2)三种工况下的有效性。
关键技术方法包括:1)构建含故障模型的增广系统,将状态差分、跟踪误差等变量整合为新的状态向量;2)通过可观测性假设下的历史数据重构系统状态,建立数据与状态的线性映射关系;3)设计融合H∞性能指标的Q函数,采用离策略迭代求解最优控制律与扰动律;4)利用最小二乘法和Kronecker积工具实现参数矩阵的在线更新。
状态变量重构
基于系统可观测性和非奇异性假设,研究通过历史窗口内的输入输出数据序列构造状态重构矩阵L,将增广系统状态XkF表示为数据向量Zk的线性组合,解决了状态不可测条件下的控制器设计问题。
输入输出数据驱动离策略Q学习容错跟踪控制
通过分离目标策略与行为策略,算法在探索过程中持续优化控制器。Q函数被构造为二次型形式,其参数矩阵S通过最小二乘法迭代更新。理论证明该算法对探测噪声具有无偏性,保障了学习过程的稳定性。
案例验证
以注塑成型过程为对象建立状态空间模型,设置期望跟踪值yr=20。仿真结果显示:正常系统在第4次迭代后控制策略快速收敛至最优值;故障系统(α=0.6和α=1.2)虽在初期出现参数波动,但在第6次迭代后均达到稳定最优值。
控制效果分析
三种工况下的输出曲线表明,系统均能快速跟踪设定值并保持稳定。特别是在执行器故障工况下,控制器通过在线学习及时调整策略,展现了较强的鲁棒性。
该研究实现了仅依靠输入输出数据即可设计H∞容错控制器的重要突破,解决了传统方法对模型信息的依赖问题。提出的离策略Q学习算法通过策略分离机制提高了数据利用效率,其噪声无偏特性增强了工程适用性。研究成果为工业过程在复杂工况下的智能控制提供了新范式,未来可扩展至批处理过程的多时空尺度优化控制研究。