LAC-T:一种面向旋转系统健康监控的隐参数估计带导师强化学习框架——基于Lyapunov Actor–Critic (LAC) 的Tutor扩展

《Processes》:LAC-T: A Tutored Reinforcement Learning Framework of Hidden-Parameter Estimation for Health Monitoring of Rotating Systems

【字体: 大 中 小 】 时间:2026年06月15日 来源:Processes 2.8

编辑推荐:

  健康状态监控对旋转系统的安全与可靠运行至关重要。然而,隐藏于不可观测量参数中的健康状态难以追踪。为解决因关键传感器缺失而导致的隐参数估计(hidden-parameter estimation)问题,本文提出一种扩展的强化学习(Reinforcement Le

  
健康状态监控对旋转系统的安全与可靠运行至关重要。然而,隐藏于不可观测量参数中的健康状态难以追踪。为解决因关键传感器缺失而导致的隐参数估计(hidden-parameter estimation)问题,本文提出一种扩展的强化学习(Reinforcement Learning, RL)框架——Lyapunov Actor–Critic Tutor(LAC-T)。在该框架中,LAC-T将隐健康状态监控中的参数估计重新定义为观测–轨迹对齐(observation–trajectory alignment)问题而非观测–跟踪(observation–tracking)问题,从而维持隐参数估计的稳定性。同时,为解决参数估计中的多解性问题,框架中引入导师组件(Tutor component)以引导参数估计方向。为验证所提LAC-T框架的有效性与优越性,研究人员以控制力矩陀螺(Control Moment Gyroscope, CMG)中旋转系统的电机转矩系数(motor torque coefficient)估计为案例开展研究。与候选问题定义及对比模型相比,所提LAC-T框架具有更低的估计误差,表明观测–轨迹对齐问题定义可稳定隐参数估计,且导师组件可提升估计精度,从而改善隐健康状态监控性能。
论文解读:LAC-T——基于Lyapunov Actor–Critic Tutor的旋转系统健康监控隐参数估计强化学习框架
一、研究背景与立项依据
旋转系统在工业5.0中具有重要地位,其健康状态监控(health status monitoring)对安全生产与预测性维护(Predictive Maintenance, PM)至关重要。然而先进旋转系统多为半可观(semi-observable)系统,反映健康状态的物理参数(如裂纹、磨损程度)无法直接安装传感器测量,只能借助易测信号(振动、电流、转速等)进行隐参数估计(hidden-parameter estimation,亦称虚拟传感器/virtual sensor)。现有方法分传感器替代法与隐参数估计法两类:前者难找到完美替代传感器组;后者中基于物理模型(first-principle model)的方法依赖精确机理知识与参数且对噪声敏感,纯数据驱动方法需大量标注数据、泛化性差且缺乏可解释性,混合方法在动态工况下灵活性不足。近年深度强化学习(Deep Reinforcement Learning, DRL)被用于参数推断,但现有RL方法多将隐状态估计建模为观测–跟踪(observation–tracking)问题——仅最小化单时刻观测误差——而隐参数估计本质是欠定方程组,存在多个数学解却仅有唯一物理解,导致估计不稳定、难收敛至真值(ground truth)。为此,研究人员提出带导师(Tutor)的Lyapunov Actor–Critic(LAC-T)框架,发表于《Processes》。
二、主要关键技术方法概述
研究人员将隐参数估计重构为观测–轨迹对齐(observation–trajectory alignment)问题,设计四组件RL框架(环境Environment、Actor、Critic、Tutor)。状态空间含当前及上一时刻观测真值与估计值及输入;动作空间为待估隐参数。代价函数由轨迹对齐误差(考虑相邻时刻观测过渡一致性及起止点跟踪误差)与Actor输出相对Tutor输出的均方误差(MSE)加权构成。采用Lyapunov Actor–Critic(LAC)算法,Actor更新受Lyapunov递减约束(保证局部稳定性)、熵正则(探索)与策略平滑正则(邻域连续性)共同优化;Tutor由降阶物理模型(电机电流、转速→转矩系数Kt,T = Kt·I = J·dω/dt + …)提供物理一致参考引导Actor避开非物理多解。案例选用控制力矩陀螺(Control Moment Gyroscope, CMG)高速转子系统,以数字孪生退化模型生成六组不同起始点与退化速率的电机转矩系数Kt仿真数据集,以电流与转速为可观测量,对比观测–跟踪vs观测–轨迹对齐问题定义、物理模型/LAC(无Tutor)/LAC-T,评价指标为RMSE、MAE、NRMSE及二阶差分粗糙度(Second-Difference Roughness, SDR)衡量估计序列振荡。
三、研究结果
2. Problem Definition of Hidden-Parameter Estimation(隐参数估计问题定义)
传统将隐参数估计视为观测–跟踪问题(式1–2),仅最小化单时刻估计观测与真值误差,忽略轨迹过渡一致性致估计波动。研究人员提出观测–轨迹对齐问题(式3–6),联合考虑前一时刻估计观测跟踪误差、真值观测跟踪误差及前一时刻观测自身跟踪误差,约束整条观测轨迹对齐,缩小隐参取值范围并提高稳定性。
3. Methodology of Parameter Estimation Based on LAC-T Framework(基于LAC-T框架的参数估计方法)
  • •
    3.1. Overview of the LAC-T Framework:LAC-T含环境(物理映射F)、Actor(输出隐参估计at=π(s_t))、Critic(Lyapunov函数V(s)评估并约束Actor更新)、Tutor(由简化物理模型给出参考动作aTt引导Actor)。Tutor可为预训练数据驱动模型或专家知识简化物理模型,不与Actor并联作为最终估计器,只提供方向指引消解多解歧义。
  • •
    3.2. Design of RL Elements in the LAC-T Framework:状态s_t=[y_t, ?t, yt-1, ?t-1, u_t];动作a_t=θ?t(估隐参);综合代价J=Jalign+λ·Jtutor,其中Jalign为轨迹对齐误差(含Δ?、Δy及?t-1项),Jtutor=MSE(θ?t, θ?T_t),λ为平衡权重。
  • •
    3.3. The Learning Strategy of Hidden-Parameter Estimation Based on LAC-T:Actor最小化目标含三项——熵正则α·H(π(·|s))增强探索、Lyapunov约束λL·max[0, V(s')-V(s)+δ·J]确保局部Lyapunov递减(δ为递减余量系数)、平滑正则∥π(s)-π(s?)∥2(s?为s近邻)抑制突变。Lyapunov Critic V(s)与Lagrange乘子λL、熵系数α通过梯度对偶上升自适应调整。稳定性保证为训练数据覆盖有界区域内的局部一致最终有界(local uniform ultimate boundedness),非全局渐近稳定。
4. Experiment and Discussion(实验与讨论)
  • •
    4.1. Experiment Setup:CMG高速转子电机转矩系数Kt为隐健康参数,由数字孪生模型按Kt(t)=K0-a·tb生成六退化模式数据集(表3),可观测量为电机电流I与转速ω,Tutor用降阶动力学方程Kt≈(J·dω/dt+Tf)/I(J已知)。平台为Apple M4+PyTorch 2.9.1。
  • •
    4.2. Effectiveness Validation of the LAC-T Framework:训练过程Lyapunov Critic Loss下降收敛,Actor Loss稳定至低值,集成代价短暂波动(3000–4000步)系自适应调节后回落,证明框架训练有效。LAC-T估计Kt曲线紧贴真值,六场景下RMSE/MAE/NRMSE均较低,表明框架可有效追踪不同退化速率与幅值的隐参数变化。
  • •
    4.3. Superiority Validation of the LAC-T Framework:①观测–轨迹对齐vs观测–跟踪:前者RMSE、MAE、NRMSE更低,SDR(二阶差分粗糙度)显著减小,证实轨迹对齐提升精度与稳定性。②LAC-T vs 物理模型 vs LAC(无Tutor):物理模型略优于纯LAC,LAC-T误差最低(RMSE等降幅明显),说明Tutor引入物理先验可突破纯数据驱动局限。③消融组合实验显示:加Tutor降低误差,用轨迹对齐降低SDR与RMSE,二者叠加效果最优。
  • •
    4.4. The Computation Cost Comparison of the LAC-T Framework:引入Tutor及轨迹对齐代价增加单步计算,端到端延迟略高于无Tutor LAC,吞吐量略低;与Control Barrier Function(CBF)约束法比,LAC-T吞吐更高、延迟相当,计算复杂度可接受。Actor网络维度增大(4–512)时延迟增、吞吐降,符合神经网络规模规律。
四、讨论与结论(翻译自Conclusions部分)
旋转系统的健康状态监控对其安全运行至关重要。为解决因关键传感器缺失引起的隐参数估计问题,本文提出一种名为Lyapunov Actor–Critic Tutor(LAC-T)的扩展强化学习框架。在该框架中,参数估计被重新定义为观测–轨迹对齐(observation–trajectory alignment)问题而非观测–跟踪(observation–tracking)问题,以维持隐参数估计的稳定性。此外,框架中引入导师组件(Tutor component)引导参数估计,以解决多解性问题。为验证LAC-T框架的有效性与优越性,本文以控制力矩陀螺(CMG)中高速转子系统的电机转矩系数(motor torque coefficient)估计为案例进行研究。所提LAC-T框架在六种退化模式下具有更低估计误差,证明其可有效实现多场景下隐参数估计;同时相较于候选问题定义与估计方法,更低的估计误差表明观测–轨迹对齐问题定义及所加入的导师组件具有优越性。计算代价比较表明,尽管LAC-T框架与观测对齐问题定义可提升隐参数估计精度与稳定性,但在部署时会增加一定计算开销。LAC-T框架可作为旋转系统的隐状态观测器(hidden-state observer),并为复杂系统的故障检测与剩余使用寿命(Remaining Useful Life, RUL)预测提供参考模型。未来研究方向包括:导师组件的鲁棒性与准确性对LAC-T性能的影响及导师不准确时的框架稳定性保障,以及LAC-T框架的轻量化设计与计算效率提升。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号