基于截断路径签名表示学习随机反馈控制律及其HJB最优性验证

《Scientific African》:Learning Stochastic Feedback Control Laws via Path Signature Representations

【字体: 大 中 小 】 时间:2026年10月22日 来源:Scientific African 3.7

编辑推荐:

  研究人员提出一个基于签名的随机最优控制(stochastic optimal control)学习框架,旨在不显式求解相关偏微分方程(partial differential equation, PDE)的情况下,逼近由Hamilton–Jacobi–Bell

  
研究人员提出一个基于签名的随机最优控制(stochastic optimal control)学习框架,旨在不显式求解相关偏微分方程(partial differential equation, PDE)的情况下,逼近由Hamilton–Jacobi–Bellman(HJB)方程支配的反馈律。控制策略利用状态过程的截断路径签名(truncated path signature)进行参数化,参数通过一种与二次成本泛函(quadratic cost functional)结构一致的基于仿真的梯度下降(simulation-based gradient descent)方案学习。该方法首先在线性–二次随机系统(linear–quadratic stochastic system)上验证,其中最优控制器可通过Riccati方程(Riccati equation)获知。数值实验表明,学习控制器在控制器形状和闭环轨迹行为两方面均收敛于精确HJB反馈律。随后,该框架应用于具有三次漂移(cubic drift)的非线性随机系统,该系统不存在解析最优控制;并进一步扩展至三维耦合线性系统,其中状态分量通过分层漂移结构(hierarchical drift structure)相互作用,最优增益由完整矩阵Riccati方程(full matrix Riccati equation)支配。在此设置下,基于签名的学习控制器实现稳定且准确的轨迹跟踪,在随机扰动下具有低相对误差和高整体轨迹精度。包括轨迹和控制均方根误差(root-mean-square errors, RMSE)在内的定量性能指标证实了所提方法的鲁棒性和可解释性。这些结果表明,路径签名表示为跨线性、非线性和多维情形学习随机反馈控制器提供了有效且具有数学结构的工具。
Noureddine Ouldkhouia|Imane Elberrai|Khalid Adnaoui 的研究围绕随机最优控制(stochastic optimal control)展开。该问题的经典表述由受控随机微分方程(stochastic differential equation, SDE)与性能准则构成,最优反馈律通常由Hamilton–Jacobi–Bellman(HJB)方程刻画;HJB方程是非线性偏微分方程(partial differential equation, PDE),仅在少数特殊情形有显式解,且维数灾难与解析不可解性限制经典方法。线性–二次–高斯(linear–quadratic–Gaussian, LQG)框架虽可通过Riccati微分方程(Riccati differential equation)获得线性最优控制器,但动力学或成本稍偏离线性即失去解析可解性。路径签名(path signature)源于rough path theory,通过迭代积分(iterated integrals)对路径提供分层非参数描述,截断签名可作为有限维、可解释的特征映射。研究人员因此开发并验证一种基于签名的随机最优控制学习算法:证明签名控制器可逼近最优成本,建立HJB最优控制与签名随机控制的等价性,并学习HJB最优控制;随后在线性–二次随机系统、三次漂移非线性系统和三维耦合线性系统中验证。其意义在于在随机控制理论与数据驱动学习之间建立数学上原则化的桥梁,保留可解释性与理论一致性,并为无显式解析解的随机控制问题提供灵活、可扩展的替代方法。

关键方法:研究无样本队列,数据来自受控SDE的仿真轨迹。方法包括:以截断路径签名将状态路径映射为有限维特征,并将反馈控制律参数化为签名线性函数;基于Lyons–Ouldkhouia–Elberrai定理证明签名控制器可逼近最优成本;建立HJB最优控制与签名随机控制的等价性;采用与二次成本结构一致的基于仿真的梯度下降,以蒙特卡洛路径估计成本并更新参数;在线性二次系统中以Riccati方程解为基准,在三维耦合系统中以完整矩阵Riccati方程的时间平均增益为基准;通过自适应提高签名阶数、正则化高阶项和误差指标评估。

研究结果:在线性随机系统(Linear Stochastic System)中,通过控制器形状比较与定性分析(Controller shape comparison and qualitative analysis)发现,N=2签名控制律与HJB最优控制器形状几乎重合;学习线性增益θ1=-1.5559,线性增益误差约2.5×10-2,二次系数约10-5,非线性签名能量约4.1×10-5,表明学习算法抑制不必要高阶项并恢复线性结构。通过增益收敛与学习动态稳定性(Gain convergence and stability of the learning dynamics)分析发现,从θ1(0)=0出发,学习增益单调平滑地接近θ*≈-1.58,学习率η=0.01,最终差异为10-2量级,且在σ=0.4随机强迫下保持鲁棒。通过绝对增益误差的定量收敛(Quantitative convergence through absolute gain error)分析发现,|θ1k-θ*|在早中期近指数下降并趋于零,最终误差10-2量级,无振荡或发散。通过受控随机轨迹比较(Comparison of controlled stochastic trajectories)发现,HJB控制与签名控制的轨迹均围绕x=0,离散度和包络近同,无漂移偏差或方差膨胀,路径行为一致。在非线性随机系统(Nonlinear Stochastic System)中,通过非线性随机控制结果分析(Analysis of the Nonlinear Stochastic Control Results)发现,在三次漂移和二次成本下,HJB方程完全非线性且不可解析;学习控制器与HJB控制轨迹保持对齐,误差随时间平滑累积;轨迹RMSE=0.0130,平均相对轨迹误差约12.2%,控制RMSE=0.295,相对控制误差约16.6%,学习非线性系数收敛到可忽略,整体轨迹精度约93.2%。在三维线性随机系统(Multidimensional Linear Stochastic System)中,通过控制器形状比较、损失曲线与收敛(Controller shape comparison, loss curve and convergence)发现,学习增益(-θ1,-θ2,-θ3)=(0.5922,0.5116,0.3974),与时间平均最优增益(0.6442,0.5568,0.4439)的绝对误差为(0.0520,0.0452,0.0465),二次系数范数6.48×10-4,成本从0.7411降至0.3516,降低52.55%,平滑成本约在J≈0.48处稳定。通过增益收敛与结构分析(Gain convergence and structural analysis)发现,迭代步长衰减,三分量误差均衡下降,归一化相对增益误差0.0866即8.66%,残余误差来自学习控制器时间齐次而真实最优增益时变;二次系数始终接近零。通过随机轨迹比较(Stochastic trajectory comparison)发现,在相同布朗实现下,三分量均值路径近不可分、包络宽度可比;各分量轨迹RMSE为0.00383、0.00362、0.00346,全局轨迹RMSE=0.00364,控制RMSE=0.0298,相对轨迹误差2.38%,整体轨迹精度97.62%。

讨论部分总结:线性–二次情形中学习增益单调稳定收敛,结构上抑制伪非线性,轨迹RMSE低且精度超过90%;非线性三次漂移情形中,在无解析最优反馈律下学习控制器在探索域内近似线性,热图误差平滑,全局指标与可视化一致;三维耦合情形必须采用完整矩阵Riccati方程作参考,学习控制器三分量均衡恢复最优反馈,相对增益误差低于9%,成本降低超过50%,轨迹精度近98%,高阶签名系数可忽略。局限包括固定截断阶数导致参数维数增长、有限差分梯度每维需额外成本评估、时间齐次控制器无法消除时变增益残余、假设完全可观测且可仿真;未来方向包括自适应签名截断、方差缩减梯度估计、时间依赖参数化和部分可观测扩展。

研究结论部分译文:研究人员开发并研究了基于签名的随机最优控制学习框架,旨在逼近由HJB最优性原则支配的反馈律。通过截断路径签名特征参数化控制策略,并用基于仿真的梯度下降学习系数,该方法为经典随机控制求解方法提供了灵活且数学结构化的替代。方法先在线性–二次随机系统中验证,学习控制器在增益识别和闭环轨迹行为上均强收敛于真实HJB反馈律;线性增益收敛、绝对误差单调衰减以及控制器形状近乎重合证实学习规则与随机控制结构一致。随后扩展到三次漂移非线性系统,在无解析最优反馈律情形下,签名控制器表现稳健,闭环轨迹与有效线性参考控制器接近;轨迹RMSE、相对误差百分比和控制差异指标显示高精度和稳定性,学习过程自然抑制高阶签名系数,体现简约性正则效应。进一步在三维耦合线性系统中验证,需采用完整矩阵Riccati方程而非独立标量方程作为参考;学习控制器在三个耦合分量上均衡恢复最优反馈增益,相对增益误差低于9%,成本降低超过50%,高阶签名系数自然抑制,轨迹层面以近98%精度复现真实时变最优控制器的闭环行为。该方法可解释,签名参数化保持学习系数与控制律结构之间的数学联系;热图可视化显示策略在随机扰动下的时间与概率稳定性。总体而言,路径签名表示为学习随机反馈控制器提供了有力且有原则的工具,兼具理论一致性与数值鲁棒性,并可扩展到高维系统、高阶签名截断和更一般非线性动力学。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号