针对输出含异常值的受控自回归移动平均模型的自适应加速近端梯度

《Journal of Computational and Applied Mathematics》:Adaptive accelerated proximal gradient for controlled autoregressive moving average models with outliers in outputs

【字体: 大 中 小 】 时间:2026年10月22日 来源:Journal of Computational and Applied Mathematics 2.4

编辑推荐:

   摘要 本文提出了一种用于受控自回归滑动平均模型参数估计的有效方法。通过将问题转化为鲁棒主成分分析来检测离群值,随后采用自适应加速近端梯度算法重构未受污染的信息矩阵。为了适应大规模数据并获得无偏估计,随后使用递推扩展最小二乘算法进行参数辨识。仿真研究证明了所提出的自适应加速近端

  

摘要 本文提出了一种用于受控自回归滑动平均模型参数估计的有效方法。通过将问题转化为鲁棒主成分分析来检测离群值,随后采用自适应加速近端梯度算法重构未受污染的信息矩阵。为了适应大规模数据并获得无偏估计,随后使用递推扩展最小二乘算法进行参数辨识。仿真研究证明了所提出的自适应加速近端梯度递推扩展最小二乘方法的鲁棒性和良好性能。

引言 系统辨识是工程和应用数学中的一项关键技术,它利用观测到的输入输出数据 [1], [2], [3]。这种方法通过最小化误差准则来寻找预测值与实际系统之间的差异。该技术的过程是建立数学模型 [4], [5], [6],然后利用该模型在不同背景下进行分析与预测所需的理解。基于系统辨识的模型被划分为时间序列、方程误差和输出误差模型。这些模型阐述了输入、输出和时间之间的复杂关系,从而建立了该主题研究的主要基础 [7], [8], [9]。我们研究的受控自回归滑动平均模型包含在方程误差模型中。该特定模型包含未知的有色噪声。在过去的五十年中,系统辨识的研究取得了显著发展,随着其纳入日益复杂的系统并多样化了其应用领域 [10], [11], [12]。该领域严谨的理论工作和可行的方法进步使其成为许多学者和实践者的中心。尽管线性系统一直是关注的重点,研究人员也致力于非线性系统。例如,基于核的方法在近些年的研究中已经取得了成功。这些技术对于检测非线性系统中的复杂行为以及在传统线性模型之外成功采用系统辨识方法至关重要 [13], [14], [15]。除了工程应用外,系统辨识技术在医疗保健(如贫血管理)和环境科学(特别是明渠现象建模)等各种领域也有应用 [16], [17]。

尽管系统辨识方法可能已经成熟,但在离群值方面仍然存在障碍。离群值 [18], [19], [20] 是异常观测值,会大幅降低输入输出模型的准确性并使参数估计更加困难。异常数据点,即离群值,会导致基于这些输入输出关系的系统吞吐量大幅下降,并使准确的参数估计效率低下 [21], [22], [23]。预先用于参数估计的经典算法通常假设产生的数据是纯净且简单的。因此,处理离群值实际上成为确保所发现模型有效性所需采取的一个预处理步骤 [24], [25], [26]。研究人员通过提出在存在离群值时特别有效的复合算法,提出了增强的系统辨识过程 [27]。例如,核主成分分析(KPCA)[28] 和局部线性嵌入(LLE)[29] 等技术被广泛用于提高非线性模型的准确性,并在噪声消除方面取得了成功。相比之下,线性模型传统上基于主成分分析(PCA)[30]。然而,PCA 可能无法捕获全部数据。此外,有时在数据处理过程中错误地消除特定维度的信息可能会大幅降低数据效用。因此,迫切需要鲁棒 PCA,从而促进了鲁棒主成分分析(RPCA)的整合。这种高级处理方法将主要测量的矩阵分为低秩矩阵和稀疏矩阵,更好地反映了测量值(即模型)中的特征结构,从而成功地将错误测量单独分离出来。

优化技术也在不断进步,以增强即使面临恶劣条件的系统辨识。被视为后续算法基础的梯度下降法包含迭代中的三个步骤:寻找负梯度、线搜索和更新。研究人员探索了诸如随机梯度法 [31], [32] 等创新方法应用于参数估计。此外,传统的加速近端梯度(APG)[33], [34] 算法已广泛应用于解决优化难题。然而,其静态步长限制了其对动态环境的适应性。我们提出的一个选项是 APG 的自适应加速近端梯度(AAPG)变体,它能在迭代过程中改变步长,从而提供更合适的解决方案。因此,这种自适应特性加上快速收敛性提高了受离群值影响的系统中参数估计的鲁棒性和准确性。为了利用最小误差平方和原则,一种方法涉及将大样本划分为多个批次,计算现有模型在每个新批次样本上的梯度,并在大样本量或数据流场景中连续执行梯度下降进行迭代求解。另一种方法是解析方法,具体指此处提到的递推扩展最小二乘(RELS)算法 [35], [36], [37], [38]。此外,AAPG 与递推最小二乘算法的结合使用允许同时恢复信息矩阵和估计系统参数。该方法不仅建立在 AAPG 的快速收敛特性之上,还具备增强参数估计可靠性的鲁棒性。

与 Ji 的论文 [39] 相比,本文应用 AAPG 算法于受控自回归滑动平均(CARMA)模型。此外,本研究为现有文献提供了几个值得注意的贡献。
• 我们开发了一个 RPCA-RELS-AAPG 框架,用于在存在离群值的情况下高效辨识 CARMA 模型。值得注意的是,移除有色噪声增加了估计问题的难度。为了模拟有色噪声条件,我们在仿真中生成了适当的随机序列。
• 我们对 AAPG 方法的调查显示,它可以在优化过程中自动调整步长,减少了手动调优的需要。同时,它在系统辨识过程中保持鲁棒性,并在存在噪声和离群值的情况下实现向最优解的快速、稳定收敛。
• 仿真结果表明参数估计误差大幅降低,表明所提出的方法提供了准确、本质上无偏的估计。这种改进的估计质量支持复杂、高保真系统模型的辨识,并增强了在挑战性条件下的可靠性。

简而言之,本文的提纲如下。第 2 节描述了关注的辨识问题和鲁棒主成分分析问题。在第 3 节中,我们首先提出了用于 CARMA 模型的 RELS 算法和 AAPG 算法,然后开发了 AAPG-RELS 算法以提高收敛速率和鲁棒性。第 4 节提供了仿真示例以验证所提算法的有效性。最后,我们在第 5 节中提供了一些结论性评论。

章节片段 问题建模
为了清晰起见,我们介绍全文使用的符号:$1_n$ 表示元素均为 1 的 n 维列向量;上标 $T$ 表示矩阵转置;“$A \equiv X$”或“$X \equiv A$”表示“定义 A 为 X”。$\arg \min_X$ 表示当函数达到最小值时变量 X 的值。

在本节中,我们从陈述辨识问题和推导辨识模型开始。考虑一个受控自回归滑动平均系统:
$A(z)y(t) = ...$

定义带有输出值离群值的 CARMA 模型及递推扩展最小二乘算法
定义 $\bar{y}_i$ 为带离群值系统的输出值,则方程 (3) 可重写为
$\bar{Y}_N = \bar{\Phi}_N \theta + V_N,$
其中 $\bar{Y}_N$ 和 $\bar{\Phi}_N$ 定义为
$\bar{Y}_N = [\bar{y}_1, \bar{y}_2, \dots, \bar{y}_N]^T \in \mathbb{R}^N,$
$\bar{\Phi}_N = [\bar{\phi}_1^T, \bar{\phi}_2^T, \dots, \bar{\phi}_N^T]^T = \begin{bmatrix} -\bar{y}_0 & \dots & -\bar{y}_{1-n_a} & u_0 & \dots & u_{1-n_b} & v_0 & \dots & v_{1-n_d} \\ -\bar{y}_1 & \dots & -\bar{y}_{2-n_a} & u_1 & \dots & u_{2-n_b} & v_1 & \dots & v_{2-n_d} \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ -\bar{y}_{N-1} & \dots & -\bar{y}_{N-n_a} & u_{N-1} & \dots & u_{N-n_b} & v_{N-1} & \dots & v_{N-n_d} \end{bmatrix} \in \mathbb{R}^{N \times (n_a + n_b + n_d)},$
其中 $\bar{\phi}_i(t) = [-\bar{y}(t-1), \dots, -\bar{y}(t-n_a), u(t-1), \dots, u(t-n_b), v(t-1), \dots, v(t-n_d)]^T$。

普通最小二乘(OLS)算法需要计算矩阵的逆。随着数据量的增加,OLS 方法变得...

仿真实验 基于现有研究 [44], [45], [46], [47],本研究证明离群值会严重损害 CARMA 模型参数估计和预测的准确性,导致输出扭曲或不准确,从而影响模型性能。因此,解决离群值问题可以提高 CARMA 模型的韧性和实用性。

本节通过严格的实验调查 CARMA 在包含离群值数据集上的训练和预测性能...

结论 本文研究了在输出数据受离群值污染的情况下,使用 AAPG 和 RELS 算法辨识 CARMA 模型。我们的主要方法首先使用 AAPG 重构信息矩阵,然后通过 RELS 估计模型参数。由于 CARMA 系统涉及不可测噪声项,我们采用分层辨识方案:我们初始化噪声估计,然后通过连续细化迭代更新以获得改进的参数向量。

陈飞燕 | 刘沁瑶 | 张坤
西交利物浦大学 数学与物理学院 应用数学系,中国苏州,215123
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号