《Journal of Multivariate Analysis》:A sparse dimension-reduced subspace-based approach for detecting multiple change points in high-dimensional data
编辑推荐:
本文提出一种新颖的惩罚矩阵估计方法,用于高维数据变点检测中的稀疏降维。核心思想是通过充分降维(Sufficient Dimension Reduction)将数据投影至低维子空间,在不损失变点信息的前提下,利用经典方法(如CUSUM)进行高效检测。该方法不仅保证了变点数量与位置的一致性估计,还集成了群组惩罚(Group penalty)实现重要变量选择,为处理“维度灾难”提供了有效解决方案。
Section snippets
稀疏惩罚基础矩阵估计算法
考虑p维随机向量Xi= (x1i, …, xpi)?,其均值μi= E(Xi) = (μ1i, …, μpi)?,误差项εi= Xi- μi,其中i ∈ {1, …, n}。我们关注均值变点模型:μzk+1= … = μzk+1? μ(k+1),并且对于任意0 ≤ k ≤ K, 1 ≤ ? ≤ K,有μ(?)≠ μ(?+1)。其中0 < z1< … < zK< n 是K个变点,z0= 0,zK+1= n。对于1 ≤ k ≤ K+1,定义nk= zk- zk-1,并且当n → ∞时,有nk/n → ωk> 0。本文主要关注具有弱相关性的过程;详细讨论见假设1、2和备注6。此外,我们考虑均值变化仅发生在坐标的一个稀疏子集中的情况。
Simulations
我们将主流变点检测方法与其降维版本进行比较。这些方法包括E-Divisive、核变点算法(Kernel Change Point Algorithm, KCP)、稀疏二元分割(Sparsified Binary Segmentation, SBS)和基于修剪目标的Kolmogorov-Smirnov变点程序(ks-cp3o)。我们还将我们提出的降维方法与[30]中描述的修正马氏矩阵(Mahalanobis matrix)方法的性能进行比较。为了便于...
Data analysis
本节将所提出的方法应用于三个真实数据集。为节省正文空间,金融数据的结果在补充材料中提供。
Conclusions
在本文中,我们通过采用降维子空间方法解决了高维稀疏数据的变点检测问题。我们提出了一种集成策略,结合了“分而治之”(divide-and-conquer)策略并引入了稀疏群组惩罚(Group penalty)函数。这一新颖算法旨在降低数据维度的同时保留必要的变点信息。我们的目标是为高维稀疏数据中的变点检测和重要变量选择提供便利。