《Computational Statistics & Data Analysis》:Efficient subsampling for exponential family models
编辑推荐:
本文提出一种基于最优设计原理的两阶段确定性子采样算法。第一阶段通过密度聚类确定近似设计空间,第二阶段利用Procrustes、Frobenius等矩阵距离选择最邻近支持点,适用于包括高维信息矩阵(秩大于1)的回归模型,显著提升计算效率。
Subhadra Dasgupta | Holger Dette
鲁尔大学波鸿分校,数学系,波鸿,44780,德国
摘要
本文提出了一种基于最优设计原则的新型两阶段子采样算法。在第一阶段,使用基于密度的聚类算法从初始子样本中识别出预测因子的近似设计空间。接下来,在该设计空间上确定最优近似设计。最后,将子样本中剩余的点定义为那些最接近最优设计支持点的点,其中接近度是通过矩阵距离(如Procrustes距离、Frobenius距离或平方根距离)来衡量的。这种新的子采样方法反映了信息矩阵的特定性质,即信息矩阵是在设计点处评估的非负定Fisher信息矩阵的加权和,并适用于包括Fisher信息秩大于1的模型在内的大量回归模型。
引言
如今,由于数据收集框架和计算设备的易用性,从地理数据、制造业到电子商务等多个领域都产生了大量数据。使用这些大量数据训练统计模型以进行推断可能非常耗时。处理大规模数据的一种流行方法是采样,即对子样本进行统计推断,该子样本旨在代表数据中最有信息量的部分,并作为替代数据使用。
近年来,已经提出了多种基于最优设计理论的子采样算法。一些算法基于最小化预测响应或估计量的方差来进行概率采样。例如,Ma等人(2015年)提出的基于杠杆分数的子采样方法,以及Wang等人(2018年)提出的基于A-最优性准则的OSMAC(最优子采样)算法。还有一些是确定性的子采样方法(参见Ren和Zhao(2021年)、Wang等人(2019年、2021年)的研究)。
IBOSS(基于信息的最优子数据选择)算法(Wang等人,2019年)适用于(同方差)线性回归,通过逐个选择极端协变量值来确定最有信息量的点。模拟研究表明,它比基于杠杆的算法有所改进。Wang等人(2021年)和Ren与Zhao(2021年)还考虑了线性回归模型,并使用正交阵列的概念来构建子采样程序。正交阵列确保协变量尽可能相互远离,同时也支持极端值的选取。因此,这些作者通过模拟研究表明,基于正交阵列的子采样优于IBOSS。Cheng等人(2020年)将IBOSS方法扩展到逻辑回归的确定性子采样程序。
还为这些回归模型开发了几种非确定性子采样程序。例如,Ma等人(2015年)提出了一种基于杠杆分数的线性回归算法,该算法根据每个数据点的杠杆分数进行有放回的概率子采样。Wang等人(2018年)提出了逻辑回归模型的两阶段子采样算法,第一阶段是抽取一个随机样本以获得参数的初步估计,然后根据A-最优性准则提出基于概率分数的有放回子采样。Wang(2019年)对该算法进行了改进,并将其扩展到其他模型和估计技术(参见Ai等人,2021年;Wang和Ma,2020年;Yu等人,2022年等)。原则上,这些非确定性方法适用于广泛的回归模型,我们参考了Yao和Wang(2021年)的最新综述论文以了解当前的研究进展。
我们提出了一种新的确定性子采样算法,可以轻松应用于广泛的回归模型,并根据实验目标适应不同的最优性标准。我们的基本思想是将采样视为一个最优设计问题。为此,所提出的算法首先尝试理解设计空间的性质/形状,大致来说,设计空间是包含样本中大多数预测因子的域。然后,我们在识别的设计空间上确定一个近似最优设计的子样本。更具体地说,在第一阶段,我们随机选择子样本的一小部分并获得初始参数估计(如有必要),并使用基于密度的聚类算法确定设计空间的近似值。接下来,在“估计的设计空间”上确定最优设计。当最优设计的支持点数量较多时,我们利用效率概念消除最优设计中最不重要的点,从而大大减少后续子采样步骤的执行时间。在第二阶段,为了识别子样本中“最接近”最优设计支持点的剩余点,我们使用矩阵距离(如Procrustes距离、Frobenius距离和平方根距离)。
在精神上最相似的算法是Deldossi和Tommasi(2022年)最近提出的子采样程序,该程序也考虑了设计空间的形状。我们的方法至少在三个方面不同于这项工作:首先,这些作者建议使用完整样本作为设计空间来确定最优设计(更准确地说是其权重),这对于大规模数据来说计算成本很高。相比之下,我们的方法使用聚类技术从初始子样本中确定(离散的)设计空间(这也用于获得参数的初步估计),因此在计算上更高效,因为估计设计空间的基数远小于总样本的大小。其次,由于基于密度的聚类识别设计空间,第二阶段的信息子样本选择对异常值具有鲁棒性。第三,我们提出利用Fisher信息矩阵诱导的空间几何结构,因此使用非负定矩阵空间上的矩阵距离(参见Dryden等人,2009年;Pigoli等人,2014年)来识别子样本中的剩余点,使它们接近最优设计的支持点。这反映了信息矩阵的特定性质,即信息矩阵是在设计点处评估的非负定Fisher信息矩阵的加权和。因此,我们的方法适用于Fisher信息秩大于1的回归模型,例如在异方差回归模型中(参见Atkinson和Cook,1995年;Dette和Holland-Letz,2009年)。
本文的其余部分组织如下:第2节讨论了所考虑的模型和近似最优设计的概念。第3节介绍了子采样算法。最后,我们在第4节通过模拟研究证明,与Cheng等人(2020年)和Wang等人(2018年)提出的现有子采样方法相比,新方法在逻辑回归模型中的准确性更高。与Deldossi和Tommasi(2022年)提出的基于最优设计的子采样方法相比,我们的方法在时间复杂度上有所改进。在本节中,我们还展示了我们的子采样方法在异方差回归模型中的适用性,其中Fisher信息的秩大于1。
初步介绍
我们假设完整的数据样本
是独立同分布(i.i.d.)的
-维随机变量的实现,这些随机变量具有来自指数族的(条件)分布,其密度(相对于定义在适当域上的测度
ν)为
,其中(
X,
y)定义在
,
表示未知参数向量,
X是一个
维预测因子,y是单变量响应。这里,假设< />(y)是
基于最优设计的子采样
在本节中,我们解释了所提出算法的基本结构,该算法用于获得大小为的子样本,称为ODBSS(基于最优设计的子采样),并在算法1中进行了总结。
注释1
在最优设计不依赖于参数的情况下(例如在线性模型中),算法1中的步骤(1)中的参数估计是不必要的(但仍需要估计设计空间)。此外,我们强调计算出的最优设计点
数值结果
新算法(ODBSS)适用于广泛的模型,我们对其在逻辑回归、异方差回归、probit回归和二次回归模型中的性能进行了研究。在第4.1节中,我们考虑了逻辑回归模型(其Fisher信息矩阵的秩为1),并将ODBSS与其他流行的预测因子子采样算法进行了比较。
结论性意见和未来研究
我们开发了一种新的确定性子采样策略(ODBSS),适用于寻找大量模型的最大似然估计。子采样分为三个步骤:i) 从小型初始样本估计设计空间,ii) 确定估计设计空间的最优设计,iii) 子样本分配。我们的方法在几个方面与现有研究不同。首先,与Deldossi和Tommasi(2022年)的不同之处在于,我们建议
致谢
这项工作部分得到了DFG研究单元5381“信息时代的数学统计”(项目编号460867398)的支持。作者感谢编辑、副编辑和审稿人对本文早期版本的建设性评论。