基于再生核的函数数据条件独立性非参数检验
《Journal of Multivariate Analysis》:A reproducing-kernel-based nonparametric test for conditional independence of functional data
【字体:
大
中
小
】
时间:2026年09月26日
来源:Journal of Multivariate Analysis 1.6
编辑推荐:
摘要
条件独立性是统计研究许多领域中一个基本概念,例如充分维度缩减、因果推断和统计图模型等。在许多现代应用中,数据以随机函数的形式出现,这使得判断在给定第三个随机函数的条件下两个随机函数是否条件独立变得至关重要。然而,据我们所知,现有文献中的条件独立性检验仅适用于多元数据,
摘要
条件独立性是统计研究许多领域中一个基本概念,例如充分维度缩减、因果推断和统计图模型等。在许多现代应用中,数据以随机函数的形式出现,这使得判断在给定第三个随机函数的条件下两个随机函数是否条件独立变得至关重要。然而,据我们所知,现有文献中的条件独立性检验仅适用于多元数据,尚无向函数设置的扩展方法。为了弥补这一空白,我们基于联合条件协方差算子(CCCO)开发了一种基于再生核的随机函数条件独立性检验方法。我们利用最近建立的回归算子收敛速率的精细化结果(Choi et al., 2026),严格推导了CCCO估计量的渐近分布。基于此结果,我们利用渐近分布中出现的算子的谱分解构造了检验统计量。我们通过一个活动和生物识别数据集以及一个宏观经济数据集的应用展示了所提方法。
引言
条件独立性是广泛多元数据分析方法的基础概念。例如,在充分维度缩减中,我们需要找到β使得Y?X∣β?X(Li, 2018b)。在图模型中,节点i和j之间的连接断开当且仅当X??X?|{X?,…,X?}\{X?,X?},其中X?,…,X?表示节点1,…,p上的随机变量。参见Lauritzen(1996)和Koller及Friedman(2009)。在因果推断中,共同原因原则表明两个相关的随机变量X和Y可能存在一个共同原因Z,使得X?Y|Z(Peters et al., 2017)。条件独立性在这三个应用中均扮演核心角色。
因此,检验在给定第三个变量的条件下两个随机变量是否条件独立具有重要意义。Li和Fan(2020)对连续变量的非参数条件独立性(CI)检验进行了全面综述。例如,在高斯假设下,偏相关和条件相关可用于刻画两个随机变量之间的条件依赖关系。实际上,如Baba et al.(2004)所指出的,高斯假设可以放宽。该领域的代表性工作包括基于离散化的检验(Huang, 2010)、基于度量的检验(Su和White, 2008, Huang et al., 2016)、基于置换的两样本检验(Doran et al., 2014)以及在变换下的相互独立性检验(Cai et al., 2022)。此外,在某些加性或线性假设下,也可采用一些基于回归的方法来实现此目的(参见Zhang et al., 2017)。
为进一步放宽建模假设,基于再生核的方法最近因将概率分布嵌入核诱导的特征空间而备受关注。在再生核Hilbert空间(RKHS)框架下,条件独立性可通过联合条件协方差算子(CCCO)来刻画;参见Fukumizu et al.(2004)、Fukumizu et al.(2007b)、Lee et al.(2016)。基于此刻画,Zhang et al.(2011)提出了一种基于核的条件独立性检验,其统计量与Fukumizu et al.(2007b)中引入的CCCO的Hilbert-Schmidt范数密切相关。相关发展还包括Huang et al.(2022),该文引入了一种核偏相关系数作为条件独立性的度量;以及Sheng和Sriperumbudur(2023),该文研究了基于距离与基于再生核的条件独立性度量之间的关系。作为附带说明,我们强调本文所讨论的再生核与函数非参数回归和估计中使用的平滑核(Ling和Vieu, 2018)有根本区别。
我们的函数数据条件独立性检验在非参数函数数据分析中有广泛应用。例如,它可用于函数-函数非参数回归设置中的变量选择(参见Sang和Li, 2026),在Y?X?∣X?时我们可以去掉预测变量X?。这里X?、X?和Y可以都是随机函数或随机函数的向量。另一个例子是函数图模型(Qiao et al., 2019, Li和Solea, 2018),其中顶点变量为随机函数,我们可以确定统计图模型中边的数量。
尽管已有关于多元数据条件独立性检验的丰富文献,但据我们所知,针对随机函数的类似方法尚未被开发。本文通过开发一种基于再生核的函数数据条件独立性检验方法填补了这一空白,其中检验所涉及的三个随机元素均为随机函数或随机函数的向量。在现代数据分析中,此类函数观测日益普遍(Goia和Vieu, 2016, Aneiros et al., 2019, Aneiros et al., 2022),特别是随着涉及智能可穿戴设备的应用快速增长。参见Ramsay和Silverman(2007)以及Acar-Denizli和Delicado(2025)。一种灵活的条件独立性检验程序将是函数数据分析工具箱中的一个宝贵补充,能够研究函数变量之间的复杂互联关系。此类互联关系出现在广泛的问题中,包括函数-函数回归(Sun et al., 2018, Sang和Li, 2026)、函数图模型(Qiao et al., 2019, Li和Solea, 2018)和函数充分维度缩减(Ferré和Yao, 2003, Li和Song, 2017, Li和Song, 2022)。
除了函数数据条件独立性检验的重要性之外,我们还想突出我们所做扩展的一个重要理论贡献。作为基于再生核的条件独立性检验的先驱性工作,Zhang et al.(2011)仅对渐近零分布给出了证明的概要,而未详细列出渐近分布成立所需的条件。
一个关键困难在于检验统计量涉及协方差算子的逆。在实践中,必须使用Tikhonov正则化来估计其逆,这会减慢相关回归算子的收敛速率。直到最近,该算子已知的最佳收敛速率为ε?^β∧1 / n + n?1?2ε??1,其中n为样本量,ε?为Tikhonov正则化参数,β>0刻画所涉两个随机变量之间回归关系的平滑度。参见Li和Song(2017)。由(1)所暗示的最优速率为n?1??,当β≥1且采用最优调优ε??n?1??时可实现。然而,我们的计算(见第5节)表明这一速率不足以保证Zhang et al.(2011)所声称的渐近分布。最近,在略有不同的设置下,Choi et al.(2026)将类似回归算子的收敛速率精细化至n?1?2ε?^(β∧1)?1 + ε?^β∧1 + n?1ε?^(3α+1)/(2α)?1 + n?1?2ε?^(α+1)/(2α)?1,其中α>1刻画协方差算子特征值的衰减速率。结果表明,我们可以利用该方法精细化本场景中回归算子的收敛速率,并利用精细化后的速率,严谨地建立我们的检验统计量的渐近分布,与Zhang et al.(2011)在多元设置中所声称的结果一致。
尽管我们的分析在函数设置下进行,但上述结果同样适用于多元设置。因此,定理2首次为基于再生核的条件独立性检验提供了渐近零分布的严谨论证。鉴于该检验的广泛应用,确立其渐近有效性既重要又意义重大。
本文余下部分组织如下。在第2节中,我们回顾了与再生核Hilbert空间和构造总体层面的检验统计量所需的若干线性算子相关的背景知识。在第3节中,我们介绍了条件独立性的检验统计量。在第4节中,我们严谨推导了所提基于再生核的条件独立性检验统计量在函数数据下的渐近分布,并仔细讨论了渐近推导所需的关键条件。在第5节中,我们介绍了构造检验统计量中所涉随机函数的近似方法。第6节给出了样本层面的实现,包括利用加速方法估计渐近分布中出现的特征值、调优参数的选择以及所得算法。第7节报告了模拟研究的结果,第8节通过WISDM数据集的应用展示了所提方法。由于篇幅限制,另一项应用于WDI数据集(World Bank, 2025)的内容置于补充材料中。一些示例以及大多数结果的证明也推迟到补充材料的附录A和附录B中,以免打断主要论述。
小节摘要
嵌套Hilbert空间的构造
设(Ω, ?, P)为概率空间,设T为?中的一个区间,不失一般性地假设为[0,1],设???、???、???为定义在T上的可分Hilbert函数空间。设???、???、???分别为???、???、???中开集所生成的Borel σ域。设???×???×???为积σ域,设(???×???×???, ???×???×???)为积可测空间。进一步,设(X, Y, Z): Ω → ???×???×???为关于?/(???×???×???)可测的随机元素,设P?? = P°X?1, P?? = P°Y?1。
检验统计量的构造
条件协方差算子Σ??|z不足以用于检验条件独立性,因为根据推论3,Σ??|z = 0当且仅当对所有f ∈ ????和g ∈ ????,有E{cov[f(X), g(Y)|Z]} = 0。显然,这并不意味着给定Z时X和Y之间条件独立。相反,条件独立性意味着cov[f(X), g(Y)|Z] = 0。
因此,我们需要对Σ??|z进行修改,使得修改后的版本对应于(13)。
设?X = (X, Z)且κ??? = κ??κ??,设?????为RKHS。
零分布下的渐近性质
本节我们推导T?的渐近分布。我们做出以下额外假设。
假设5:核κ??和κ??有界,核κ??满足E[κ??2(Z, Z)] < ∞。
该假设例如被高斯径向基函数(RBF)核和Laplace核所满足。在陈述下一个假设之前,我们定义一个中间算子Λ????? = E[κ???(·, X)κ??(·, Z) ? κ???(·, Z)]。注意该算子与Σ?????不同,后者可表示为Σ????? = E[κ??(·, X)κ??(·, Z) ? κ???(·, Z)]。
利用基于再生核的平滑器近似轨迹
在实践中,过程X(t)、Y(t)和Z(t)并未在T上连续观测;它们仅在有限个离散时间点被观测到。因此必须从这些离散观测中重建底层曲线。以下我们描述估计这些曲线的过程,以X(t)为例。设X?,…,X?为来自X的独立同分布样本。假设对于样本i,我们仅能在时间点集T? = {t??,…,t??} ? T上观测到X?(t)。我们使用基于RKHS的平滑器进行估计。
特征值的估计
由(32)定义的线性算子???|z依赖于(X, Y, Z)的未知总体分布。因此,要在条件独立性假设检验中应用定理2和推论5,我们首先必须近似该线性算子。
由于???|z是???????? = ????? ? ????上的自伴线性算子,我们首先从样本层面刻画张量积空间????????。根据Hsing和Eubank(2015)的定理2.7.13,κ???κ??是????????的再生核。
为了估计????|z的特征值……
模拟
我们首先通过ε?(t) = (1/r)Σ?=1^r ξ? κ_T(t, t?)生成随机函数ε?(t),i ∈ {1,2,3},其中κ_T(t, s) = min(t, s)为布朗运动核,ξ?,…,ξ?为独立同分布N(0,1),t?,…,t?为独立同分布U(0,1)。我们按照上述模型独立生成ε?, ε?, ε?,其中取r = 50。注意,尽管我们使用了布朗运动核来生成函数随机误差,但在估计过程中我们使用的是高斯核,如第6.4.1节所述。
对于所有模型,随机……
WISDM数据集的应用
我们将方法应用于无线传感器数据挖掘(WISDM)数据集(Kwapisz et al., 2010)。1 该数据集包含在WISDM实验室受控实验室条件下从多名用户收集的带标签加速度计测量数据。对于每个受试者,与三个空间方向对应的三轴加速度计信号是……
致谢
我们感谢两位审稿人的深刻意见和建议,这些意见大大帮助我们改进了本文。我们感谢文熙·谭(Wenxi Tan)和昊宁·陈(Haoning Chen)指出了手稿早期版本证明中的两处错误。Bing Li的研究部分由NIH 1 R01 GM152812-01资助。我们感谢肯塔基大学计算科学与信息技术服务部研究计算中心的支持以及Morgan计算集群和相关设施的使用。
Yin Tang | Bing Li