基于非平稳数据的惩罚对数似然准则的一般预言机不等式
《Stochastic Processes and their Applications》:General oracle inequalities for a penalized log-likelihood criterion based on non-stationary data
【字体:
大
中
小
】
时间:2026年10月22日
来源:Stochastic Processes and their Applications 1.2
编辑推荐:
**摘要**
我们证明了一个惩罚对数似然准则的预测值不等式,即使数据不独立且非平稳,该不等式依然成立,证明基于鞅方法。我们在各种情境下验证了这些假设:独立同分布(i.i.d.)数据的密度估计、隐马尔可夫模型、脉冲神经网络、对抗赌博机。在每种情况下,我们将我们的结果与文献中的结
**摘要**
我们证明了一个惩罚对数似然准则的预测值不等式,即使数据不独立且非平稳,该不等式依然成立,证明基于鞅方法。我们在各种情境下验证了这些假设:独立同分布(i.i.d.)数据的密度估计、隐马尔可夫模型、脉冲神经网络、对抗赌博机。在每种情况下,我们将我们的结果与文献中的结果进行比较,表明尽管在最经典的情况(i.i.d.)下我们失去了一些对数因子,但在高度相关的这些情况下,这些结果与现有结果相当或更普遍。
**引言**
最大似然估计器(MLE)(见[1]及其中的参考文献)通常被认为是构建估计器的默认方法,尽管这一观点受到了争议,特别是关于其鲁棒性方面[2]。在独立同分布(i.i.d.)设置下,已知其在温和条件下(通常指密度可微)具有渐近有效性(其方差相对于 Cramer-Rao 界是渐近最小的)[3]。1973年,赤池(Akaike)[4]提出了他著名的惩罚对数似然准则(AIC),指出为了从一组有限模型中选择一个模型,必须将任何模型 $m$ 的对数似然值减去描述 $m$ 的参数个数 $D_m$。AIC 存在大量变体(包括 BIC 和任何 $\ell_0$ 惩罚),其渐近性质或多或少都很精确(见[5]及其中的参考文献)。在额外的可微性假设下,威尔克斯(Wilks)现象[6]更精确地量化了(在渐近意义下)中心化的最大对数似然如何表现为自由度为 $D_m$ 的卡方分布。这一现象使得构建渐近似然比检验成为可能,从而通过多重检验来进行模型选择[7]。这一想法已在许多情境中使用,最近的应用包括与渐近模型选择 $\ell_1$ 结合[8], [9], [10]。简而言之,使用 AIC 型惩罚和威尔克斯现象,我们对 MLE 在独立同分布设置下的渐近行为有了相当清晰的理解,包括维度方面以及应如何惩罚对数似然以在一组有限的、足够平滑的模型中找到正确模型。
在非渐近框架下,研究变得更加困难。存在一些模拟威尔克斯现象的集中不等式[11],它们提供了对指数族[12]中 MLE 行为的非渐近理解,或者说明了如何惩罚 MLE 使其在具有有限有效维度的无穷维设置中也能正常工作[13]。甚至可以在独立同分布框架下,通过惩罚对数似然对特定模型族进行模型选择[14], [15]。然而,在这些工作中,基于“Birgé-Massart 方法”的模型选择[16]通常依赖于对比和所考虑模型族之间的某种形式的线性关系,这导致惩罚常数的微调[17],但同时也阻碍了结果被应用于更一般的情境。
如果我们超越独立性,关注相关数据,那么有两个可能的目标:估计边缘分布[18](或在这一脉络下,数据元组的联合分布)或者估计给定过去的条件下数据的条件分布。在本文中,我们对第二个目标感兴趣:估计条件分布。如果希望通过 $(X_i, Y_i)$ 的独立同分布样本估计给定 $X$ 时 $Y$ 的条件分布,文献非常丰富[19], [20], [21], [22]。但在广义上,试图在相关过程的单次实现上做这件事并不常见。作者通常专注于假设数据平稳的某一种过程。在这种情况下,通过最小化惩罚对比(带 $\ell_0$ 或 $\ell_1$ 惩罚,使用或不使用对数似然)获得了多种模型选择结果。这些包括马尔可夫链[23]、隐马尔可夫模型[24], [25], [26]、含有未观测成分的脉冲神经网络[27]、点过程[28]。在每种情况下,论证都是鞅方法与源于过程遍历性和混合性的非渐近指数不等式的结合。
然而,赤池准则(负对数似然加上与 $D_m$ 成正比的惩罚)经常在这些框架之外使用[29], [30]。例如,在个体需要学习任务且只学习一次的机器学习实验中,数据既不是独立的也不是平稳的。一些作者[31]假设个体是同分布的,但这在实践上是一个极强且不太可能成立的条件。在我们的第一项工作[32]中,我们证明了个体学习轨迹上最大似然估计器的有意义界限。据我们所知,在这个框架下,或更一般地,对于相关且非平稳数据,没有关于模型选择的理论工作。
本文的目的是推导一个适用于 AIC 型模型选择的非渐近预测值不等式,该不等式足够通用,能够涵盖上述所有配置:独立同分布样本、隐马尔可夫模型、部分观测神经网络、学习模型等。
证明依赖于一个在参数化满足 H?lder 条件下,对随机归一化的经验中心化过程的上确界成立的指数不等式。该指数不等式推广了[33]和[34]的工作,灵感来源于[35], [36]和[37]关于重整化鞅的工作。H?lder 情形对于推导隐马尔可夫模型的界限特别有用。我们也提到我们最近发表的工作[38],它将这些一般结果应用于上下文赌博机(contextual bandits)的特定设置。
文章其余部分的组织如下:在第 2 节中,我们引入符号和一般框架。在第 3 节中,我们陈述了概率和期望在下的假设以及有界和无界框架下的预测值不等式。我们还讨论了惩罚 $D_m$ 如何相对于更传统的证明技术获得。在第 4 节中,我们根据文献中的现有结果考察了这些一般结果涵盖的各种情况。最后,在第 5 节中,我们展示了 H?lder 参数化下的指数不等式。附录专用于我们的证明。
**章节片段**
**框架与符号**
给定两个整数 $a \le b$ 和一个序列 $(x_s)_{s \in \mathbb{Z}}$,记 $x_a^b = (x_a, \cdots, x_b)$(当 $a > b$ 时 $x_a^b$ 为空序列)。对于任意两个实数 $x, y$,记 $x \vee y$ 为它们的最大值,$x \wedge y$ 为它们的最小值。设 $\mathbb{N}^*$ 为正整数集,对于任意 $n \in \mathbb{N}^*$,记 $[n]$ 为整数集 $\{1, \cdots, n\}$。当 $E$ 为有限集时,用 $|E|$ 表示其基数。最后,$\log$ 表示自然对数。
设 $n \ge 3$ 为一个整数。我们观测定义在 Polish 测度空间 $(\mathcal{X}, \mathcal{F}, \mu)$ 上的过程 $(X_t)_{1 \le t \le n}$,并
**大纲**
让我们给出即将讨论的假设和定理以及它们在 Section 4 中应用的非常简略的预览。
* “有界”情况:如假设 1 和 2 所述,密度 $p^\star_t$ 和 $p_{m,\theta,t}$ 在 0 和 $+\infty$ 之外有界,且在 $\theta$ 上满足 H?lder 条件。假设 3 和 4 确保了所有事物的可测性,从而得出了第 3.4 节中的预测值不等式。
* “无界”情况:如假设为,密度 $p^\star_t$ 和 $p_{m,\theta,t}$ 以高概率(在 $p^\star_t$ 下)在 0 和 $+\infty$ 之外有界且在 $\theta$ 上满足 H?lder 条件,但不是几乎必然成立。
**应用**
前面所述的预测值不等式非常通用。本节旨在解释它们与现有结果相比如何。让我们看看它们在各种情境中的应用。
**具有随机归一化的过程的上确界的集中界**
在本节中,我们呈现了用于定理证明的核心集中不等式。它改进了现有的控制归一化过程上确界偏差的结果,使得能够取随机重整化项。
**Proposition 19**
设 $(M_t)_{t \ge 0}$ 为一个 $(\mathcal{F}_t)_{t \ge 0}$ 鞅且 $M_0 = 0$。设 $t \ge 1$ 并假设存在一个...
下一个命题直接源于 [60] 中的引理 3.3,提供了一个使用随机上界的伯恩斯坦不等式变体。
**结论**
总之,我们的工作介绍了一些基于惩罚对数似然准则的预测值不等式,其在弱假设下有效,即使对于相关、非遍历和非平稳的过程也是如此。尽管这些假设可能显得有些严格,但它们允许我们得出重要的结论。事实上,这些假设通常与通常用于获得 MLE 的一致性和渐近正态性的正则性条件相当,例如 H?lder 条件。
我们的结果是
Julien Aubert | Luc Lehéricy | Patricia Reynaud-Bouret
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号