国际大规模教育评估中非参与问题的部分识别方法研究——基于多阶段分层抽样设计的均值成就估计

《Journal of the Royal Statistical Society Series A: Statistics in Society》:Partial identification of mean achievement in ILSA studies with multi-stage stratified sample designs and student non-participation

【字体: 大 中 小 】 时间:2026年01月02日 来源:Journal of the Royal Statistical Society Series A: Statistics in Society 1.5

编辑推荐:

  本文针对国际大规模教育评估(ILSA)研究中学生非参与导致的识别问题,提出了一种基于部分识别框架的创新解决方案。研究人员通过多阶段分层抽样设计,首次将Manski提出的部分识别方法应用于ILSA领域,建立了考虑学校层面和学生层面非参与情况的均值成就估计模型。研究结果表明,与传统忽略非参与性的点估计方法相比,部分识别方法能在更合理的假设下提供更可靠的区间估计,为教育政策制定提供了更科学的依据。该研究发表于《Journal of the Royal Statistical Society Series A: Statistics in Society》,为教育评估领域带来了方法论的重要突破。

  
在国际教育评估领域,一个长期存在的难题如同阴影般笼罩着研究结果的可信度——当部分学生或学校选择不参与评估时,我们如何确保最终得出的结论能够真实反映整个教育系统的现状?这个看似简单的问题背后,隐藏着复杂的统计学挑战。传统方法往往依赖于"忽略非参与性"的强假设,即假设参与者和非参与者在评估表现上没有系统性差异。然而,现实情况往往比这复杂得多,特别是在涉及多国比较的大规模评估中。
国际大规模教育评估(ILSA)研究,如国际学生评估项目(PISA)、国际数学与科学趋势研究(TIMSS)等,已经成为全球教育政策制定的重要参考依据。这些研究通过收集各国学生成就数据,旨在揭示不同教育系统中学生成就的分布特征。然而,学校和学生两个层面的非参与问题,始终是影响结果有效性的关键威胁。传统的处理方式是在抽样层和学校内部假设非参与是可忽略的,从而实现对总体参数的点识别。这种方法虽然简洁,但其背后的强假设在现实中的合理性常常受到质疑。
正是在这样的背景下,Diego Cortes、Jeff Dominitz和Maximiliano Romero在《Journal of the Royal Statistical Society Series A: Statistics in Society》上发表了他们的研究成果。他们创新性地将部分识别框架引入ILSA研究,为处理非参与问题提供了新的思路。部分识别的核心思想是,当点识别所需的强假设不可信时,我们可以通过较弱的、更合理的假设来缩小参数的可能取值范围,从而在透明承认不确定性的同时,提供有意义的推断结果。
研究人员首先构建了一个理论框架,将ILSA研究中典型的两阶段抽样设计形式化:第一阶段学校被抽样并邀请参与,第二阶段在参与学校内随机选择学生完成评估。非参与可能发生在任一阶段——学校拒绝参与或学生拒绝参与。通过引入部分识别分析,研究人员展示了如何在不同的假设条件下,对总体均值成就进行区间估计。
研究的关键技术方法包括:基于逆概率加权(IPW)的估计策略,该策略通过考虑学校和学生两个层面的抽样概率和非参与概率来构建权重;针对多阶段分层抽样设计的识别区域推导,其中学校 stratification(分层)被用于构建更精细的识别区域;以及基于百分位数界限的敏感性分析,通过设定非参与者成就分布的合理界限来构建部分识别区间。
研究结果部分,作者通过2018年国际计算机与信息素养研究(ICILS)的数据,展示了部分识别方法在实际应用中的价值。在"最小限制下的识别分析"中,研究人员首先在不施加任何实质性假设的情况下,推导了均值成就的识别区域。结果显示,当仅假设非参与学生的平均成就位于参与者成就分布的某个百分位数区间内时,可以得出有意义的界限估计。
在"ILSA中的标准假设"部分,研究人员剖析了传统方法所依赖的假设:Assumption A2(学生成就与学生在学校内的参与情况统计独立)和Assumption A3(学生成就与学校在抽样层内的参与情况统计独立)。当同时采用这两个假设时,总体均值被点识别为参与学生成就的加权平均。然而,这种点识别的代价是做出了可能不现实的强假设。
最具启发性的是"单调非参与"分析,其中研究人员提出了一个更符合实际经验的假设:非参与学生的平均成就不会高于参与学生。这一假设得到了一些实证研究的支持,例如在PISA的非应答偏差分析中发现,非参与者往往比参与者表现稍差。在这一假设下,识别区域的上界被限制在参与学生的平均成就水平,从而显著缩小了不确定性范围。
实证应用部分展示了如何将部分识别方法用于国际比较。以ICILS 2018为例,研究人员比较了不同教育系统在传统点估计和部分识别区间估计下的结果。研究发现,在非参与率较高的国家(如美国,非参与率达39%),部分识别方法揭示的结果不确定性明显更大,这为结果解读提供了重要背景信息。相比之下,传统方法可能掩盖了这种不确定性,导致过于自信的结论。
研究的讨论部分强调了部分识别方法在提高结果透明度和可信度方面的价值。与传统仅基于参与率阈值添加警示注释的做法相比,部分识别方法提供了更丰富、更量化的不确定性信息。研究人员还提出了两种有前景的扩展方向:一是将统计推断纳入部分识别框架,通过重抽样技术构建部分识别参数的置信区域;二是借鉴选举调查中的"总误差边际"(TME)概念,开发同时考虑抽样误差和非参与偏差的综合性不确定性度量指标。
这项研究的重要意义在于,它为ILSA研究提供了一种处理非参与问题的范式转变。通过部分识别框架,研究人员和政策制定者可以在透明承认不确定性的同时,做出基于更合理假设的推断。这种方法不仅提高了结果的可信度,还促进了更谨慎、更负责任的结果解读和政策应用。正如作者引用的Tukey的名言:"近似回答正确的问题(通常很模糊)远比精确回答错误的问题(总是可以变得精确)要好得多。"这项研究正是这一理念在教育评估领域的生动实践,为未来ILSA研究的方法论发展指明了有前景的方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号