基于信息理论的比特量表:单维项目反应理论模型的度量分数尺度创新
《Psychometrika》:The bit scale: A metric score scale for unidimensional item response theory models
【字体:
大
中
小
】
时间:2025年12月11日
来源:Psychometrika 3.1
编辑推荐:
本文推荐一项针对项目反应理论(IRT)中潜在特质尺度(θ)任意性问题的创新研究。为解决传统θ尺度因依赖特定群体分布假设而缺乏可比性的局限,作者提出基于信息理论( surprisal和entropy)的"比特量表"(bit scale)。通过实证案例和模拟研究证实,该量表能够提供与测试项目特性而非测试群体绑定的度量尺度,在模型比较和测验等值链接中展现优越性能,为心理测量学提供了新的度量报告框架。
在心理与教育测量领域,项目反应理论(Item Response Theory, IRT)已成为分析大规模评估和成就测验的核心工具。然而,这一理论长期面临一个基础性挑战:其潜在特质尺度(θ)具有内在的任意性。正如Lord(1975)所指出的,θ尺度缺乏自然的原点或单位,传统上为满足统计可识别性和计算便利性,通常假设θ服从标准正态分布N(0,1)。这种对特定群体分布假设的依赖,严重限制了不同测验、群体或模型估计方法间分数的直接可比性和解释性。距离在潜在特质尺度上仅在与拟合模型所用测试者样本群体的相对关系中才有意义,这一根本问题长期以来制约着测量结果的跨情境比较和应用。
针对这一长期存在的测量学难题,乌默奥大学的Joakim Wallmark和Marie Wiberg在《Psychometrika》上发表了开创性研究,提出了名为"比特量表"(bit scale)的全新度量转换方法。该方法摒弃了将潜在特质尺度与测试者群体绑定的传统思路,转而将尺度锚定于测试项目本身的属性,从而实现了对群体假设的不变性。
研究团队从信息理论的基本原理出发,巧妙利用了 surprisal(惊奇值)和熵(entropy)两个核心概念。Surprisal定义为S(P) = -log2(P),将概率P转换为以比特(bit)为单位的度量,具有比率量尺的特性——绝对零点、非负性和可加性。熵Hj(θ)则作为期望 surprisal,量化了在给定潜在特质水平θ下,项目反应的不确定性程度。
基于这些概念,研究者定义了项目比特分数(item bit score):从最小θ值(θ(0))到测试者估计值θ的熵变化累积量。具体而言,Bj</(θ) = ∫θ(0)θ|dHj(θ)/dθ| dθ。这一计算过程通过熵曲线的变化直观呈现了测试者在潜在特质连续体上的不确定性解析进程。
在局部独立性假设下,各项目比特分数可加性聚合为测验比特分数B(θ) = Σj=1JBj(θ),形成单调一对一变换,完全替代θ尺度。关键创新在于,比特量表不再量化潜在特质作为静态坐标,而是度量测试项目关于该特质所提供的不确定性解析累积量。
研究采用了两项实证演示和一项模拟研究验证比特量表的实用性。技术方法主要包括:采用两参数逻辑斯蒂模型(2PL)和广义部分计分模型(GPC)构建IRT框架;基于边际最大似然估计(MML)进行参数估计;通过信息理论框架定义比特分数计算算法;利用数值积分实现熵变化累积量计算;采用瑞典国家数学测验和瑞典学术能力测验(SweSAT)的真实数据进行验证。
使用瑞典高中数学国家测验数据,比较了在标准正态假设和经验直方图估计两种不同θ分布假设下拟合的GPC模型。结果显示,虽然两种方法得到的θ分布方差不同(1.06 vs 1.55),但转换到比特量表后,分数分布高度相似,范围几乎完全一致。
更有意义的是,在θ尺度上单峰的信息曲线,在比特量表上呈现出多峰结构,反映了由特定项目集定义的测量精度集中区域,而非任意定义的单峰结构。这一发现揭示了传统θ尺度可能掩盖的测验精度分布细节。
利用瑞典学术能力测验(SweSAT)两个年度(2013和2014)的数据,演示了如何通过共同锚题项目直接链接不同测试表册的潜在特质分数。通过仅基于锚题项目计算比特分数,建立了项目锚定的共同度量,即使面对模拟的群体能力差异(从2014年数据中抽取高能力子样本),也能实现潜在特质水平的直接比较。
与传统的均值-均值链接方法(mean-mean linking)相比,比特量表方法能更自然地处理尺度间可能存在的非线性关系,为测验等值提供了概念直观的替代方案。
模拟研究考察了最大似然估计(ML)的比特分数的渐近性质。结果显示,比特分数估计偏差低,特别是在题目数量较多时;推导的标准误(基于delta方法)与经验标准误高度一致,验证了其用于量化比特分数不确定性的可靠性。
比特量表的一个显著优势是能自然处理完美分数和零分情况,而θ的ML估计在这些情况下会发散至±∞,为整个能力范围内的分数估计和评估提供了实用优势。
本研究引入的比特量表代表了心理测量学尺度转换方法的重要进展。通过将信息理论原理融入IRT分数转换,它解决了传统θ尺度任意性带来的根本限制。比特量表的度量特性、对群体假设的不变性以及在模型比较和链接中的实用性表明,它可以成为增强教育和心理评估测量结果解释性、可比性和评估的宝贵工具。
该研究的实际意义在于提供了可操作的软件实现(R的bitscale包和Python的IRTorch包),促进了方法的实际应用。未来研究方向包括将项目参数不确定性纳入比特分数方差估计、探索在计算机化自适应测试(CAT)中的应用,以及更全面比较比特量表链接与既定等值方法的性能。
比特量表不影响模型拟合,因此可与大多数IRT分析方法结合使用,如项目功能差异(DIF)分析和各种项目及个人拟合指标。这一特性确保了新方法与传统IRT分析框架的兼容性,为测量实践提供了无缝过渡路径。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号