利用过程数据降低项目功能差异(DIF):一种基于广义线性模型的新方法及其在PIAAC问题解决项目中的应用

《Psychometrika》:REDUCING DIFFERENTIAL ITEM FUNCTIONING VIA PROCESS DATA

【字体: 大 中 小 】 时间:2025年12月11日 来源:Psychometrika 3.1

编辑推荐:

  本文针对心理测量与教育评估中的测验公平性问题,提出了一种利用过程数据构建干扰特质代理变量以降低项目功能差异(DIF)的新方法。研究在广义线性模型(GLM)框架下,通过从计算机化评估的过程数据中提取特征,构建干扰特质的线性替代指标,并引入新的评分规则。模拟研究和基于PIAAC 2012数据的案例表明,该方法能有效减少DIF,提高目标特质估计的准确性,为利用过程数据提升测验公平性提供了新思路。

  
在当今教育测量和心理计量学领域,确保测验的公平性是一个核心议题。当来自不同子群体(如不同性别、年龄或收入水平)的受试者,在具有相同目标潜在能力(如问题解决能力)的情况下,对某个测验项目的反应概率存在系统性差异时,就出现了项目功能差异(Differential Item Functioning, DIF)。DIF的存在意味着项目可能存在测量偏差,对某些群体不公平。传统的DIF分析方法主要集中于统计检测DIF的存在,而对于如何减少或消除已识别出的DIF关注较少。通常,被检测出具有显著DIF的项目会在项目校准阶段被删除,这导致了项目开发和施测资源的浪费。因此,如何理解和减少DIF,并利用日益丰富的评估数据来改善测量,成为了一个重要的研究方向。
与此同时,计算机化评估的普及产生了海量的过程数据。这些数据记录了受试者与测验项目交互的完整行为序列,包括每次点击、拖拽、输入等操作的时间戳信息。与仅记录最终得分(对/错或部分得分)的传统结果数据相比,过程数据为了解受试者的解题策略、投入程度和问题解决过程提供了宝贵的信息。例如,在经济合作与发展组织(OECD)开展的成人能力国际评估计划(PIAAC)和国际学生评估计划(PISA)等大型评估中,都收集了丰富的 process data。这为从新的角度研究DIF提供了契机。
本研究由哥伦比亚大学统计系和伊利诺伊大学厄巴纳-香槟分校心理学系的Ling Chen、Susu Zhang和Jingchen Liu合作完成,论文发表在心理测量学权威期刊《Psychometrika》上。研究团队认为,DIF的产生可归因于潜在特质的多维性。即,除了项目旨在测量的主要维度(目标特质,θ)之外,还存在次要维度(干扰特质,η)同样影响着项目反应。当干扰特质在不同子群体中的分布存在差异时,如果仅使用单维测量模型,就会观察到DIF。一个典型的例子是计算机熟练度,它可能与问题解决策略、反应时间和最终反应相关,并且在不同的年龄组中分布不同,从而导致基于年龄的DIF。
为了应对这一挑战,研究人员提出了一种新颖的方法,旨在利用过程数据来减少DIF。该方法的核心思想是:从过程数据中提取特征,构建一个能够有效代理未知干扰特质的变量,进而将该项目反应模型从单维扩展到包含目标特质和干扰特质代理的双维模型,从而“校正”DIF效应。具体而言,他们假设干扰特质可以由过程数据特征的线性组合(η = ωΤX)来近似表示。关键的技术步骤在于如何确定这个线性组合的权重ω。研究团队设计了一个优化目标:寻找一个ω,使得在加入了干扰特质代理的测量模型中,分组变量(如年龄、性别)的引入不再显著改善模型的拟合优度。这意味着,在控制了目标特质和构建的干扰特质后,项目反应概率在不同组别之间变得近似相等,从而实现了DIF的减少。
为了开展这项研究,作者主要运用了以下几个关键技术方法:首先,从原始的操作序列日志中提取过程特征,并采用Tang等人(2020a)提出的多维标度法进行降维和处理,以获得代表受试者行为模式的特征矩阵X。其次,在广义线性模型(GLM)框架下建立项目反应模型,针对连续反应和二分反应(如M2PL模型)分别采用线性连接函数和Logit函数。核心方法是构建干扰特质代理的优化算法,对于线性模型的特殊情况,论文给出了权重ω的闭式解;对于更一般的非线性模型(如M2PL),则采用数值优化方法(如L-BFGS-B)进行求解。此外,研究还涉及迭代估计过程,先利用无DIF项目初步估计目标特质,再对DIF项目进行干扰特质校正和参数重估,最后更新所有受试者的目标特质估计。研究使用了2012年PIAAC调查中13个“技术丰富环境中的问题解决”(PSTRE)项目的数据进行案例研究,样本包括8398名受试者,并考虑了年龄、收入和性别作为分组变量。
研究结果部分通过模拟实验和实际数据案例验证了所提方法的有效性。
模拟研究结果表明该方法能有效减少DIF。在广泛的模拟设置下(样本量N=2000, 5000, 10000;DIF项目比例不同;DIF效应大小不同),对于线性模型和M2PL模型,通过优化构建的干扰特质代理均能显著降低目标函数L(ω)的值。在线性模型下,甚至可以达到L(ω) = 0的理想状态。这表明该方法能够有效地捕捉导致DIF的干扰维度。
项目参数估计精度高,干扰特质估计与真实值相关性好。模拟结果显示,项目参数(如难度d、目标特质区分度a0、干扰特质区分度a1)的估计均方误差(MSE)较小,并且估计的干扰特质与真实干扰特质之间的相关性较高。随着样本量的增大,估计精度会进一步提升。
校正DIF后目标特质的Fisher信息量增加,测量更可靠。在大多数情况下,在线性模型中加入干扰特质代理后,目标特质θ的Fisher信息量有所增加。在M2PL模型中,部分项目Fisher信息量有适度降低,但一些原本DIF效应较大的项目(如U06b, U07)在校正后Fisher信息量显著提升,表明测量模型对目标特质的测量精度和可靠性得到了改善。
目标特质估计的组间偏差显著降低。通过比较DIF校正前后,仅使用DIF项目进行目标特质估计时,组间偏差的平方和(SSB),研究发现校正后的估计值其组间偏差远小于未校正的估计值。这证明该方法能够有效纠正因DIF导致的潜在特质估计偏差,提升测量的公平性。
在针对PIAAC 2012数据的案例研究中,该方法同样表现出色。首先,利用初始的目标特质估计进行DIF检测,发现在年龄、收入、性别三个分组变量上,大部分项目(13个中的12个、5个、5-7个)均显示出显著的均匀DIF。然后,应用提出的方法为每个DIF项目构建干扰特质代理。结果显示,该方法能够有效最小化目标函数,成功减少了DIF。以一个具体项目(U01a,派对邀请)为例,研究对构建的干扰特质代理进行了解释。他们发现,残差干扰特质(排除了目标特质影响后)与受试者在解题过程中是否使用“拖拽”操作高度相关(相关系数达0.61)。进一步分析表明,使用拖拽操作的受试者正确率(74.4%)远高于未使用该操作的受试者(26.3%),并且年轻受试者中使用拖拽操作并获得正确答案的比例(80.6%)高于年长受试者(57.7%)。这提示,计算机操作熟练度(特别是对拖拽操作的熟悉程度)可能是一个导致该项目出现年龄DIF的重要干扰特质,年长者可能由于不熟悉此类操作或界面字体小等原因处于劣势。通过引入这个从过程数据中构建的干扰特质代理,项目反应中的DIF得到了校正。
研究的讨论部分总结了该方法的意义与局限性。本研究的主要贡献在于提出并验证了一种利用过程数据减少DIF的创新方法,为处理具有DIF的项目提供了“纠偏”而非简单“删除”的新思路,有助于节约测量资源并深化对DIF成因的理解。然而,研究也存在一些局限:首先,其理论基础是DIF源于多维性,但DIF也可能由其他模型设定错误引起。其次,引入干扰特质代理可能会在一定程度上降低目标特质测量的可靠性,未来可探索在优化目标中同时考虑DIF减少和测量信度。再次,方法依赖于一组准确的“锚题”(无DIF项目)来初始估计目标特质,当所有项目都存在DIF或锚题选择不当时,可能影响效果,未来可研究更稳健的联合估计方法。最后,目前干扰特质代理是过程特征的线性组合,且其解释性高度依赖于具体项目和分组变量,难以普适化解释。
综上所述,这项研究为利用过程数据提升心理与教育测量的公平性和准确性提供了有力的方法论支持和实证证据。它展示了过程数据在揭示和校正测量偏差方面的巨大潜力,为未来在更复杂的模型框架(如非线性、多分组变量)下进一步探索DIF的成因和校正方法开辟了新的方向。随着计算机化评估的进一步发展,如何更深入地挖掘和利用过程数据,必将成为心理计量学的一个重要前沿领域。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号