《British Journal of Mathematical and Statistical Psychology》:Using multilabel classification neural network to detect intersectional DIF with small sample sizes
编辑推荐:
本研究提出了一种名为InterDIFNet(交叉功能差异网络)的多标签分类神经网络,用于在教育与心理测量中检测交叉性项目功能差异(DIF),尤其关注小样本情境。与传统的边缘性DIF方法相比,这些方法往往无法捕捉交叉身份的影响且需要大样本,InterDIFNet
本研究提出了一种名为InterDIFNet(交叉功能差异网络)的多标签分类神经网络,用于在教育与心理测量中检测交叉性项目功能差异(DIF),尤其关注小样本情境。与传统的边缘性DIF方法相比,这些方法往往无法捕捉交叉身份的影响且需要大样本,InterDIFNet能够同时对多个交叉群体间的均匀性和非均匀性DIF进行建模,并利用优化的阈值平衡检测功效与Ⅰ类错误控制。一项蒙特卡洛模拟研究在不同的样本量、群体数量和DIF流行率下,将InterDIFNet与截断Lasso惩罚检验(TLP)及其他交叉DIF方法进行了比较。结果表明,当使用TLP特征进行训练时,InterDIFNet在保持可比的Ⅰ类错误控制的同时,始终比TLP具有更高的功效,特别是在存在三个或更多交叉群体的情境中。对真实评估数据的实证应用进一步证明了该方法的实际效用。InterDIFNet为在多个小样本群体中识别交叉DIF提供了一个可扩展的、数据驱动的解决方案。
研究人员开展了一项旨在解决现有交叉项目功能差异(DIF)检测方法在小样本条件下局限性的研究。传统的DIF分析通常基于单一的人口统计指标划分两组,这无法充分考虑个体身上复杂的交叉社会身份。交叉DIF方法试图解决这一问题,但现有方法如Mantel-Haenszel检验和标准化D检验,在执行多重成对比较时,往往需要较大的样本量,而这在社会科学中常常难以实现。即使是近期出现的如截断Lasso惩罚检验(TLP)和项目聚焦树(IFT)等方法,也存在计算复杂度高或功效有限的缺陷。因此,亟需一种能在小样本条件下可靠检测交叉DIF的新方法。为此,研究人员将交叉DIF检测问题重新构建为一个有监督的多标签分类学习问题,并提出使用名为InterDIFNet的多标签分类神经网络来解决。该研究发表在《British Journal of Mathematical and Statistical Psychology》期刊上。
研究人员采用的技术方法主要包括:1)基于模拟数据的监督学习训练范式。研究人员生成了大量模拟的测验项目反应数据,这些数据涵盖了多种可能的DIF场景、群体能力差异(影响)和样本量,并生成了相应的DIF标签作为监督信号。2)特征工程与生成。对于每个模拟数据集,研究人员计算了成对的DIF统计量,包括Mantel-Haenszel、标准化D、逻辑回归、同时性偏差检验(SIB)和交叉同时性偏差检验(CSIB),并估计了基于TLP的组别特定项目参数,这些共同构成了神经网络的输入特征。3)InterDIFNet神经网络架构。该网络是一个前馈神经网络,具有三个共享隐藏层(分别有512、256和128个神经元),并采用ReLU激活函数。输出层有两个分支,分别用于预测均匀DIF和非均匀DIF的概率,每个输出节点使用sigmoid激活函数。训练中应用了批量归一化、Dropout和L2正则化以防止过拟合。4)训练策略与优化。训练数据根据算法1采用重复迭代分层留出法,以确定最优的训练/验证集划分比例(模拟结果显示为80%/20%)。损失函数根据标签维度选择:在群体较少(2-3组)时使用多标签焦点损失,群体较多时使用多标签二元交叉熵损失。分类阈值则通过算法3在验证集上基于宏观F1分数进行数据驱动的优化。5)特征重要性评估。研究人员提出了一种称为交叉DIF消融(算法2)的特征重要性评估方法,通过置换特定DIF检验的特征集并观察模型性能下降程度来评估该检验对模型的贡献。研究的样本队列来源于模拟生成的数据以及一组先前研究中的真实计算机课程评估数据。
研究结果如下:
**与现有方法的比较:** 在初步的模拟比较中,研究人员发现传统的交叉DIF检验方法(如Mantel-Haenszel、标准化D等)在检测均匀DIF时显示出一定的功效,但代价是严重的Ⅰ类错误膨胀。TLP是唯一在所有模拟条件下能良好控制Ⅰ类错误的方法,但其检测非均匀DIF的功效较低。
**InterDIFNet模型性能:** 研究人员测试了三种InterDIFNet模型。1) **模型1(仅TLP特征):** 该模型仅使用TLP估计的项目参数和相关的DIF统计量作为特征进行训练。结果表明,该模型在10组和3组的小样本情境下,检测均匀和非均匀交叉DIF的功效均显著高于TLP,同时保持了与TLP相当的、良好的Ⅰ类错误控制(约在名义的5%水平)。2) **模型2(全部特征):** 该模型使用了所有可用的DIF检验统计量和TLP参数作为特征。尽管它展现出很高的功效,但其?类错误率极不可控,远超可接受水平。3) **模型3(消融选择特征):** 该模型使用通过交叉DIF消融算法筛选出的特征子集进行训练。该模型在某些条件下表现出高功效,但Ⅰ类错误率同样过高。消融分析显示,该算法倾向于保留对均匀DIF敏感的检验特征,而舍弃了对非均匀DIF敏感的特征,导致模型在非均匀DIF检测上出现不稳健的性能模式。
**与其他多标签分类器的比较:** 研究人员将InterDIFNet(使用TLP特征)与多种多标签分类方法(如逻辑回归、随机森林、支持向量机、ML-KNN、分类器链等)进行了比较。结果发现,InterDIFNet在10组情境下取得了最高的综合性能(功效-Ⅰ类错误指数为86.7%),即它在提供最高功效(94.3%)的同时,Ⅰ类错误率(7.57%)与其他高性能方法(如集成分类器链)相当。而像ML-KNN和LDA等方法虽然Ⅰ类错误率很低,但功效也显著偏低。
**真实数据示例:** 使用包含四个交叉群体(性别与种族交叉)的真实计算机课程评估数据,InterDIFNet(模型1)成功识别出了先前研究通过其他方法发现的项目(如项目8、9、13、20),并额外检测出项目6和15可能存在DIF。此外,网络输出的DIF概率预测为评估提供了更细粒度的信息,例如网络对项目15存在非均匀DIF的置信度非常高。
研究人员在讨论部分总结指出,InterDIFNet代表了交叉DIF检测领域的重要进展。通过使用TLP生成的项目参数作为特征来训练InterDIFNet,研究人员提出了一种稳健且强大的解决方案,能够在有效控制Ⅰ类错误的同时,提高交叉DIF的检测功效,解决了当前方法学中的一个关键缺口。该研究表明,现有的经过验证的DIF估计方法(如TLP)可以作为特征生成器,为数据驱动的架构提供心理测量学上有意义的输入,从而提升模型在小样本和高维交叉情境下的灵敏度与稳定性。研究也指出了方法的局限性,包括对训练数据分布代表性假设的依赖、神经网络“黑箱”性质带来的解释性挑战,以及在仅两组的简单边际DIF情境中可能不适用。未来研究可探索更先进的可解释人工智能(XAI)技术和针对多标签DIF分类的专用损失函数。总之,随着教育和心理测量日益追求对多元交叉身份的公平性,像InterDIFNet这样的方法对于确保公平的测量实践将变得不可或缺。