《Computers》:A Hybrid Neural-IRT Framework for Addressing Cold-Start Challenges in Computerized Adaptive Testing
Almira Iskakova,
Olga Salykova,
Nauzhan Didarbekova,
Irina Ivanova,
Anara Akmoldina and
Ainur Zhumadillayeva
编辑推荐:
计算机化自适应测试(CAT)系统在测试管理初期面临重大挑战,此时有限的响应数据导致不稳定的能力估计和较差的题目选择。这种冷启动问题降低了测量精度和测试效率,尤其对于能力偏离总体常模的学生。本研究引入了一种混合能力估计模型,该模型在整个自适应测试过程中动态整合神
计算机化自适应测试(CAT)系统在测试管理初期面临重大挑战,此时有限的响应数据导致不稳定的能力估计和较差的题目选择。这种冷启动问题降低了测量精度和测试效率,尤其对于能力偏离总体常模的学生。本研究引入了一种混合能力估计模型,该模型在整个自适应测试过程中动态整合神经网络预测与经典项目反应理论(IRT)估计。神经组件利用辅助学生信息(包括人口统计学特征、先前表现和早期响应模式)生成准确的初始能力估计,而IRT组件在响应数据积累时保持心理测量学有效性。一个动态融合机制随着更多题目被管理,逐渐将估计权重从神经模型转移到IRT模型。在2847名跨四个学科领域的学生上的实验验证表明,与传统的CAT方法相比,混合方法在前五个题目期间将能力估计的均方根误差(RMSE)降低了34.2%,同时在后期阶段保持等效精度。该系统还将达到目标精度(标准误差SE < 0.3)所需的题目数量平均减少了28.7%,对于能力极端的学生观察到了最大的收益。
计算机化自适应测试(CAT)在教育测量领域已发展数十年,其核心优势在于根据学生能力动态调整题目,提升测量效率。然而,在测试初期,由于响应数据稀疏,传统CAT系统面临严重的冷启动问题:能力估计不稳定,题目选择不准确,尤其对于能力偏离总体常模的学生,测量精度和效率显著下降。现有方法如多阶段测试或改进先验分布,仅能提供部分缓解,未能从根本上解决这一瓶颈。为此,研究人员提出了一种混合神经-IRT框架,旨在通过动态整合神经网络预测与经典项目反应理论(IRT)估计,在保持心理测量学有效性的同时,提升早期测试精度。该研究基于2847名来自四个学科领域(数学、科学、英语语言艺术、社会科学)的学生数据,实验验证了混合模型在能力估计精度、测试效率及极端能力学生表现上的显著提升。论文发表在《Computers》期刊上。
研究人员为开展研究主要采用了以下关键技术方法:首先,构建了一个混合能力估计器,包含两条互补路径:神经网络路径利用辅助学生信息(人口统计学特征、先前学业成绩、早期响应模式)生成初始能力预测,训练目标为60题标准测试的能力估计值(θ
criterion);IRT路径采用期望后验估计(EAP),基于3参数逻辑模型(3PL)和标准正态先验计算能力。其次,设计了一个动态融合机制,通过逻辑函数α(n) = 1 / (1 + exp(-k(n - n
0)))根据已答题数量n在神经估计与IRT估计之间自适应调整权重,实现从神经模型向IRT模型的平滑过渡。最后,实验评估在2847名跨三个教育阶段(初中、高中、本科)的学生中进行,随机分配至混合CAT、传统CAT、纯神经模型和固定形式测试四种条件,并以60题标准测试为基准验证精度。
研究结果部分包括以下关键发现:
4.1 实验设计与参与者:2847名学生参与,包含初中、高中和本科生,按学科领域随机分配至四种测试条件,采用双盲设计,并以60题标准测试为验证基准。
4.2 整体性能:混合CAT在所有学科中均达到最低的均方根误差(RMSE),相比传统CAT平均降低22.5%,且置信区间不重叠,表明统计显著性。纯神经模型优于传统CAT,但混合模型进一步优于纯神经模型,说明IRT组件在响应数据积累后提供额外价值。
4.3 冷启动性能:混合CAT在仅答一题后RMSE即降低39.6%,前五题累计降低34.2%。传统CAT需约12题才能达到混合CAT在5题时的精度,显示显著效率提升。
4.4 测试效率:混合CAT达到目标精度(SE < 0.30)所需平均题数为16.4,比传统CAT减少27.8%(6.3题),对应时间节省约5.5-11.3分钟。
4.5 按能力水平表现:能力最低和最高四分位数的学生在混合CAT下前五题RMSE降低约45%,而中间能力学生降低约31-34%,表明极端能力学生受益最大。
4.6 效度证据:混合CAT与外部标准(如学期成绩、教师评分)的相关系数比传统CAT高4-6%,差异项目功能(DIF)分析显示无系统性偏差,辅助特征未引入建构无关方差。
4.7 用户体验与实践考量:学生调查显示混合CAT在个性化感知、难度适当性和测试长度满意度上均更优,系统延迟稳定(平均78毫秒)。
4.8 消融研究:去除神经路径后前五题RMSE增加52%,去除IRT路径后期精度下降,动态权重优于静态融合,表明两者协同作用关键。
4.9 跨情境泛化:混合CAT在教育阶段、学科领域和题库规模上均表现一致,且在小题库下优势更明显,支持大规模部署可行性。
讨论部分总结:该研究通过针对性机器学习整合,有效缓解了冷启动问题,在保持心理测量学严谨性的同时实现34%的早期精度提升和28%的测试长度缩减。尤其对于极端能力学生,辅助信息弥补了基于先验的方法的不足,提升了公平性。与现有文献相比,混合模型超越了多阶段测试或增强先验的增量改进,而动态融合机制确保了神经预测与IRT估计的平滑过渡。理论意义在于挑战了仅依赖响应数据的能力估计假设,信息论视角下混合模型优化了稀疏直接证据与间接辅助证据的组合。实践意义包括兼容现有CAT系统、减少测试时间以支持形成性评估,以及在小题库场景下的鲁棒性。局限性包括需要历史数据训练、依赖于辅助特征可用性,以及仅验证了3PL模型,高利害场景需进一步验证。结论部分翻译如下:本研究提出了一种混合神经–IRT能力估计框架,有效解决了计算机化自适应测试中的冷启动问题。通过动态整合基于辅助学生信息的神经预测与基于项目响应的经典IRT估计,该方法在保持与现有CAT系统完全兼容的同时,实现了测量精度和测试效率的显著提升。研究结果揭示了一个更广泛的方法论原则:在明确定义的瓶颈处有针对性地整合机器学习,可以增强既有的心理测量系统,而不牺牲可解释性或理论严谨性。实际上,减少的测试长度和改进的早期精度支持更公平、更高效、以学生为中心的评估实践。该框架在学科、年级和题库规模上的稳健性进一步强调了其泛化能力。冷启动问题长期以来是自适应测试中的根本张力,本研究证明,通过审慎使用机器学习可以显著缓解这一问题,为更高效、更公平且更具教学响应性的自适应评估铺平了道路。