认知能力测试中的重测效应研究:一种操作特异性方法

《Intelligence》:Investigating retest effects in cognitive ability tests: An operation-specific approach

【字体: 大 中 小 】 时间:2025年12月22日 来源:Intelligence 3.1

编辑推荐:

  “重测效应”一词指的是在重复施测相同或类似测试时,认知能力测试及教育成就测试得分的提升。先前关于此现象的研究主要关注一般认知能力得分——常使用显性差异分数——并忽略了不同类型认知操作(cognitive operation)背后重测效应的差异。此外,这些研究主

  
“重测效应”一词指的是在重复施测相同或类似测试时,认知能力测试及教育成就测试得分的提升。先前关于此现象的研究主要关注一般认知能力得分——常使用显性差异分数——并忽略了不同类型认知操作(cognitive operation)背后重测效应的差异。此外,这些研究主要关注平均群体水平测试得分,忽略了重测效应中的个体间差异。为填补这些空白,研究人员使用潜变量增长曲线模型(latent growth curve modeling, LGCM)考察了N=203名参与者在三个测试时点的重测效应,既考虑了一般认知能力,也考虑了其根据柏林智力结构模型(Berlin intelligence structure model, BIS)划分的四种底层操作,即加工容量(processing capacity)、加工速度(processing speed)、创造力(creativity)和记忆(memory)。结果显示,每次评估整体表现呈线性提升,共计53.60分(约10.45个IQ点),相当于三分之二个标准差。参与者的斜率——即他们在各测试时点的提升速率——没有显著变异,因此与其初始认知能力水平无关。研究发现了统计上显著的操作特异性重测效应大小差异,其中记忆表现出最大的重测效应,创造力则最小。尽管参与者在加工容量和记忆操作上的提升速率没有个体间变异,但另外两种操作的斜率存在显著的个体间差异。这些发现强调了在重测效应研究中考虑操作特异性得分的重要性。讨论了认知能力重测实践的启示。
**研究背景与问题**
在认知能力测试领域,重测效应(retest effects)是指被试在重复接受相同或类似测试时得分提升的现象,也称为练习效应或重测偏差。这种现象可能削弱测试的效度,因为不同被试的先前测试经验不同,尤其在诊断、就业和学术选拔等情境中,认知能力测试常用于决策,重测效应可能导致不公平或错误的结论。先前研究主要关注一般认知能力总分的变化,忽略了不同认知操作(如推理、加工速度、记忆、创造力)背后重测效应的差异,且大多聚焦于平均群体水平,忽视了个体间差异。此外,关于重测效应的机制(如是否反映真实能力提升、测试焦虑减少或测试特异性策略学习)以及个体差异的方向(如马太效应还是补偿效应)尚无定论。因此,本研究旨在通过操作特异性方法,利用潜变量增长曲线模型(LGCM)考察重测效应在四种认知操作上的表现,并探讨个体差异及其与年龄、学业成绩(GPA)的关系,以深化对重测效应本质的理解,并为测试实践提供指导。该论文发表在《Intelligence》。

**研究设计与主要方法**
研究人员招募了203名参与者(来自海德堡大学心理学系实验室,通过报纸文章和大学参与者库招募,均为健康成年人,65%为女性,平均年龄25.81岁,83.3%为大学生),在三个时间点(间隔约3个月)完成相同的柏林智力结构测试简版(BIS-S,纸笔形式)。主要关键技术方法包括:1)使用潜变量增长曲线模型(LGCM)对重复测量数据建模,估计每次测试的截距(初始水平)和斜率(变化速率),并检验个体间变异;2)根据BIS模型将总得分分解为四种操作(加工容量、加工速度、创造力、记忆)的操作特异性得分,分别建立多操作LGCM;3)纳入年龄和高中毕业成绩(GPA)作为时间不变协变量,评估重测对效度的影响。所有分析在Mplus 8.0中完成,模型拟合指标包括CFI、TLI、RMSEA和SRMR。

**研究结果**
- **3.1 三个时点的BIS-S总分及操作得分平均值**
总得分从第一次的M=1509.02分(约97.06 IQ点)线性提升至第三次的M=1618.74分(约118.47 IQ点),每次测试提升约53.60分(约10.45 IQ点),效应量d=1.79(第一次到第三次)。所有四种操作得分均显著提升,其中记忆操作提升幅度最大(d=1.63),创造力最小(d=0.56),加工容量(d=1.43)和加工速度(d=0.99)居中。

- **3.2 一般认知能力的重测得分增长建模**
通过线性LGCM分析总得分,发现截距平均为1513.12分,存在显著个体间变异(ψ=7688.85,p<0.001);斜率平均为53.70分每次测试,但斜率方差不显著(ψ=295.13,p=0.273),表明所有参与者提升幅度相似,无马太效应或补偿效应。年龄与截距负相关(r=-0.423,p<0.001),GPA与截距负相关(r=-0.504,p<0.001),但两者与斜率无显著相关。

- **3.3 认知能力操作的重测得分增长建模**
多操作LGCM(含年龄和GPA)拟合良好。四种操作的截距均显著,其中加工容量最高(M=622.24)。重测效应大小排序:记忆(M=17.75分/次,d=0.96, 1.63)>加工容量(M=17.62分/次,d=0.75, 1.43)>加工速度(M=11.37分/次,d=0.61, 0.99)>创造力(M=6.89分/次,d=0.37, 0.56)。加工速度和创造力的斜率存在显著个体间变异(p=0.012和p=0.002),表明这两类操作上不同参与者提升程度不同;而记忆和加工容量的斜率方差不显著(记忆p=0.369,加工容量因初始估计为负故固定为零)。所有操作的截距与斜率之间均无显著相关,不支持马太效应或补偿效应。此外,加工速度与创造力的斜率正相关(r=0.63,p<0.001),记忆的截距与创造力的斜率正相关(r=0.25,p<0.05)。

**总结与讨论**
研究人员在讨论部分指出,本研究通过操作特异性方法获得了对重测效应更细致的理解,克服了以往仅使用显性差异分数的局限。主要发现:重测效应呈线性模式,且效应量大于先前元分析报告的平均值(约1.5个标准差),可能与使用相同测试形式、较短间隔及一致测试环境有关。记忆操作的重测效应最大,可能源于相同测试材料导致的记忆增强效应;加工容量虽复杂度最高但效应量并非最大,提示复杂度并非唯一决定因素。个体差异方面,总得分及加工容量、记忆操作上所有参与者提升幅度一致,支持“重测不改变个体间排序”的结论;而加工速度和创造力存在个体差异,且与初始水平无关。效度分析显示,重复测试后加工容量和加工速度的测试信度提高,但创造力和记忆的效度下降,原因在于后两者斜率方差增大且性质不明(可能混杂记忆、速度或策略因素)。研究结论强调,在选拔或研究设计中对重测经验进行控制(如确保所有被试有相同测试次数)可维持效度,但若被试测试经验不同则需谨慎比较。

**研究结论部分翻译**
本研究增进了对认知能力测试重测效应的理解。重测效应在三个测试时点呈线性模式,每次重测间隔的提升约为三分之二个标准差。LGCM还显示,四种认知操作(加工容量、加工速度、创造力、记忆)均呈现线性模式。对于总得分和操作特异性得分,初始得分与提升速率均不相关,表明提升不依赖于认知能力。此外,在总得分、加工容量及记忆操作的任务上,所有参与者从第一次到第三次测试的提升程度相似,因此参与者排名顺序保持不变,这为未来研究和应用提供了有趣的思考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号