诊断短式有序量表中的天花板效应与不稳定非线性:一项基于TIMSS 2023的应用

《Behavioral Sciences》:Diagnosing Ceiling Effects and Unstable Nonlinearity in Short Ordinal Scales: A TIMSS 2023 Application

【字体: 大 中 小 】 时间:2026年08月27日 来源:Behavioral Sciences 3.2

编辑推荐:

  短式有序自我报告量表被广泛用于研究儿童的数字生活,但其测量属性可能扭曲关于非线性关系的结论。研究人员提出了一套针对此类量表的整合诊断工作流——涵盖范围、结构、信度、方法方差与函数形式——并将其应用于TIMSS 2023数字自我效能(Digital Self-E

  
短式有序自我报告量表被广泛用于研究儿童的数字生活,但其测量属性可能扭曲关于非线性关系的结论。研究人员提出了一套针对此类量表的整合诊断工作流——涵盖范围、结构、信度、方法方差与函数形式——并将其应用于TIMSS 2023数字自我效能(Digital Self-Efficacy)量表,覆盖全部63个四年级与47个八年级教育系统及基准样本(源数据库N=719,881名儿童;其中630,461名具有完整七条目测量数据)。该量表呈端点集中(endpoint-concentrated),在八年级尤为显著,在均值至均值上两个标准差之间损失83%与95%的测验信息(test information);基于测验题组(testlet)模型的精确边际计算给出80%与89%。表观多维性更宜表示为三个措辞相似条目间的局部协方差,而非可分离的第二维度,层级ω(omega hierarchical)为0.79与0.83支持使用总分。在评估分析量表上总体投射系数(population projection coefficient)的因子模拟中,端点集中使原始求和分数下“无曲率”的拒绝率从5.4%升至16.7%,而潜变量计分(latent scoring)将其恢复至5.5%,并将功效(power)从71%提升至88%,无论项目参数已知还是在较小辅助条件下于分析样本中估计均然。应用于网络受害(cybervictimization)时,二次关联在协变量匹配后衰减但未反转符号,其预测区间含零。范围与信度诊断在同评估的另一量表中表现相似;完整工作流的更广泛应用基于理论推演而非本文确立。
研究背景与问题提出
短式有序自我报告量表(四条至八条、三至五有序类别)支撑着儿童与数字技术实证研究,其合成分数常被纳入检验非线性关联的模型。此类量表存在四类使非线性推断脆弱的属性:其一,众多受访者在各条目选最高类导致量表在高端失去区分力,无论潜变量形态如何,涉高端关系均被压缩(Bond & Lang, 2013;Rhemtulla等, 2012);其二,部分条目共享措辞或任务格式时,残差协方差可模仿第二维度(Christensen等, 2017;Yen, 1993),异质内容聚合可表现为表观曲率(Marsh等, 2020;Reise等, 2013);其三,预测变量与结果共享反应格式时,个体 endorsing 倾向同时贡献于两端(Baumgartner & Steenkamp, 2001;Weijters等, 2010);其四,基于平方项的功能形式结论对结果量表化与估计量不不变(Ganzach, 1997;Simonsohn, 2018)。既有威胁各有文献,但缺整合程序。本文供给一套五阶段诊断工作流并以TIMSS 2023数字自我效能量表(七条四类别条目)跨110个样本演示,用因子模拟判定何种条件下诊断条件扭曲推断。
期刊与样本队列
论文发表于《Behavioral Sciences》。数据来自TIMSS 2023国际学生背景文件:63个四年级系统(源N=395,961)与47个八年级系统(N=323,920),完整七条目测量样本为344,715名四年级与285,746名八年级学生(合计630,461);网络受害控制规范分析保留347,489与274,119名。测量分析用七原始条目,应用分析用释放的IRT量表分。
关键技术方法(≤250字)
研究人员采用五阶段诊断:范围阶段用分级反应模型(graded response model, GRM)与双因子题组(bifactor testlet)GRM计算端点集中率与条件信息;结构阶段基于多系列相关矩阵用非加权最小二乘(ULS)估四类验证模型(单因子、相关双因子、单因子加条目1–3相关残差、双因子),以标准化均方根残差(SRMR)样本内与交叉验证比较;信度算序数ω、分层ω;方法方差用外部同意指数与随机截距条目因子模型;函数形式阶段在系统内用JK2折刀标准误估二次关联,随机效应元分析(Paule–Mandel异质性、Hartung–Knapp区间)合并,并用logistic与受限立方样条(restricted cubic spline)做折半外样本比较;模拟为全因子(端点严重度×局部依赖×类别数×潜二次系数×样本量×计分类型)各500复制,另设估计参数条件200复制。
研究结果
4.1 范围:量表在自信儿童中测力差。八年级中位26.4%儿童七条目全选最高,四年级10.8%;GRM测验信息中位数从均值处4.08/4.47降至+2SD处0.68/0.24(损83%/95%),双因子题组精确边际损80%/89%。+2SD条件标准误1.21/2.06。上端信息损失非局部独立假设伪影。
4.2 结构:局部协方差而非可分离维度。单因子SRMR中位0.048/0.062,相关双因子0.030/0.032,单因子加相关残差0.025/0.027,交叉验证排序同;两拟议因子相关0.84/0.82。ω总0.83/0.89,分层ω0.79/0.83,支持总分。α0.76/0.81低估序次信度。
4.3 方法方差。外部同意指数与自我效能分共享方差中位4.9%/6.1%;单系统(阿联酋)潜模型加共同格式因子使自我效能因子方差降32%/44%,但后者因四类别连续化处理仅作示意。
4.4 函数形式:衰减且可复现性差。二次系数合并b=0.027/0.051,但换二值结果(任一受害vs无)衰减为+0.009/+0.026,控传统受害后转负;折半外样本线性/二次/样条差异不别零;I2=77%/88%,所有预测区间含零;百次学校级折半Spearman–Brown校正信度0.67/0.73;?2至+2SD模型隐含概率变5.7/9.1百分点。潜模型加格式因子未衰减二次。
4.5 模拟:端点集中使线性潜过程下原始分投射系数离零(?0.0055/?0.0166),拒无曲率率5.35%→16.73%;真参数单维EAP潜计分回4.75%/5.48%;潜二次0.10时原始分投射0.090→0.053、功效89%→71%,潜计分回0.075与88%;估参EAP近同。局部依赖不独立膨胀假阳性,端点严重度才具推断权重。
讨论与结论翻译
讨论指出工作流可迁移至任何短式有序自评(学校态度、幸福感、科学态度等),其最小核心仅需条目响应;计分建议为端点集中处用IRT潜计分可复原Ⅰ类错误与功效,但潜计分不能补回高端无信息。应用结论属量表特定:TIMSS 2023数字自我效能端点集中、失信息于均值上、表观多维为局部协方差、总分可用(分层ω≈0.80)、与同格式外指数共享非平凡方差;网络受害二次关联未在函数形式阶段存活(二值下衰减、新样本不可辨、折半中信)。不建议从横断面自评推“最优自信水平”。局限含ULS无稳健χ2、相关残差与双因子等价不可分辨局部协方差本质、格式方差仅单系统连续化估算、未用抽样权估项目参数、横断面同 Reporter。
结论部分译文:短式有序量表常在测前属性未检时即用于实质研究,而非线性问题却被常规施加于其上。本文工作流费力少、仅用既有数据,指明该测度能答何问。应用于TIMSS 2023数字自我效能量表显示总分可辩、在最自信儿童中测力差、曲率结论过脆不足以支持“最优自信水平”推论。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号