分析盲法作为预注册的补充:网络分析中保障验证性推断的实践教程

《Advances in Methods and Practices in Psychological Science》:Analysis Blinding as a Complement to Preregistration: A Tutorial for Network Analysis

【字体: 大 中 小 】 时间:2026年10月22日 来源:Advances in Methods and Practices in Psychological Science 13.4

编辑推荐:

  网络分析(network analysis)已成为心理学研究中流行的计算建模(computational modeling)方法,并越来越多地用于回答验证性研究问题(confirmatory research questions)。然而,此类分析的预注册(pr

  
网络分析(network analysis)已成为心理学研究中流行的计算建模(computational modeling)方法,并越来越多地用于回答验证性研究问题(confirmatory research questions)。然而,此类分析的预注册(preregistration)仍较少见;即使实施预注册,也可能为研究者自由度(researcher degrees of freedom)留下空间,尤其当数据依赖决策难以完全预先设想时。本教程中,研究人员展示如何通过将分析盲法(analysis blinding)作为预注册的补充步骤来防范偏倚。该方法包括临时改变数据以移除关键感兴趣效应,同时保留其他所有方面。分析盲法使研究人员能够探索数据的重要特征,例如识别离群值或调整计算模型,而不引入偏倚。本教程中,研究人员呈现网络分析中三个常见研究问题,并说明如何利用分析盲法处理这些问题以保障其验证性性质。研究人员使用既往发表且采用网络分析的研究数据,并提供可操作的逐步指南及R代码,供研究人员根据自身数据和研究问题进行调整。
论文主体解读

心理学科学改革以来,透明性与开放性受到强调,假设生成研究与假设检验研究的区分被视为限制分析灵活性被无意利用的重要方式。预注册(preregistration)要求研究者在收集或检查数据前说明设计、假设与分析计划,是保护验证性分析、限制研究者自由度(researcher degrees of freedom)的主要工具。然而,预注册在实践中常难以做到“具体、精确且穷尽”,真实数据也可能暴露无法预见的特征,迫使研究者偏离预注册计划;在复杂分析中,这种困难尤其突出。网络分析(network analysis)将心理构念表示为节点与边构成的系统,涉及变量纳入、稀疏化方法、超参数、先验分布、缺失数据处理、等间隔时间构造等大量相互依赖的分析决策,且传统上多用于探索性目的。研究人员还估计,在所检查的109篇使用网络分析的心理学实证文章中,仅4篇(3.7%)包含详细分析计划与计划设计描述,明显低于约40%的领域预注册率。即使研究被标为探索性,研究者仍常带有先验预期,处于探索与验证之间的灰色地带。因此,研究人员开展本教程,提出将分析盲法作为预注册的补充,以在保留分析灵活性的同时防止结果知识引导分析决策,并认为其对复杂建模尤其有价值。该教程发表于《Advances in Methods and Practices in Psychological Science》。

主要关键技术方法(不超过250字):研究人员采用三类分析盲法(analysis blinding)流程并以R函数实现:以maskVariables()掩蔽变量标签并随机重排变量顺序,用于边存在与网络结构;以scrambleGroup()随机打乱组标签或个体ID,用于亚组比较;以maskClusters()生成多个诱饵数据集(decoy data analysis),保留频率分布、测量水平和缺失模式而改变聚类数,用于聚类检验;并配合预注册、R代码和开放科学框架(Open Science Framework, OSF)资源。示例数据来源包括Cunningham等(2021)COVID-19纵向每日调查数据(N=1,518;分析样本n=228或N=288)、Carde?a等(2022)青少年创伤后应激与解离横断面数据(N=312)及Martarelli等(2023)法语SBPS与CEI-II数据(N=490,18个七点Likert条目)。

研究结果

Illustration 1:Edge Presence and Network Structure(边的存在与网络结构)。该示例针对特定边是否存在及整体网络结构,提出掩蔽变量标签并重排变量顺序的分析盲法,使分析者无法将节点标签与原始变量对应,同时保留变量关系、响应分布和离群值等数据特征;建议在预处理前应用,且更适合同一量尺测量的变量。研究人员使用Cunningham等(2021)的纵向数据,节点为10项简版正负情感量表(Positive and Negative Affect Schedule, PANAS)条目,估计多水平向量自回归(multilevel vector-autoregressive, ml-VAR)模型;由于测量间隔不等,分别采用3天聚合(最终n=228,t>20)与日聚合(最终N=288,t=98)。结果显示,determined与afraid之间的边在3天聚合下呈强负向,在日聚合下缺失,说明预处理选择可改变结论;盲法使预处理决策在不知道具体关注边的情况下作出,从而降低偏倚。

Illustration 2:Subgroup Comparison(亚组比较)。该示例针对组间网络差异,提出随机打乱组标签或个体ID的分析盲法,在保持原始样本量的同时破坏真实组结构,使检测到的组间网络差异按设计成为虚假结果;可在选定变量后、亚组特异性预处理前应用,并可与变量标签掩蔽结合。研究人员使用Carde?a等(2022)的青少年创伤后应激障碍(posttraumatic stress disorder, PTSD)与解离横断面数据(N=312;年龄M=15.8岁,SD=1.64),比较规范样本(n=235)与暴露于创伤的青少年(n=42与n=35),分析dissociation、intrusion、arousal、avoidance四个变量,并使用BGGM进行贝叶斯网络比较,采用矩阵-F先验(Matrix-F prior)。当先验标准差为0.2时,仅arousal与avoidance之间的边显示组间差异证据,其余边不确定;当先验标准差为0.5时,5条边获得结论性证据,其中arousal与avoidance为差异证据,dissociation-intrusion、dissociation-avoidance、dissociation-arousal、intrusion-avoidance为相似证据。贝叶斯因子(Bayes’s factor, BF)解释为BF>3支持差异、BF<1/3支持相似、其间为不确定。该示例说明先验设定可影响结果,盲法可防止研究者按期望选择先验。

Illustration 3:Clustering(聚类)。该示例针对网络是否呈现预期聚类数,采用诱饵数据分析(decoy data analysis):以maskClusters()生成模拟数据集,保留原数据频率分布、测量水平和缺失模式,但改变聚类数,并可与原数据一起在不知何者为真实数据的情况下分析。研究人员使用Martarelli等(2023)的法语简版无聊倾向量表(Short Boredom Proneness Scale, SBPS)与好奇心与探索量表-II(Curiosity and Exploration Inventory–II, CEI-II)数据,分析18个七点Likert条目(8个SBPS条目与10个CEI-II条目;N=490;年龄M=33.9岁,SD=11.5)。原研究预期3个聚类,但研究人员使用Walktrap算法发现2个聚类:好奇心与探索条目合并为一类,无聊条目单独成类,支持SBPS形成独立聚类但不支持三聚类预期。盲法示例生成5个模拟数据集,聚类数随机设为1至3,组内与组间边概率分别设为0.9与0.1,与原数据共6个数据集;使用探索图分析(exploratory graph analysis, EGA)与随机块模型(stochastic block model, SBM)的贝叶斯实现比较。原数据中两种方法均得到2聚类,BF10>100,支持聚类假设并复现原研究;模拟数据中两种方法估计数有时不一致,例如某模拟数据中easybgm给出1聚类且BF10=1,EGA给出2聚类;另一模拟数据中easybgm给出1聚类且BF10=0.9,EGA给出3聚类。结果表明不同方法可产生分歧,盲法使原数据与模拟数据难以仅凭聚类结果区分,支持该盲法流程的有效性。

讨论部分总结:分析盲法不能替代预注册,而应作为补充;其成功实施依赖数据管理者与分析者角色分离,可通过盲法证书、许多分析师项目、重复研究中的协作者分工以及“探索与确认工作流程”等增强独立性。分析盲法也不替代稳健性检查或多宇宙分析;稳健性检查评估结论跨分析路径的稳定性,但仍可能受选择性报告影响,而盲法有助于防止分析路径的发展、选择与细化受结果知识影响。盲法不仅可保护验证性检验,也可改进探索性工作。R函数已在OSF公开,并将集成至JASP。其局限包括:不能消除所有研究者自由度;可能将偏倚转移至研究设计与变量构建等更早阶段;限制有效模型检查与验证;部分掩蔽技术可能扭曲数据并降低决策对原数据的可推广性;实施需要时间、基础设施与协调。

研究结论部分翻译:网络分析需要大量分析决策,尤其是预处理与估计相关决策,往往难以预先设想;因此预注册在验证性网络分析中很重要。该领域传统上以探索性假设为主,而近期发展使边存在、组间差异和网络聚类等验证性检验更可行,也增加了分析决策受预期结果无意影响的风险。即使预注册,真实数据仍可能暴露无法预见的情境,模型可能不收敛或计划可能不够具体,故预注册本身不一定防止偏倚。研究人员提出三类分析盲法,其共同原则是创建按设计使观察到的统计模式成为虚假结果的盲数据,从而在保留分析灵活性的同时防止结果知识引导决策:针对特定边或整体结构,移除列标签并随机化变量顺序;针对亚组比较,随机化组标签或参与者标识;针对聚类数,使用诱饵数据分析。示例表明,盲法可在预注册未能充分约束分析灵活性或需偏离计划时保护决策。分析盲法应被理解为验证性研究的附加工具,尤其适用于预注册计划仍可能留下未预见分析选择的复杂数据与分析情境;研究人员希望所提出的方法、示例与开放资源能促进分析盲法在网络心理测量学及更广泛心理科学中的常规应用。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号