《Cognitive Science》:Replicate Me if You Can: Assessing Measurement Reliability of Individual Differences in Reading Across Measurement Occasions and Methods
编辑推荐:
本文通过构建大规模、多会话、跨方法的德语自然阅读语料库(InDiCo),首次系统评估了心理语言学效应在个体水平上的测量可靠性。研究采用贝叶斯分层模型,揭示了词长效应具有较高的跨会话可靠性,而词汇频率、依存距离等高级认知效应则表现出中低度可靠性,且跨方法(眼动追踪与自定步速阅读)可靠性普遍较低。这一发现对基于个体差异构建稳健的句子加工理论提出了关键挑战,强调了在推断个体差异之前,必须首先确立其测量可靠性。
引言:个体差异研究的基石——测量可靠性
心理语言学理论传统上假设所有母语使用者的认知机制是相似的。然而,越来越多的研究开始认识到个体差异在解释人类认知中的重要性。在句子加工领域,大量研究探讨了工作记忆、认知控制等个体认知能力如何影响语言理解。这些研究隐含地假设,个体水平的效应能够在不同的实验会话(session)和不同的评估方法(如眼动追踪,Eye-tracking, ET;自定步速阅读,Self-paced reading, SPR)之间被复制。
然而,这一假设正受到“可靠性悖论”(Reliability Paradox)的挑战。该悖论指出,在群体水平上表现出高可靠性的效应,在个体水平上往往表现出较低的跨测量场合可靠性。因此,在系统性地研究句子加工中的个体差异之前,一个至关重要的前提是首先确立其测量可靠性,即个体水平效应在多次测量场合和不同方法之间的相关性。
研究目标与语料库构建
本研究旨在填补这一空白,通过构建个体差异语料库(Individual Differences Corpus, InDiCo),首次对德语自然阅读中的个体差异测量可靠性进行全面评估。该语料库具有以下特点:
- •
多会话与跨方法:包含来自同一参与者的四个实验会话数据,其中两个为眼动追踪(ET)会话,两个为自定步速阅读(SPR)会话。
- •
自然主义阅读:采用连贯的文本材料,而非最小对比句,覆盖了更广泛的语言结构。
- •
丰富的心理测量评估:对每位参与者进行了全面的认知能力评估。
- •
精细的语言学标注:对刺激材料进行了词长、词汇频率、惊奇度(surprisal)、依存距离和左侧依存词数量等关键心理语言学变量的标注。
研究方法:贝叶斯分层模型
研究采用Rouder和Haaf(2019)提出的双任务贝叶斯分层模型(two-task Bayesian hierarchical model)来评估测量可靠性。该模型的核心优势在于能够将个体间的真实差异与试次间的随机噪声分离开来,从而更准确地估计个体效应的可靠性。
- •
跨测量场合可靠性:通过拟合一个包含所有心理语言学预测因子的混合效应模型,计算同一方法下(如ET或SPR)两个不同会话中个体效应(随机截距和斜率)之间的皮尔逊相关系数。
- •
跨方法可靠性:通过拟合一个扩展模型,计算眼动追踪(ET)的个体效应与自定步速阅读(SPR)的个体效应之间的相关系数,同时考虑了SPR中存在的溢出效应(spillover effect)。
结果:个体效应的可靠性图谱
1. 跨测量场合的可靠性
研究评估了词长、词汇频率、惊奇度、依存距离和左侧依存词数量这五个预测因子在多个眼动指标(如首次注视时间FFD、总注视时间TFT、回视路径时间RPD等)和SPR反应时上的个体效应可靠性。
- •
词长效应:表现出最高的跨会话可靠性。个体对词长的敏感性在两次测量中高度一致,尤其是在全局眼动指标(如RPD、TFT)和SPR反应时上。
- •
词汇频率效应:可靠性为中度。在首次通过阅读时间(FPRT)和注视次数(N_FIX)等指标上表现出中等程度的可靠性,但在其他指标上较低。
- •
惊奇度效应:可靠性普遍较低。仅在总注视时间(TFT)和注视次数(N_FIX)等全局指标上表现出中低度的可靠性。
- •
句法整合效应:依存距离效应在全局眼动指标上表现出中度可靠性,而左侧依存词数量效应的可靠性则较低。
2. 跨方法的可靠性
研究比较了眼动追踪(ET)与自定步速阅读(SPR)之间的个体效应相关性。
- •
总体模式:跨方法的可靠性普遍低于同一方法内部的跨会话可靠性。
- •
词长效应:再次表现出最高的跨方法可靠性。
- •
词汇频率与惊奇度效应:表现出中低度的跨方法可靠性。
- •
句法整合效应:依存距离和左侧依存词数量效应的跨方法可靠性极低,表明个体在ET和SPR任务中对句法难度的反应模式不一致。
讨论与启示
1. 可靠性悖论的再审视
本研究的结果为可靠性悖论提供了实证支持。尽管词长、词汇频率等效应在群体水平上表现出显著且稳健的效应,但它们在个体水平上的可靠性却存在巨大差异。词长效应因其与低水平的视觉和眼动控制过程相关,表现出较高的稳定性。而词汇频率、惊奇度等涉及高级认知加工过程的效应,其个体差异则更容易受到测量误差和个体状态波动的影响,导致可靠性较低。
2. 对理论与方法的启示
- •
理论构建:研究结果表明,在将群体水平的心理语言学效应推广到个体水平时,必须持谨慎态度。未来的理论需要能够解释为何某些效应在个体间是稳定的,而另一些则不是。
- •
方法选择:在考察个体差异时,研究者应选择那些已被证明具有高可靠性的测量指标。例如,词长效应是研究个体差异的一个可靠指标,而惊奇度效应则可能不是。
- •
跨方法比较:眼动追踪(ET)和自定步速阅读(SPR)捕捉到的个体差异模式存在显著差异,表明这两种方法可能反映了不同的认知加工过程。因此,在比较不同研究的结果时,必须考虑方法学上的差异。
结论
本研究首次系统评估了自然阅读中个体差异的测量可靠性。结果表明,个体差异的可靠性因所考察的心理语言学效应和所使用的测量方法而异。词长效应表现出较高的可靠性,而涉及高级认知加工(如句法整合和预测)的效应则可靠性较低。这些发现强调了在构建个体化的句子加工理论之前,必须首先确立其测量可靠性的重要性,并为未来研究提供了关键的实证基础和方法学指导。