关系从句处理中的检索干扰:来自视觉世界范式的证据
《Language, Cognition and Neuroscience》:Retrieval interference in the processing of relative clauses: evidence from the visual-world paradigm
【字体:
大
中
小
】
时间:2026年03月27日
来源:Language, Cognition and Neuroscience 1.6
编辑推荐:
摘要
尽管从宾语中提取的关系从句(ORCs)比从主语中提取的关系从句(SRCs)更难处理,但关于这些现象背后的认知机制仍存在很大分歧。当前的视觉世界眼动实验采用了一种新的方法来研究这个问题,即考察在处理包含这些结构的口语句子时,ORCs和SRCs在核心动词处是否存在差异。在核
摘要
尽管从宾语中提取的关系从句(ORCs)比从主语中提取的关系从句(SRCs)更难处理,但关于这些现象背后的认知机制仍存在很大分歧。当前的视觉世界眼动实验采用了一种新的方法来研究这个问题,即考察在处理包含这些结构的口语句子时,ORCs和SRCs在核心动词处是否存在差异。在核心动词出现时的注视模式显示,参与者倾向于注视代表句子主语的图片,无论是在ORCs还是SRCs中都是如此。关键的是,在处理ORCs时,参与者更多地关注与竞争名词相对应的图片。根据关系从句处理的记忆检索理论,这些结果可以得到最合理的解释:语言理解者在处理SRCs时遇到的检索干扰较少。这些发现还强调了视觉世界范式作为研究复杂句法结构处理的有效方法。
关键词:句子处理;眼动;关系从句;口语;检索干扰
在句子处理文献中,最常研究的实验现象之一是从主语中提取的关系从句(SRCs;1a)和从宾语中提取的关系从句(ORCs;1b)之间的对比。
1a. 袭击参议员的记者承认了错误。
1b. 参议员攻击的记者承认了错误。
在这两个句子中,第一个名词短语(NP1;例如“记者”)都是核心动词(例如“承认”)的主语;然而,在关系从句中,NP1扮演的角色不同。在SRCs中,NP1是嵌入动词(例如“攻击”)的主语,而在ORCs中,NP1是嵌入动词的宾语。这些句子特别适合研究复杂句法结构的处理,因为两个句子包含完全相同的词语,仅在词序上略有不同,但大量研究表明ORCs的处理难度更大(综述见Gordon & Lowder, Citation2012)。例如,在使用自我控制阅读速度的实验中,ORCs的阅读时间比SRCs更长(Gordon et al., Citation2001; King & Just, Citation1991);在眼动实验中也是如此(Gordon et al., Citation2006; Johnson et al., Citation2011; Traxler et al., Citation2002)。此外,使用认知神经科学方法的实验显示,在处理ORCs时大脑激活模式与处理SRCs时不同(Caplan et al., Citation2002; Just et al., Citation1996; King & Kutas, Citation1995)。最后,在理解问题上的正确率在包含ORCs的句子中也较低(Gordon et al., Citation2001; King & Kutas, Citation1995)。
已经提出了多种理论来解释这种ORC-SRC处理不对称性的认知机制,这些理论大致可以分为两大类。一类理论认为ORCs难以处理是因为理解者需要将两个名词短语编码并存储在记忆中,直到动词提示它们被检索——这一过程可能会造成认知负担,从而导致更长的阅读时间和更低的理解能力(例如Gordon et al., Citation2002; Grodner & Gibson, Citation2005; Lewis et al., Citation2006; Van Dyke & Lewis, Citation2003; Wanner & Maratsos, Citation1978; Warren & Gibson, Citation2002)。根据这种观点,当两个名词短语非常相似时(如1b中的情况),ORCs尤其难以处理,因为它们在记忆中容易混淆,从而导致检索干扰。实验证据表明,当两个名词短语在语义上不同时(例如将NP2从描述性名词短语“参议员”改为专有名词“Ben”或指示代词“你”时),ORC-SRC的不对称性会减少(Gordon et al., Citation2001, Citation2004, Citation2006)。
另一类理论认为ORC-SRC的不对称性源于理解者对ORCs和SRCs的经验差异,这种差异又影响了他们对给定句子中即将出现的语言输入的预期(例如Gennari & MacDonald, Citation2008; Levy, Citation2008; MacDonald & Christiansen, Citation2002; Reali & Christiansen, Citation2007; Roland et al., Citation2007; Wells et al., Citation2009)。这一观点基于这样一个事实:至少在英语中,SRCs在自然语言中出现的频率高于ORCs。此外,SRC的成分顺序(主语-动词-宾语)是英语的默认词序,而ORC的成分顺序(宾语-主语-动词)则不常见。基于经验的理论认为,理解者利用这些频率上的差异来指导句子解析过程中的预测,因此对于“The reporter that…”这样的句子结构,下一个词更有可能是动词而不是另一个名词短语。因此,这些理论预测ORCs的阅读时间会更长,理解能力也会更差,因为这种结构出乎意料。
尽管基于记忆和基于经验的理论在某种程度上都能解释ORC-SRC处理不对称性,但它们对实时句子处理过程中困难所在的位置有不同的预测。基于经验的理论主要强调了预测的作用,这种预测与惊讶感有关(Futrell et al., Citation2021; Hale, Citation2001; Levy, Citation2008),即ORCs在“that”补语之后的处理时间会更长,因为在这个位置,动词的预测被第二个名词短语的出现所否定。相比之下,基于记忆的理论预测ORCs在动词处的处理时间会更长,因为在这个位置,之前编码的名词短语需要从记忆中检索并整合到句子中。
旨在测试关系从句内部处理差异的实验具有挑战性,因为这两种结构包含不同的词序,导致词类(即名词或动词)与词序混淆(关于这个问题的讨论见Gordon & Lowder, Citation2012; Johnson et al., Citation2011; Staub, Citation2010)。关系从句后的核心动词提供了一个更清晰的比较对象,因为此时两个句子是相同的。此外,核心动词是一个理论上的有趣测试点,因为基于记忆和基于经验的RC处理解释对核心动词处可能出现的情况有不同的预测。在基于记忆的框架下,核心动词提示检索句子的主语(在SRCs和ORCs中都是NP1);然而,在ORCs中,处理器会遇到干扰,因为NP2必须充当嵌入从句的主语。因此,基于记忆的理论预测ORCs在核心动词处的阅读时间会比SRCs更长,这是由于ORCs中的检索干扰。相比之下,基于经验的理论关注关系从句本身逐步处理过程中的预测,即对即将出现单词的预期是被确认还是被违反。因此,这些理论不会对关系从句成功解析后核心动词处的差异处理做出具体预测(进一步讨论见Levy & Gibson, Citation2013)。重要的是,基于记忆和基于经验的理论都为ORC-SRC处理不对称性提供了有充分支持的解释,但它们强调的处理机制以及预测处理困难的位置不同。
在核心动词处可能出现检索干扰的现象与基于线索的解析框架(例如Lewis et al., Citation2006; Lewis & Vasishth, Citation2005; Van Dyke & Lewis, Citation2003; Vasishth et al., Citation2019)基本一致,这些框架认为当多个记忆表征部分匹配句子中可用的检索线索时,就会产生干扰。这些线索可能包括结构位置、语义特征(如生动性)或主题角色兼容性。在涉及生动且角色可逆的名词短语的句子中,这些因素之间的重叠会增加检索过程中的竞争,特别是在核心动词这样的关键整合点。
大多数关于RC处理的自我控制阅读和阅读时眼动实验都报告称,ORCs在核心动词处的阅读时间比SRCs更长(Gordon et al., Citation2001, Citation2004, Citation2006; Johnson et al., Citation2011; King & Just, Citation1991; Lowder & Gordon, Citation2012, Citation2014, Citation2016; Roland et al., Citation2021; Traxler et al., Citation2002, Citation2005; 参见Staub, Citation2010)。尽管这些发现通常被解释为检索干扰的证据,但Staub等人(Citation2017)认为,当核心动词紧随关系从句之后时,很难确定这些处理差异的来源(另见Grodner & Gibson, Citation2005)。通过使用阅读时眼动范式,Staub等人展示了在核心动词紧随关系从句的条件与关系从句和核心动词之间插入介词短语的条件下的差异。只有在核心动词紧随关系从句的条件下,才出现了ORC-SRC效应。Staub等人认为,他们在动词处观察到的效应无法用检索干扰理论来解释,因为该理论无法解释为什么在包含插入介词短语的句子中ORC-SRC差异会消失。相反,他们认为这些效应最好用处理瓶颈理论来解释,即如果核心动词紧随关系从句,由于完成关系从句所提示的操作以及过渡到核心动词所需操作的处理需求增加,因此阅读时间会有所不同。
Lowder和Gordon(Citation2021)对Staub等人(Citation2017)的发现提出了质疑,指出他们使用的介词短语包括位置介词和时间介词,这些介词在附着偏好上存在系统差异,可能导致设计上的混淆。为了支持他们的观点,Lowder和Gordon提供了眼动证据,显示在插入的位置介词时,ORCs的阅读时间比SRCs更长(反映了标准的ORC-SRC不对称性),而当插入的时间介词时,效应的方向则相反(可能反映了介词附着错误)。由于Staub等人在刺激材料中使用了位置介词和时间介词的混合,因此无法从他们的结果中得出关于核心动词处RC效应的明确结论。
因此,当前实验的一个目标是进一步测试在关系从句和核心动词之间插入材料时的ORC-SRC效应。由于Lowder和Gordon(Citation2021)已经证明时间介词会增加SRC的处理难度,当前实验仅使用了位置介词。当前实验的第二个目标是使用视觉世界范式来测试口语句子理解过程中的RC效应。如上所述,许多先前的实验已经表明ORCs比SRCs更难处理;然而,这些实验大多涉及书面材料的呈现。理解口语句子的过程在理论上与理解书面句子的过程有所不同。由于听觉输入以固定速率展开且无法重新访问,检索和整合过程必须在更严格的时间限制下进行,这可能在核心动词等关键整合点加剧干扰效应。此外,口语提供了韵律线索,可能会影响听者如何处理和理解关系从句,从而可能使ORC-SRC差异的性质与阅读研究中的观察结果不同。以往研究口语关系从句的处理主要集中在描述特定人群的理解能力上,如儿童(例如Kidd & Bavin, Citation2002)、健康的老年人(例如Wingfield et al., Citation2003)或失语症患者(例如Adelt et al., Citation2020; Caplan et al., Citation2007; Pregla et al., Citation2022)。其他研究使用口语关系从句来研究句法复杂句子处理过程中的主题角色分配时间进程(Kowalski & Huang, Citation2017)。相比之下,我们不知道有任何先前的研究仔细考察了听觉呈现句子时核心动词处的ORC-SRC差异。采用这种方法可能会让我们对理解关系从句(RCs)的认知机制有新的见解。尽管视觉世界范式尚未应用于能够研究记忆机制在RCs处理中作用的句子情境,但这种技术已被应用于另一种类型的句子比较,为听觉句子处理中的检索干扰作用提供了一些证据。Sekerina等人(Citation2016)在参与者听口语句子时,向他们展示了代表目标对象(例如按钮)和三个干扰项(例如钥匙、耳环、笔)的视觉物品阵列。这些句子包含远距离依赖关系,其中关键动词可以涉及屏幕上的所有物品(干扰条件;例如:“It was the button that the maid who returned from vacation spotted in the early morning.”)或仅涉及目标对象(非干扰条件;例如:“It was the button that the maid who returned from vacation sewed in the early morning.”)。主要的结果模式是,在干扰条件下,参与者比在非干扰条件下更少地注视目标图片,这一模式作者归因于检索干扰,类似于Van Dyke和McElree(Citation2006)使用这些句子的书面版本所报告的结果。尽管Sekerina等人提供了初步证据表明视觉世界范式可能有潜力揭示口语处理过程中的检索干扰,但他们的设计保持了句子结构的恒定,并关注了听者如何利用动词的选择限制来识别潜在的论元(例如:sewed – button;spotted – key, earring, pen, button)。相比之下,当前的研究保持了目标动词的恒定,而是操纵了它是否出现在会导致检索干扰的句子情境中。我们将在讨论部分回到Sekerina等人当前研究之间的相似点和不同点。
尽管之前有大量关于ORC-SRC不对称性的研究,但仍有两个主要问题尚未解决。首先,关于在理解口语句子时矩阵动词的处理差异知之甚少,因为绝大多数先前的研究都依赖于书面材料。其次,之前评估矩阵动词处ORC-SRC效应的尝试由于矩阵动词之前材料的不受控制的变化而变得复杂。当前研究通过使用视觉世界范式来检查口语SRCs和ORCs的在线处理过程,同时仔细控制了介于RC和矩阵动词之间的介词短语(PP)的类型,从而解决了这两个问题。
在当前的视觉世界眼动实验中,参与者听了包含SRCs和ORCs的口语句子(如例2所示)。视觉展示由四张图片组成,代表两个关键名词短语(NP)(例如猫和狗)以及两个无关的干扰项。尽管SRCs和ORCs之间的词序差异使得难以单独分析RC本身的处理差异,但两种结构在矩阵动词处完全对齐(例如:jumped),从而形成了一个清晰的比较。此外,为了确保矩阵动词处的任何处理差异不是RC的溢出效应,总是在RC和矩阵动词之间插入了一个介词短语。例如:
2a. The cat that watched the dog in the living room jumped onto the couch. (SRC, 第一种顺序)
2b. The cat that the dog watched in the living room jumped onto the couch. (ORC, 第一种顺序)
2c. The dog that watched the cat in the living room jumped onto the couch. (SRC, 第二种顺序)
2d. The dog that the cat watched in the living room jumped onto the couch. (ORC, 第二种顺序)
在所有条件下,矩阵动词的主语都是句子的第一个NP(2a和2b中的猫;2c和2d中的狗)。因此,我们预测,在听到矩阵动词时,参与者会倾向于将视线转移到第一个NP上,这反映了将这个成分与动词整合的过程。关键的是,基于记忆的解释认为对于SRCs来说这个过程比ORCs更容易,因为ORCs中的NP2会造成干扰,因为这个成分必须作为嵌入式动词的主语。换句话说,由于ORCs中的NP2已经作为嵌入式动词的主语,它也有潜力成为矩阵动词的主语。准确理解这些结构要求处理器从NP2中脱离出来,而是将NP1作为矩阵动词的主语。此外,由于我们实验材料中的两个NP通常都是有生命的,并且总是与施事者或受事者的角色相匹配,因此在矩阵动词处的处理需要解决多个可能的主题角色分配之间的竞争。我们预测,通过分析在呈现矩阵动词时参与者对代表NP1和NP2的图片的眼动模式,可以推断出这些认知过程。也就是说,我们预测在矩阵动词开始时,参与者在SRCs中会表现出更强的注视NP1的倾向,而NP2的干扰较小。观察到这种模式将为那些认为记忆机制在RCs处理中起作用的观点提供新的证据。重要的是,因为基于经验的解释通常没有解决矩阵动词处多个潜在论元是如何解决的,它们对于解释句子这一阶段出现的任何差异提供的指导有限。
**参与者**
里士满大学的四十名学生参与了这项实验,以换取课程学分。他们都是英语母语者,并且视力正常或经过矫正至正常水平。实验方案得到了里士满大学机构审查委员会的批准,所有参与者都提供了书面知情同意书。
**材料**
创建了四十组实验项目(见示例2)。在构建每组项目时,选择了两个NP,它们既可以合理地作为给定嵌入式动词的主语或宾语(例如:The cat watched the dog;The dog watched the cat),也可以合理地作为给定矩阵动词的主语(例如:The cat jumped onto the couch;The dog jumped onto the couch)。每个项目可以出现在四种实验条件之一中。具体来说,句子可以包含一个SRC(2a和2c)或一个ORC(2b和2d)。此外,两个关键NP的顺序是平衡的,以便在两种句子结构条件下都作为NP1和NP2(见2a和2b与2c和2d)。总是在RC和矩阵动词之间插入一个介词短语。例如:
2a. The cat that watched the dog in the living room jumped onto the couch. (SRC, 第一种顺序)
2b. The cat that the dog watched in the living room jumped onto the couch. (ORC, 第一种顺序)
2c. The dog that watched the cat in the living room jumped onto the couch. (SRC, 第二种顺序)
2d. The dog that the cat watched in the living room jumped onto the couch. (ORC, 第二种顺序)
在所有条件下,矩阵动词的主语都是句子的第一个NP(2a和2b中的猫;2c和2d中的狗)。因此,我们预测,在听到矩阵动词时,参与者会倾向于将视线转移到第一个NP上,这反映了将这个成分与动词整合的过程。重要的是,基于记忆的解释认为对于SRCs来说这个过程更容易,因为ORCs中的NP2会造成干扰,因为这个成分必须作为嵌入式动词的主语。换句话说,由于ORCs中的NP2已经作为嵌入式动词的主语,它也有潜力成为矩阵动词的主语。准确理解这些结构要求处理器从NP2中脱离出来,而是将NP1作为矩阵动词的主语。此外,由于我们实验材料中的两个NP通常都是有生命的,并且总是与施事者或受事者的角色相匹配,因此在矩阵动词处的处理需要解决多个可能的主题角色分配之间的竞争。我们预测,通过分析在呈现矩阵动词时参与者对代表NP1和NP2的图片的眼动模式,可以推断出这些认知过程。也就是说,我们预测在矩阵动词开始时,参与者在SRCs中会表现出更强的注视NP1的倾向,而NP2的干扰较小。观察到这种模式将为那些认为记忆机制在RCs处理中起作用的观点提供新的证据。重要的是,因为基于经验的解释通常没有解决矩阵动词处多个潜在论元是如何解决的,它们对于解释句子这一阶段出现的任何差异提供的指导有限。
**方法**
**参与者**
里士满大学的四十名学生参与了这项实验,以换取课程学分。他们都是英语母语者,并且视力正常或经过矫正至正常水平。实验方案得到了里士满大学机构审查委员会的批准,所有参与者都提供了书面知情同意书。
**材料**
创建了四十组实验项目(见示例2)。在构建每组项目时,选择了两个NP,它们既可以合理地作为给定嵌入式动词的主语或宾语(例如:The cat watched the dog;The dog watched the cat),也可以合理地作为给定矩阵动词的主语(例如:The cat jumped onto the couch;The dog jumped onto the couch)。每个项目可以出现在四种实验条件之一中。具体来说,句子可以包含一个SRC(2a和2c)或一个ORC(2b和2d)。此外,两个关键NP的顺序是平衡的,以便在两种句子结构条件下都作为NP1和NP2(见2a和2b与2c和2d)。总是在RC和矩阵动词之间插入一个介词短语。每组实验项目都与一个视觉展示相关联,该视觉展示由四张代表两个关键NP(例如猫和狗)和两个无关干扰项(例如植物和毛巾)的彩色图片组成。材料还包括一组64个填充项目,代表各种不同的句子类型,每个类型都有相应的四张图片阵列。每个句子都配有一个判断对错的理解问题。对于实验项目,一半的理解问题探究了RC中描述的命题,而另一半探究了矩阵从句中描述的命题。在所有项目中,一半问题的正确答案是“true”,另一半问题的正确答案是“false”。完整的实验刺激包括理解问题,可以在附录中找到。
句子由一位美式英语母语者录制。句子以正常的说话速度朗读,并且说话者的韵律特征被认为是尽可能自然的。在录制句子时,我们确保SRCs和ORCs之间的关键窗口时间没有显著差异。具体来说,句子主语(例如“cat”)和介词短语(例如“in”)之间的平均持续时间分别为SRC条件下的2,026毫秒和ORC条件下的2,003毫秒,t = 0.50,p = 0.62。介词短语(例如“in”)和矩阵动词(例如“jumped”)之间的平均持续时间分别为SRC条件下的1,551毫秒和ORC条件下的1,539毫秒,t = 0.28,p = 0.78。因此,两种RC条件之间可能出现的任何注视相关差异不能由两种结构的口语时间系统的差异来解释。在矩阵动词之后包含了一些单词,以提供句子的结论,并让理解者有时间检索句子主语并将其与动词整合。
**程序**
眼动数据使用EyeLink 1000系统(SR Research)以1,000赫兹的采样率记录,该系统在每次会话开始时使用九点校准网格进行校准,并在会话过程中根据需要进行重新校准。使用了下巴支撑和头枕来最小化头部运动。观察是双目的,但只跟踪了右眼。参与者被告知他们将在听句子的同时查看计算机屏幕上的图片。他们被告知,在句子播放结束后,图片会消失,屏幕上会出现一个书面判断对错的理解问题。他们被给了一个按钮盒,并被告知按下标有“T”的按钮表示“true”,按下标有“F”的按钮表示“False”。
在每次试验开始时,屏幕中央会呈现一个注视点。当参与者的视线稳定在这个点上时,实验者会按下按钮来显示该试验的视觉展示。经过3,000毫秒的延迟后,句子通过耳机播放。句子播放结束后,图片消失,屏幕上会出现一个书面判断对错的理解问题。问题会一直显示在屏幕上,直到参与者按下“T”或“F”按钮进行回答。在参与者回答后,会出现下一次试验的注视点。
首先向参与者展示了四个填充试验。在这个热身块之后,剩余的句子以不同的随机顺序呈现给每个参与者。每次试验中,视觉展示中四个图片的位置是随机的。
**结果**
**理解问题准确性**
跟随SRCs的理解问题的准确性更高(M = 0.91;SD = 0.29),而跟随ORCs的理解问题的准确性较低(M = 0.82;SD = 0.38)。包括RC类型作为固定效应以及受试者和项目作为交叉随机效应的线性混合效应分析显示,这种差异是显著的(β = 0.87,SE = 0.24,t = 3.67,p < 0.001)。
**眼动**
所有眼动分析都是基于全部数据进行的,无论理解问题是否回答正确。
**脚注**
1. 图1显示了SRC条件(上)和ORC条件(下)下对四种图片类型的注视比例。该图中的注视比例以句子中第一个名词(例如“cat”或“dog”)的口语开始时间为基准,该时间点由时间零处的虚线垂直线表示。对图表的视觉检查表明,在SRC和ORC条件下,参与者在听到这个词时都有很强的倾向去注视对应于NP1的图片。在这两种条件下,随后都有注视NP2的倾向,这种倾向在ORC条件下出现得比在SRC条件下更早,这很可能是由于这两种结构本身的词序差异(ORCs中的NP1在前,而SRCs中的NP1在动词之后)。第二条虚线代表介词短语(例如“in”)的平均开始时间,在这一点上两种条件的词序是相同的。在这个介词短语期间,参与者注视NP1与NP2的倾向似乎回到了大致相同的水平。第三条虚线代表矩阵动词(例如“jumped”)的平均开始时间。在矩阵动词的呈现过程中,听众似乎倾向于注视NP1(动词的主语),无论是在SRC条件还是ORC条件下都是如此。然而,重要的是,在ORC条件下,听众也倾向于更多地注视NP2,这种趋势比在SRC条件下更为明显——这种模式可能表明存在记忆干扰。图1显示了SRC句子(顶部)和ORC句子(底部)中每种图像类型的注视比例。注视图以句子中第一个名词的发音起始时间为基准,该起始时间由时间零点的虚线垂直线表示(例如“cat”或“dog”)。第二条垂直虚线表示介词短语的平均起始时间(例如“in”)。第三条垂直虚线表示矩阵动词的平均起始时间(例如“jumped”)。误差带表示平均值的标准误差。
该图显示了两个折线图,比较了标记为SRC的主语关系从句句子和标记为ORC的对象关系从句句子的注视情况。每个图在垂直轴上以0.0到0.6的步长绘制了注视比例,在水平轴上以-1000到6000毫秒的步长绘制了时间。两个图中都包含了大约在0、2000和3500毫秒处的三条垂直虚线,分别标记了第一个名词、介词短语和矩阵动词的起始时间。每个图中的四条线代表图例中列出的图像类型:NP1、NP2、Distract1和Distract2。在顶部的SRC图中,NP1线在0毫秒左右上升,在1500毫秒左右达到峰值,然后逐渐下降到0.35;而NP2则在稍后上升,在2500毫秒左右达到峰值。Distract1和Distract2保持在较低水平,大约在0.1到0.25之间,并在句子中间有轻微的波动。在底部的ORC图中,NP1和NP2都在0毫秒左右上升,NP2在0.55左右达到峰值,NP1在0.45左右达到峰值,然后在接近结束时趋于一致。Distract1和Distract2在整个过程中都保持在0.2以下。
由于我们感兴趣的分析涉及从矩阵动词开始的处理差异,因此重新生成了注视图,使所有条件在时间上与这个词的起始时间对齐。图2显示了SRC条件(顶部)和ORC条件(底部)下每种图像类型的注视比例。该图中的注视比例以句子中矩阵动词的发音起始时间为基准(例如“jumped”),该起始时间由时间零点的虚线垂直线表示。与图1类似,图2中的模式表明,在ORC句子中,对应于NP2的图片比在SRC句子中更具竞争性。
该图显示了两个折线图,比较了句子听讲过程中的注视模式。顶部图标记为SRC,底部图标记为ORC。两个图的水平轴都以毫秒为单位标记时间,范围从-2000到3000,步长为500。垂直轴以注视比例为单位标记,范围从0.0到0.5,步长为0.1。每个图包含四条平均注视线,以及NP1、NP2、Distract1和Distract2的狭窄误差带。在SRC图中,NP1和NP2的注视比例从大约0.4开始,然后在0时间之前分开,之后再次逐渐趋同。Distract1和Distract2保持在较低水平,大约在0.1到0.25之间,并随时间有轻微变化。在ORC图中,NP1和NP2再次占据较高的范围,大约在0.3到0.5之间,NP2在0时间之前略高于NP1,之后两条线趋于接近。Distract1和Distract2始终保持在较低水平,大约在0.1到0.2之间,并且随时间变化较小。
统计分析考察了参与者对注视NP1与NP2的偏好程度,以及这些模式在SRC与ORC之间的差异。为此,我们构建了12个200毫秒的时间窗口,第一个窗口从矩阵动词的发音起始开始,最后一个窗口在矩阵动词发音后2400毫秒结束。这种方法与之前在视觉世界范式中采用的分析策略一致(例如Cheung等人,Citation2024;Prasad & Mishra,Citation2021;Sedivy等人,Citation1999),旨在平滑眼动数据,而不是暗示潜在的认知过程严格锁定在这些时间间隔内。由于矩阵动词之后的单词在持续时间或信息内容上没有控制,因此我们的分析没有将这些单词的时间锁定在内。我们分析的因变量是每个参与者在12个时间窗口内每次试验中注视NP1与NP2的比例的对数比率(Arai等人,Citation2007)。这种方法量化了对NP1(矩阵动词的主语)和NP2(潜在的竞争者)的注视偏好程度。正值表示注视NP1的次数多于NP2,负值表示注视NP2的次数多于NP1,零值表示对这两种图片没有偏好。分析测试了每个时间窗口中SRC和ORC条件下的对数比率是否存在显著差异。
对数比率数据使用一系列线性混合效应模型进行了分析,每个时间窗口一个模型,使用的是R语言中的lme4包(版本1.1-35.1;Bates等人,Citation2015)和R语言(版本4.3.2)。固定效应包括实验因素RC类型(ORC编码为-0.5,SRC编码为0.5)。受试者和项目作为交叉随机效应输入,包括受试者和项目的随机截距,以及RC类型的受试者和项目随机斜率。所有模型都成功收敛。分析结果总结在表1中。所有p值使用lmerTest包(版本3.1.3;Kuznetsova等人,Citation2017)获得。表1总结了混合效应分析的结果,评估了从矩阵动词发音起始的12个时间窗口内相对从句类型对注视比率数据的影响。
如表1所示,截距在200–400毫秒的模型中首次显著不同于零。估计值为正,表明注视NP1的次数显著多于NP2。这种模式在400–600毫秒的窗口中呈边缘显著,但在600–800毫秒的窗口中再次完全显著,并在剩余的分析窗口中持续显著,直到2400毫秒。这些模式表明,参与者对NP1(即矩阵动词的主语)对应的图片表现出早期和持续的偏好,而对NP2对应的图片则不然。RC类型的主效应在从矩阵动词发音开始的任何早期窗口中都不显著,持续到1400毫秒,表明在动词的初始处理过程中,两种RC类型的注视NP1的偏好相似。相比之下,RC类型的效应在1400–1600毫秒的窗口以及1600–1800毫秒的窗口中显著。此外,在1800–2000毫秒的窗口中也呈边缘显著。这种模式表明,在SRC条件下,注视NP1的偏好幅度显著大于ORC条件。在2000毫秒之后的任何时间窗口中,RC类型的效应都不显著。
尽管大量文献表明,理解者处理包含ORC的句子时遇到更大的处理难度和理解能力下降,但关于这种不对称性的认知机制仍存在重要问题。当前实验通过使用视觉世界范式解决了这一长期存在的问题,参与者在听句子的同时观看了与句子中关键名词对应的图片。基于记忆的解释预测,矩阵动词会提示检索NP1——这一过程容易受到干扰,特别是在ORC的情况下——因此预测在处理ORC的矩阵动词时干扰更大。相比之下,基于经验的解释倾向于强调RC本身的预测驱动难度,并且在RC成功解析后不会对矩阵动词做出差异性预测。结果显示,在矩阵动词的听觉呈现后不久,参与者倾向于更多地注视NP1(句子的主语)对应的图片,而不是NP2(潜在的干扰项)。然而,重要的是,对于包含SRC的句子,NP1的偏好幅度显著大于ORC的句子。这种模式最自然地解释为在矩阵动词整合过程中ORC的检索干扰增加。总的来说,这些发现为记忆机制在口语理解中处理关系从句的作用提供了新的证据。
基于记忆和基于经验的ORC-SRC处理不对称性解释并不相互排斥。也就是说,这两种框架在某种程度上都可以解释这种差异的存在。基于经验的解释倾向于预测在RC早期就会出现处理差异,因为理解者的预期可能被违反;而基于记忆的解释倾向于预测在必须从记忆中检索并整合成分的句子动词处会出现处理差异。由于矩阵动词之后的单词在持续时间或信息内容上没有控制,我们没有将这些单词的时间锁定在内。我们分析的因变量是每个参与者在12个时间窗口内每次试验中注视NP1与NP2的比例的对数比率(Arai等人,Citation2007)。这种方法量化了对NP1(矩阵动词的主语)和NP2(潜在的竞争者)的注视偏好程度。正值表示注视NP1的次数多于NP2,负值表示注视NP2的次数多于NP1。零值表示对这两种图片没有偏好。分析测试了每个时间窗口中SRC和ORC条件下的对数比率是否存在显著差异。
对数比率数据使用一系列线性混合效应模型进行了分析,每个时间窗口一个模型,使用的是R语言中的lme4包(版本1.1-35.1;Bates等人,Citation2015)和R语言(版本4.3.2)。固定效应包括实验因素RC类型(ORC编码为-0.5,SRC编码为0.5)。受试者和项目作为交叉随机效应输入,包括受试者和项目的随机截距,以及RC类型的受试者和项目随机斜率。所有模型都成功收敛。分析结果总结在表1中。所有p值使用lmerTest包(版本3.1.3;Kuznetsova等人,Citation2017)获得。表1总结了混合效应分析的结果,评估了从矩阵动词发音起始的12个时间窗口内相对从句类型对注视比率数据的影响。
如表1所示,截距在200–400毫秒的模型中首次显著不同于零。估计值为正,表明注视NP1的次数显著多于NP2。这种模式在400–600毫秒的窗口中呈边缘显著,但在600–800毫秒的窗口中再次完全显著,并在分析的其余窗口中持续显著,直到2400毫秒。这些模式表明,参与者对NP1(即矩阵动词的主语)对应的图片表现出早期和持续的偏好,而对NP2对应的图片则不然。RC类型的主效应在从矩阵动词发音开始的任何早期窗口中都不显著,持续到1400毫秒,表明在动词的初始处理过程中,两种RC类型的注视NP1的偏好相似。相比之下,RC类型的效应在1400–1600毫秒的窗口以及1600–1800毫秒的窗口中显著。此外,在1800–2000毫秒的窗口中也呈边缘显著。这种模式表明,在SRC条件下,注视NP1的偏好幅度显著大于ORC条件。在2000毫秒之后的任何时间窗口中,RC类型的效应都不显著。
尽管大量文献表明,理解者在处理包含ORC的句子时遇到更大的处理难度和理解能力下降,但关于这种不对称性的认知机制仍存在重要问题。当前实验通过使用视觉世界范式解决了这一长期存在的问题,参与者在听句子的同时观看了与句子中关键名词对应的图片。基于记忆的解释预测,矩阵动词会提示检索NP1——这一过程容易受到干扰,特别是在ORC的情况下——因此预测在处理ORC的矩阵动词时干扰更大。相比之下,基于经验的解释倾向于强调RC本身的预测驱动难度,并且在RC成功解析后不对矩阵动词做出差异性预测。结果显示,在矩阵动词的听觉呈现后不久,参与者倾向于更多地注视NP1(句子的主语)对应的图片,而不是NP2(潜在的干扰项)。然而,重要的是,对于包含SRC的句子,NP1的偏好幅度显著大于ORC的句子。这种模式最自然地解释为在矩阵动词整合过程中ORC的检索干扰增加。综合这些发现,为记忆机制在口语理解中处理关系从句的作用提供了新的证据。
基于记忆和基于经验的ORC-SRC处理不对称性解释并不相互排斥。也就是说,这两种框架在某种程度上都可以解释这种差异的存在。基于经验的解释倾向于预测处理差异在RC早期出现,因为理解者的预期可能被违反;而基于记忆的解释倾向于预测在必须从记忆中检索并整合成分的句子动词处出现处理差异。由于在比较这些结构时单词类别和单词顺序之间存在固有的混淆(有关这个问题的讨论,请参见Gordon & Lowder,Citation2012;Johnson等人,Citation2011;Staub,Citation2010),单个实验很难区分这两种预测。当前实验没有试图分离句子中的各种处理差异位置,而是专注于矩阵动词——这是SRC和ORC的单词对齐的位置,从而可以进行清晰的实验比较。矩阵动词也是句子中的一个区域,在这里基于记忆的解释明确预测理解者在处理ORC时应该遇到更大的难度。相比之下,基于经验的解释主要强调关系从句本身的处理差异;它们对多个竞争成分之间的干扰如何在下游解决没有明确说明。Staub等人(Citation2017)提供了数据,表明如果RC后立即跟随矩阵动词,则ORC-SRC差异才会出现;然而,Lowder和Gordon(Citation2021)通过显示当介词短语介于RC和矩阵动词之间时,标准的ORC-SRC不对称性会出现,而当时间介词介于两者之间时,SRC在矩阵动词处的阅读时间显著长于ORC,这很可能是由于这两种介词类型的合理附着位置存在系统差异。由于这种介词类型的差异,当前实验中使用的材料只包含介词短语。我们在所有实验句子中插入介词短语的决定很重要,因为这允许由于SRC和ORC之间的单词顺序固有差异导致的注视偏好差异在矩阵动词呈现之前恢复到大致相同的水平。因此,我们可以自信地得出结论,任何在矩阵动词处出现的效应都是由于处理这个单词及其与句子其余部分的整合过程本身造成的,而不是从RC中溢出的。
关于这些效应的时间进程,注视图(见图1和图2)以及统计分析的结果(见表1)显示,参与者在听到矩阵动词后不久普遍倾向于注视NP1而不是NP2。效应在矩阵动词听觉启动后的200-400毫秒内变得显著,这表明参与者有快速检索句子主语并将其与动词整合的倾向。NP1相对于NP2的偏好程度随时间增加,表明参与者越来越确信NP1是矩阵动词的预期主语。我们观察到在矩阵动词呈现后大约1400毫秒时,RC类型效应开始出现,并持续了大约600毫秒(在这一时间窗口的末尾,效应变得略微显著)。这种效应的出现表明,在SRCs中,参与者比在ORCs中更容易区分NP1和NP2作为句子的主语。从记忆检索的角度来看,矩阵动词的处理可以理解为一系列阶段。在遇到动词时,正确理解句子需要理解者检索NP1并将其与动词整合。在ORCs中,由于NP2最近作为嵌入动词的主语,因此与检索线索部分匹配,这一检索过程变得复杂。这种竞争导致ORCs中的干扰增加,这反映在ORC条件下对NP2的注视次数多于SRC条件。在大多数情况下,这种竞争最终得到解决,正确的主语-动词配对得以建立。理解问题的较高准确率证实了参与者通常能够将正确的句子主语与矩阵动词整合;然而,在ORCs后回答理解问题时,参与者的准确率显著降低。从基于记忆的角度来看,这种模式与以下观点一致:ORCs中检索干扰的增加不仅扰乱了矩阵动词处的在线整合,还增加了理解者在句子结束前错误分配主题角色或未能完全解决竞争表示的可能性。重要的是,理解准确性效应通过反映检索困难的下游后果,补充了眼动追踪的结果,而不仅仅是眼动提供的即时动态。这两项措施共同提供了证据,表明记忆检索机制在RC理解中起作用。
关于观察到的干扰效应的时间定位,需要一个重要的说明。虽然当前实验中的句子设计得使得矩阵动词在SRCs和ORCs之间提供了一个清晰的对齐点,但我们并不声称记忆检索或主题角色分配过程仅在这个点开始。实际上,NP之间的竞争可能在RC处理的早期就出现了,包括在处理嵌入动词的过程中,并且可能持续到矩阵动词之后,部分取决于诸如语速之类的韵律因素。因此,当前的研究结果并不能直接说明检索干扰的确切开始时间,而是表明在听到矩阵动词时存在可测量的干扰效应,并且这些效应的强度在不同类型的RC中有所不同。另一种可能的解释是,观察到的效应并非检索干扰本身,而是与在几乎总是同时具有生命特征的NP中分配主题角色相关的难度增加,在这些NP中,两者都可以作为施事者或受事者。事实上,来自视觉世界范式的先前证据表明,潜在论元之间的语义相似性可能导致竞争加剧,从而增加处理难度(Humphreys等人,引用2016年)。然而,我们认为这种解释是对我们上面概述的基于检索的解释的补充——也就是说,语义和主题的重叠导致了基于结构的干扰,因为它们增加了多个表示与矩阵动词处的检索线索匹配的程度。尽管如此,重要的是要注意,在当前研究中,语义和主题的重叠在各种条件下是保持不变的。关键的操作是NP2是否作为嵌入动词的主语或宾语,这使我们能够隔离检索动态的贡献,超出了任何角色可逆性的影响。
正如引言中所述,Sekerina等人(引用2016年)报告了一种结果模式,表明在视觉世界范式中可以检测到检索干扰的证据。句子被设计成动词的选择限制要么只与屏幕上显示的一个项目一致(例如“sewed”-“button”;非干扰条件),要么与屏幕上显示的所有四个项目一致(例如“spotted”-“key, earring, pen, button”;干扰条件)。在听到动词时,参与者在干扰条件下对目标图片(例如“button”)的注视次数少于非干扰条件。尽管这种结果模式可能部分可以用检索干扰来解释,但至少还有两种其他解释。首先,这种模式可能更好地用非干扰条件下的促进作用来解释,即在听到动词“sewed”时,参与者的眼动迅速被吸引到视觉场景中可以缝制的那个物体上。从这个角度来看,结果似乎与众所周知的发现一致,即关于动词的语义信息可以用来引导注意力到满足动词选择限制的视觉场景中的物体上(Altmann & Kamide,引用1999年)。其次,在Sekerina等人的几个项目中,目标图片在非干扰条件下与动词所命名的状态相匹配。例如,在一个项目中,目标图片是一艘漂浮在水上的帆船,与非干扰动词“sailed”配对(与干扰动词“fixed”相对)。在另一个项目中,目标图片是一架在空气中飞行的飞机,与非干扰动词“flew”配对(与干扰动词“owned”相对)。这样的项目更支持这样的观点,即他们数据中观察到的模式最好用非干扰条件下的促进作用来解释,即参与者在听到“sailed”时自动看向了帆船的图片,或在听到“flew”时看向了飞机的图片。
与这里描述的Sekerina等人(引用2016年)的担忧不同,当前实验在句子中的关键名词和动词以及呈现给参与者的视觉数组上是保持不变的。相反,操作纯粹是语法上的,即在一种条件下潜在的干扰名词(例如“dog”)作为RC的主语,在另一种条件下作为RC的宾语。我们的结果显示,当干扰名词也被标记为主语时(如ORCs的情况),参与者在听到矩阵动词(例如“jumped”)时,检索预期主语(例如“cat”)的难度更大。因此,这些结果为检索干扰在ORCs处理中的作用提供了新的证据。
与视觉世界范式相关的一个限制是,它必然比日常口语理解更加受控且不够自然,因为它以标准化的方式提供语言,同时要求听众检查一系列视觉对象。同时,这种程度的实验控制为隔离特定处理机制提供了明显的好处。例如,尽管已知韵律线索会影响口语处理的时间进程,但我们通过控制关键区域的持续时间和时机来保持这些因素不变。这种方法通过最小化潜在的混淆来优先考虑内部有效性,同时也带来了与生态有效性相关的熟悉权衡。更一般地说,由于当前研究旨在最大化内部有效性以隔离RC处理中涉及的认知机制,我们的结论范围必然受到限制,这为未来的工作指明了明确的方向。两个这样的方向涉及当前发现在不同语言和个体之间的普遍性。除了关于英语中RC处理的广泛文献外,现在还有大量关于其他语言中RC处理的文献。当前发现是否适用于其他语言将取决于这些语言如何编码RC以及它们为检索和预测提供的线索。将我们的方法应用于不同类型语言中的口语RC处理是未来工作的一个重要方向。先前的研究还表明,ORC-SRC效应的强度可以受到几个个体层面因素的调节,如工作记忆容量(例如King & Just,引用1991年)、阅读技能(例如Cilibrasi等人,引用2019年)和年龄(例如DeDe,引用2015年)。因此,另一个重要的未来工作方向是进一步研究个体差异如何与RC处理相互作用,以及这些效应在书面语言、口语或两者中的表现程度。
最后,当前实验强调了视觉世界范式在研究复杂句子处理相关记忆过程方面的有用性。在句子处理文献中,视觉世界范式主要用于研究与歧义解决(例如Arnold等人,引用2000年;Chambers等人,引用2004年;Kaiser等人,引用2009年;Snedeker & Trueswell,引用2004年;Tanenhaus等人,引用1995年)、预测处理(例如Altmann & Kamide,引用1999年,引用2009年;Ito等人,引用2018年;Kamide等人,引用2003年;Knoeferle & Crocker,引用2006年,引用2007年;Lowder & Ferreira,引用2016年,引用2019年)或语用推理(例如Chambers等人,引用2002年;Degen & Tanenhaus,引用2016年;Huang & Snedeker,引用2009年;Sedivy等人,引用1999年)相关的问题(有关综述,请参见Huettig等人,引用2011年)相关的问题。相比之下,该范式很少用于研究与句法处理或其他与复杂句子相关的语言现象相关的问题,对于这些问题,记忆相关过程被认为是关键的基础机制。当前实验表明,这种方法可以非常有效,未来的工作可以将这种方法扩展到其他类型的句法复杂结构(例如分裂结构、长距离依赖关系或协调关系),以及不同类型语言中的口语句子处理,以及记忆检索如何与韵律线索或更广泛的对话背景在理解过程中的相互作用。
补充材料
下载MS Word(17.9 KB)
数据可用性声明
支持本研究发现的数据和分析脚本可通过Open Science Framework公开获取,访问地址为:https://osf.io/8b5c4/?view_only=8e7244ae8ccb4f65a7b779dc73533b7a。
本文的补充数据可在线获取,网址为:https://doi.org/10.1080/23273798.2026.2649499