共语手势对语音包络跟踪的影响

《Brain and Language》:The influence of co-speech gestures on speech envelope tracking

【字体: 大 中 小 】 时间:2026年03月26日 来源:Brain and Language 2.3

编辑推荐:

  雅各布·P·莫姆森 | 英俊·吴 | 西娜·库尔森 美国圣地亚哥州立大学与加州大学圣地亚哥分校联合语言与沟通障碍博士项目 **摘要** 本研究探讨了共同言语手势的运动学特征如何影响言语追踪——这是一种神经指标,能够捕捉大脑对连续言语声学参数的敏感性,尤其是言语包络幅

  雅各布·P·莫姆森 | 英俊·吴 | 西娜·库尔森
美国圣地亚哥州立大学与加州大学圣地亚哥分校联合语言与沟通障碍博士项目

**摘要**
本研究探讨了共同言语手势的运动学特征如何影响言语追踪——这是一种神经指标,能够捕捉大脑对连续言语声学参数的敏感性,尤其是言语包络幅度中的低频波动。为此,我们记录了36名健康成年人在观看多模态话语片段时的脑电图(EEG)数据,这些话语片段中说话者的动作和手势与其言语内容一致或不一致。随后,我们构建了时间响应函数(TRFs),以从参与者观看话语片段时记录的EEG中解码言语幅度信息。分析结果显示,与手势一致的语音相比,基于手势不一致的语音的解码性能显著下降,这表明伴随一致手势的言语在神经表征方面的准确性更高。此外,由于前向TRF的空间和时间特性可以与传统的事件相关电位(ERP)类似地进行解释,我们构建了由言语包络引发的EEG前向模型。这些分析表明,在言语包络发生变化后200毫秒内,前向模型的权重开始出现差异,因为与手势一致的语音对应的TRF受到抑制,而与手势不一致的语音对应的TRF则没有这种变化。当前研究的结果表明,身体手势会影响大脑对连续言语声学包络的追踪。这种手势一致性效应可能是由于身体的表达性动作影响了伴随言语的幅度和音高,而大脑积极利用这些信息来处理言语的韵律特征。

**1. 引言**
看到说话者的面部有助于改善言语处理——尤其是在嘈杂的听觉环境中(Grant和Seitz,2000;Sumby和Pollack,1954;Von Kriegstein等人,2008)。虽然口面部动作通过提供关于相关言语声音的时间进程和身份的稳定信息来补充音系学处理(Chandrasekaran等人,2009),但言语的韵律维度(如音高重音或声调强调的位置)也与表达性共同言语手势的运动学组织之间存在紧密耦合(参见Wagner等人,2014年的综述)。现有的研究主要集中在共同言语手势对话语意义的贡献上(Obermeier和Gunter,2015;?zyürek,2014)。然而,即使共同言语动作缺乏明确的交际或语义价值,它们也能可靠地传递有关说话者发声行为韵律设计的信息。本研究探讨了听者如何利用手势信息来指导言语的声学分析。为此,我们研究了共同言语手势的运动学特征对言语追踪的影响——这是一种神经指标,能够反映大脑对连续言语声学参数的敏感性,即言语包络幅度中的低频波动。

**1.1. 言语与手势**
多模态话语理解的神经基础因研究而异,这可能是由于象征性手势(传达其指称对象的视觉和空间特征)、节奏手势(传达强调)以及自我调整手势(可能传达有关说话者的信息,但与信息本身无关)的信息性质不同。多模态话语激活了与视觉空间注意(下顶叶、枕叶皮层)、多感官处理(听觉皮层、枕叶皮层、上颞沟)和语义整合(中颞回、下额叶皮层)相关的大脑区域(Chui等人,2023)。最近一项对比多模态和单模态话语的神经影像学研究的元分析显示,左侧中额叶和下额叶回以及双侧的中枕叶和下颞叶均有持续的激活(Cacciante等人,2024)。尽管这些发现表明手势可能在多个层面上影响言语处理,但大多数关于身体手势如何塑造言语处理的研究都集中在语义层面以及表征性手势如何与言语整合上(例如Habets等人,2011;He等人,2015;Momsen等人,2020;Wu和Coulson,2010)。这类研究受到早期使用事件相关电位(ERP)技术比较多模态话语中言语与手势的语义处理时序的研究的影响。在其中一项研究中,研究人员操纵了言语和手势的情境一致性,以观察是否存在叠加效应(?zyürek等人,2007)。他们发现,言语、手势或两者的任何不一致都会导致更大的N400波形,表明语义检索需求增加(?zyürek等人,2007)。此外,这些不一致效应的幅度、时序和地形学特征并没有显著差异,表明言语和手势的语义处理遵循相同的时间进程,并且涉及相似的大脑区域网络(?zyürek等人,2007)。

手势的意义对言语处理的重要性体现在意义与话语情境相关或无关的手势之间的对比上(例如He等人,2020),以及不同类型手势的效果之间的对比上。例如,带有象征性手势的言语会引发较小的N400波形,表明这些手势有助于语义处理;相比之下,带有自我调整手势或节奏手势的言语会引发较大的N400波形,表明它们使言语的语义处理更加困难(Chui等人,2018)。手势的促进作用似乎与其传递的信息类型有关。当象征性手势指示同义词的潜在含义时(例如“球”的“球体”含义与“舞蹈”含义),它们会降低N400波形所反映的语义检索需求(Holle和Gunter,2007)。当节奏手势提示句法模糊句子的上下文适当解析时,它们会降低处理难度,这一点通过P600波形体现(Holle等人,2012)。事实上,手势在传递普通话词汇声调时会影响第二语言学习者(L2)的N400波形幅度(Morett,2023)。总体而言,副语言线索的信息量与大脑反应的大小之间存在关联(Zhang等人,2021)。

**1.2. 视觉对言语声学处理的影响**
尽管大多数关于言语-手势整合的论述都假设这种交互发生在语义和词汇处理层面,但一些数据表明在感觉层面也可能存在更早的交互。这一观点在可见的口面部动作与音系学感知之间的交互研究中得到了广泛研究。一个经典的例子是McGurk错觉,即面部手势会导致听众感知到与声学刺激不同的音素(McGurk和MacDonald,1976)。根据基于约束的多模态整合理论,这种错觉的发生是因为与音素发音位置相关的视觉线索为听众的听觉网络准备了相关的声学事件(Arnal等人,2009)。例如,看到说话者的嘴唇闭合时,听众预期听到的音节组合会发生变化,因为双唇音节/pa/比软腭音节/ga/更可能出现。支持这种视听整合的神经生物学机制已被充分探索,涉及多个大脑区域,如上颞沟(STS)、下额叶回(IFG)以及早期听觉和视觉皮层(例如Bernstein和Liebenthal,2014;Campbell,2008;Dick等人,2010)。使用EEG的研究强调了听觉ERP成分的重要性,因为在同时呈现说话者面部动态图像和单纯言语刺激的情况下,N1/P2复合波形的幅度往往会减弱(Stekelenburg和Vroomen,2007),且峰值潜伏期更短(Van Wassenhove等人,2005;Arnal等人,2009;Besle等人,2004)。

**1.3. 言语身体的节奏**
然而,能够影响言语动态方面的说话者行为范围不仅限于面部发音,还包括手部和其他身体部位的动作。尽管身体手势与言语声学之间的关系不如面部手势那么明显,但对言语-手势对齐的观察研究表明,共同言语手势的显著阶段通常会在言语韵律的超分段成分中得到反映(Krivokapi?,2014;Loehr,2007)。显著的韵律轮廓,如音高的急剧上升或言语包络幅度的峰值,往往与手势动作的突然中断同时发生(Leonard和Cummins,2011;McClave,1998)。术语“视觉韵律”被用来描述共同言语动作的运动学特征如何抽象地反映言语信号中的语调或重音波动。虽然这种现象在说话者使用节奏手势时最为明显(即手部的向下脉动动作,用于标记强调或对比焦点),但在其他类型的手势中也能观察到这种时间对齐,例如指物手势(Rochet-Capellan等人,2008;Rusiewicz等人,2013)。重要的是,这种现象不仅限于手势,还体现在整个身体上,包括头部和躯干的动作(Busso等人,2005;Esteve-Gibert等人,2014;Esteve-Gibert等人,2017;Hadar等人,1983;Kim等人,2014;Munhall等人,2004;Yehia等人,2002)。这些发现表明,言语的感知可能受到来自身体手势的视觉线索的调节,尤其是在韵律层面。使用低通滤波(因此无法理解)的言语,研究人员发现健康成年人仅凭韵律线索就能感知言语和手势之间的一致性(Guella?等人,2014)。实际上,在需要基于韵律线索进行消歧的任务中,当言语和手势相互对立时,手势的影响大于言语声学特征(Guella?等人,2014;Krahmer和Swerts,2007)。此外,有证据表明手势驱动的“McGurk效应”,即对口语单词识别的影响取决于词汇重音的感知,这表明共同言语手势可以影响言语识别(Bosker和Peeters,2021;McGurk和MacDonald,1976),并且可能比来自口腔的发音信息对言语韵律的感知有更大的影响(Bujok等人,2025)。因此,行为研究表明共同言语手势会影响言语韵律的感知。

**1.4. 言语与身体手势的视听整合**
神经测量结果也支持言语和共同言语手势的早期视听整合(例如Kelly等人,2004)。例如,在嘈杂的听觉环境中,伴随有意义(即象征性)手势的言语可以提高言语感知(Drijvers等人,2018;Drijvers和?zyürek,2017;Holle等人,2010)。这些工作为手势如何通过辅助词汇检索来促进言语处理提供了宝贵的见解,而词汇检索的完整性取决于语言因素,如言语是否以母语呈现(Drijvers等人,2019;Drijvers和?zyürek,2018)。其他研究还表明,手势在预语义处理层面影响感觉或音系学处理,这通过听觉N1(Biau等人,2018;Sun等人,2021)和P2(Biau和Soto-Faraco,2013;Biau等人,2018)ERP成分的调节得到体现。

在之前的研究中,我们记录了参与者观看点光源说话者的脑电图数据,即从男性说话者那里获取的运动捕捉数据的简化动画(Momsen和Coulson,2025b)。为了建模持续神经活动与言语声学处理之间的关系,我们使用了时间响应函数(TRF)(Crosse等人,2016),这是一种系统识别技术,可以通过解码或反向模型重建刺激的属性,并通过编码或正向模型可靠地识别与言语显著特征相关的EEG响应特征。这种方法已被用来证明听觉皮层中的生理活动会追踪言语信号的幅度包络(Haider等人,2022),并且成功解码言语包络与言语感知的行为指标相关(Brodbeck和Simon,2020;Van Hirtum等人,2023)。先前的研究也表明,面部手势能够增强从脑电图(EEG)中解码语音包络幅度的能力,尤其是在参与者在听语音时,语音伴随着说话者面部的静态或动态描绘(Crosse等人,2015年;Haider等人,2022年)。为了测试身体手势是否也能增强连续语音的声学处理,(Momsen & Coulson,2025b)使用了一个语音包络的逆向模型,结果显示当语音与一致的手势的生物运动信息结合时,其神经表征更为精确,而不仅仅是单独的语音。此外,通过对比在仅视觉条件、仅听觉条件以及视听一致条件下记录的EEG中语音包络的解码分数,我们发现一致的手势对重建精度有叠加效应,这表明了视听整合的存在(Momsen & Coulson,2025b)。相关的EEG正向模型表明,语音包络幅度的变化与额叶电极位置上140-160毫秒内的EEG调制有关,这种效应被认为与听觉P2 ERP成分有关。

(Momsen & Coulson,2025b)使用的材料在视觉成分上的简约性提出了一个需要当前研究解决的问题。尽管这些材料旨在保留与多模态话语产生相关的生物运动,但它们的简单性可能会引发与更真实材料不同的大脑活动。先前的研究表明,将语音与移动点等刺激结合会引发与共语手势不同的EEG效应(Holle等人,2012年),并且改变说话者的身体朝向(从前向侧面)会导致内侧前额叶皮层的激活差异(Straube等人,2010年)以及与内侧前额叶生成器相关的β波段抑制(He等人,2020年)。这些效应是与对交流意图的推断有关,还是仅仅因为人体作为一个有效刺激的重要性,它们提出了一个问题:在更符合生态学条件的情况下是否也会出现类似的语音-手势交互(Zhang等人,2021年;Matyjek等人,2024年)。在这里,我们使用更自然的多模态话语视频来研究共语手势对连续语音声学处理的影响。

1.5. 本研究
为了研究身体手势对语音处理的影响,我们记录了参与者观看描述日常活动和物体的说话者短视频片段时的EEG(见图1)。在每个参与者观看的视频中,身体动作是说话者自发产生的手势,即一致的共语手势。对照刺激是通过将一致条件下的每个声音文件与我们语料库中不同片段的视频部分配对来构建的。为了确保视听交互效应是由身体动作驱动的,我们通过模糊所有视频中的面部来移除了来自嘴巴和面部的视觉语音信息。

下载:下载高分辨率图像(246KB)
下载:下载全尺寸图像

图1. 实验范式。(A) 实验范式中A组和B组参与者共有的EEG部分的图形表示。在注视十字后,每个试验包含一个来自内部数据库的自然、无提示的语音和手势记录的多模态话语片段。在一半的试验中,参与者观看了保留了原始记录的音频和视觉信息的一致视频。另一半试验包含通过重新组合无关片段的音频和视频信息生成的不一致视频。(B) 在EEG记录之后,A组的参与者进行了一项手势分类任务,他们重新观看话语片段并按下按钮以指示语音和手势是否匹配。

因此,生成的不一致视频具有与一致视频完全相同的声学特性,但伴随着不同的共语手势;同样,两组视频的运动学特性也是相同的。也许由于手势的自然质量,我们的一部分参与者认为视频的操控相对微妙。然而,这些视频之前已在多项行为研究中使用过,其中一致性的操控被证明会影响参与者判断图片探针是否与之前的话语片段相关的任务中的反应时间和准确率(Wu & Coulson,2014年;Wu等人,2022年)。关键的是,一致视频中语音包络与说话者共语手势之间的时间关系与生物物理约束一致,而不一致视频则不然。

与Momsen和Coulson(2025b)一样,我们使用了TRF方法来测试共语手势对连续自然语音中语音包络皮层编码的影响。应用一个逆向时间响应函数(见图2),即解码模型,我们使用在话语理解任务期间记录的EEG来预测语音包络的幅度。为了探索手势对声学处理的影响,我们比较了伴随一致与不一致共语手势的同一语音的重建成功率。如果解码模型性能因共语手势的不同而显著不同,这将支持我们的假设,即身体动作会实时影响语音的声学分析。

下载:下载高分辨率图像(347KB)
下载:下载全尺寸图像

图2. 时间响应函数(TRF)示意图。(左) 每个试验都与26个通道的EEG时间序列数据和语音包络表示相关联。正向和逆向TRF始终在每个视频条件(一致 vs 不一致)内的数据上进行训练。(顶部面板) 个体受试者的解码器(逆向)模型训练过程的图形表示。每个视频一致性条件内的每个试验被视为测试集,而该条件内的其余试验用作训练集。训练集的数据用于逆向模型优化和训练过程。生成的解码器模型通过转换与测试集相关的EEG数据来生成预测的语音包络。然后使用皮尔逊相关系数将预测的语音包络与测试集试验的实际语音包络进行比较。(底部面板): 个体受试者的正向(编码)模型训练过程的图形表示。与解码器模型训练过程不同,特定视频一致性条件内的所有试验都被用来生成一个正向模型,该模型将每个试验的语音包络映射到结果EEG数据中。这个过程为每个受试者和每个视频条件生成了一组正向模型权重。

此外,我们使用EEG的正向模型来检查与包络强度敏感性相关的大脑反应的时间过程。重要的是,由于语音包络是连续变化的,正向TRF与单词起始时间锁定的ERP不同。TRF不是记录大脑对离散事件的反应,而是跟踪大脑如何跟随语音流的强度,因此适合研究自然话语的处理。尽管正向TRF代表了大脑对连续变化信号的脉冲响应,但TRF中对语音包络的峰值类似于N1和P2听觉ERP成分(Wilroth等人,2025年)。鉴于此,我们对正向模型的分析受到了先前关于多模态语音处理研究的指导。如果身体手势以类似于面部手势的方式调节语音的声学处理,我们可能同样期望身体手势与同时发生的语音的一致性也会调节正向TRF。

2. 材料和方法
2.1. 参与者
我们从两组说英语的成年人(18-30岁)中收集了EEG数据,使用相似的范式在不同时间进行。这里的分析来自我们实验室收集的未发表的数据集,因为它们都使用了我们多模态话语片段语料库中的相同材料。样本大小不是通过功效分析确定的;我们只是合并了所有可用数据。在A组(n = 24)和B组(n = 13)中,自我报告表明所有参与者都有正常的视力和听力,没有神经或精神疾病的历史。由于在EEG研究部分出现过多伪迹,A组中的一名参与者被从分析中移除。总之,我们展示了36名参与者的数据。

2.2. 材料
用于话语启动的视频片段长度从3到8秒不等(平均值 = 4.1秒,标准差 = 1.3秒),这些视频是由说话者描述各种家庭物品和活动的录制片段组成的,其中包含语音和手势(有关这些视频内容的更多细节,请参见Wu等人,2022年)。分配到一致话语条件下的视频包含了原始记录的音频和视觉内容。不一致的话语视频是通过将不同视频记录中的音频信息随机混合人工创建的(如Wu等人,2022年所述)。重要的是,在所有280个视频中,说话者的面部都被数字模糊处理,以便无法从面部的发音动作中推断出说话者和手势之间的关系。

在许多关于多模态话语理解的神经认知基础的研究中,对比一致与不一致手势的文献中,话语的手势成分是由演员产生的,涉及一个清晰且协调的动作,其与脚本化语音的匹配是显而易见的。相比之下,我们的材料是由一个对研究问题不知情的个体向记录互动的对话者描述图像而创建的。因此,我们的材料涉及自发产生的话语,其中包括了一些手势研究者称为“粗糙”的不流畅性。虽然一致的视频片段以一个容易解释的标志性手势开始,但它们通常会以某种简化形式重复该手势至少一次。

为了确认一致和不一致视频之间的差异,我们进行了一个初步研究,参与者来自与EEG研究相同的参与者池。这些参与者观看了每个片段并判断它是否一致(“语音与手势匹配吗?”)。平均而言,81%的一致试验(标准差 = 17%)和41%的不一致试验(标准差 = 32%)被正确判断。匹配对t检验显示,志愿者之间的信号检测(d')显著大于零(无信号检测)(p < 0.01)。这些结果表明,一致性操控相当微妙,参与者将大多数试验解释为一致。

在EEG实验中使用了总共280个视频——包括140个不一致视频(AVi),这些视频包含与140个一致视频(AVc)相同的动作和语音信息,只是以不同的方式配对。为了确保没有个别参与者在实验过程中多次接触到任何片段的相同音频或视觉信息,创建了两个各包含140个刺激的实验列表。每个列表包含70个一致视频和70个不一致视频,以便在参与者内部比较一致性操控,尽管完全平衡音频和视频内容需要在列表之间进行合并。A组和B组参与者的列表构建是相同的。表1显示了每个列表中一致和不一致片段中几个声学参数的平均值。一致和不一致视频的声学参数在每个列表内没有可靠差异,当然,在列表之间一致和不一致视频的声学参数也是相同的。

表1. 与我们两个实验列表相关的话语片段的音频特征摘要。配对样本t检验表明,列表1和列表2中的四个音频特征之间没有显著差异。

2.3. 任务设计
在参与者观看包含一致或不一致语音和共语标志性手势信息的多模态话语片段时记录了EEG。当前研究结合了来自两个几乎相同范式的参与者数据。这些范式最初旨在研究手势对伴随语音的语义处理的影响。鉴于当前研究重点关注语音的早期声学处理,假设两个范式之间的微小差异不太可能影响包络跟踪。对A组受试者进行的实验范式首先通过显示一个简短的书面短语来引导参与者了解即将播放的视频片段的内容(例如:“毛茸茸的动物”、“婴儿车”、“制作三明治”)。无论是匹配还是不匹配的视频版本都使用了相同的标题,以控制其对语音语义处理的影响。标题屏幕消失一秒后,就开始播放话语视频。每个视频片段结束后200毫秒,参与者会看到一张与该片段内容语义相关的图片探针。在图片探针出现1500毫秒后,会提出一个简单的“是/否”理解问题,以确保他们关注到了话语内容。整个实验分为10个模块,每个模块之间有自我控制的休息时间,每个模块包含14个实验试验(总共140个试验)。

对B组受试者进行的实验范式则从一声哔哔声开始。一秒钟后,话语视频开始播放。每个视频片段结束后300毫秒,参与者会看到一张与该片段内容语义相关的图片探针。图片探针出现1500毫秒后,会提出一个“是/否”的记忆探针,以确保他们的注意力。记忆探针可以是视频中出现的单词、视频的定格画面或图片;其中一半的记忆探针来自参与者刚刚观看的视频片段(“是”探针),另一半来自实验中的其他视频片段(“否”探针)。

在EEG部分结束后,对A组的所有受试者(N=23人)进行了手势分类任务。这项任务要求每位受试者重新观看他们在EEG记录期间观看的140个话语片段。该任务的目的是评估受试者对语音和手势内容之间视听对齐的敏感度,并要求他们在二选一的强制选择任务中将每个视频分类为“匹配”(即语音和手势看起来协调)或“不匹配”(见图3C)。这项任务的性能通过敏感度指数d’来量化,该指数估计了受试者区分匹配和不匹配试验类型的能力。在信号检测理论中,感知决策被认为是反映了感官信息的噪声内部表示,因此观察者必须区分有意义的信号和随机变化。在这个框架内,感知决策被建模为对应于信号存在和信号不存在事件的重叠内部响应分布的结果,从而可以将敏感度与响应倾向或决策标准分开。选择d’分数而不是其他指标(如每种条件下的总体准确性),因为这个指标提供了一个无偏的感知敏感度指标,因为它同时考虑了正确的判断以及I型和II型错误(Stanislaw & Todorov, 1999)。具体来说,d’反映了匹配和不匹配刺激的内部表示之间的标准化分离程度,较高的值表示对感兴趣的诊断特征(在这种情况下是语音和手势之间的时间和/或语义对齐)的敏感度更高。

下载:下载高分辨率图片(406KB)
下载:下载全尺寸图片

图3. 解码器模型:(A) 两种主要实验条件下的平均解码器分数,包括用圆圈表示的受试者级别平均值。(B) 匹配和不匹配条件下的受试者级别解码器分数平均值。在匹配试验中表现出组别级别更好解码器性能的受试者显示在左侧图表中,而在不匹配条件下相对解码器有所改进的少数受试者显示在右侧图表中。(C) 在匹配和不匹配试验类型中,受试者级别在手势分类任务上的百分比准确率。连接各个平均值的线条根据它们的d’分数着色(蓝色表示较低的d’,红色表示较高的d’)。(D) 根据每位受试者在手势分类任务上的d’分数,绘制了匹配(黑色)和不匹配(红色)试验的解码器性能。在完成手势分类任务的受试者子集中,分析显示了对手势匹配度的敏感度与两种条件下平均解码器分数之间存在显著关系(即匹配和不匹配试验的平均表现)。对语音和伴随手势的对齐有更好的敏感性与神经表示中语音幅度包络的更高精度相关。

2.4. EEG记录和预处理
在话语处理过程中,使用左侧乳突上的电极(A1)作为参考,从10-20系统的29个头皮位置记录EEG信号。EEG信号通过SA Instrumentation隔离生物电放大器(带通滤波,0.01–40 Hz)放大,并以256 Hz的频率在线数字化。数据收集后,去除了直流偏移,并使用二阶巴特沃斯滤波器对EEG应用了带通滤波(0.1–30 Hz)。数据没有进一步进行漂移校正,即去趋势处理。EEG被划分为长度不同的140个时间段,每个时间段的开始和结束由时间戳定义(时间段长度:μ = 3.73秒;σ = 1.34秒)。使用ICA分解进行伪迹校正(移除了#个伪迹:μ = 3.46;σ = 0.96)。结果时间段经过视觉检查,排除了眨眼、眼球运动和肌肉相关的伪迹(被拒绝的试验百分比:μ = 23.08%;σ = 11.5%)。在伪迹去除后,我们移除了面部(Heog, RLe)、乳突(A2)和前额叶(FP1, FPz, FP2)电极,以及4个在记录过程中出现故障或包含过多伪迹的电极(TP7, TP8, FT7, FT8)。剩余的22个头皮记录电极用于解码分析。在计算时间响应函数之前,EEG被归一化并降采样到64 Hz(如Crosse等人,2015年所述)。

2.5. 解码器训练
为了准备解码器分析的刺激数据,将每个话语片段的音频文件转换为单变量语音包络,方法是对样本的均方根幅度进行对数缩放,频率为64 Hz(Crosse等人,2016年)。使用正则化线性回归将提取的语音幅度包络与记录的EEG数据通过时间响应函数关联起来(如Crosse等人,2015年所述)。所得到的解码器模型描述了从EEG信号的任意特定通道到单变量语音包络表示的线性转换。这种技术消除了对EEG和语音包络之间关系拓扑的先验假设的需要。除了模型中每个通道的回归系数外,解码器还由对应于任何单个时间样本的语音幅度包络的预选EEG数据时间窗口定义。滞后时间序列由-100到500毫秒的窗口定义,因此任何给定时间样本的解码器转换由从刺激前基线间隔(-100毫秒)到刺激后500毫秒的所有头皮电极上的加权EEG信号描述。

整个刺激重建分析是使用mTRF MATLAB工具箱(Crosse等人,2016年)进行的。首先,提取一个条件下的EEG时间段(即匹配或不匹配的视频),并将与单个试验相关的数据设置为测试集。剩余的试验作为训练集,在受试者和条件下实施留一法交叉验证程序,以确定优化重建准确性的岭参数,同时防止对单个试验的过拟合。测试了7个可能的岭参数(0.0000001;0.00001;0.001;1;100;10000;1000000),选定参数的分布可以在补充图1中找到。对于每个交叉验证折叠,重建准确性仅在未用于模型训练或参数选择的保留试验上进行评估。在这个优化过程之后,生成了一个涵盖训练集中所有试验的解码器模型。然后将该模型应用于留出的测试集,使用原始EEG作为输入来生成预测的语音包络。为了评估解码器性能,计算了预测语音包络与测试集时间段对应的实际语音包络之间的皮尔逊相关性系数。我们将这个相关系数称为解码器分数。这种交叉验证的相关性作为模型泛化性能的无偏估计。这些步骤分别在每个受试者和视频条件(匹配和不匹配)中单独进行,因此每个试验都作为测试集,并因此与后续的混合效应回归分析相关联。解码分析在图2的顶部分中以示意图形式展示。

2.6. 解码器分数评估
每个试验的解码器分数为解码性能提供了一个度量标准,并将其输入到线性混合效应回归(lmer)分析中,以研究手势匹配度的主要效应。该模型包括视频匹配度(匹配与不匹配视频)的分类固定效应,以及受试者和刺激项目(定义为试验中呈现的具体音频文件)的随机截距项。在当前研究中呈现的所有模型中,匹配视频条件是基线因素水平,因此视频匹配度的回归权重可以解释为由于语音和手势不匹配而导致的相关值相对变化。鉴于匹配手势对语音处理的促进作用,我们预计与匹配话语片段相比,伴随不匹配手势的语音重建成功率会较低(AVi)。

为了进一步探索解码器分数与对共语音手势敏感度的行为测量之间的关系,我们利用了在EEG研究后执行手势识别任务的受试者的数据(见图3C),构建了一个线性回归模型,根据每个受试者在手势识别任务上的d’分数来预测平均解码器性能。预测变量是视频的匹配度(匹配/不匹配)、d’分数及其交互作用;结果变量是该条件下受试者的平均解码器分数。如果d’分数的显著效应支持解码器分数的行为敏感性与其对语音-手势匹配度之间的正相关关系,那么解码器分数的有效性将得到证实。如果这种关系依赖于话语刺激的匹配度,我们可能会观察到视频和d’之间的交互作用。因此,我们预计这种交互作用会发生,因为在匹配视频中d’效应的斜率比不匹配视频更陡峭。

2.7. 前向模型
与解码器模型不同,前向模型将EEG信号作为因变量,其形态适合于标准的ERP解释(Crosse等人,2016年;Haufe等人,2014年)。然而,与传统的ERP分析不同,前向模型的结果权重的形态属性不能相对于离散的、时间锁定的事件(如单词起始)进行解释,而是代表了数据训练所基于的时变信号的广义神经响应,即语音幅度包络。为了创建上述后向解码器模型的前向类似物,我们使用了相同的模型参数(例如时间滞后),为每个受试者在特定视频条件下的所有试验训练单独的模型。在这个模型训练过程中,语音包络作为预测器(自变量),用于估计每个通道上的结果EEG信号。与前向ERP不同,后者表示与离散引发事件时间锁定的平均电压变化不同,前向TRF是通过将模型与语音包络中的每个时间样本卷积来估计的。因此,TRF中每个滞后处的权重反映了刺激强度单位变化所引发的神经响应。为了探索不同条件下的前向模型TRF,我们在每个受试者的所有试验中训练了前向模型(如Crosse等人,2015年;Momsen & Coulson, 2025b;Momsen and Coulson, 2025a, Momsen & Coulson, 2025b)。由于这些组件的延迟,特别是听觉P2反应,在成年人中表现出显著的个体间差异,并且对刺激和任务特征(如注意力需求)敏感,因此使用这两个时间窗口内的峰值幅度测量来量化对语音幅度包络的神经反应(Picton等人,1974年;Crowley和Colrain,2004年)。具体来说,数据是从每个分析的时间窗口内确定的峰值幅度测量为中心的32毫秒范围内提取的。这些测量值被作为因变量纳入两个独立的lmer模型中(每个时间窗口一个模型),每个模型都包括视频条件的固定效应以及受试者和通道的随机截距项。此外,正如我们对解码器模型所做的那样,还进行了补充分析,以探索前向TRFs与手势识别任务中的d’分数之间的关系。这些分析使用了完成行为任务的参与者子集的数据(仅限队列A,共21名参与者),并采用了与主分析相同的方法提取平均TRF幅度——即从上述N1(50-150毫秒)和P2(150-275毫秒)窗口中的前额中央通道。与上述主分析一样,为每个时间窗口构建了一个混合效应模型,其中包括受试者和通道的随机截距项。然而,除了视频条件的固定效应外,这些模型还包括行为表现的固定效应(即标准化的d’分数)以及视频和行为之间的交互作用。如果在TRFs的任何窗口中存在显著的交互作用,则表明这一时间段的神经活动可能与对伴随言语手势的敏感性行为指标有关。应用Bonferroni校正来控制多重比较。

3. 结果
3.1. 语音-手势一致性对解码器模型性能的影响
每种条件下的平均解码器得分显示在图3A中。我们的线性混合效应回归分析显示,视频一致性有显著影响,表明与一致的手势配对相比,不一致的手势配对的语音重建性能更差(β = ?0.021;p < 0.0001;Cohen’s D = 0.11)。为了确保我们两个实验队列之间的任务需求差异不会影响这一结果,我们拟合了第二个模型,增加了队列的主效应和队列与视频一致性之间的交互作用。这一分析显示了类似的效果(β = ?0.024;p = 0.002),队列的主效应(p = 0.49)以及队列与视频一致性之间的交互作用都不显著(p = 0.50)。
为了确保解码器模型的性能优于随机水平,通过为每种条件生成解码器得分均值的零分布来进行组级显著性测试。为此,通过对随机洗牌的刺激-响应配对重新运行解码器构建程序,为每个受试者和条件生成零分布。从每个受试者级别的零分布中随机选择一个皮尔逊相关性,以填充每种条件的组级零分布。这个抽样过程重复了1000次,并进行了替换。然后将组级均值与每个零分布进行比较,以验证组级的重建准确性优于随机水平(一致;p < 0.0001;不一致;p < 0.0001)。

3.2. 解码器性能与主观对手语-手势对齐敏感性的关联
为了补充解码器性能的分析,我们接下来探讨了为每个参与者构建的解码器模型的性能与对手语和伴随言语手势一致性敏感性的行为指标(即在EEG部分之后进行的手势识别任务中的d’分数)之间的关系。对该任务的分析显示,受试者在识别一致的语音片段时通常比识别不一致的语音片段更准确(平均准确率:一致;μ = 92.16%;σ = 8.15%;不一致;μ = 73.04%;σ = 24.10%;见图3C)。为了解释潜在的响应偏差(即,在不确定时倾向于回答“一致”),我们使用d’作为感知敏感性的度量。Shapiro-Wilk检验表明,我们样本中的d’分数与正态分布没有显著差异(W(20) = 0.94,p = 0.2),从而允许使用参数检验。我们参与者的平均d’分数为2.34(σ = 0.98),单样本t检验确认性能优于随机水平(t = 10.96,p < 0.001)。接下来,构建了一个简单的线性回归模型,从视频条件(一致/不一致)、d’分数及其交互作用来预测参与者级别的平均解码器性能(见图3B)。这一分析显示,我们对手势敏感性的行为指标与平均解码器分数之间存在显著关系,即对手语和手势之间一致性更敏感的参与者具有更好的解码器分数(β = 0.033;SE = 0.006;p < 0.0001;Cohen’s D = 0.18)。然而,视频条件没有主效应(p = 0.14),d’分数与视频条件之间也没有显著交互作用(p = 0.9),表明具有更高敏感性的参与者在一致和不一致条件下都有更好的解码分数。

3.3. 伴随言语手势对皮层语音跟踪的时空特征的影响
通过生成前向时间响应函数来检查预测的多感官增强效应的时空特征(见图2底部面板,了解程序的示意图)。前向TRFs的权重显示在图4中。如方法部分所述,构建了线性混合效应回归模型来预测前额中央通道在时间窗口(50-150毫秒和150-275毫秒)内的TRFs峰值幅度,这些时间窗口分别被认为是N1和P2听觉诱发电位的类似物。这些测试显示,在P2时间窗口内,视频条件有显著影响,即不一致视频中的权重比一致视频中的权重更正(β = 0.081;SE = 0.022;p < 0.001;Cohen’s D = 0.29;见图4B)。相比之下,在较早的N1窗口内没有证据表明视频条件之间存在差异(p = 0.64)。

下载:下载高分辨率图像(444KB)
下载:下载全尺寸图像
图4. 前向模型(A)显示了一致(黑色)和不一致(红色)条件下的复合前向转换解码器权重图。(B)条形图显示了P2窗口(150-275毫秒)内的一致和不一致视频条件下的平均峰值幅度。在所有受试者中,该窗口内的峰值幅度都高于从记录的一致语音-手势视频中生成的幅度。此图中反映的幅度是根据我们混合效应分析中包含的12个电极计算的平均峰值,这些电极在图4C的拓扑图中突出显示。(C)36人样本中视频一致性效应(不一致减去一致)的拓扑图。在这个时间窗口内,语音-手势对齐对前向模型权重的效应在额部和中央电极位置更为明显,表明与听觉P2相关的时间滞后期间幅度有所不同。拓扑图中突出显示的电极表示在LMER分析中包含的电极位置,这些位置显示与不一致话语片段相关的峰值幅度相对增加。(D)用于研究主观对手语-手势对齐敏感性的影响的前向模型权重显示了手势分类任务中的d’分数与P2峰值幅度效应之间的交互作用。从这个模型生成的预测前向权重展示了在手势分类任务表现较差的受试者中视频一致性效应(d’ = 平均值的标准差减去2;左侧条形图),平均表现(d’ = 平均值的标准差;中间),以及表现较好的受试者(d’ = 平均值的标准差加上2;右侧)。这些子图中的数据来自模型预测,并不反映我们样本中的实际子组。此图中显示的预测幅度是根据我们混合效应分析中包含的12个电极计算的(见图4C)。

3.4. 前向模型权重与主观对手语-手势对齐敏感性的关联
为了补充对所有受试者前向模型权重的分析,进一步拟合了混合效应模型来研究前向TRFs的时空属性与手势识别任务中的d’分数之间的关系(见图4D)。这项分析使用了从上述前额中央通道提取的TRF幅度,这些通道的d’分数来自具有相应d’分数的受试者(仅限队列A,共21名参与者)。在每个时间窗口(N1:50-150毫秒;P2:150-275毫秒)内拟合了相同的混合效应模型,如同之前对所有受试者的分析一样,并增加了视频条件与z分数d’值之间的交互项。这些因素之间的显著交互作用将表明主观对手语-手势对齐的敏感性与一致和不一致视频的前向权重差异有关。P值经过Bonferroni校正,以控制两个时间窗口内的多重比较。
这项分析显示,在P2时间窗口内,视频条件有显著的主效应,其方向与所有受试者中识别出的效应相似,即不一致视频中的峰值幅度比一致视频中的更正(β = 0.12;SE = 0.026;p < 0.0001;Cohen’s D = 1.82)。在同一时间窗口内,观察到d’分数与视频条件之间的显著交互作用,表明视频条件的影响受到个体受试者对视频中语音和手势内容匹配的敏感性的调节。交互系数表明,随着d’分数的增加,视频一致性效应减弱(β = ?0.16;SE = 0.026;p < 0.0001;Cohen’s D = 0.59)。这项分析表明,在我们的材料中难以分类语音和手势关系的受试者在响应不一致视频时的P2 TRF更大,而对手语一致性具有更高敏感性的受试者在响应一致视频时的P2 TRF更大(见图4D)。
在N1窗口内的相同分析中,既没有发现视频一致性的显著主效应(p = 0.50),也没有发现d’分数与视频一致性效应之间的显著交互作用(p = 0.75)。

4. 讨论
当前的研究提供了关于伴随言语手势是否影响连续语音的神经跟踪的实证调查。训练用于从记录在连续话语片段中的EEG数据预测语音包络的解码器模型,在训练时使用与一致相比不一致的视听显示所引发的神经反应更为成功(见图3A)。由于说话者的面部特征被人为遮挡,只有可见的伴随言语动作区分了我们的两个实验条件。这表明说话者的全身动作直接影响了皮层语音编码。这建立在之前的工作基础上,这些工作展示了语音和伴随言语手势之间的视听整合,为更生态学上有效的自然话语描述(即真实视频片段)提供了类似的多感官交互证据(参见Momsen和Coulson,2025a;Momsen & Coulson,2025b)。此外,EEG数据的前向模型表明,伴随言语手势的一致性影响了与听觉P2 ERP成分相关的时间窗口内的TRF(见图4)。综合这些结果,提供了新的证据,表明说话者的身体动作影响了他们语音的听觉处理。

4.1. 手势运动学与语音处理的协同作用
我们的数据支持了行为学研究,表明在某种程度上,伴随言语手势的运动学属性影响了语音感知,特别是在分析与韵律相关的语音特征时(Bosker和Peeters,2021;Krahmer和Swerts,2007)。与一致面部动作增强语音跟踪的证据一致(Crosse等人,2015),这里观察到的一致片段更高的解码分数同样表明身体的伴随言语动作影响了语音包络的皮层表示的准确性(见图3)。
身体手势和视觉发音活动影响语音处理的一个可能机制是皮层同步(Lakatos等人,2019;O’Sullivan等人,2017)。或者,多模态促进可能是由听觉皮层中的视觉驱动的相位重置介导的。与此建议一致,先前的研究表明,当显著时,口面部(Mégevand等人,2020)和手部(Biau等人,2015)手势可能会引起相位重置。例如,节拍手势已被证明可以在连续语音中单词开始之前改善听觉θ波段的相位集中(Biau等人,2015)。
在当前研究中,前向模型中最可靠的手势效应出现在P2时间窗口,此时皮层处理通常通过注意力得到增强(Mishra和Gazzaley,2012;Woldorff等人,1993;Woldorff和Hillyard,1991)。然而,与之前由注意力资源状态调节的成分(如N1)不同,P2 ERP成分也对工作记忆需求敏感(Lefebvre等人,2005年),这是另一个已知会影响言语-手势整合的因素(Momsen等人,2021年;Wu等人,2022年;Wu和Coulson,2014年;Wu和Coulson,2015年)。此外,在本研究中,言语-手势一致性对前向TRF的影响随着参与者识别言语和手势内容之间匹配的能力而变化。在我们手势识别任务中表现较好的人对一致的语音片段在P2窗口显示出更大的反应,而大多数参与者对不一致的片段显示出更大的反应(图4D)。这些个体差异表明,观察到的言语-手势一致性对解码器的影响可能反映了来自一致手势的促进作用以及来自不一致手势的干扰作用,尽管在不同的受试者中表现不同。实际上,我们结果的一个显著方面是行为表现与我们的两个主要神经结果指标(前向TRF和整体解码器模型性能)之间关系的质的差异。具体来说,虽然我们对前向TRF的P2窗口期间峰值幅度的评估表明手势敏感性和视频条件之间存在交互作用(图4D),但我们发现手势敏感性对解码器性能有主要影响,即我们观察到手势敏感性和解码器分数之间存在正相关关系,这种关系在一致和不一致的视频中都是相似的(图3D)。尽管出乎意料,这种区别突显了功能性脑-行为关系在神经解码器的准确性与前向TRF的特征中的不同体现。实际上,这种差异表明,虽然行为上相关,但我们测量前向TRF的受试者水平变异(即150至275毫秒之间额中央部位的幅度峰值)并不能完全解释解码器分数,后者代表从神经数据中重建言语幅度包络的能力。解码器模型的成功可能依赖于前向TRF的其他方面,例如150毫秒之前的反应或来自顶叶或枕叶头皮区域的反应。鉴于我们在受试者有意识地区分一致和不一致视频的能力上观察到的变异性,前向TRF与解码器分数之间的关系也可能受到相关个体差异(如工作记忆容量或语言经验)的驱动(例如,?zer等人,2025年;Drijvers等人,2019年)。

4.2. 超越语义:手势如何影响言语声学?大多数现有的研究探讨了共言语手势如何塑造口语处理,这些研究集中在表征性手势与言语内容(即语义)之间的交集上(例如,?zyürek等人,2007年)。当前的研究为越来越多的行为证据提供了神经生理学支持,这些证据表明言语和共言语手势之间的多感官交互对语言理解有重要影响,这种影响超出了意义构建的范围(Irwin和DiBlasi,2017年;Skipper,2015年;Straube等人,2018年;Wang和Chu,2013年)。总体而言,这些研究表明,口语词汇的识别、解析、说话者强调的解释,甚至语用推理都受到表达性共言语动作时序的影响(Bosker和Peeters,2021年;Guella?等人,2014年;Holle等人,2010年;Holle等人,2012年)。鉴于现有证据表明手势感知对言语韵律感知有影响(例如,词汇重音),当前的研究提供了与这些及相关行为研究结论一致的神经生理学证据。由于我们解码器模型的成功可能取决于说话者动作的某些特征,这些特征能够提供关于言语动态强度的信息,这就提出了一个问题:在言语和共言语手势的背景下,是什么介导了跨感官的影响。一种可能性是,一致与不一致视频片段之间的包络跟踪差异是由说话者动作的时序与其言语幅度变化之间的关系驱动的。先前的研究表明,多感官益处取决于跨模态信息流的时间一致性(Zion Golumbic等人,2013年),并且会因引入非常轻微的延迟而减弱(Biau等人,2022年)。然而,大多数先前的研究都集中在面部发音手势上,这些手势的声学含义比身体手势更为直接。虽然身体手势不太可能提供关于话语音系属性的可感知信息,但对当前发现的另一种非竞争性解释来自于研究表明共言语手势如何直接塑造言语产生过程中的其他声学属性。即手势-言语物理假设认为,说话者动作的动力学(与力量相关的)属性会影响声音声学(Pouw和Fuchs,2022年)。实际上,声音的幅度和音高的可听变化受到身体表达性动作的影响,例如手臂的向下摆动,通过涉及呼吸重要肌肉的反射的共同激活(Pouw等人,2020年;Pouw和Fuchs,2022年)。从这个角度来看,使用机器学习和高密度运动捕捉的工作表明,说话者动作的动力学(与力量相关的)属性可以用来解码他们同时产生的言语的包络(Momsen和Coulson,2025a;Momsen和Coulson,2025b)。

4.3. 局限性

尽管我们的发现有助于我们理解多模态话语处理所涉及的神经认知过程,但当前研究有几个局限性,需要在更广泛的言语-手势整合和多感官言语感知背景下正确解释这些结果。值得注意的是,虽然我们的实验设计在一致和不一致条件下匹配了手势的运动学,但我们话语数据库中的每个片段都围绕一个有意义的象征性手势展开。这意味着除了期望的手势对言语幅度包络的干扰外,我们的一致性操作还引入了本质上是语义上的多模态差异。虽然我们的发现至少部分可能是由语义因素驱动的,但我们认为语义因素不太可能完全解释我们的所有发现。与使用诸如每个词与前面句子上下文之间的语义距离等指标来针对言语语义处理的相关研究不同(Broderick,2018年),我们的解码器被训练来预测言语的声学属性。此外,我们的EEG前向模型揭示了在时间和地形上类似于听觉ERP成分的实验效应。在这方面,我们的工作与Osorio及其同事针对多模态话语的语义属性进行的类似动机的工作不同。这些研究者为词频率和惊讶度(即给定上下文的词的条件概率的度量)推导出了前向TRF,他们发现的负值与N400 ERP成分相似(Osorio等人,2024年)。他们发现,共言语手势的存在(与缺失)导致词频率TRF的负值减少,这表明语义处理需求降低(Osorio等人,2024年)。鉴于本研究中观察到的语义TRF与声学TRF在时间和分布上的差异,似乎它们反映了手势对言语处理的不同方面影响。此外,由于当前研究中的解码器被训练来预测言语流中的幅度动态,我们的发现可能反映了共言语手势的视觉信息如何影响言语声学的处理,以及其对言语意义的影响。此外,一致片段相对于不一致片段的更高解码器分数可能反映了一致手势的促进作用、不一致手势的干扰作用,或这些因素的结合。例如,不一致的手势可能扰乱了注意力分配给言语内容的方式。与此观点一致的是,先前的研究表明注意力资源的状态会影响通过TRF创建的言语解码器的性能(Zion Golumbic等人,2013年)。尽管言语包络跟踪在上颞回中是否受到关注是不变的,但在超模态区域(如下额叶和下顶叶)的跟踪对于受关注的言语流更为稳健(Zion Golumbic等人,2013年)。总之,我们认为观察到的皮层言语跟踪随言语-手势对齐的差异反映了大脑对言语和手势内容之间时间关系的敏感性,以及可能关于说话者动作与其伴随言语强度之间的生物物理约束的推断。未来的工作应该更直接地检验这些和其他替代假设,以阐明话语背景下多感官交互的相关神经认知机制。

5. 结论

我们的研究提供了新的证据,表明共言语手势对言语声学特征的神经表征有影响——表明大脑利用关于说话者身体手势的视觉呈现信息来跟踪言语包络的幅度。我们的解码器模型在捕捉EEG与连续言语包络之间的关系方面的成功受到说话者动作与其言语对齐程度的影响,因此言语-手势显示不一致导致解码性能较弱(见图3)。此外,前向TRF模型中表示的神经活动表明,当言语与一致的共言语手势配对时,P2幅度峰值被抑制(见图4)。与越来越多的研究表明共言语动作与口语之间存在密切关系一致,我们的数据通过扩展多感官交互的范围来丰富言语处理的神经认知模型,这些交互特征化了口语的理解。

致谢

作者贡献声明:
Jacob P. Momsen:写作——审阅与编辑、原始草稿撰写、可视化、软件开发、概念化。
Ying Choon Wu:写作——审阅与编辑、软件开发、方法论、调查、概念化。
Seana Coulson:写作——审阅与编辑、监督、资源管理、概念化。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号