声音情绪识别中元认知监控的声学预测因子

《Speech Communication》:Acoustic Predictors of Metacognitive Monitoring in Vocal Emotion Recognition

【字体: 大 中 小 】 时间:2026年10月21日 来源:Speech Communication 2.9

编辑推荐:

   摘要 声音情绪通过声学参数进行解码,但这些特征如何影响情绪识别能力(ERA)的元认知监控仍尚未探索。基于线索利用框架,本研究探讨了特定的声学属性是否能解释声音情绪识别中的元认知监控。元认知监控通过回顾性自评信心(SRC)进行测量。共有 100 名听者(即解码者)完成了一项情绪

  

摘要
声音情绪通过声学参数进行解码,但这些特征如何影响情绪识别能力(ERA)的元认知监控仍尚未探索。基于线索利用框架,本研究探讨了特定的声学属性是否能解释声音情绪识别中的元认知监控。元认知监控通过回顾性自评信心(SRC)进行测量。共有 100 名听者(即解码者)完成了一项情绪识别测试,使用了来自 30 名说话人(即编码者)的 180 个声音目标,对五种离散情绪(愤怒、悲伤、惊讶、快乐、恐惧)和一个中性基线表达进行判断,并在每次判断后给出信心评分(总响应数 1800 次)。元认知准确性(MA)被操作化为 ERA 与 SRC 差值的绝对值,数值越小表示 MA 越好。使用 PRAAT 进行声学分析,提取了五个参数:f0 平均值、f0 标准差、平均强度、语速和倒谱峰显著度(CPP)。拟合了带有编码者和解码者随机效应的广义线性混合模型(GLMMs),针对每种情绪分别进行了分析,以调查声学预测因子。结果显示,较高的 f0 平均值显著预测了恐惧和快乐情绪的 ERA 和 SRC 增加,并与 ERA-SRC 差值呈负相关,表明 MA 有所提高。这表明 f0 平均值充当了一种诊断性内在线索,增强了识别表现和元认知监控。相反,较高的 f0 标准差预测了较低的 ERA 和较差的 MA,特别是在恐惧情绪中,这表明其具有非诊断性或误导性作用。此外,还出现了情绪特异性的贡献;强度预测了悲伤的 ERA,CPP 预测了愤怒的 SRC,而较慢的语速预测了悲伤的较高 MA。本研究揭示了基频参数作为内在线索,影响着情绪识别、信心判断以及特定情绪类别中两者的对齐情况。这些发现通过揭示声学特征如何选择性塑造表现和自我监控准确性,推进了情绪知觉中的元认知理论,并为针对性干预提供了启示。

引言
过去二十年来,实证证据 consistently(一致地)表明情绪通过独特的声学模式传达,突显了这些听觉线索对成功的情绪识别能力(ERA)的关键贡献。在这方面,广泛共识认为基频、强度和时长是情绪交流中使用的主要声学线索(Larrouy-Maestri et al., 2025; Pell et al., 2015)。随着人们越来越感兴趣将高级认知功能整合到更广泛的 ERA 框架中,调查声学线索如何告知情绪知觉中的元认知判断具有重要的理论价值。迄今为止,只有一项研究检查了与 ERA 中元认知监控相关的声学线索(Lausen & Hammerschmidt, 2020)。在他们开创性工作的基础上,该工作提供了关于信心判断的初步见解,本研究通过检查信心与实际表现(即元认知准确性)之间的一致性来扩展这一研究路线,以阐明特定的声学属性如何塑造信心,并进一步告知这些元认知判断在声音情绪交流中的准确性。

元认知监控是指对自己认知过程的持续且往往是无意识的评估(Efklides, 2008)。这种评估功能至关重要,使个体能够评估准确性、预测表现并指导学习行为(Mihalca, 2014)。元认知研究的一个共同目标是理解支撑这些监控判断的因素,通常使用自评信心(SRC),即对感知表现准确性的自我报告(Ais et al., 2016; Fleming & Lau, 2014)。

历史上,元认知判断被视为本质上是一种推理过程,而不是内部认知状态的直接表征(Perfect & Schwartz, 2002)。这些推理是在任务执行过程中通过整合各种可获取的信息源或线索构建的(Koriat, 1997; Koriat & Levy-Sadot, 2001)。基于这一视角,Koriat (1997) 的线索利用框架提供了一个全面的解释,说明个体如何形成元认知判断,包括知觉任务中的信心评估,通过区分对最终评估做出独特贡献的三种主要线索类型。首先,内在线索代表刺激本身固有的信息,例如项目难度、知觉清晰度或加工流畅性(Koriat, 2015)。这些线索作为表现评估的启发式输入。相比之下,外在线索包括刺激外部的环境因素,例如学习时间或编码条件(Yuan et al., 2014)。第三类是记忆线索,与检索或识别过程的主观体验相关,包括检索的难易程度和回忆信息的生动性(Koriat, 2025; Koriat et al., 2014)。该理论框架内一个互补且核心的方面是加工流畅性假设(W?nke & Hansen, 2015)。该假设指出,认知加工的主观难易程度是一种普遍的元认知线索,影响着跨不同领域的判断(Alter et al., 2007; Greifeneder et al., 2011)。加工流畅性可以被概念化为一种内在线索,因为它反映了影响信息处理难易程度的刺激固有属性。具体而言,当刺激具有清晰、独特的特征从而促进加工时,个体体验到增强的流畅性,并将其解释为可能准确或表现成功的信号(Wang et al., 2020)。虽然线索利用框架已被广泛应用和测试,为传统认知领域(如记忆、知觉和决策)中的元认知判断提供了稳健的解释(Forster, 2022; Reber & Greifeneder, 2017),但其在情绪处理领域,特别是关于声音通道的应用目前相当有限。

情绪是短暂的、由生物驱动的响应,整合了基本的交流和生理过程(Keltner & Gross, 1999)。它们对社交互动至关重要,对心理学、精神病学和社会神经科学有着公认的影响(Schirmer & Adolphs, 2017)。情绪交流既涉及情绪的编码(即表达),也涉及解码(即识别)。情绪交流研究通常基于离散情绪理论,在该理论中情绪被分类(Banse & Scherer, 1996; Lausen & Hammerschmidt, 2020; Patel et al., 2011; Scherer & Scherer, 2011)。每种情绪类别被认为具有其独特的认知评价、心理活动、行动倾向和表达模式(Ekman, 1992; Izard, 1991, 2009)。根据离散情绪理论,有限的一组情绪进化出来以应对基本的生活挑战,如竞争(愤怒)、危险(恐惧)、合作(快乐)和损失(悲伤)。相比之下,维度模型建议类别情绪可以映射到由效价和唤醒度定义的连续空间中(Barrett, 1998; Russell, 1989)。此外,几项研究表明,独特的情绪与特定的自主神经唤醒模式相关,这与一系列生理指标(包括心率、手指温度和呼吸深度)显著相关(Ekman, 1992; Kreibig, 2010)。然而,在离散和维度理论框架中,中性表情被广泛采用为情绪识别范式中的情绪未带电基线(Banse & Scherer, 1996; Goudbeek & Scherer, 2010; Lausen & Hammerschmidt, 2020; Russell, 1989; Sinvani & Sapir, 2022)。

准确的情绪识别对于日常功能至关重要,影响着情绪调节和社会认知(Frajo-Apor et al., 2021)。这种复杂过程需要整合言语和副言语通道的情绪线索(Bryant, 2022; Schirmer & Adolphs, 2017)。历史上,非语言情绪研究主要关注视觉通道,特别是面部表情(Udahemuka et al., 2024)。最近,这一范围已扩展至包含听觉、触觉和嗅觉线索在内的多种感觉模态(Choo et al., 2025; Schienle et al., 2022)。当前研究专门关注听觉通道,换言之,即情绪声音的声响。人声作为交流的关键媒介,通过声学参数传达身份、情绪状态、态度和性情(Butler, 2019)。就情绪而言,声音动态以众所周知的声学属性为特征,即情绪韵律(Cole, 2015)。

解释这种声音交流推理性质的理论框架大量借鉴了 Brunswik (1956) 的透镜模型,该模型最初是在视觉知觉的背景下开发的(Brunswik, 1955)。当应用于情绪声音时,该模型在概念上将说话人的内部情绪状态表示为远端标准(即表达意图)(Juslin, 2000)。这一意图被外部化为可测量的远端线索(客观声学参数),随后被听者感知为近端知觉(主观声音质量印象),导致最终的情绪判断(B?nziger et al., 2015)。遵循该模型,沟通成功的终极指标,即成就度,由说话人的意图与听者的最终判断之间的相关性表示。持续的高成就度证明了相关线索的一般功能成功(Juslin, 2000)。然而,用作远端线索的声学测量指标(例如 f0mean)往往不足以完全解释与高预测性近端知觉(例如感知的粗糙度)相关的方差(B?nziger et al., 2015)。换句话说,虽然说话人和听者并没有完美地对齐线索依赖,但高准确性(成就度)仍然得以维持。这凸显了进一步独立地更好理解声音情绪编码和解码的必要性。

过去二十年来,实证证据 consistently(一致地)证实情绪通过独特的声学模式传达,突显了这些听觉线索对成功 ERA 的关键贡献。这些线索可能包括基频(即音调;f0)、强度模式(即响度)、时长(即言语计时)和音色(即声音质量)(Larrouy-Maestri et al., 2025; Pell et al., 2015; Pell et al., 2011; Pell & Kotz, 2011; Sauter & Eimer, 2010; Schewski et al., 2025)。实际上,听者通常不依赖单一的声学参数;相反,他们整合多种线索进行识别(Scherer, 1986)。相应地,描述这种多线索系统需要描述性和因果证据;实证调查因此依赖于两种互补的方法论范式:相关性方法和声学操纵框架(Nussbaum et al., 2024; Ponsot et al., 2018)。相关性设计分析产生的言语中的声学变异,以检查自然共现的参数如何与识别准确性和听者反应保持一致(Banse & Scherer, 1996; B?nziger et al., 2015; Lausen & Hammerschmidt, 2020)。虽然具有高度的生态效度,但此类设计在就特定声学特征得出直接因果推断方面存在局限性(Arias et al., 2021)。为了建立因果机制,需要声学转换方法,包括特定参数的语音合成和变形,以在保持其他参数不变的情况下隔离连续的声学特征(Bestelmeyer et al., 2014; Bestelmeyer et al., 2010; Skuk & Schweinberger, 2014)。鉴于调查 ERA 中元认知监控的新颖性,通过相关性方法评估这一自然共变的声学空间提供了识别关键预测因子之前所需的实证基线,以便随后在实验中进行隔离。

基频(f0),听者将其感知为音高,是情绪研究中最常被研究和知觉上最突出的声学参数(Banse & Scherer, 1996; Cowen et al., 2019; Larrouy-Maestri et al., 2025; Scherer & Scherer, 2011)。由于与 f0 相关的特征(例如平均值、变异性)主要被研究为信号唤醒(Banse & Scherer, 1996; Dimitrova-Grekow et al., 2019),它被专门确定为快乐情绪的主要声学标记(Amorim et al., 2021)。例如,f0 变异性增加和更宽的 f0 范围与听者感知中性声音为快乐相关联(Trinite et al., 2023)。此外,发现较高的 f0 平均值和变异性与识别快乐和恐惧相关(Nussbaum et al., 2022),而较低的 f0 平均值和变异性则与识别悲伤声音相关(Subramanian & Aruchamy, 2024; Yoon, 2024)。

强度(或声音振幅/能量)是听者将其感知为响度的声学参数(Banse & Scherer, 1996)。与 f0 一起,强度主要信号唤醒(Alexander & Llanos, 2025),因此,它被确定为愤怒识别的主要声学标记(Polzehl et al., 2011; Simon et al., 2017)。例如,响度降低会导致愤怒情绪的中性化,表明减弱损害了听者识别愤怒的能力(Trinite et al., 2023)。愤怒和快乐都是高唤醒情绪,通常与较高的强度相关(Alexander & Llanos, 2025)。相反,低唤醒状态如悲伤和中性通常表现出较低的能量(Guo et al., 2024),悲伤具体与降低的感知强度相关(Breitenstein et al., 2001)。

时长涉及声音计时和停顿的方面(Banse & Scherer, 1996)。时长之前因其对声音情绪知觉的重要作用而被研究(Pell & Kotz, 2011)。专注于反映言语时长并普遍考虑慢速与快速言语的语速,愤怒和快乐通常与较快的语速相关(Nordstr?m & Laukka, 2019)。此外,语速降低会导致愤怒情绪的中性化(Trinite et al., 2023)。

相反,低唤醒状态(如悲伤和中立)通常表现出较慢的节奏(Yang等人,2024)。除经典的情绪参数外,研究日益强调音色在测量声音质量方面的作用(Lowell等人,2012)。声音质量指的是在元音或有声辅音的口腔发音过程中同时使用的特定喉部构型(Epstein,2002),范围从气声到粗糙声(Gobl & Chasaide,2003)。通常使用音色(即频谱参数)进行测量,如谐波噪声比(HNR)、基频微扰(Jitter)和倒谱峰值突出度(CPP)(Alexander & Llanos,2025;Baker等人,2024)。在语音情绪识别的语境中,声音质量对于准确解码情绪效价至关重要(Tahon等人,2012),而基频、能量和时间特征等参数则主要与唤醒度相关(Jürgens等人,2018)。早期研究依赖于宽泛的音色测量,通常基于高频与低频能量的相对强度,表明紧张的声音质量与高唤醒情绪(如愤怒、喜悦和恐惧)相关,而松弛或气声质地的声音则与悲伤相关(Scherer,1986)。在结构层面,音色反映了共振峰频率、频谱能量和噪声的复杂组合,对于区分情绪质量至关重要;例如,愤怒作为一种高唤醒情绪,虽然与喜悦具有相似的情绪效价,但与独特的频谱特征(Barra等人,2007;Lauritzen,2009)以及有助于将其与喜悦区分开来的特定声音质量变化(Gendrot,2003)特别相关,而悲伤作为一种低唤醒情绪,有时涉及气声质地的声音(Wang等人,2024)。最近,研究者重点关注倒谱峰值突出度(CPP),这是一种客观测量指标,数值越高表示声音信号越具谐波特性(Trinite等人,2023)。在情绪语境中,该指标显示较高的CPP值可能导致听者将中性声音误判为愤怒,而较低的CPP值则与正确识别中性声音相关(Trinite等人,2023)。值得注意的是,已有观点认为声学信号的解读往往更契合维度构建(如激活和效价),而非离散的情绪标签(da Silva & Barbosa,2017;Laukka,2005)。在这方面,声学参数被认为与情绪维度具有更好的相关性;即维度框架可能更有效地捕捉情绪表达的连续性本质。尽管关于各种声学线索对ERA(情绪识别能力)贡献的研究广泛存在,但几乎没有研究直接考察这些声学参数与听者的元认知监控判断之间的关系。然而,这样的研究是必要的,因为它可能推进对声音情绪感知的元认知判断机制的理解,其中声学线索发挥着基本作用。从线索利用理论的观点出发,假设刺激的声学特征会通过影响加工流畅性来影响SRC(自我评定信心)(Alter等人,2007;Lausen & Hammerschmidt,2020)。加工流畅性被定义为人们加工信息时所体验到的主观容易程度,并可靠地影响广泛的人类判断(Forster,2022;Murphy等人,2022;W?nke & Hansen,2015)。通常,当底层认知加工感觉流畅而非不流畅时,听者报告对其表现的信心更大(Wang等人,2020)。在这一思路下,考虑到声音的情绪交流,声学参数是声音目标的固有特征,作为影响情绪信息解码流畅度的基本标志。也就是说,听者分析这些声学特征的速度和容易程度可能直接影响加工的主观体验(Alter & Oppenheimer,2009)。要形成信心方面的元认知评估,听者依赖于提示心理体验的信息价值和适用性的线索(即流畅性),以将其与判断任务相关联(Greifeneder等人,2011)。换言之,在语音情绪识别中,这转化为固有的声学特征允许多快、多清晰地实现所表达情绪的范畴识别(更多背景见Sinvani & Fogel-Grinvald,2026)。在这方面,语速(或时长)被认为是情绪识别任务中利用信心的主要声学线索之一(Pell & Kotz,2011)。在采用门控范式的实验中,该范式逐步呈现话语的音节,识别准确率和信心判断都显示随声学输入的时间进程而演变(Pell & Kotz,2011)。他们的结果表明,每种情绪的信心评分通常随门控时长的增加而显著增加。这一现象反映了更长的声学暴露提供了更多数据点,导致对情绪信息更完整、更流畅的加工。然而,时间流畅性的影响在不同情绪之间并不均匀,因为与语速相关的固有声学特征在不同情绪类别之间存在差异。例如,尽管恐惧表达在声学上以相对较快的语速为特征,但它在早期门控阶段就被迅速识别,比大多数其他情绪更早达到高识别准确率(Pell & Kotz,2011)。相反,尽管悲伤表达通常表现出较慢的语速,但参与者在第一个门控阶段就报告对自己识别悲伤的信心最大,显著超过对愤怒、恐惧和厌恶的信心评分(Pell & Kotz,2011)。悲伤早期高信心的现象表明,其简单的声学特征——可能是较低的基频(f0)范围——提供了有力的早期流畅性线索,信心正是基于此建立的。听者在形成元认知判断时依赖的声学参数因目标刺激的特征而异。在涉及较短声音目标(如单词或名词)的任务中,听者的信心评分最好由时间特征来预测,特别是时长(Lausen & Hammerschmidt,2020)。这表明对于短暂的刺激,信号的物理长度(时间流畅性)是决定感知加工容易程度及随后信心的主导因素。相反,当加工较长刺激(如词汇或伪句子)时,频率相关参数更好地预测了信心判断,包括平均基频(f0)、最低基频和基频微扰(Lausen & Hammerschmidt,2020)。这一发现表明,对于复杂的较长话语,与音高变化相关的声学线索成为调节主观流畅性体验及随后自我评定信心的主导固有线索。总体而言,听者的信心判断受到正确情绪识别的显著和系统性影响。然而,他们的发现表明,影响识别准确率的刺激属性并不总是与影响信心评分的属性相对应(Lausen & Hammerschmidt,2020)。或许最值得注意的是,目前尚无研究系统考察声学参数如何影响元认知准确率,后者反映了信心与实际表现之间的一致性,这在语音情绪识别中尤为重要。实际上,元认知准确率反映了自我监控的质量,并对社会情境中的适应性行为具有重要意义(Martin & Lysaker,2022)。然而,鉴于元认知监控判断中可能存在的偏差,如过度信心和信心不足,进一步调查声学线索在塑造元认知监控准确率中的作用的必要性凸显出来(Binnendyk & Pennycook,2024)。理解声学线索如何影响信心与准确率之间的一致性,将为情绪感知中有效元认知监控的机制提供进一步洞见。本研究通过系统考察特定声学参数如何作为固有线索影响语音情绪识别任务中的情绪识别准确率、自我评定信心和元认知准确率,来填补这些重要空白。本研究聚焦于五个已被证实具有指示作用的声学参数:基频特征(平均f0和f0标准差)、平均强度、语速(每音节秒数)和倒谱峰值突出度(CPP)。引导本研究的研究问题是:特定声学参数如何影响听者在语音情绪识别中的自我评定信心和元认知准确率?具体而言,我考察了声学参数对ERA、SRC和元认知准确率的影响。我预期ERA与f0、语速和CPP参数的关联最强,因为这些参数的效应此前已被描述为在声音交流中具有主导地位。此外,我预期与SRC和元认知准确率相关的声学参数在不同情绪间存在差异。片段部分 刺激 本研究使用的语音刺激由一句此前为研究希伯来语声音情绪交流而设计的重复语义中性句子组成(Sinvani & Sapir,2022)。该句翻译为"哦,真的吗?我不相信",其核心结构在语音上是相同的,表示为/Ma/Be/e/met/a/ni/lo/Ma/a/min/;然而,音节数量因说话人性别而异。具体而言,男性说话者产生10个音节的版本,而女性 结果 在评估预测模型之前,首先考察了不同目标表达类别下声学参数的描述性统计量。如表2所示,情绪和非情绪话语在各类别间表现出显著的声学变异,特别是在平均f0方面,该参数在幸福感条件下达到最高值,在中立基线条件下达到最低值。为了回答声学参数与ERA、SRC和MA之间关联的研究问题,建立了一系列广义线性混合模型。讨论 本研究考察了声学参数如何对声音情绪感知中的情绪识别能力(ERA)、自我评定信心(SRC)和元认知准确率(MA)作出贡献。应用线索利用框架(Koriat,1997),研究结果提供了关于特定声学特征作为诊断性线索的作用的关键洞见。具体而言,平均f0在特定情绪情境中(恐惧、幸福感和中立)成为可靠的固有线索,系统地…… 结论 本研究首次系统考察了声学参数如何对情绪识别能力、自我评定信心和元认知准确率作出贡献。研究发现平均f0在恐惧、幸福感和中立情绪中作为诊断性固有线索具有核心作用,增强了识别、信心以及信心与准确率之间的一致性。情绪特异性声学贡献进一步强调了线索利用的情境依赖性,并表明没有任何单一声学…… 资金来源 本研究未获得公共、商业或非营利机构资助机构的任何特定拨款。利益冲突声明 作者声明没有可能影响本工作的竞争性经济利益或个人关系。数据可用性声明 数据可根据要求提供。CRediT作者贡献声明 Rachel-Tzofia Sinvani:撰写–原稿,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,正式分析,数据整理,概念化。利益冲突声明 作者声明没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。致谢 本研究献给已故的Simon Sapir教授,我的杰出导师,他的智力指导深刻地塑造了我的声音和语音研究方式。他在理论和临床领域的杰出贡献、对科学严谨性的坚定承诺以及人类声音研究中的创新视野继续激励着我的学术工作。我深感荣幸曾得到他的指导,并对他持久的影响…… Rachel-Tzofia Sinvani
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号