共享神经代码在表情符号与人类面孔情绪识别中的应用

《Psychophysiology》:Shared Neural Codes for Emotion Recognition in Emoji and Human Faces

【字体: 大 中 小 】 时间:2026年03月04日 来源:Psychophysiology 3.2

编辑推荐:

  面部表情是支持人类沟通的关键社会信号。在数字情境中,表情符号作为非语言线索(如面部表情)的主要替代物;然而,关于表情符号表情是否通过类似真实人类面孔的神经机制进行加工,目前所知甚少。为解决这一问题,研究人员使用基于脑电图(EEG)的多变量模式分析(MVPA),

  
面部表情是支持人类沟通的关键社会信号。在数字情境中,表情符号作为非语言线索(如面部表情)的主要替代物;然而,关于表情符号表情是否通过类似真实人类面孔的神经机制进行加工,目前所知甚少。为解决这一问题,研究人员使用基于脑电图(EEG)的多变量模式分析(MVPA),考察了真实面孔和表情符号面孔中情绪表情加工的神经动力学。在两个采用相同范式的实验中,独立的两组参与者分别观看真实面孔(4女4男身份,n=24)或表情符号(6个平台,n=25)的表情(高兴、愤怒、悲伤、中性),同时完成二择一迫选情绪识别任务。时间分辨多变量分类和时空搜索光分析揭示了在实验内部及跨实验间对情绪表情的稳健解码。一致效应早期出现,在145–160毫秒(ms)于后枕叶和顶叶区域达到峰值。值得注意的是,真实面孔与表情符号之间的稳健跨分类表明,类似面孔的表情符号刺激诱发的神经反应与真实面孔所引起的反应相当,且在右侧后部区域具有更持续的效应。这些发现表明,大脑对自然和符号化面部表情使用了部分重叠的时空编码,为社会信息的神经编码以及自然与人工情绪表情之间表征重叠提供了新见解。
## 论文解读

### 研究背景与问题

面部表情识别是人类社会互动的核心能力,它使个体能够从他人的面部线索中推断情绪和意图。随着数字通信的普及,表情符号(emoji)已成为在线互动中传递情绪的重要工具。这些简化的、符号化的表征作为面部表情的替代物,引出一个关键问题:大脑如何处理这些抽象的情绪线索,与处理真实人类面孔相比,其神经机制是否具有通用性和适应性?以往研究多聚焦于两类刺激之间的差异,而非检验它们是否依赖共享的神经表征。例如,基于事件相关电位(ERP)的研究发现,表情符号诱发的N170成分(面孔特异性加工的标志)在时间上早于真实面孔,且涉及不同的脑区(如枕叶和物体加工区)。然而,关于情绪相关神经模式是否在自然和符号化面部表情之间泛化,尚未得到明确检验。因此,本研究旨在通过多变量模式分析(MVPA)探讨:真实面孔和表情符号面孔的情绪表情加工是否依赖重叠的神经编码,以及这种编码的时间动态如何。

### 研究内容与结论

研究人员采用EEG时间分辨MVPA,在两个独立实验中分别使用真实面孔(来自KDEF数据库,8个身份,4种表情)和表情符号(来自6个平台,4种表情)进行二择一迫选情绪识别任务。通过实验内留一参与者交叉验证和跨实验训练-测试分析,发现情绪表情的神经解码在刺激呈现后100–120毫秒(ms)开始,在145–160毫秒于后枕叶和顶叶区域达到峰值,与N170时间窗口一致。此外,在350–500毫秒窗口也观察到跨格式重叠效应。关键的是,跨实验分类(真实→表情符号和表情符号→真实)均表现出显著的双向泛化,尤其在涉及中性表情的情绪对(如愤怒vs.中性)中最为稳健。这些结果表明,大脑对真实和符号化面部表情使用了部分重叠的时空编码,支持了情绪识别中共享神经代码的存在。该研究发表在《Psychophysiology》上,为理解数字通信中情绪线索的神经基础提供了重要见解。

### 主要技术方法

本研究主要采用时间分辨多变量模式分析(MVPA)和时空搜索光分析(spatio-temporal searchlight analysis)对EEG数据进行解码。具体而言,研究人员使用线性判别分析(LDA)分类器,在实验内部采用留一参与者交叉验证方案:对真实面孔实验,训练数据来自6个身份(3男3女)并测试留出的身份;对表情符号实验,训练数据来自5个平台并测试留出的平台。跨实验分析中,分类器在一个数据集上训练后在另一个数据集的每个参与者上单独测试,实现双向解码(真实→表情符号和表情符号→真实)。统计检验采用双侧单样本簇置换检验(10,000次迭代)和贝叶斯因子分析(BF>10作为强证据)。样本来源:真实面孔实验参与者24人(8男,平均年龄21.21岁),表情符号实验参与者25人(5男,平均年龄21.08岁),均来自伯恩茅斯大学心理学系EEG实验室。

### 研究结果

#### 3.1 多变量分类

##### 3.1.1 面部表情

时间分辨分类(高兴、愤怒、悲伤、中性四类)显示,在实验内部和跨实验条件下均出现显著解码。对于表情符号,出现两个显著簇:早期窗口(70–195毫秒,p<0.01,峰值Cohen's d=1.21)和晚期窗口(705–900毫秒,p<0.01,Cohen's d=0.80)。对于真实面孔,在120–430毫秒之间观察到三个显著簇(簇p<0.05,峰值Cohen's d=0.78–1.20)。跨实验解码(真实→表情符号和表情符号→真实)产生早期(115–200毫秒)和中晚期(355–525毫秒)簇,效应量稳健(峰值Cohen's d=0.77–1.56)。时空搜索光分析进一步证实,在表情符号面孔中,早期解码主要在50–225毫秒于后部电极(如P6、PO4)达到峰值;真实面孔在80–1145毫秒于PO7达到峰值;跨实验分析显示枕叶和顶叶通道的显著解码(Cohen's d≤1.0)。

##### 3.1.2 面部表情对

时间分辨分类显示,真实面孔中愤怒vs.中性对的解码最为稳健(100–665毫秒,簇p<0.001,峰值Cohen's d=2.11),其他对(如高兴vs.中性、悲伤vs.中性)在115–280毫秒出现窄窗口解码。表情符号中,高兴vs.中性和愤怒vs.中性在70–180毫秒即出现早期显著解码(Cohen's d>1.5)。跨实验结果表明,真实→表情符号转移在95–160毫秒出现早期解码(Cohen's d>1.51),尤其对于中性和愤怒表情。时空搜索光分析显示,真实面孔中情绪对(如高兴vs.中性、愤怒vs.中性、悲伤vs.中性)在75–215毫秒开始分化,于后部通道(如POz、PO8)在150–290毫秒达到峰值(Cohen's d>1.6);表情符号中相应对比在55毫秒即开始;跨实验分析确认了愤怒vs.中性和悲伤vs.中性对的显著泛化,解码起始于85–120毫秒。

#### 3.2 效应起始时间

基于时间分辨搜索光解码的全脑效应起始分析显示,表情符号面孔在实验内留一参与者解码中,情绪解码起始于100毫秒,峰值于155毫秒(贝叶斯因子BF>106);真实面孔起始于120毫秒,峰值于160毫秒(BF>104)。跨实验分析中,四类情绪解码起始于120–125毫秒,峰值于150–160毫秒(BF>106),确认了共享神经编码。成对对比中,真实→表情符号分类中高兴vs.中性起始于105毫秒,峰值于110毫秒(BF>103)。

### 讨论与结论

本研究通过时间分辨EEG解码,发现情绪表情的神经信息在真实面孔和表情符号之间具有泛化性,支持了共享的神经编码。讨论部分指出,早期解码(100–120毫秒)在N170时间窗口(145–160毫秒)达到峰值,位于后枕叶和顶叶区域,这与面孔特异性感知加工阶段一致。此外,在350–500毫秒窗口也观察到跨格式重叠,可能反映了与任务需求和情绪评估相关的超模态评价过程。研究人员认为,这些结果与两种互补观点相符:一是面孔特异性观点,强调表情符号和照片在N170范围内共享感知面孔的通路;二是超模态观点,强调跨格式泛化和中晚期重叠作为高阶网络中抽象、格式无关情绪编码的特征。研究结论部分总结如下:这项研究调查了表情符号面孔与真实人类面孔情绪识别的神经动力学,使用EEG和多变量模式分析。在两个实验中,参与者观看真实面孔或表情符号的高兴、愤怒、悲伤和中性表情,同时执行情绪分类任务。情绪表情的稳健解码早在100–120毫秒出现,在145–160毫秒于后枕叶和顶叶区域达到峰值,时空模式与N170成分(面孔特异性加工的标志)一致。在刺激后350–500毫秒时间窗口也观察到效应。关键的是,跨分类分析揭示了真实面孔和表情符号面孔之间神经代码的双向泛化,尤其是涉及中性表情的情绪对(如愤怒vs.中性)。这表明,尽管表情符号具有人为性,但它们能够激活与面部表情加工重叠的神经机制。这些发现增进了对符号化和自然社会信号如何加工的理解,展示了大脑在解释抽象情绪线索方面的灵活性,对数字通信和设计情感响应技术具有启示意义。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号