基于脑电与微表情多模态融合的意识障碍患者情绪识别与意识检测新方法

《IEEE Transactions on Affective Computing》:EEG- and Micro-Expression-Based Emotion Recognition and Consciousness Detection

【字体: 大 中 小 】 时间:2026年01月06日 来源:IEEE Transactions on Affective Computing 9.8

编辑推荐:

  本研究针对意识障碍(DoC)临床诊断误诊率高、传统方法难以捕捉微弱情绪反应的难题,提出了一种融合脑电(EEG)与微表情的新型多模态框架。通过创新的时空注意力机制整合异构数据,利用EEG微分熵特征和微表情时序特征,结合深度学习技术,显著提升了DoC患者情绪状态的检测与分类精度。该方法在多个公开数据集上达到主流模型相当或更优的准确率,为医疗诊断提供了更精准的工具,有助于实现个性化诊疗并改善患者生活质量。

  
在临床医学领域,意识障碍(Disorders of Consciousness, DoC)患者的诊断与评估一直是个巨大挑战。这类患者包括昏迷、无反应觉醒综合征(Unresponsive Wakefulness Syndrome, UWS,曾称植物状态)和最小意识状态(Minimally Conscious State, MCS)等。传统的诊断方法主要依赖行为量表,如昏迷恢复量表修订版(Coma Recovery Scale-Revised, CRS-R),通过观察患者对指令的运动反应来判断其意识水平。然而,这些方法存在明显局限:DoC患者常常无法产生可靠的运动反应,导致临床评估准确性大打折扣,误诊率高达37%-43%。更为棘手的是,即使像功能磁共振成像(fMRI)这样的先进神经影像技术,也因设备昂贵、操作复杂而难以在临床常规开展。
值得注意的是,近年研究发现,即使行为上无法反应的DoC患者,其大脑可能仍保留一定程度的意识活动。例如,他们在听到熟悉与不熟悉的情感视频时,脑电(EEG)信号会表现出差异性的神经反应。这提示我们,情感处理可能是探测残留意识的一扇窗口。情感本身就是一种复杂的心理状态,通过多种生理和行为反应表达。因此,精准识别DoC患者的情感状态,不仅有助于评估其情绪体验,更能为意识水平判断提供客观依据。
然而,现有的情感识别技术多采用单模态数据,如仅使用EEG或仅分析面部表情,难以全面捕捉DoC患者情感状态的复杂性。即便是多模态研究,也往往采用简单的决策级融合(如对单模态预测结果进行加权平均)或早期特征级融合(如直接将不同模态的特征拼接),忽略了不同模态数据在采样率、时间粒度上的异构性,导致EEG动态信息被平滑、表情细节被稀释,无法有效利用两种模态对微弱情感线索的互补优势。
为了解决这些挑战,发表在《IEEE Transactions on Affective Computing》上的这项研究,创新性地提出了一个融合EEG和微表情的多模态情感识别框架,并将其应用于DoC患者的意识检测。该研究旨在通过更为精准的多模态信息整合,为DoC患者的临床评估开辟新途径。
研究人员为开展本研究,主要应用了几项关键技术方法:首先,他们设计了被动情感诱发范式,采集了21名DoC患者(8名UWS,13名MCS)和10名健康对照的32导EEG信号(采样率1000Hz,带通滤波0.1-50Hz)及同步的面部视频(1080p, 30fps)。其次,在特征提取阶段,EEG信号被分割计算五个频带(δ、θ、α、β、γ)的微分熵(Differential Entropy, DE)特征;面部视频则通过MTCNN进行人脸检测与对齐,并提取连续5帧(约0.2秒)的图像序列形成56×56×5的特征张量以捕捉微表情动态。核心创新在于提出了一个模态尊重的时空注意力编码器(Spatio-Temporal Attention Encoder, STAE),该模块分别对EEG和微表情特征进行模态特定的时空注意力加权,再进行跨模态对齐与融合,而非简单的拼接。最后,利用基于Swin Transformer的时空Swin Transformer(Spatiotemporal Swin Transformer, STST)模型进行情感分类(正性、中性、负性),并通过计算DoC患者与健康人情感向量间的欧氏距离和余弦相似度,作为评估残留意识的指标。
I. 在多模态公共数据集上的评估结果
研究在多个公开数据集上验证了STST模型的性能。在SEED数据集上,其被试依赖和被试独立准确率分别达到93.47%和86.43%。在SEED-IV数据集上,相应准确率为78.34%和74.31%。在微表情融合数据集(CASME II, SAMM, SMIC)上,未加权F1分数(UF1)和未加权平均召回率(UAR)分别达到0.856和0.843。特别是在多模态情感识别数据集MAHNOB-HCI上,STST在效价(valence)和唤醒度(arousal)识别上的准确率分别达到86.1%和85.7%,优于其他对比模型。这些结果表明,该研究提出的融合框架在处理多模态情感数据方面具有有效性和通用性。
II. 在自采数据集上的情绪识别与意识检测
在自采数据集上,模型对健康被试的情感识别在被试依赖和被试独立协议下的平均准确率分别为92.64±5.52%和89.30±5.10%。对DoC患者的分析显示,MCS患者与健康被试的情感向量欧氏距离更小(均值0.212)、余弦相似度更高(均值0.775),而UWS患者的欧氏距离更大(均值0.420)、余弦相似度较低甚至为负(均值-0.093)。这表明MCS患者保留了相对更好的情感识别能力。尤为重要的是,研究发现两名最初被诊断为UWS的患者(P9和P19),其情感识别指标(较小的欧氏距离和较高的余弦相似度)明显优于其他UWS患者,预示着他们可能有更好的大脑活动水平和预后。这一预测在实验后一个月的临床评估中得到了证实:P9患者从UWS转变为MCS,P19患者的CRS-R得分也有所提高。这表明该情感识别范式具有预测预后的潜力。
III. 消融实验与可解释性分析
通过系统的消融实验,研究者验证了所提模块的有效性。当时空注意力编码器(STAE)层数增至4层时,模型在准确率和计算效率间达到最佳平衡。机制消融实验表明,单独使用空间注意力或时间注意力均能提升模型性能,而两者结合效果最佳,证明了时空注意力机制的必要性。通过SHAP(Shapley Additive exPlanations)可解释性分析发现,不同EEG频带和微表情对不同情感的贡献度不同。例如,θ频带对正性情感识别贡献显著,而γ频带和微表情特征对负性情感识别贡献更大。EEG地形图分析进一步显示,健康被试和MCS患者在观看负性情绪视频时,其顶叶和额叶区域在δ频带即出现较强的功率响应,而UWS患者的脑电活动则普遍减弱且模式异常,这为区分不同意识状态提供了神经生理学依据。
综上所述,本研究成功开发并验证了一个基于EEG和微表情多模态融合的新型框架,用于DoC患者的情感识别与意识检测。其核心贡献在于提出了一个模态尊重的时空注意力融合机制,有效克服了异构数据融合的挑战,并在多个数据集上取得了具有竞争力的性能。更重要的是,该研究将情感识别指标与临床预后相关联,为DoC的客观、精准评估提供了新范式。这不仅有助于降低临床误诊率,推动个性化医疗护理,也为理解意识障碍下的情感处理过程提供了新的视角。未来,随着算法的进一步优化和更大规模临床验证的开展,此项技术有望成为辅助临床诊断、监测患者状态、乃至评估康复疗效的有力工具,最终提升DoC患者的生活质量。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号