《Brain Sciences》:Method for Emotion Recognition of EEG Signals Based on Recursive Graph and Spatiotemporal Attention Mechanism
Dong Huang,
Lin Xu and
Yuwen Li
编辑推荐:
为提升脑电信号情绪识别精度,研究人员融合图像处理与深度学习,提出一种基于递归图转换和时空通道注意力模块的新框架。该方法在DEAP和DREAMER数据集上对效价和唤醒度分类准确率高达99%以上,展现了优越的准确性与泛化能力,为精神健康监测与人机交互提供了新工具。
情绪是我们生活的核心,深刻地影响着决策、社交和心理健康。准确识别情绪,尤其是在无法进行言语或面部表达的群体(如某些精神疾病患者)中,对于实现精准的诊疗和自然的人机交互至关重要。传统的情绪识别技术多依赖于表情、语音等非生理信号,但它们易受主观意志和环境干扰。相比之下,脑电图(EEG)等生理信号能更客观、稳定地反映内在情感状态,因此成为研究热点。然而,现有的EEG情绪识别方法仍面临挑战:许多方法忽略了信号的时空特性与个体差异,且往往只关注全局特征而丢失了重要的局部信息,导致分类准确率和模型泛化能力有待提升。为了解决这些难题,一项发表在《Brain Sciences》上的研究提出了一种创新的解决方案。
本研究主要运用了以下几项关键技术方法:首先,对采集自DEAP和DREAMER公开数据集的EEG信号进行预处理,包括基于国际10-20系统的电极通道重排序。接着,采用递归图(Recurrence Plot, RP)算法将一维EEG时间序列转化为二维图像,以增强非线性动态特征的表征。然后,研究者设计了一个名为时空通道注意力(Temporal Convolution with Spatial and Channel Attention, TCSA)的模块,该模块整合了时间卷积、通道注意力和空间注意力机制,以优化对EEG信号中关键时空特征的捕获。最后,将TCSA模块与轻量高效的EfficientNet网络集成,构建了最终的TCSA-Efficientnet分类模型进行情绪分类。
研究结果
1. 基于递归图的非线性特征表征
研究人员采用递归图(RP)将一维EEG信号转换为二维视觉图像。RP通过计算时间序列中不同时间点之间的相似性(以欧氏距离度量),形成一个递归矩阵。这个过程有效保留了EEG信号的非线性动态特性,并将其转化为适合基于图像的识别模型处理的格式,为后续深度特征提取奠定了基础。
2. TCSA机制
本研究提出的TCSA机制创新性地将时间卷积与空间-通道注意力相结合。时间卷积分支旨在捕捉RP图像中的动态演化模式;空间注意力分支学习不同空间位置(对应不同脑区电极和不同时间点)的重要性权重,以增强与情绪相关脑区和时间步的特征;通道注意力分支则对经过伪彩色映射生成的三通道RGB特征进行重要性重校准。三者的融合使模型能够自适应地聚焦于EEG信号中的关键时空特征。
3. TCSA与Efficientnet的集成
将设计好的TCSA模块与高效的Efficientnet分类模型集成,构建了TCSA-Efficientnet模型。这种集成充分利用了EfficientNet的高效性和TCSA的时空特征提取能力,形成了一个兼顾性能与计算效率的完整分类框架。
4. 模型性能评估
在两个公开数据集上评估了所提方法的性能。在DEAP数据集上,该方法对效价(Valence)和唤醒度(Arousal)分类任务的准确率分别达到99.11%和99.33%。在DREAMER数据集上,准确率分别达到98.08%和97.49%。这些结果显著优于其他先进的基于EEG的情绪分类模型,证明了该方法在准确率、鲁棒性和泛化性方面的优势。
结论与讨论
本研究成功提出并验证了一个基于递归图和时空注意力机制的EEG情绪识别新框架。该框架的核心贡献在于:1) 利用递归图进行特征转换,增强了EEG信号非线性动态特性的表征;2) 设计了TCSA注意力模块,有效捕获了信号中的关键时空信息;3) 结合轻量网络EfficientNet,实现了高精度且高效的分类。
该研究的重大意义在于,它通过融合图像处理技术与注意力机制,为EEG情绪识别提供了一种新颖且强大的解决方案。其卓越的性能表明,该方法能够更精细地挖掘脑电信号中与情绪相关的复杂模式,有效克服了传统方法在时空特征利用和个体差异处理上的不足。这不仅推动了情绪识别算法本身的发展,也为该技术在精神健康评估、情感计算、个性化人机交互等领域的实际应用铺平了道路。未来,该方法可与多模态信息(如心电、皮电等)进一步结合,以构建更加稳健、全面的情绪状态监测系统。