BANet:一种基于桥式结构和注意力机制的脑电图(EEG)解码网络

《Neurocomputing》:BANet: A network based on bridge structures and attention mechanisms for EEG decoding

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  运动想象EEG解码中提出基于桥接结构和注意力机制的BANet模型,有效融合局部与全局时空特征提升解码性能。

  
吴学健|楚雅琪|罗阳|赵一文|赵兴刚
中国科学院沈阳自动化研究所机器人学国家重点实验室,中国沈阳 110016

摘要

近年来,用于运动想象(MI)脑电图(EEG)解码的深度学习技术在推进脑机接口(BCI)方面展现出巨大潜力。然而,EEG信号的非线性和个体差异对MI-EEG解码的鲁棒性、适用性和泛化能力产生了负面影响,阻碍了BCI的发展。本文提出了一种基于桥式结构和注意力机制(BANet)的新型网络。受变压器架构的启发,BANet结合了多个创新的桥式模块,从局部和全局角度提取EEG信号的时间特征。这些模块能够模拟复杂的时间关系,使BANet能够利用来自不同角度的信息并提升解码性能。此外,还采用了注意力机制和Inception架构来聚焦并提取多维度和尺度上的EEG特征,进一步优化了时空特征的使用。在各种验证实验中,BANet的表现优于近期代表性的深度学习方法,证明了其在提取局部和全局时空特征方面的有效性,以及其在开发鲁棒BCI应用方面的潜力。

引言

脑机接口(BCI)技术是一个跨学科领域,它结合了人工智能(AI)和神经科学。通过传感器和AI监测大脑活动,实现人脑与外部设备之间的直接交互。作为一种创新的神经计算技术,BCI被应用于机器人手臂[1]、虚拟现实(VR)系统[2]和轮椅[3]等领域。
运动想象(MI)是BCI系统中广泛采用的一种范式,它利用用户在心理上想象身体运动时产生的脑电图(EEG)信号。这项技术通过消除外部环境的干扰来实现控制,从而增强了BCI的应用[4]。在捕获MI EEG信号的过程中,大脑皮层会产生两种节律性信号:μ节律(8–13 Hz)和β节律(13–32 Hz)。此外,相关脑区还会显示出事件相关去同步(ERD)和事件相关同步(ERS)现象。这些现象对于理解基于MI的BCI系统的神经机制至关重要[5]。机器学习在BCI系统的发展中起着关键作用,特别是在分类任务中。已经采用了多种先进的算法,如人工神经网络(ANNs)[6]、支持向量机(SVMs)[7]和贝叶斯分类器(8)[8]。然而,传统的机器学习方法在EEG解码方面常常遇到困难,因为它们提取特征的能力有限。例如,常见空间模式(CSP)可以提取空间特征,但容易受到噪声和伪迹的影响,这些因素可能会掩盖关键信息,通常忽略EEG信号的时间方面。
随着深度学习的进步,其应用范围正在扩展到各个领域[9]。研究人员利用深度学习在处理高维数据和建模非线性关系方面的优势,逐步利用深度学习方法来解释复杂的MI-EEG信号[4]。不同的神经网络架构被用来增强特征提取并提高解码精度。例如,卷积神经网络(CNNs)、长短期记忆(LSTM)网络和自动编码器(AEs)在这一领域非常有效。值得注意的是,Poonam等人[10]将稀疏非负矩阵分解与CNNs结合使用,取得了比单独使用CNNs更好的性能。Wang等人[11]提出了一种名为IFNet的网络,增强了低频和高频带之间空间特征的相互学习。Liu等人[12]引入了一种权重共享网络,整合了CNN和LSTM,减少了计算负担并加快了网络训练速度。此外,Phadikar等人[13]提出了一个运动想象EEG解码框架,将EEG信号映射到AE的权重向量中,提取多个判别特征,并使用SVM进行多类分类。
EEG信号通常通过提取空间、频谱和时间特征的组合来进行运动想象(MI)任务分类。其中,空间和时间特征的整合引起了研究人员的极大兴趣。Liu等人[14]提出了一种自适应的3D CNN,为与运动信息相关的空间通道分配了显著的权重,有效减少了伪迹对EEG时空特征的影响。时间卷积网络(TCNs)在解码时间特征方面表现出巨大潜力[15]。Ingolfsson等人[16]结合了EEGNet和TCN架构,提高了时空特征的提取和分类性能。Zhao等人[17]提出了一种模型,将CNN与Transformer架构中的新型注意力机制结合,以改善MI-EEG信号中时空特征依赖性的建模。
此外,注意力机制越来越被认识到是MI-EEG解码中的一个重要因素。注意力机制使网络能够区分数据中的哪些部分是重要的,哪些部分不是,从而实现类似于人类的感知和注意力行为。Liu等人[18]引入了一种结合了时空注意力模块的网络,以增强特定受试者的MI-EEG分类。Sun等人[19]使用挤压-激励(SE)注意力模块与CNN结合,提高了图像特征提取的鲁棒性。Amin等人[20]引入了一种结合了LSTM的注意力-Inception CNN,使得模型参数更少,处理时间更短,适用于MI-EEG解码。同样,一些研究人员探索了注意力机制和时间卷积网络的结合。Zhang等人[21]提出了AMSTCNet,其中包含了SE和高效通道注意力(ECA)模块。这种架构旨在从信号中捕获深层时间信息,并在不同尺度上动态融合特征。Altaheri等人[22]结合了多头自注意力(MSA)和TCN,突出了EEG时间序列信号中最重要的信息。Liang等人[23]提出了一种由Inception模块、MSA、时间TCN和层融合组成的模型,以提高EEG解码框架的可解释性。
本文旨在通过提出一种名为BANet的新方法来增强模型提取时空特征的能力,从而提高鲁棒性、适用性和泛化能力,同时推进BCI的实际应用。该方法利用桥式结构和多个注意力机制来解码MI-EEG信号。通过整合卷积ECA模块、桥式模块和基于Inception的时间卷积网络(TCN)模块,BANet有效捕获了信号中的局部和全局时间和空间特征,从而增强了时空特征的表示。这种方法克服了CNN和LSTM在捕获全局信息和全面理解复杂特征方面的局限性,同时也解决了Transformer结构中通常观察到的局部特征提取不足的问题。实验结果表明,所提出的网络取得了出色的解码性能,并提高了模型的实时部署能力,突显了其在BCI技术中的实际应用潜力。为了帮助研究人员改进本文提出的网络,我们的网络设置可以在我们的GitHub仓库中找到:https://github.com/woaixueximax/BANet。
本研究的主要贡献和创新总结如下:
  • 1)
    提出了一种高效的端到端BANet用于MI-EEG分类,通过同时处理局部和全局时间特征以及空间特征,提高了鲁棒性、适用性和泛化能力。该模型在BCI Competition IV-2a(BCI-2a)数据集(四个分类任务)和2b数据集(两个分类任务)上进行了评估,并与EEGNet(2018)[24]、EEGNeX(2024)[25]、EEG-TCNet(2020)[16]、TransNet(2024)[26]、Conformer(2023)[27]、ATCNet(2023)[22]、EISATC-Fusion(2024)[23]进行了比较。
  • 2)
    为了模拟EEG特征的复杂时间关系并利用多角度的信息,提出了一种新型的桥式模块,能够有效且全面地提取全局和局部时间特征。
  • 3)
    为了提高模型对关键特征的关注度,同时最小化冗余信息,将ECA和MSA机制集成到了所提出的网络中。这种集成方法通过为高度相关的MI-EEG特征分配更大的权重,优先考虑重要的空间和时间特征,从而实现了更高效的解码。
  • 4)
    设计了三个实验来评估所提出模型的鲁棒性、适用性和泛化能力。此外,还使用了T-SNE和Grad-CAM方法来直观评估解码过程以及模型对关键时空特征的关注度,从而验证了其在提取局部和全局时空特征方面的有效性。
  • 本文的其余部分结构如下:第2节介绍了所提出的模型和数据预处理方法;第3节详细介绍了实验设置并分析了结果;第4节总结了这项工作。

    章节片段

    数据集描述和预处理

    为了评估BANet的解码性能,网络的输入包括BCI Competition IV数据集2a [28]和2b [29],这些数据集涉及不同的通道和分类任务。

    实验细节和性能指标

    进行了三种类型的实验:被试内实验、短训练实验和被试间实验,以评估所提出网络的性能。被试内实验旨在评估模型的解码性能。在这个实验中,使用BCI-2a数据集的第一节课和BCI-2b数据集的前三节课对模型进行训练,然后在BCI-2a的最后一节课和BCI-2b的最后两节课上进行测试,这个实验允许

    结论

    本文提出了BANet,这是一种具有集成桥式模块的多注意力网络,专为解码MI-EEG信号而设计。BANet的架构由三个设计的模块和两个注意力模块组成,能够强调重要的时间和空间特征。桥式模块促进了特征的全面提取,使得能够捕获局部和全局的EEG信号特征。设计了实验来评估BANet的性能

    CRediT作者贡献声明

    吴学健:写作 – 审稿与编辑,写作 – 原始草稿,可视化,资源,方法论,数据管理,概念化。楚雅琪:可视化,监督,方法论,资金获取。罗阳:验证,监督,调查。赵一文:监督,调查,形式分析。赵兴刚:监督,资源,方法论。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
    吴学健于2023年在武汉工业大学获得了机械工程学士学位。他目前正在中国科学院沈阳自动化研究所的机器人学国家重点实验室攻读博士学位。此外,他还隶属于中国科学院大学。他的研究方向包括生物医学信号处理、脑机接口(BCI)、模式识别和深度学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号