基于判别性表示学习的跨区域多尺度网络用于运动想象EEG解码
《Knowledge-Based Systems》:A cross-regional multi-scale network for motor imagery EEG decoding with discriminative representation learning
【字体:
大
中
小
】
时间:2026年09月28日
来源:Knowledge-Based Systems 8.0
编辑推荐:
- 多尺度特征由轻量级全局上下文块自适应精化。
- 交叉缝合单元使中央分支和顶叶分支之间实现可学习的共享。
- 区域级监督、联合决策和度量损失有助于MI-EEG解码。
- CrossDMNet在四个公共数据集上通过比较和消融实验进行验证。
引言
脑-机接口(BCI)在脑与
- 多尺度特征由轻量级全局上下文块自适应精化。
- 交叉缝合单元使中央分支和顶叶分支之间实现可学习的共享。
- 区域级监督、联合决策和度量损失有助于MI-EEG解码。
- CrossDMNet在四个公共数据集上通过比较和消融实验进行验证。
引言
脑-机接口(BCI)在脑与外部系统之间提供了一条直接通信通道,绕过了传统的神经肌肉通路[1]。通过将神经活动转化为控制信号,BCI在神经损伤患者的运动功能恢复以及人机交互界面改善方面具有巨大潜力[2]。
在可用的神经影像模态中,脑电图(EEG)技术凭借其毫秒级时间分辨率、便携性和低成本,已成为非侵入式BCI最广泛采用的方法[3]。与侵入式记录技术不同,EEG可以在现实环境中安全地重复应用,特别适合于长期的康复和辅助应用。
在EEG范式内,运动想象(MI)——即在未执行动作的情况下进行心理运动演练——会引起运动皮层μ和β节律的特征性调制,为解码提供了可区分的特征。因此,MI已成为BCI研究领域中具有代表性的范式之一,可实现多种应用,如中风后康复、机器人控制、智能家居系统以及工业系统操作[4]。
然而,MI-EEG信号本质上复杂,具有低信噪比、非平稳性和高维时空动态特征。这些问题导致了基于机器学习的MI-EEG解码任务中的重要障碍。为缓解这些问题,先进的信号处理技术、机器学习算法以及更近期的深度学习技术已被应用。
传统的机器学习(ML)技术使用人工设计的特征,包括共空间模式(CSP)[5]和共空间模式特征库(FBCSP),并结合支持向量机(SVM)分类[6]、多层感知器(MLP)[7]或其他基于机器学习的分类器。尽管在某些任务中有效,但这些方法依赖于特定任务,泛化能力有限,并且将特征提取与分类分离,从而阻止了联合优化。这些局限性促使了向深度学习(DL)框架的过渡,这些框架可以直接从原始EEG信号中学习表示。这一趋势很大程度上受到其在计算机视觉、语音和自然语言处理中成功的启发。基于DL的MI-EEG解码器近年来备受关注,并成为本研究的核心主题。
现有的基于DL的MI-EEG架构可大致分为四类。第一类是浅层架构,代表有ShallowNet[8]和EEGNet[9]。ShallowNet受FBCSP范式启发,仅使用两个卷积层,是最早在MI-EEG解码中将特征提取和训练统一为端到端框架的方法之一。在此基础上,EEGNet进一步应用深度可分离卷积来提高性能,同时减少参数数量。由于其优越的性能和计算效率,EEGNet已成为紧凑EEG建模中最广泛使用的架构之一。第二类是多尺度卷积网络,如EEGInception[10]、EEG-inception[11]和ITNet[12],它们使用Inception风格[13]的多分支卷积核来捕获不同时间分辨率下的特征。这种设计有助于提高频率带敏感度。第三类是序列建模增强网络,在传统MI-EEG卷积模块中引入了先进的时序模块。基于Transformer的方法,如EEGConformer[14]和CTNet[15],应用多头自注意力来捕获长程依赖关系,而基于TCN的或混合时序建模方法,如EEG-TCNet[16]、AMSTCNet[17]和ATCNet[18],则使用时序卷积来提取高维时序特征。特别是,ATCNet和AMSTCNet引入了注意力机制来自适应增强显著特征,表明特征权重重校准可以显著提高MI-EEG解码中的分类性能。这一证据与神经网络中特征增强模块的广泛成功是一致的,包括通道重校准(如SE块[19])、联合通道-空间注意力(如CBAM[20])和多头注意力(MHA)[21]。作为这一系列工作的代表,GCNet[22]将全局上下文建模与SE风格的通道加权相结合,提供了一种高效的将上下文信息融入卷积网络的机制。这一进展指出了上下文建模的好处,支持了我们使用轻量级全局上下文块来处理MI-EEG频率带特征的决定。最后,多频带输入模型,包括FBCNet[23]、FBMSNet[24]和MFRC-Net[25],在特征提取前显式地将EEG分解为多个子频带,以更好地利用节律特异性动态。为进一步解决特征分布重叠的问题,FBMSNet和MFRC-Net还引入了中心损失[26]作为辅助目标,鼓励类内紧凑性和类间可分性,并验证了这一方法的有效性。与上述类别互补,Tensor-CSPNet[27]走了不同的方向。它是一个几何深度学习框架,将EEG空间协方差矩阵建模在对称正定流形上,允许从黎曼几何角度刻画时空频率模式。
尽管取得了这些进展,鲁棒的MI-EEG解码仍然具有挑战性。一个重要原因是现有DL范式仍存在若干根本性差距。首先,一些架构使用多尺度卷积或多频带输入来提高时空特征建模能力。然而,可区分线索不仅是多尺度的,而且是上下文依赖的,特定尺度或特定频带的响应可能随全局上下文而变化。因此,仅靠特征提取是不够的,需要一个有原则的机制来在全局上下文下重校准多尺度特征。其次,除了低信噪比和时序非平稳性,MI-EEG还表现出明显的区域依赖性神经生理模式。可区分的MI相关活动并不均匀分布在头皮上。中央运动皮层区域与运动意图以及μ和β节律中的事件相关去同步/同步(ERD/ERS)调制更为直接相关,而顶叶区域可以提供与运动表征、感觉运动整合和想象相关认知处理相关的补充信息。然而,在大多数现有方法中,卷积直接应用于全通道集合,不区分不同区域。这种策略可能会削弱对MI-EEG解码特别有信息的区域特异性可区分线索。第三,虽然中心损失等辅助目标已被引入以鼓励更紧凑的特征分布,但大多数工作仅使用单一约束并优化单一分类器头,使得学习到的嵌入空间仍然容易受到类别模糊性的影响。更强的判别性学习策略应同时强制类内紧凑性和类间间隔,同时,该学习策略应使每个区域分支学习独立的决策边界,而不是被单一的全局决策边界所主导。总体而言,虽然先前的研究已分别探索了多尺度时序建模、基于注意力的特征增强或判别性学习,但较少的工作将这些思想与区域依赖性神经生理建模在一个统一的MI-EEG解码框架中整合起来。
我们接受这些观察结果,并提出了一种用于MI-EEG解码的跨区域多尺度网络(CrossDMNet),具有判别性表示学习。主要贡献总结如下:
1. 多尺度上下文感知特征学习:我们构建基于多尺度骨干网络的模型,并进一步用轻量级全局上下文块进行增强。这种组合允许不同分辨率下的时序-频谱特征被自适应重校准,同时仅增加有限的计算成本。
2. 跨区域建模和可学习信息共享:引入双分支架构来分别处理中央和顶叶区域,使每个分支可以专注于自身的区域特征。然而,信息并非完全隔离。借助交叉缝合单元,网络可以以数据驱动的方式学习何时以及如何跨区域交换特征。
3. 区域级监督、联合决策和判别性表示学习:我们不依赖单一融合分类器,而是训练两个区域特定分类器,以保留不同区域特征的独立决策边界。然后,它们的输出通过联合决策机制进行组合。我们进一步添加中心损失和三元组损失作为辅助目标,鼓励更紧凑的类内聚类和平滑的类间分离,从而产生更具判别性的MI-EEG解码嵌入。
4. 广泛验证和基准性能:我们在四个公共数据集上评估CrossDMNet,即BCI2a、HGD、OpenBMI和GigaDB。在这些基准上,提出的模型表现出持续强劲的性能。消融结果进一步表明,主要设计组件各自对超越最先进方法的总体改进做出了贡献。
本文其余部分组织如下:第2节介绍所提出的CrossDMNet架构。第3节描述实验设置、结果和分析。第4节总结全文。
方法概要
在本节中,我们首先提供框架概述。然后,我们描述基于不同脑区域的输入分割。接下来,我们介绍多尺度骨干网络、全局上下文模块以及跨区域交换和融合模块。最后,我们描述多头预测和联合决策策略,以及两个互补的判别性学习目标:中心损失和三元组损失。
实验概要
在本节中,我们通过将CrossDMNet与四个广泛使用数据集上的最先进相关工作进行比较来评估其性能。提供了基准数据集、评估指标、训练设置和超参数配置的详细信息。然后,我们报告比较结果以证明我们方法的有效性和鲁棒性。之后,进行消融和可视化研究来分析各组件的贡献,随后进行神经生理学……
结论
在本文中,我们提出了CrossDMNet,一种用于运动想象EEG解码的跨区域多尺度网络,该网络联合改进了表示学习和决策可靠性。CrossDMNet显式地将EEG通道分割为中央和顶叶区域,并采用多尺度时空编码器来捕获互补的时序动态。为了增强对低信噪比和非平稳模式的鲁棒性,轻量级全局上下文重校准在每个尺度内交错……
CRediT作者贡献声明
Ye Wei:写作-审阅与编辑,写作-初稿,可视化,验证,软件,方法论,调查,形式分析,概念化。Chenghong Lu:验证,方法论。Benkun Bao:可视化,验证,调查。Yuwen Wu:可视化,验证。Mostafa Orban:写作-审阅与编辑,软件。Hongbo Yang:监督。Kai Guo:写作-审阅与编辑,监督,资金获取。
利益冲突声明
作者声明没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国国家重点研发计划(2023YFB4706200)、国家外国专家局项目(H20240225)和苏州基础研究试点项目(SSD2023014)的支持。
Ye Wei | Chenghong Lu | Benkun Bao | Yuwen Wu | Mostafa Orban | Hongbo Yang | Kai Guo
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号