基于深度表示的综合Wasserstein域鉴别器,用于跨受试者的运动想象脑电图(EEG)分类
《Artificial Intelligence in Medicine》:Comprehensive deep representation-based Wasserstein domain discriminator for cross-subject motor imagery EEG classification
【字体:
大
中
小
】
时间:2026年10月14日
来源:Artificial Intelligence in Medicine 7.8
编辑推荐:
• 采用了一种新颖的特征提取器,用于对MI-EEG样本进行全面的深度表示。
• 采用了基于Wasserstein距离的域鉴别器来提取领域不变的深度表示特征。
• 使用组合损失来训练跨受试者MI-BCIs的域适应模型。
**引言**
脑机接口(BCI)技术在大脑和
• 采用了一种新颖的特征提取器,用于对MI-EEG样本进行全面的深度表示。
• 采用了基于Wasserstein距离的域鉴别器来提取领域不变的深度表示特征。
• 使用组合损失来训练跨受试者MI-BCIs的域适应模型。
**引言**
脑机接口(BCI)技术在大脑和外部设备之间建立了直接的信号传输接口,绕过了大脑和肌肉之间的传输路径[1]。用户可以通过大脑直接控制外部设备,替代了传统的外周神经系统控制途径[2]。具体而言,BCI技术在辅助中风、闭锁综合症和瘫痪患者的康复以及在极端环境下的控制方面具有广泛的生物医学应用前景[3]。如今,BCI技术涉及多个学科,如信号处理、认知神经科学和机器学习,是生物医学工程和健康信息管理的一个重要研究分支[4]。在各种BCI技术中,非侵入性地记录来自大脑的皮层电信号(如脑电图EEG)已成为更适合广大人群参与BCI的技术[5]。
通常,在基于EEG的BCI中最常用的范式是在人类运动想象(MI)过程中产生的感觉运动节律[6]。解码MI-EEG数据成为BCI控制中的一个突出问题,同时提取全面的特征表示也是一个挑战[7],包括传统的共同空间模式(CSP)特征和卷积神经网络(CNN)模型[9]。然而,由于MI-EEG数据的非线性和非平稳特性,嵌入在多元时间序列中的MI模式在不同受试者和记录会话中表现出不同的特征[10],这使得直接训练一个跨受试者的统一CNN模型变得困难[11]。实际上,将每个受试者的MI-EEG样本集视为一个独立域是建立领域不变特征表示的典型策略[12]。为了解决分布差异,已经提出了许多域适应方法来减少跨受试者的分布偏差,并进行跨受试者的MI-EEG分类[13]。
根据生成适应的方式,现有的域适应方法可以分为基于最大均值差异(MMD)的特征级方法[14, [15]]和基于生成对抗网络(GANs)的模型级方法[16][17]。深度表示域适应(DRDA)模型[16]利用卷积操作从不同受试者中提取特征,然后将这些特征输入域鉴别器进行对抗学习,使鉴别器无法辨别特征的来源域。虽然DRDA模型仅关注对齐边际分布而不涉及MI类别,但动态联合域适应网络(DJDAN)模型[18]考虑了MI类别对分布差异的影响。它通过为每个MI类别训练一个域鉴别器来实现这一点,确保条件分布对齐并提高分类性能。在这些基础上,出现了一系列相关研究,包括动态多域对抗网络(DMDAN)模型[19],该模型动态学习边际分布对齐和条件分布对齐。改进的Wasserstein域适应网络(IWDAN)模型[20]通过用Wasserstein距离替代经典的Jesen-Shannon(JS)散度有效解决了特征退化问题。此外,还有基于多视图模型的深度特征迁移模型[21],旨在提高泛化性能。
除了通过域鉴别器学习领域不变特征外,其他类型的深度域适应模型主要集中在两个主要方面。首先,人们非常关注利用注意力机制在特征适应中促进领域不变特征的学习。例如,基于双注意力的对抗网络(DABAN)模型[22]在源域和目标域上建立了独立的注意力机制。通过对双注意力进行对抗训练,该模型获得了用于分类的领域不变特征。另一方面,跨注意力变换器(CAT)模型[23]采用直接方法,利用变换器模型的特征表示能力有效地捕获领域不变特征。其次,研究人员探索了图卷积网络(GCN)在表示稀疏特征方面的潜力,以开发用于学习领域不变特征的模型架构。例如,域适应图样本卷积(DAGSC)模型[24]建立了样本的特征块和图卷积块。在GCN训练期间,结合了样本内和样本间的知识,迫使模型学习跨域特征。此外,基于对齐的对抗训练(ABAT)模型[25]考虑基于多个深度模型增强模型的跨域特征学习能力。
尽管深度学习模型在跨受试者MI-EEG分类任务中取得了显著进展,但我们认为仍存在两个主要缺点:
(1) MI-EEG数据具有固有的非平稳、混沌和耦合特性。现有模型采用简单的特征提取架构,可能阻碍了探索标签和特征在受试者之间的互补性,从而限制了域适应的性能。
为了解决MI-EEG在领域不变特征学习中的不确定性,许多研究人员尝试了各种方法,包括基于注意力的双尺度融合CNN(ADFCNN)模型[26],该模型利用双分支从不同角度学习特征;多分支多任务CNN(MBMTCNN)模型[27]使用多个分支进行多任务学习以捕获全面的时空频谱特征;以及基于注意力的时间卷积网络(ATCNet)模型[28]使用滑动窗口在每个MI时间段内学习时空频谱特征。然而,尽管这些模型从不同角度提取了MI-EEG数据的全面特征,但它们往往忽略了受试者之间域的分布差异。因此,在存在显著分布差异的情况下直接使用这些特征提取器可能导致分类性能受限,加剧了非平稳异常值和噪声对跨受试者场景分类的影响。
(2) 现有模型仅依赖于基于经典JS散度的域鉴别器来评估分布差异。虽然这些模型通常对于图像或语言等稳定数据类型有效,但当应用于复杂且耦合的MI-EEG数据时,尤其是在受试者之间分布差异较大时,可能会导致负面转移问题。
鉴于MI-EEG数据的分布多样性,研究人员为MI-EEG数据开发了定制的域适应策略。这些策略包括:多阶段分布适应(MSDA)模型[29],该模型在DRDA模型的基础上进行边际分布适应,并使用L2距离计算联合分布适应,通过不变投影抑制分布差异;时空图融合DAN(STGDAN)模型[30]在跨域特征上建立了全局域对齐模块和局部子域对齐模块,用更全面的视角替代了经典的JS散度;IWDAN模型使用Wasserstein距离而不是JS散度来降低梯度消失的风险。虽然这些模型采用了多种策略来测量分布差异,但它们通常伴随着相当大的计算开销。此外,IWDAN模型在使用Wasserstein距离处理MI-EEG数据时在梯度计算方面显示出显著优势。然而,IWDAN模型仅在简单的特征表示上实现特征适应。因此,要解决特征适应训练和学习的挑战,需要开发更鲁棒的策略来测量分布差异。
为了解决上述问题,我们提出了CDR-WDD(即基于Wasserstein域鉴别器的全面深度表示),这是一种用于跨受试者MI-EEG分类的新型模型。具体来说,我们通过将滑动窗口时空卷积纳入自注意力机制中,采用了一种新颖的特征提取器。这使得能够更细致地表示不同受试者之间的MI模式。此外,还应用了长期卷积来捕捉MI模式在较长时间跨度内的时间变化。基于我们构建的特征提取器,可以捕获更全面的深度表示,以防止MI-EEG数据固有的非平稳和混沌特性。此外,为了减轻基于域鉴别器的分布差异,我们采用了Wasserstein距离作为分布度量。与IWDAN模型不同,它使用了参考文献[31]中提出的梯度惩罚来处理Lipschitz约束问题,这更适合在Wasserstein GAN的背景下生成多样化样本,而不是生成领域不变特征表示。我们提出的WDD通过使用梯度裁剪和构建使用经典Wasserstein距离的域鉴别器解决了Lipschitz约束问题。此外,我们将经典的对抗学习损失与Wasserstein距离损失结合起来,并适当进行了加权。这些损失通过交替训练与特征提取器共同优化。这种方法使得能够学习领域不变的全面深度表示,从而提高了跨受试者MI-EEG分类的性能。
我们的贡献总结如下:
(1) 我们采用了一种新颖的特征提取器,用于对MI-EEG数据进行全面的深度表示,包括基于滑动窗口的时空卷积块、多头自注意力块和长期卷积块,以防止MI-EEG数据中的时间变化和空间耦合特性。
(2) 为了防止在使用原始Jensen-Shannon散度进行域鉴别器训练时梯度消失,我们采用了一种基于Wasserstein距离的域鉴别器,并结合梯度裁剪来提取基于全面深度表示的领域不变特征。
(3) 基于全面的深度表示和基于Wasserstein距离的域鉴别器,我们通过结合分类损失、对抗损失和Wasserstein距离损失构建了一个加权极小极大游戏训练,用于跨受试者MI-EEG分类。同时,我们在四个基准MI-EEG数据集上进行了广泛的实验,以证明我们的CDR-WDD模型的有效性。
本文的其余部分组织如下:第2节介绍了跨受试者MI-EEG分类的相关工作。第3节阐述了我们的CDR-WDD模型的架构、损失函数和训练过程。第4节说明了实验数据集、实验设置和基线模型。第5节介绍了比较结果、结果分析、消融研究和伪在线BCI讨论。第6节总结了本文并指出了未来的工作方向。
**相关工作**
在本节中,我们简要回顾了现有的跨受试者MI-EEG分类方法,这些方法通常可以分为两类。
**问题定义**
在基于域适应的跨受试者MI-EEG分类的背景下,给定的源域??个受试者包含真实标签,可以定义为???? ={??????,??????}??????=1,?? =1,2,…,??,其中??????,??????表示第??个MI-EEG样本及其对应的标签。同时,给定的目标域(受试者)没有标签,可以定义为???? ={??????}????+??????=????+1,其中??????表示第??个MI-EEG样本。源域和目标域具有相同的原始特征。
**数据集**
为了验证所提出的CDR-WDD模型的可行性和有效性,我们选择了三个公共可用的MI-EEG数据集进行实验。这些数据集描述如下:
(1) BCI竞赛IV数据集2a(BCIIV-2a):该数据集包括来自9个健康受试者的MI-EEG信号,涉及4类MI任务:左手、右手、脚和舌头。实验开始时会有一个嘟声,随后屏幕中央会出现一个固定十字形图标。
**分类结果比较**
表3和表4分别展示了BCIIV-2a和BCIIV-2b数据集的跨受试者MI-EEG分类的比较结果。此外,我们还计算了每个模型在所有受试者上的平均分类准确性(Avg)、标准差(SD)和平均kappa值(kappa)。需要注意的是,DJDAN模型没有提供kappa值,且没有可用的源代码,因此kappa值为空。对于每个受试者和平均结果,我们使用了粗体表示。
**结论**
跨受试者MI-EEG分类在构建BCI的生物医学应用中发挥着重要作用,域适应网络已成为该领域的一个突出研究焦点。由于现有研究忽略了全面特征表示和对抗学习过程中的梯度消失问题,本文介绍了一种新的CDR-WDD模型用于跨受试者MI-EEG分类。我们的模型专注于提取全面的深度时空表示。
**作者贡献声明**
Tian-jian Luo:撰写 – 审稿与编辑、撰写 – 原始草稿、验证、监督、项目管理、方法论、调查、资金获取、正式分析。
Zikun Cai:撰写 – 审稿与编辑、可视化、验证、正式分析。
Xuan Cao:撰写 – 原始草稿、软件、方法论、数据管理、概念化。
**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
**致谢**
本研究得到了中国国家自然科学基金(授权号62106049)和福建省自然科学基金(授权号2026J001405)的支持。
Tian-jian Luo | Zikun Cai | Xuan Cao
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号