《Frontiers in Neuroscience》:APCformer: an aggregation-perception enhanced convolutional transformer network for MI-EEG decoding
编辑推荐:
脑电图(EEG)解码对于脑机接口(BCI)系统预测大脑活动至关重要,然而现有方法通常面临两个核心问题:(1)现有网络缺乏有效的交互机制,时空动态特征捕获不足,导致关键细粒度信息丢失;(2)长程依赖与局部特征的建模不平衡,难以适应EEG信号的时间特性。针对这些问
脑电图(EEG)解码对于脑机接口(BCI)系统预测大脑活动至关重要,然而现有方法通常面临两个核心问题:(1)现有网络缺乏有效的交互机制,时空动态特征捕获不足,导致关键细粒度信息丢失;(2)长程依赖与局部特征的建模不平衡,难以适应EEG信号的时间特性。针对这些问题,本文提出了一种聚合感知增强型卷积Transformer(APCformer)网络。该网络以分支交互结构为主体,通过多尺度时空卷积联合提取浅层特征;嵌入自适应特征重校准(AFR)模块以实现跨尺度特征交互和关键细粒度特征增强;利用位置感知增强(PAE)模块整合可学习的位置编码,提升深度网络表征EEG序列时间位置关系的能力,增强对时间动态特征的适应性;进一步提出了稀疏信息聚合Transformer(SAT),结合注意力机制与最大注意力机制,实现全局长程依赖与局部细粒度特征的平衡建模。在公开数据集BCI-IV 2a和BCI-IV 2b上的实验结果表明,APCformer在EEG解码任务中实现了优越性能,平均解码准确率分别为85.53%和89.15%。这些结果凸显了APCformer在处理复杂EEG特征和动态模式方面的强大能力,有效提高了EEG解码的效率和准确性。
论文解读:APCformer——面向运动想象脑电解码的新型混合网络架构
本研究聚焦于运动想象(Motor Imagery, MI)脑机接口(Brain-Computer Interface, BCI)领域的核心挑战——脑电图(Electroencephalogram, EEG)解码效率与精度提升。鉴于EEG信号固有的非线性、非平稳性及高维度特征,加之现有方法在时空动态特征捕获与长程依赖建模间的失衡,研究人员开发了APCformer网络。该研究构建了融合卷积神经网络(CNN)局部感知优势与Transformer全局建模能力的混合架构,通过多尺度交互与稀疏注意力机制优化特征提取流程,并在Frontiers in Neuroscience发表成果,为BCI系统的实用化提供了重要的算法支撑。
在关键技术方法层面,研究人员首先采用分段与重构(Segmentation and Reconstruction, S&R)技术对BCI-IV 2a和BCI-IV 2b数据集进行数据增强,以应对小样本过拟合风险。网络主体架构包含五个核心组件:时空卷积模块(STConv)负责提取多尺度浅层局部特征;自适应特征重校准(AFR)模块通过跨分支交互与卷积块注意力模块(CBAM)增强关键特征;位置感知增强(PAE)模块引入可学习位置编码以强化时序特征表征;稀疏信息聚合Transformer(SAT)则利用滑动窗口、聚合注意力(Aggregation-Attention)与Top-注意力(Top-Attention)机制平衡全局与局部特征;最终由分类模块输出解码结果。
研究结果
1. 时空卷积模块(STConv)
研究人员设计了包含三个并行分支的STConv模块,分别采用不同尺度的时域卷积核(Fs/2, Fs/4, Fs/8)提取差异化感受野下的时域特征,随后通过空间卷积适配通道数。该设计突破了单一卷积感知的限制,在不增加网络深度的前提下实现了多尺度特征处理,为后续模块提供了丰富的浅层时空特征表示。
2. 自适应特征重校准(AFR)
为解决多分支网络特征融合时的稀释问题,研究人员提出了AFR模块。该模块通过交互式特征叠加策略,允许各分支在保留自身独特特征的同时获取互补信息,并利用CBAM对通道与空间维度进行双重校准。实验证明,该机制有效避免了关键判别性信息的丢失,显著增强了模型对复杂模式的识别能力。
3. 位置感知增强(PAE)
针对深度网络中时序位置信息随卷积操作衰减的问题,研究人员构建了PAE模块。该模块采用并行小核卷积捕获深层细粒度局部特征,并引入与输入特征维度相同的可学习位置编码器。通过在特征融合阶段将位置向量与线性变换后的特征逐元素融合,网络能够自主感知各特征点的时间关联性,从而提升了模型对非平稳时序特征的适应性。
4. 稀疏信息聚合Transformer(SAT)
为了平衡计算复杂度与特征保留度,研究人员设计了SAT模块。该模块首先利用滑动窗口将序列划分为多个块,通过聚合注意力计算块级均值表征以降低计算量;随后引入Top-注意力机制,基于注意力分数筛选关键块,生成掩码矩阵以过滤非关键信息。这一策略将计算复杂度从O(n2)降至O(n·k),在保证长程依赖建模精度的同时显著优化了计算效率。
5. 分类模块
分类模块接收SAT处理后的特征,通过展平层与全连接层,利用Softmax函数计算各类别预测概率。研究人员采用交叉熵损失函数(公式6)优化模型预测概率分布与真实标签的差异,完成端到端的训练。
6. 实验结果
在BCI-IV 2a和2b数据集上的五折交叉验证表明,APCformer在受试者内的平均解码准确率分别达到85.53%和89.15%,优于包括EEGNet、DeepConvNet及CTNet在内的多种主流基线模型。统计分析显示,APCformer的性能提升具有高度显著性(P < 0.01)。
结论与讨论
研究人员在讨论中指出,APCformer通过多尺度交互共享网络与CBAM的结合,成功解决了传统方法中跨尺度特征交互缺失的问题;PAE模块通过引入可学习的位置编码,有效缓解了深度网络中EEG信号时序完整性受损的难题;而SAT模块则通过稀疏滤波与核心表征聚合策略,实现了全局长程依赖与局部细节建模的平衡。尽管该方法在计算资源受限的设备上部署可能面临挑战,但其在提升MI-EEG解码精度方面的贡献为未来高性能BCI系统的开发提供了新的技术路径。