CogniMoE:基于动态时频图生成与专家混合门控的多模态脑力负荷分类方法
《IEEE Sensors Journal》:CogniMoE: End-to-End Multimodal Mental Workload Classification via On-the-Fly Scalogram Generation and MoE Gating
【字体:
大
中
小
】
时间:2025年12月12日
来源:IEEE Sensors Journal 4.5
编辑推荐:
本文针对传统脑力负荷分类方法依赖手工特征、模态融合策略静态僵化、计算效率低等问题,提出了一种端到端多模态框架CogniMoE。研究通过动态生成FP16精度的时频图克服存储瓶颈,采用并行CNN-LSTM分支提取模态特异性特征,并利用可解释的MoE门控机制实现实例级自适应融合。在MAUS、CLAS和WESAD数据集上分别达到94%、92%和98%的分类准确率,较非自适应策略提升约5%,为可穿戴设备实时认知状态监测提供了高效解决方案。
在现代快节奏的工作环境中,实时精准地监测人们的脑力负荷(Mental Workload, MW)对于保障安全生产、提升工作效率具有重要意义。无论是飞行员在驾驶舱内处理复杂信息,还是医生在手术室中进行高强度决策,过高的脑力负荷都可能导致失误风险显著增加。然而,传统的脑力负荷评估方法主要依赖主观问卷或行为指标(如反应时间、错误率),这些方法不仅存在回忆偏差,还难以实现实时监测,无法捕捉内在的认知状态变化。
随着可穿戴传感技术的快速发展,通过生理信号(如心电图ECG、光电容积脉搏波PPG、皮电反应GSR等)进行客观的脑力负荷评估已成为研究热点。但这一领域仍面临诸多挑战:传统方法依赖手工提取特征(如心率变异性HRV指标),分类准确率通常只有70-85%;单模态方法无法充分利用多传感器提供的互补信息;而现有的多模态融合策略(如注意力加权、平均或多数投票)往往是静态的,无法根据信号质量动态调整各模态的权重,当某个传感器信号因运动伪影等因素变得不可靠时,整个系统的性能就会大幅下降。
更棘手的是,生理信号存在显著的个体差异性——不同人的心率变异性、认知能力和任务经验各不相同,使得在特定个体上训练的分类模型难以推广到新用户。此外,基于时频分析的方法(如小波变换生成时频图)虽然能捕捉信号动态变化,但计算和存储需求巨大,限制了其在实时场景中的应用。这些瓶颈问题共同制约着脑力负荷监测技术在实际场景中的落地应用。
针对这些挑战,发表在《IEEE Sensors Journal》上的研究提出了一种创新解决方案——CogniMoE端到端多模态脑力负荷分类框架。该研究团队通过三大技术创新,实现了在保持高精度的同时显著提升计算效率:首先,设计了基于FP16算法的高效动态时频图生成管道,将磁盘空间使用减少98%,并实现无缝GPU处理;其次,构建了并行的每模态CNN-LSTM分支,结合注意力机制和动态丢弃策略,鲁棒地提取模态特异性时空特征;最后,引入了可解释的专家混合(Mixture of Experts, MoE)门控机制,用实例级自适应加权取代静态融合,确保在实时处理中动态抑制不可靠模态。
为验证框架性能,研究团队在三个公开数据集上进行了全面评估:MAUS(含ECG、指尖PPG、手腕PPG和GSR)、CLAS(含ECG、PPG和GSR)以及WESAD(含ECG、EDA、EMG、温度和呼吸信号)。结果表明,CogniMoE在三个数据集上分别实现了94%、92%和98%的分类准确率,显著优于传统方法(70-85%)和当前最先进方法(最高92%)。特别值得注意的是,MoE门控机制相比非自适应融合策略平均提升分类准确率约5%,并能根据个体参与者特征动态调整模态重要性。
研究采用了几项关键技术方法:通过动态时频图生成技术将原始生理信号转换为二维时频表示;使用并行CNN-LSTM分支提取各模态特征;设计MoE门控网络实现自适应多模态融合;采用主题独立批处理策略增强模型泛化能力。实验数据来源于公开可用的MAUS、CLAS和WESAD数据集,包含不同任务场景下收集的多模态生理信号。
CogniMoE采用端到端设计,包含四个核心阶段:多模态生理信号输入处理、数据预处理与分割、动态时频图生成以及基于MoE的自适应特征融合。系统支持可变模态数量,能够灵活处理不同传感器组合。预处理阶段对信号进行标准化处理,采用滑动窗口分割(如512样本/2秒,重叠率20%),并严格按参与者划分训练、验证和测试集,确保主题独立性评估。
研究创新性地实现了动态时频图生成管道,使用Morlet小波进行连续小波变换,将一维信号转换为二维时频表示。通过FP16精度优化,大幅降低内存占用(从42.4GB降至0.05GB)和处理时间(从1101.6分钟降至24.1分钟)。这种动态生成方式不仅节省存储空间,还支持实时数据增强,提升模型泛化能力。
每个模态的时频图由专用的CNN-LSTM分支处理。CNN部分包含两个卷积层(32和64个3×3滤波器),提取空间特征;LSTM部分(128隐藏单元)捕捉时间依赖性;注意力机制突出关键时间步;动态丢弃率(从0.35线性降至0)增强对噪声的鲁棒性。这种设计有效平衡了特征提取的全面性和模型的计算效率。
MoE门控网络是框架的核心创新,通过卷积块处理拼接的时频图,生成各模态的权重向量,然后对CNN-LSTM分支输出进行加权融合。该机制能根据输入信号质量动态调整权重,如在MAUS数据集中赋予ECG最高权重(0.5279),降低噪声较大的手腕PPG权重(0.0412),实现智能模态选择。
通过Optuna进行系统超参数调优,确定最佳批量大小为8、学习率5×10-5、权重衰减1×10-5等配置。与基线方法比较显示,CogniMoE在三个数据集上均取得最优性能(F1分数0.89-0.98),显著优于传统HRV特征提取、EMD分解等方法,也超过PatchMixer、FredFormer等最新时序模型。
深入分析显示MoE门控网络能自适应不同数据集特性:在MAUS中优先选择ECG和指尖PPG;在CLAS中ECG主导(权重0.6278);在WESAD中权重分布更均衡(ECG 0.4715,EMG 0.2383)。参与者特异性分析进一步证实该机制能根据个体生理差异调整融合策略。
消融实验验证了各组件贡献:移除LSTM(CNN-only)导致性能大幅下降(准确率降至0.59-0.92);取消时频图(No Scalogram)降低特征丰富度;禁用注意力(No Attention)削弱时间建模能力;固定丢弃率(No Dynamic Dropout)降低鲁棒性;均匀融合(No MoE)造成准确率下降5-6%。完整模型始终表现最优。
FP16动态生成相比预计算时频图减少99%存储需求,推理延迟仅4-5毫秒,满足实时性要求。虽比预计算方法准确率略低(最多差2.23%),但在效率与精度间取得理想平衡。
研究通过系统实验证明,CogniMoE框架有效解决了脑力负荷分类中的多模态融合、个体差异和计算效率等核心问题。动态时频图生成技术克服了传统方法的存储瓶颈;并行CNN-LSTM分支确保了对各模态特征的充分提取;而MoE门控机制则实现了智能化的自适应融合,显著提升系统在真实场景中的鲁棒性。
该研究的实际意义在于为可穿戴设备上的实时脑力负荷监测提供了可行方案,特别适用于航空航天、临床监护和智能驾驶等对可靠性要求极高的领域。未来工作可探索专家数量与模态数量的解耦设计,进一步优化小波参数选择,并通过模型量化与剪枝开发轻量级版本,推动在资源受限边缘设备上的部署。这项技术有望成为下一代人机交互系统的核心组件,为实现更加智能、自适应的辅助决策系统奠定基础。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号