《Smart Health》:Optimising shallow and deep learning for emotion recognition with small EEG data
编辑推荐:
通过脑电图(electroencephalography, EEG)进行情感识别是被动脑机接口(passive brain-computer interfaces, BCIs)的重要组成部分,但其实际实施常常受到数据可用性有限的挑战阻碍。现代深度学习架构虽然强
通过脑电图(electroencephalography, EEG)进行情感识别是被动脑机接口(passive brain-computer interfaces, BCIs)的重要组成部分,但其实际实施常常受到数据可用性有限的挑战阻碍。现代深度学习架构虽然强大,但通常需要大量数据集,从而在小数据条件下浅层与深度学习模型比较鲁棒性方面留下显著研究空白。特别是,现有文献尚未系统考察当可用训练数据逐步减少时模型性能如何变化。本研究通过考察稀缺训练数据下基于EEG的情感识别学习架构优化来弥补这一空白。研究人员提出两个新颖评估框架:可变测试数据方案(variable test data scheme),其动态调整训练-测试比例以评估泛化;以及静态测试数据方案(static test data scheme),其隔离训练数据减少的影响。研究人员在三个基准数据集,即EEG Brainwave、GAMEEMO和LUMED数据集上评估了十种广泛使用的浅层模型(SVM、DT、RF、LR、KNN)和深度模型(MLP、CNN、LSTM、GRU、KAN)。模型在可用数据95%至5%的训练规模下评估。关键发现表明浅层优势,其中随机森林(Random Forest, RF)和K近邻(K-Nearest Neighbour, KNN)在低数据条件下持续优于深度模型,即使在5%训练容量下仍保持90%以上准确率。相反,循环神经网络(Recurrent Neural Networks, RNNs)随数据减少表现出极端不稳定性和性能崩溃。然而,卷积神经网络(Convolutional Neural Networks, CNNs)在训练数据超过50%时表现出竞争性韧性。这些结果首次提供基于数据量的系统证据,说明模型在可用训练数据下的性能。这对BCI设计具有重要启示,表明模型选择必须与数据量,特别是标注数据,战略对齐,而非仅由模型复杂度驱动。该研究为开发高效情感识别系统提供基础指南。代码公开于 https://github.com/Nimishan/small-labelled-data。
研究背景与问题:情感识别是预测生理和行为反应中情绪状态的不断增长领域。脑电图(electroencephalography, EEG)可捕捉反映脑功能的头皮电活动,为情感识别提供独特信息。此类情感识别系统在被动脑机接口(passive brain-computer interfaces, BCIs)中发挥关键作用,旨在增强人机交流并开发适应用户情绪状态的应用。浅层学习方法在基于EEG的情感识别中已展示出可比准确率,而大型EEG数据集的可用性推动了深度学习在EEG分析与分类中的近期应用。然而,收集情绪相关数据面临隐私、文化影响和资源约束等挑战。近年来,深度学习模型参数量呈指数增长,现代深度学习架构通常需要大量内存资源,训练大型数据集需要大量时间和计算资源。尽管模型剪枝、量化和知识蒸馏等压缩技术被提出以提升效率并保持准确率,但在模型准确率与效率之间实现最优平衡仍具挑战。与复杂轻量或压缩技术相比,针对小数据集优化浅层和深度学习架构可能更简单且性能更好。数据驱动的基于EEG的情感识别方法高度依赖大规模数据集,已有研究探索轻量深度学习和模型压缩技术用于基于EEG的情感识别,但数据规模对浅层和深度学习模型性能的具体影响仍未充分探索。无现有研究探索浅层或深度模型性能如何适应训练数据减少场景。理解数据规模与模型性能关系可指导更高效架构开发,并促进模型选择与数据可用性之间权衡优化。
研究人员开展的研究与结论:研究人员提出两种模型无关评估方案,以隔离数据稀缺的不同方面。第一是可变测试数据方案(variable test data scheme),其中训练集和测试集联合调整大小;第二是静态测试数据方案(static test data scheme),其中测试集保持固定而仅训练集缩小。研究人员选取一组广泛使用的基准模型,包括浅层学习算法支持向量机(Support Vector Machine, SVM)、决策树(Decision Tree, DT)、随机森林(Random Forest, RF)、逻辑回归(Logistic Regression, LR)和K近邻(K-Nearest Neighbour, KNN),以及深度学习架构多层感知机(Multi-Layer Perceptron, MLP)、卷积神经网络(Convolutional Neural Network, CNN)、长短期记忆网络(Long Short-Term Memory, LSTM)、门控循环单元(Gated Recurrent Unit, GRU)和Kolmogorov-Arnold网络(Kolmogorov-Arnold Network, KAN)。关键发现表明浅层优势,其中RF和KNN在低数据条件下持续优于深度模型,即使在5%训练容量下仍保持90%以上准确率。相反,循环神经网络(Recurrent Neural Networks, RNNs)随数据减少表现出极端不稳定性和性能崩溃。然而,CNN在训练数据超过50%时表现出竞争性韧性。该研究首次提供基于数据量的系统证据,表明模型选择必须与数据量,特别是标注数据战略对齐,而非仅由模型复杂度驱动,对BCI设计具有重要意义,并为开发高效情感识别系统提供基础指南。
关键技术方法概括:研究人员采用两个模型无关评估方案。可变测试数据方案中,训练集与测试集大小联合调整,总样本数保持N,训练集按百分比p减少,测试集相应增加;静态测试数据方案中,测试集固定,训练集按p逐步减少。使用三个公开EEG情感数据集:EEG Brainwave、GAMEEMO、LUMED。EEG Brainwave使用MUSE EEG头带采集;GAMEEMO使用Emotiv EPOC+ 14通道无线EEG头戴设备;LUMED使用ENOBIO 8通道设备。EEG Brainwave提供统计提取特征;GAMEEMO和LUMED原始信号经离散小波变换(Discrete Wavelet Transform, DWT)db4去噪,采用通用阈值和软阈值。评估浅层SVM、DT、RF、LR、KNN和深度MLP、CNN、LSTM、GRU、KAN,使用TensorFlow和Python,Google Colab环境,Adam优化器30个epoch,5折交叉验证,准确率为评估指标。线性混合效应模型(Linear Mixed-Effects Model, LMM)用于检验退化速率。
研究结果:
4.4.1 可变测试数据方案洞察:在EEG Brainwave数据集上,浅层模型即使在测试集增加和训练集减少时仍表现优越泛化。RF最灵活,训练数据降至N的25%时准确率仍高于97%;SVM和KNN在训练数据低于30%前保持96%的强稳定性。深度模型对可变测试数据方案敏感,RNN架构(LSTM和GRU)在训练数据减少时崩溃最严重,CNN和MLP比RNN更韧,但在最低训练阈值仍显著下降。在GAMEEMO数据集上,性能动态转向有利于深度学习和集成方法。RF仍最鲁棒的浅层架构,训练数据降至25%–15%时保持超过85%准确率,5%极端时达77.93%±0.57。KNN呈稳定线性下降,在较高数据量时优于除LSTM外的所有深度模型。SVM和LR显著失败。CNN表现更好,峰值86.08%±0.49,LSTM和GRU在最低训练阈值仍保持67%准确率,MLP表现出波动不稳定。在LUMED数据集上,循环架构表现优异,而线性树模型失败。KNN从95%训练数据时近完美99%准确率,仅降至5%训练数据时96.79%。RF不一致且缺乏单调趋势,SVM比RF稳定但显著低于KNN。DT和LR在50%–52%较低准确率,并在5%训练数据时进一步下降。深度模型中GRU领先,保持90%–92%准确率,5%训练数据时仅降至85.3%±0.62。MLP、CNN和LSTM呈相似退化路径,KAN保持中等准确率但在较低点不稳定。
4.4.2 静态测试数据方案洞察:在静态测试数据方案中,测试集大小保持恒定,训练集从95%逐步降至5%,以隔离训练数据稀缺影响。在EEG Brainwave数据集上,浅层模型通常保持高性能,RF在训练集低于15%前保持高于95%准确率,KNN持续高于90%。SVM和LR也稳定,DT变异性较高。深度模型中CNN表现一致,降至15%时仍高于95%;MLP在多数训练规模下达到90%–94%准确率。RNN模型显著不稳定,LSTM在70%和90%之间波动且无明确趋势,GRU在5%训练数据时降至55.61%±1.54。KAN在95%训练数据时达到最高峰值99.06%±0.37,降至40%训练数据时仍高于95%,但进一步减少时下降更明显。在GAMEEMO数据集上,由于被试间变异和复杂时间动态,准确率较低且随训练数据减少明显退化。KNN从95.86%±0.88降至5%训练数据时20.58%,下降陡峭;SVM和RF从75%降至18%;DT和LR全程表现差。深度模型中CNN最韧性,降至30%训练数据时仍高于80%,5%训练数据时达71.75%±2.78;GRU类似稳定下降;LSTM从80.29%±1.17降至16.21%±4.45;MLP对训练数据减少敏感性小,在所有训练数据规模几乎平坦在62%–65%;KAN整体差,从51.85%±1.87降至15.15%±2.55。在LUMED数据集上,KNN在所有训练规模下达到超过99%准确率,5%训练数据时仅降至99.13%±0.54;RF中等(74%–78%)但波动;SVM从82.42%±0.88急剧降至22.57%±1.92;DT和LR接近随机。深度模型中MLP、CNN和RNN模型表现强稳定性,在5%训练数据时仍维持较好准确率,MLP在所有数据规模呈平坦轨迹(80%–84%);KAN急剧下降,从84.66%±0.82降至15.73%±1.69。
4.5 数据量敏感性验证:为正式检验浅层与深度学习架构在训练数据更有限时是否以不同速率退化,研究人员对每个数据集分别采用LMM,以分类准确率为因变量,以数据量阈值与模型组(浅层与深度)之间的交互项为感兴趣的固定效应,并用p值和似然比检验(Likelihood-Ratio Test, LRT)评估交互项显著性。表5所示可变测试数据方案下,EEG Brainwave数据中深度模型比浅层模型退化显著更快(LRT χ
2(1)=17.88,p<0.0001);GAMEEMO中浅层模型斜率比深度模型更陡,但LRT不显著(χ
2(1)=3.09,p=0.079);LUMED中交互和LRT均不显著(p=1.00),表明浅层与深度模型退化速率相当。表6所示静态测试数据方案下,EEG Brainwave数据再次显示深度模型比浅层模型退化更快(LRT χ
2(1)=4.90,p=0.027);GAMEEMO显示相反趋势,浅层模型显著快于深度模型(LRT χ
2(1)=40.14,p<0.0001),表明浅层分类器需要更大数据量保障,而深度模型相对稳健;LUMED未发现显著斜率差异(p=0.80),暗示两者数据效率相似。这些结果确认最优训练数据量取决于模型和数据集。
讨论部分总结:从可变测试数据方案到静态测试数据方案的转换揭示训练稀缺与评估规模之间的关键关系。可变测试数据方案施加双重挑战,即训练集I
T缩小同时测试集S扩大,而静态测试数据方案隔离训练数据减少的影响。对于RF和KNN等鲁棒模型,可变测试数据方案中测试量增加并未显著加速性能衰减。在LUMED数据集上,KNN在两个方案中保持近完美准确率,表明其泛化能力随评估规模有效扩展。相反,循环模型在可变测试数据方案中表现出极端不稳定性,而在静态测试数据方案中下降较不严重,表明RNN不仅需要高数据量用于参数收敛,而且在泛化到更大、更多样测试分布时难以维持稳定决策边界。5.1 模型选择与数据集特定动态表明:RF和KNN在低数据条件下持续优于深度架构,RF在EEG Brainwave和GAMEEMO数据集上提供最稳定权衡,KNN在LUMED数据集上明显更优;深度学习模型尤其是CNN仅在训练数据相对较大(>50%)时显示竞争性能,但无单一架构在所有情境中占优,表明模型选择必须由数据集内在维度指导;KAN虽在Brainwave数据集达到99.06%峰值准确率,但随着数据规模减少呈急剧非线性下降,明示可学习激活提供高灵活性,但在训练数据不足时崩溃。静态测试数据方案适用于固定评估集可用但训练数据因采集成本或标注困难而有限的现实应用。总体而言,研究人员建议在有限数据EEG情感识别中,优化策略应偏向集成浅层模型RF或距离模型KNN,除非训练数据超过总可用样本50%阈值,此时CNN成为捕获复杂模式的更可行选择。研究局限包括评估仅限三个EEG情感数据集,未来应扩展至DEAP、SEED和HBUED等更大数据集;两种方案中的训练数据减少通过随机采样进行,因此被试独立评估或跨会话泛化需进一步研究。
研究结论翻译:本研究系统解决了极端数据稀缺条件下从EEG信号优化情感识别的关键挑战。通过引入两个新颖评估框架——可变测试数据方案和静态测试数据方案,本研究全面评估浅层和深度学习模型在极端数据稀缺条件下的性能边界。研究发现低数据条件下的浅层优势,其中RF和KNN优于深度架构。相反,研究强调深度学习模型的重要性,尤其LSTM和GRU等架构在训练样本减少时表现出显著不稳定性和性能崩溃。虽然CNN在中等数据量下显示韧性,但其有效性高度依赖特定数据集的内在复杂度。这些见解为被动BCI优化提供基础指南,表明模型选择必须与可用数据资源战略对齐,而非仅依赖模型复杂度。未来研究应考察合成数据生成和半监督学习的整合,以进一步增强深度架构在小标注数据场景中的性能。通过利用大量未标注EEG信号数据和有限真实标签,此类方法可弥合浅层模型稳定性与深度模型表示能力之间的差距。