基于少量导联脑电图及SHAP值的虚拟现实运动 sickness检测
《Displays》:Virtual Reality motion sickness detecting from Few-Lead EEG using SHAP value
【字体:
大
中
小
】
时间:2026年10月21日
来源:Displays 3.9
编辑推荐:
本研究针对传统经验法在脑电导联优化中的局限性,提出了一种基于SHAP值确定优化导联集的方法,该方法可显著减少导联数量,并使导联选择过程具有明确的解释性。在VRMS检测中,不同模型的导联贡献整体分布不一致,但部分模型的局部分布存在共性:额部导联的贡献普遍较高。导联信息的冗余度较
本研究针对传统经验法在脑电导联优化中的局限性,提出了一种基于SHAP值确定优化导联集的方法,该方法可显著减少导联数量,并使导联选择过程具有明确的解释性。在VRMS检测中,不同模型的导联贡献整体分布不一致,但部分模型的局部分布存在共性:额部导联的贡献普遍较高。导联信息的冗余度较高,对于某些模型,使用10个或更少的导联即可达到令人满意的准确率。本文提出的方法与其他导联选择方法相比并无显著优势,表明脑电的空间信息对VRMS并不敏感。引言虚拟现实运动 sickness(VRMS)是一系列类似于运动病的身体不适症状,如头晕、出汗、恶心、面色苍白等,通常发生在用户使用虚拟现实(VR)时[1]。在本研究中,VRMS指由VR场景诱发的运动 sickness 感,通常归因于多感官冲突,即视觉诱发的自身运动线索与前庭和本体感觉信号之间的不匹配。因此,此处的VRMS指的是在视觉上感知到运动而前庭和本体感觉系统未感知到相应运动的情况下所引起的运动 sickness[2]。该症状严重影响用户体验,是阻碍VR技术开发和应用的关键问题之一。脑电图(EEG)作为一种客观、非侵入性的神经生理信号,有望成为评估VRMS的有力工具。基于EEG的VRMS检测凭借其高时间分辨率、对神经活动的直接检测以及不受主观影响的特点,将为临床诊断和干预提供可靠依据,因此是当前研究的热点[3]。然而,一方面,由于容积传导的影响,EEG的空间分辨率较低,相邻导联的EEG中存在相似成分和较多冗余[4]。另一方面,不同脑区在信息处理中总是协同作用,目前对VRMS相关EEG空间信息的研究尚不充分[5]。此外,在实际应用中,更多的EEG导联意味着需要更多的电极和更高的采集成本。更为重要的是,头戴式显示器(HMD)和多导联EEG帽在实时VRMS检测中会相互干扰,显著增加了被试的不适感[6]。因此,如何利用少导联EEG检测VRMS是一个需要解决的本质问题。人工智能已被广泛应用于生物医学决策支持系统,包括医学图像诊断、脑肿瘤检测[7][8]以及心血管疾病预测,并在更广泛的基于计算机视觉的图像分析任务中也展现出了强大的性能[9]。例如,一种基于CNN的架构被开发用于从胸部X光图像中识别COVID-19感染状态,展示了深度学习在计算机辅助医学图像诊断中的有效性[10]。除了预测性能之外,近期的研究越来越强调生物医学人工智能系统的可解释性[11]。Ghose和Jamil开发了BrainView,一个用于脑图像分割、肿瘤检测和可视化的基于云的深度学习系统[12]。类似地,Ghose等人开发了基于特征工程和堆叠集成学习的可解释AI辅助心脏病诊断框架,包括CardiaTics模型[13][14]。这些研究共同强调了模型可解释性和可视化对于提高透明度、临床信任和可重复性的重要性。受此趋势启发,本研究引入了SHapley Additive exPlanations(SHAP)来研究每个EEG导联对VRMS检测的贡献。在此基础上,提出了关键导联优化框架,以探索使用少导联EEG进行VRMS检测的可行性。该方法旨在探索能否以可接受的性能代价实现实际的导联精简,同时可能提高被试舒适度并降低计算成本。目前,已有一些基于EEG的VRMS检测研究:Li等人[15]通过小波包变换和KNN、多项式SVM、RBF-SVM等分类器,基于EEG节律能量比检测VRMS。结果表明,单被试的平均准确率达到92.85%,18名被试的准确率也高达79.25%。Feng等人[16]从多个角度综合分析VRMS诱发前、中、后的EEG特征,并提取神经标记来表示VRMS过程,结果表明传统机器学习方法在单被试分类中最高准确率为92%,跨被试分类为68%。Hua等人[17]提出了一种基于卷积神经网络(CNN)与多尺度特征相关性的VRMS检测模型,结果表明该模型可以提供有效的VRMS识别。这些研究表明EEG可用于VRMS检测。除了直接的VRMS检测之外,近期的VR相关研究还使用神经生理和行为测量探讨了网络 sickness、沉浸感、情绪状态和交互设计。例如,Da?demir等人[18]通过结合EEG测量和问卷调查,研究了VR场景交互中网络 sickness、沉浸感相关因素和情绪结果的分类。在另一项研究中,Da?demir等人[19]分析了人工和实体运动技术如何影响网络 sickness、可用性和沉浸感。这些研究补充了本工作,表明VR相关的神经和行为反应应在包含用户状态、场景交互和运动设计的更广泛框架中进行解释。尽管已有研究展现了良好的准确率,但目前所有相关研究均未进行导联选择和压缩。目前,穷举法理论上可以实现关键导联选择的最优解,但由于计算成本过高而被弃用,且该方案无法迁移到其他任务[20]。为此,Lal等人[21]提出了一种基于递归特征消除和零范数优化的特征选择方法。结果表明,合理的导联选择方法可以显著减少导联数量,在不降低模型准确率的情况下提高计算效率。在某些研究中,导联选择在特征提取之前进行。例如,Dhiman等人[22]使用了基于相关性的通道选择(CCS)方法来选择相关性强的导联。关键导联选择也可以在特征提取之后进行。例如,Jin等人[23]提出了一种基于双谱的通道选择(BCS),利用从双谱中提取的对数幅度之和和一阶谱矩特征来选择无冗余信息的EEG导联。与依赖导联间相关性或频率特征等传统导联选择方法相比,本文采用的基于SHAP值的方法通过量化每个导联对训练好的深度学习模型的贡献来实现导联选择[24]。然而,SHAP并非EEG导联选择中唯一适用的可解释性方法。其他归因方法,包括集成梯度(IG)、DeepLIFT、逐层相关性传播(LRP)、遮挡/扰动分析和置换特征重要性(PFI),也为时序神经数据提供了有用的视角,并在计算成本、稳定性和忠实度方面可能存在差异。IG具有坚实的公理基础,对深度网络相对高效,但其结果对基线选择敏感[25]。DeepLIFT在某些梯度饱和情况下可以提供更稳定的归因[26],而LRP已在EEG和脑机接口可解释性研究中广泛应用,尽管其结果可能依赖于特定的相关性传播规则[27]。遮挡和PFI可以提供更直接的基于扰动的相关性估计,但通常计算成本更高且可能破坏时序依赖[28][29]。因此,本研究中SHAP被视为一种实用且具有竞争力的归因框架,而非普适性的优越方案。Li等人[30]提出了一种基于Grad-CAM的导联选择方法。Grad-CAM的计算相对高效,仅需一次前向传播和反向传播来计算梯度,并通过二维矩阵变换显式保留空间信息,可以显示重要脑区。但它无法更精确地量化每个导联在决策中特定影响方向的贡献。Abir Affes等人[31]提出了一种基于注意力机制用于导联选择的端到端模型。该方法不需要先验地确定选择的导联数量,也不需要先验知识来定义选择标准。模型可以直接从数据中学习最优的导联数量和集合。尽管注意力分数提供了导联的重要性,但其内部机制不如SHAP值直观和通用,可解释性相对较低。Biao Sun等人[32]提出了两种基于图卷积网络(GCN)的导联选择方法:边选择和聚合选择,两者均基于动态可调的邻接矩阵来表示导联之间的连接。这两种方法的优势在于可以在分类模型训练过程中同步进行导联选择而无需额外计算,但它们仅适用于GCN,且缺乏对样本的解释能力。相比之下,SHAP值通过直接量化每个导联对模型决策的贡献,提供了一种更通用、直观和高效的导联选择方案。因此,本研究中基于SHAP的导联选择不被视为现有方法的普适性优越替代方案,而是被视为一种面向任务输出的框架,将导联重要性链接到EEG解码模型的决策机制。Ding等人[33]将长短期记忆网络(LSTM)与SHAP结合用于癫痫检测,旨在减少EEG导联数量同时提高检测性能和可解释性。该方法仅使用五个导联即实现了93.87%的AUC。综上所述,导联选择的核心挑战在于平衡效率、预测性能和可解释性。SHAP是一个实用的选择,因为它可以提供导联级别的贡献估计,并可应用于异构模型。此前基于SHAP的EEG研究主要将其用于解释模型决策或在固定模型内进行导联精简。相比之下,本文提出了一种基于SHAP值的面向VRMS检测的数据驱动导联选择框架。当多个EEG解码模型共存时,对模型选择不确定性的鲁棒性尤为关键。因此,我们量化了多个代表性解码模型中的导联重要性,并构建了跨模型共识导联集以减少模型特异性偏差。同时,我们通过自验证和跨模型验证评估了所选导联的可迁移性和鲁棒性。各种关键EEG导联选择算法已被提出,但它们存在准确率较低、决策不可解释、缺乏在更多模型上验证等缺陷。为解决上述问题,本文提出了一种基于多模型SHAP值融合的导联选择方法。该方法首先在多个基模型上使用SHAP值计算每个导联的重要性,从而获得优化导联集。最后,将该集应用于不同的深度模型和手工特征识别方法中进行验证,并比较分析全导联和其他导联选择方法的效果差异。需要指出的是,本研究的方法学新颖性不在于提出新的SHAP算法,而在于建立了基于跨模型SHAP归因的面向VRMS的EEG导联选择框架。与主要使用归因方法来解释单个EEG模型或在单个模型内进行导联精简的以往研究不同,本研究在多个异构EEG解码模型中量化导联重要性,并构建跨模型共识导联集,从而减少模型特异性偏差并提高导联选择的鲁棒性。本文的主要贡献如下:1)本研究提出了一种基于SHAP的数据驱动导联选择框架,在固定导联预算内建立了透明且可重复的选择标准。
该研究在保持竞争力性能的同时实现了显著的导联压缩,并通过自验证和跨模型验证评估了鲁棒性。2)对于VRMS检测,不同模型中导联贡献的整体分布不一致,但某些模型的局部分布具有共性:前额导联通常具有更高的贡献度。3)导联信息的冗余度很高,对于某些模型,使用10个或更少的导联即可实现令人满意的准确性。与其他导联选择方法相比,所提出的方法取得了具有竞争力的性能,并在若干基线方法上显示了显著改进,尽管与某些基于空间滤波的方法相比未发现显著差异。这些结果表明,所提出的基于SHAP的框架可以为少导联EEG选择提供有效且可解释的策略。本文其余部分组织如下:第2节介绍实验流程和数据集,本文提出的导联选择方法以及验证方法。第3节展示导联选择的结果以及其他方法的比较验证。第4节分析和讨论本工作的主要结果和局限性。第5节总结全文。数据源部分。本文使用的数据集来自Hua等人[34]。在该数据集中,实验共招募了22名受试者(包括16名男性和6名女性,年龄均为19-28岁)。由于性别分布不均且总体样本量有限,我们在本探索性研究中未进行性别分层分析,也未就性别差异得出推论性结论。所有受试者身体健康,无心血管、代谢、神经精神疾病史。主观分析结果部分。VRSQ结果如表1所示,表明VR任务诱发了可测量的主观恶心症状。对于具有完整配对VRSQ记录的参与者,眼动分数从VR任务前的4.63±7.68增加到VR任务后的16.67±16.17。定向障碍分数从1.85±5.01增加到17.78±15.84。VRSQ总分从3.24±5.87增加到17.22±14.65。配对Wilcoxon符号秩检验显示任务后得分显著。讨论部分。在VRMS的EEG分析研究中,对模型预测进行深入解释已成为必要。许多现有的导联选择方法缺乏模型决策可解释性,而本文提出的基于SHAP值的方法通过量化导联对模型决策的贡献提高了透明度。基于上述比较结果可以看出,所提出的方法是可行的,不仅在多种深度学习模型上表现稳定,而且显示出结论部分。本文提出了一种基于SHAP值选择关键EEG导联以检测VRMS的方法。该方法基于现有的六个EEG解码模型,通过SHAP值量化并排名每个导联的贡献。基于此,通过前向选择方法获得每个模型的最高准确性的最优导联集,进而,六个最优导联集的交集被视为优化后的导联集。比较验证结果未引用参考文献[53]。利益冲突声明:作者声明他们没有任何已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。致谢:本工作部分由国家自然科学基金资助,批准号62206130,批准号62073282;部分由江苏省自然科学基金资助,批准号BK20200821;部分由南京信息工程大学人才引进启动基金资助,批准号2020r075;以及部分由安徽省高校卓越研究与创新团队资助,批准号2023AH010021。华成成|朱敏|傅靖琪|王秋余|陈悦驰|戴志安|蔡君|刘家|付蓉蓉
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号