基于头-躯干运动学数据与混合卷积-循环神经网络模型预测虚拟现实中的晕动症(Cybersickness)

《Computers》:Predicting Cybersickness in Virtual Reality from Head–Torso Kinematics Using a Hybrid Convolutional–Recurrent Network Model Ala Hag, Houshyar Asadi, Mohammad Reza Chalak Qazani, Thuong Hoang, Ambarish Kulkarni, Stefan Greuter and Saeid Nahavandi

【字体: 大 中 小 】 时间:2026年03月18日 来源:Computers 4.2

编辑推荐:

  摘要:晕动症(Motion Sickness, MS)是在虚拟环境(Virtual Reality, VR)中普遍存在的问题,会显著降低用户舒适度与沉浸感。准确的预测模型对于晕动症(MS)症状的早期检测与缓解至关重要,可改善整体VR体验。现有多数方法依赖佩戴于

  
摘要:晕动症(Motion Sickness, MS)是在虚拟环境(Virtual Reality, VR)中普遍存在的问题,会显著降低用户舒适度与沉浸感。准确的预测模型对于晕动症(MS)症状的早期检测与缓解至关重要,可改善整体VR体验。现有多数方法依赖佩戴于身体的传感器所采集的生理数据,这可能限制用户活动并削弱沉浸感。本研究提出一种低侵入性替代方案,利用头部与躯干运动学数据(Kinematic Data)进行MS预测。研究人员引入一种混合卷积–循环神经网络(Convolutional–Recurrent Neural Network, C–RNN),旨在同时捕捉空间特征与时序特征以提升分类准确率。基于包含40名受试者的公开数据集,所提出的C–RNN在多项评估指标上优于传统机器学习模型——包括支持向量机(Support Vector Machine, SVM)、k近邻(k–Nearest Neighbors, KNN)、决策树(Decision Tree, DT)及基线循环神经网络(Recurrent Neural Network, RNN)。C–RNN达到85.63%的准确率,超越SVM(60%)、KNN(73.75%)、DT(74.38%)及RNN(81.88%),并在精确率(Precision)、召回率(Recall)、F1分数(F1–score)及受试者工作特征曲线下面积(ROC AUC)方面均有提升。结果表明头–躯干运动模式可提供充足的预测信号以实现准确的MS检测,提供了一种非侵入式、高效的生理传感替代方案,有助于提升VR中的舒适度与持续沉浸感。
论文解读:基于头-躯干运动学数据与混合卷积-循环神经网络预测虚拟现实中的晕动症
一、研究背景与意义
晕动症(Motion Sickness, MS),在虚拟现实中称为晕屏症或网络晕动症(Cybersickness, CS),由感觉冲突理论(Sensory Conflict Theory)解释——当视觉、前庭觉与本体感觉输入不一致时(如VR中视觉显示动态而身体静止),大脑将冲突解读为中毒或异常引发恶心、眩晕等症状。现有的客观检测手段多依赖心电(ECG)、皮电(GSR)、脑电(EEG)等生理传感器,虽有效但需贴附体表,干扰用户在VR中的自然活动并降低沉浸感;主观量表如模拟器晕动症问卷(Simulator Sickness Questionnaire, SSQ)则具回顾性且无法实时捕捉症状触发点。已有研究表明头部与躯干运动模式(头-躯干运动学,Head–Torso Kinematics)与MS发生存在关联,但较少有研究专门基于此类非侵入式运动数据并使用深层网络进行MS二分类预测。为此,研究人员开展本研究,验证仅依靠VR头显及躯干追踪器天然可获取的六自由度(Six Degrees of Freedom, 6–DOF)位姿数据,通过混合卷积-循环神经网络(Convolutional–Recurrent Neural Network, C–RNN)可有效预测受试者是否发生晕动症,论文发表于《Computers》。
二、关键技术方法概述
研究人员使用Chang等人采集的公开数据集(40名受试者,男女各半,含驾驶员与非驾驶员组,年龄24.08±2.86岁),受试者在Xbox平台进行《Forza Motorsport 3》VR驾车任务,头部与躯干6–DOF位姿数据由Flock of Birds磁追踪设备以60 Hz采样记录,晕动症标签由实验前后SSQ评分判定为"sick"或"well"。预处理阶段:每人截取统一5分钟信号段(中段2分钟+尾段3分钟),按20秒滑动窗分段,每段内做z–score标准化;以SSQ前后评分差异标注各时段所属受试者类别(0=well,1=sick)。构建混合C–RNN模型:输入层接收18通道(头+躯干各位置X/Y/Z及方位A/E/R)×时序步长矩阵,串联两层一维卷积(1D–CNN,128滤波器,核大小3,ReLU激活,后接Dropout 0.1与MaxPooling1D),卷积输出展平后送入单层RNN(64单元),再经全连接层(32单元ELU激活→1单元Sigmoid激活,二层前加Dropout 0.1),以二元交叉熵(Binary Cross–Entropy)为损失函数、Adam优化器训练,采用Early Stopping(patience=10)。对比基线含SVM、KNN、DT及普通RNN,数据集按分层抽样80/20划分训练/测试集,训练中用五折交叉验证(Five–Fold Cross–Validation),以准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1–score及ROC AUC评估。
三、研究结果
4. Results(结果)
研究人员对各模型进行五折交叉验证后取均值比较。C–RNN模型取得最高准确率85.63%,高于RNN(81.88%)、DT(74.38%)、KNN(73.75%)及SVM(60.00%);C–RNN的精确率、召回率、F1分数及ROC AUC(0.90)均最优或仅次于RNN的AUC(0.88)但差异不显著,配对t检验表明C–RNN显著优于SVM/KNN/DT(p<0.05),与RNN比也有趋势性提升。训练过程曲线显示C–RNN收敛更快、验证损失更低,说明1D–CNN有效提取了局部振荡特征辅助RNN建模时序依赖。结论:融合空间特征提取与时序建模的C–RNN能更充分挖掘头-躯干运动学信号中与晕动症相关的模式。
四、讨论与结论翻译
讨论部分总结:
结果验证了头–躯干运动学数据单独即可提供晕动症判别信息,支持感觉冲突理论中时间依赖的视-前庭不匹配会体现为头-躯干协调性的短时振荡与长时不稳定。CNN层捕获局部运动轨迹中的振荡不一致,RNN层建模其随时间累积效应——即感觉冲突的渐进积累过程,这是传统静态分类器难以实现的。本C–RNN方案无需额外生理传感器,硬件要求低、对用户无干扰,适合消费级VR系统实时部署;局限含样本量偏小且年龄范围窄(约24岁)、场景仅为虚拟驾驶、金标准依赖主观SSQ,未来需在更大年龄跨度人群、异质VR内容中验证,并结合心率变异性(HRV)或眼动指标做细粒度实时标注,亦可探索注意力机制或长短时记忆网络(Long Short–Term Memory, LSTM)/门控循环单元(Gated Recurrent Unit, GRU)替代普通RNN以进一步提升性能。
结论(翻译):
本研究提出了一种利用头–躯干运动学信号预测虚拟环境中晕动症(Motion Sickness / Cybersickness)的运动驱动方法。通过采用混合卷积–循环神经网络(Convolutional–Recurrent Neural Network, C–RNN),模型有效捕捉了空间运动特征和其时域演变过程,在不依赖额外生理传感器的情况下实现了可靠的晕动症二分类。与基于多模态传感器的系统不同,所提框架仅需标准VR追踪流程中已有的运动数据即可运行,提升了实用性与用户舒适度。该模型的预测能力可支持自适应缓解策略(如动态调整视场角或视觉流衰减)以实时减轻晕动症。综上,研究表明将深度学习应用于头–躯干动力学分析,为增强沉浸式VR系统的舒适度与可用性提供了一种有效且可部署的解决方案。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号