基于多模态融合与知识蒸馏的全向视频头眼运动预测新方法

《IEEE Open Journal on Immersive Displays》:Head and Eye Movement Prediction in Omnidirectional Videos Via Multimodal Fusion and Knowledge Distillation

【字体: 大 中 小 】 时间:2025年12月09日 来源:IEEE Open Journal on Immersive Displays

编辑推荐:

  本文针对虚拟现实应用中头眼运动预测的挑战,提出了一种创新框架。研究人员通过融合视听刺激与历史扫描路径数据,结合通道-时序注意力机制和Transformer编解码架构,实现了多步预测。为解决显著性信息缺失问题,采用知识蒸馏技术将基于显著性的教师模型监督迁移至视听学生模型,并引入难例挖掘策略强化特征对齐。实验表明该方法在多种预测时域下均优于现有先进基线,为VR资源优化提供了有效解决方案。

  
在虚拟现实技术飞速发展的今天,全向视频(Omnidirectional Video)作为沉浸式应用的核心载体,正广泛应用于教育、培训和娱乐领域。通过头戴式显示器(HMD),用户可以身临其境地观察专家操作、参与高风险模拟训练,或探索虚拟展览。然而,这种沉浸式体验背后隐藏着巨大的计算和传输挑战——8K及以上分辨率的全向视频数据量庞大,对实时渲染和带宽提出极高要求。
目前,优化资源分配的主流策略是预测用户的视觉注意力区域,采用诸如凹渲染(Foveated Rendering)和自适应压缩技术,将高分辨率资源集中分配给用户注视区域。尽管已有研究尝试通过显著性地图或历史轨迹预测头眼运动,但仍存在显著局限性:过度依赖显著性信息(在实际场景中往往难以获取)、忽视音频模态的引导作用,以及未能有效处理全向内容特有的投影畸变问题。
为解决这些难题,上海交通大学朱雨成等研究人员在《IEEE Open Journal on Immersive Displays》发表论文,提出了一种融合多模态信息与知识蒸馏的全新预测框架。该研究通过自适应融合机制整合显著性、视听特征和历史扫描路径,引入通道-时序注意力模块(Channel-Temporal Attention)捕捉跨通道交互和时序依赖,并采用基于Transformer的编解码器实现生成式多步预测。针对显著性信息缺失场景,设计知识蒸馏框架将教师模型(Saliency-based Teacher)的特征表示迁移至学生模型(Audio-visual Student),结合难例挖掘(Hard Example Mining)策略强化特征对齐,显著提升预测精度与鲁棒性。
关键技术方法包括:1)多模态信息统一表示:将Ambisonic音频分解为球谐函数提取方向能量特征,全向视频通过UV映射生成失真最小化视场块,历史注视坐标转换为3D笛卡尔空间,分别经时序卷积编码后投影至统一维度;2)通道-时序注意力机制:通过平均/最大池化与共享MLP计算通道注意力权重,结合2×1卷积融合时序特征,实现特征动态加权;3)ProbSparse自注意力Transformer:采用稀疏查询-键值对选择机制减少计算冗余,编码器处理多模态输入,解码器生成未来注视序列;4)知识蒸馏与难例挖掘:通过教师模型嵌入空间距离比较构建正负样本对,采用对比损失函数驱动学生模型学习判别性表征。
实验在AVS-ODV数据集(包含162段8K全向视频)上进行,以球面距离(Spherical Distance, SD)作为评估指标,对比CVPR18、MM18、TRACK等基线模型。结果显示:
多模态特征有效性验证
如表1所示,完整模型(Proposed)在P5-P50所有预测时域均取得最低平均MSD(Mean Spherical Distance),尤其在长时预测(P50)中较TRACK模型误差降低3.9%。仅使用位置信息的变体(Proposed_Pos)在短时预测(P5)时略优于纯位置基线(Pos_Only),但随着时域延长优势扩大,证明历史轨迹特征可有效提取运动惯性等长时依赖。
知识蒸馏与模态贡献分析
表2对比显示,引入对比蒸馏的Proposed-Con模型较无蒸馏版本(Proposed-Fea)在P50时域误差进一步降低0.2%,且优于依赖预测显著性图的CVPR18和TRACK模型。表3的消融实验表明,视听模态共同作用时性能最优(MSD=0.8215),仅用视觉特征时性能下降2.1%,证明音频线索对注意力引导具有互补作用。
场景级预测效果可视化
如图3所示,室内复杂场景(图3f、3g)因多目标竞争显著增加预测难度,快速运动物体(图3b)较慢速活动(图3d)更难预测。伴有强音频提示的场景(图3e)预测精度显著提升,且本文方法(绿色轨迹)在球面边界畸变处理上较TRACK(蓝色轨迹)更具鲁棒性。
实时性验证
系统在双Intel Xeon Gold 6330处理器与四块NVIDIA RTX A6000 GPU环境下,P25条件下平均预测耗时10.92毫秒,低于VR应用感知阈值,满足实时渲染调度需求。
该研究通过多模态融合与知识蒸馏的协同设计,突破了传统方法对显著性信息的依赖,为VR资源动态分配提供了更普适的解决方案。未来工作可结合运动动力学与高层语义线索,利用视觉-语言大模型或扩散框架进一步扩展长时预测能力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号