基于球面渲染与视图变形的实时运动视差生成系统:解决未知环境下遥操作延迟问题的新方法

《IEEE Access》:Real-time Motion Parallax Generation System using Spherical Rendering and View Morphing in Unknown Environments

【字体: 大 中 小 】 时间:2025年12月09日 来源:IEEE Access 3.6

编辑推荐:

  本文针对遥操作系统中系统响应延迟破坏运动视差(深度感知关键线索)这一核心问题,提出了一种集成球面渲染和视图变形技术的中间视点生成系统。研究人员通过深度自适应球面渲染和双阶段特征匹配等创新技术,在未知环境中实现了无需预建3D地图或环境特定训练的实时运动视差反馈。实验表明,该系统在保持VR应用27ms感知约束的同时,相比基于Transformer的方法提速386倍,相比3D高斯泼溅提速20倍,显著提升了感知相似性和几何精度,为延迟环境下的自然深度感知提供了实用解决方案。

  
在核设施检测、太空探索等高风险环境中,遥操作机器人正发挥着越来越重要的作用。随着虚拟现实(VR)技术的发展,沉浸式遥操作系统为操作者提供了直观的控制和增强的临场感。然而,一个长期存在的技术瓶颈严重制约着这些系统的性能:系统响应延迟。
当操作者移动头部时,他们期望机器人上的摄像头视角能够实时跟随变化,从而通过运动视差(motion parallax)——这一深度感知中最强大的机制之一——来理解空间关系。但现实是,通信延迟、机器人系统响应、摄像头帧率等多种因素共同造成了不可避免的延迟,从13毫秒到超过1000毫秒不等。这些延迟破坏了运动视差所依赖的时间耦合,迫使操作者采用低效的"移动-等待"策略,甚至可能引发VR晕动症。
更严峻的是,现有的延迟补偿方法存在明显局限性。共享控制方法需要准确的任务模型和操作者行为模型,在未知环境中不切实际;预测显示技术依赖于详细的环境模型或大量训练数据,无法在未探索场景中应用。最关键的是,这两种方法都无法在无结构环境中保持运动视差反馈——而这正是遥操作最需要的自然深度感知机制。
面对这一挑战,名古屋大学的研究团队在《IEEE Access》上发表了一项创新研究,提出了一种全新的解决方案:基于球面渲染和视图变形的实时运动视差生成系统。这一系统成功解决了三个相互冲突的需求:保持实时视觉反馈(<27ms)、无需预建3D地图或环境特定训练、支持对深度感知至关重要的旋转和平移视点变化。
研究人员巧妙地将球面渲染和视图变形这两种技术结合起来,利用它们的互补优势。球面渲染通过将鱼眼图像转换为任意观看方向,有效处理旋转视点变化;而视图变形则通过合成多个摄像头位置之间的中间视点,模拟产生运动视差效果的平移运动。如图1所示,这种集成使得操作者站点的本地处理能够实现完整的视点控制,从而将视觉响应与机器人响应和摄像头处理速率造成的网络延迟和系统延迟解耦。
技术创新的核心在于解决了这两种技术独立应用时的根本不相容性问题。单独的球面渲染无法实现鲁棒运动视差所需的无失真平移运动,而传统的视图变形在直接应用于广角鱼眼图像时面临严重的几何失真挑战。通过先应用球面渲染消除鱼眼失真,然后在校正后的图像上使用视图变形,该系统通过投影变换和图像处理操作实现了实时性能,避免了基于学习的方法所需的复杂场景理解,同时保持了高质量的运动视差反馈。
关键技术方法包括:基于立体对应的特征点深度估计、投影球面半径的深度自适应优化、双阶段特征检测与匹配策略,以及基于Delaunay三角剖分的视图变形技术。系统仅需已知基线距离的立体鱼眼相机和可从单张图像获取的鱼眼图像圆参数,无需复杂相机校准或预构建环境模型。
深度自适应球面渲染评估
研究人员通过系统实验评估了深度自适应球面渲染算法的性能。在包含10个场景、10种拍摄距离(0.1-1.0m)、2种基线配置和2种背景类型的400个图像对上进行的测试表明,该方法在视角定位和失真抑制方面均表现优异。与最小深度法(使用场景最小深度作为投影球面半径)和无平移运动方法相比,提出的自适应方法在LPIPS(学习感知图像块相似度)和特征点距离指标上均显著改善,证明了在抑制失真的同时实现适当视角定位的能力。
组件贡献分析
通过消融研究评估了两个核心算法组件——深度自适应球面渲染和双阶段特征处理——对系统性能的单独影响。结果显示,两种组件均对质量提升有贡献,但在不同条件下表现出互补的有效性模式。双阶段特征处理在特征丰富的环境(真实世界背景或较长拍摄距离>0.3m)中最为有效,而深度自适应平移运动与双阶段特征处理的协同效应在具有挑战性的条件(纯色背景或近距离拍摄<0.3m)下表现出卓越有效性。
对比评估
与现有方法的对比评估显示,提出的系统在图像质量和计算效率方面均具有显著优势。与学习基线方法相比,提出的方法在LPIPS指标上表现优异(中位数:0.163),显著优于基于学习的方法(Du等人方法中位数:0.410)和3D高斯泼溅方法(中位数:0.208)。在计算效率方面,提出的方法仅需7.78毫秒(中位数),相比Du等人方法(3020毫秒)提速约386倍,相比pixelSplat方法(157毫秒)提速20倍。
受试者评估
通过心理物理学实验验证了系统在真实遥操作条件下的感知效益。六名参与者在使用Kinova Gen3机械臂和Meta Quest 2 VR头显的深度辨别任务中,比较了基线条件、正常条件和提出条件三种观看条件。结果显示,提出条件使参与者的深度判断速度显著加快(中位数:7.05秒),相比正常条件(中位数:8.12秒)响应时间减少约13%。主观工作量评估通过NASA-TLX(美国国家航空航天局任务负荷指数)显示,提出条件感知认知负荷显著降低(中位数:47.5),相比正常条件(中位数:73.0)减少35%。
该研究提出的实时中间视点图像生成系统通过集成球面渲染和视图变形,在系统响应延迟下成功保持了遥操作中的运动视差反馈。深度自适应球面渲染算法有效解决了几何失真和运动精度之间的基本权衡问题,双组件方法在不同环境下表现出互补的有效性模式。与最先进的基于学习的方法相比,该系统在图像质量和计算效率(386倍或20倍加速)方面均具有显著优势,满足了交互应用必不可少的实时性要求。
人类受试者评估通过实际遥操作任务验证了这些技术进步,证明在响应时间(相比"正常"条件减少约13%)和心理负荷(相比"正常"条件减少35%)方面具有一致改进。值得注意的是,系统在200毫秒系统延迟下仍保持稳健性能,有效缓解了延迟引入的感知挑战。这些从客观指标和主观评估得出的收敛证据,证实了系统在遥操作操纵任务中保持有效运动视差反馈的价值。
然而,该研究也存在一些局限性。当前评估仅在静态场景上进行,对快速移动物体或显著场景变化的性能尚未验证。系统对特征匹配的依赖意味着快速移动的物体可能产生不足的对应关系。此外,系统需要已知相机配置参数,并依赖于足够视觉特征进行匹配,限制了在纹理贫乏环境中的有效性。单层深度表示从根本上限制了系统正确处理遮挡和去遮挡的能力。
该研究为实时中间视点生成建立了技术基础,同时保持了几何和感知精度。未来研究应侧重于通过与基于学习的方法融合来提高鲁棒性,扩展到多层深度处理以更好地处理遮挡和复杂深度结构,并开发不依赖于特征点检测的替代方法以克服当前约束。特别是,多层深度表示或基于学习的深度补全技术可以解决本工作中识别的遮挡处理限制。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号