《Robotics》:ROS 2-Driven Navigation and Sensor Platform for Quadruped Robots
Vegard Brekke,
Erlend Odd Berge,
Eirik Dybdahl,
Jayant Singh and
Ilya Tyapin
编辑推荐:
视线估计(Gaze Estimation)是理解用户意图、增强人机交互(Human–Computer Interaction, HCI)的关键技术,随着深度学习(Deep Learning)技术的融合已取得显著进展。尽管已有成果,但深度学习在视线估计中的应用仍
视线估计(Gaze Estimation)是理解用户意图、增强人机交互(Human–Computer Interaction, HCI)的关键技术,随着深度学习(Deep Learning)技术的融合已取得显著进展。尽管已有成果,但深度学习在视线估计中的应用仍面临独特挑战,尤其是模型在无约束环境下的适配与优化难题。研究人员针对近年基于深度学习的视线估计发展展开系统性综述,重点梳理从传统方法到复杂外观基技术(Appearance-Based Techniques)的演进路径。研究分析了高性能视线估计系统的核心构成,涵盖输入特征处理、神经网络架构设计,以及数据预处理对精度提升的作用。通过对现有方法的全面对比,揭示了不同方案在多场景下的有效性边界与局限性。该综述旨在整合领域内现有知识体系,识别当前研究空白,并提出未来探索方向。通过清晰呈现视线估计的技术前沿,并讨论持续存在的挑战与潜在解决方案,研究工作期望推动更准确、高效的视线估计系统创新,支撑智能人机交互、驾驶安全监测及虚拟现实等应用场景的发展。
1. 引言
视线是人类重要的非言语交互线索,可为人类意图、认知及行为分析提供丰富信息,广泛应用于人机交互优化、驾驶员注意力监测及虚拟现实(Virtual Reality, VR)/增强现实(Augmented Reality, AR)体验增强等场景。视线估计技术的发展历程体现了计算机视觉领域的显著进步:1879年Javal等人首次通过视觉观察揭示阅读过程中的扫视(Saccade)与注视(Fixation)机制;1901年Dodge等人提出首款非侵入式光学眼动仪,奠定现代眼动追踪基础;此后技术逐步从接触式设备向头戴式、遥测式发展,但在2000年前仍受限于专用硬件与固定实验设置。2000年后,研究转向基于普通摄像头(如网络摄像头、智能手机相机)的方案,通过手工特征(几何特征、外观特征)映射视线方向。2015年起,深度学习技术推动领域变革,依托大规模数据缓解了光照、设备差异及头眼运动耦合关系的建模难题,但跨域泛化能力不足仍是核心瓶颈,当前主要通过域泛化(Domain Generalization)与域自适应(Domain Adaptation)策略提升模型适应性。
2. 视线估计问题定义
视线估计的核心目标是确定视线方向(Line of Sight),典型系统由受试者、传感器与视觉平面构成。传感器分为侵入式与非侵入式,前者精度高但存在佩戴不适,后者依赖普通摄像头、RGB-D相机等设备,易受遮挡、光照变化及眼镜反光干扰。受试者头部运动需与眼球运动协同建模,仅跟踪眼球无法覆盖真实场景下的动态交互。视觉平面指视线落点所在的表面,常见如电脑屏幕(约60cm)、手机(约20cm)及车载环境(约50cm),目标距离的动态变化增加了系统复杂度。系统校准包含相机内参标定、几何标定(相机-光源-显示屏空间关系)与个人校准(角膜曲率、节点等个体参数),现代外观基方法已逐步降低对显式校准的依赖。需注意,视线估计仅捕捉外显视觉注意(Overt Visual Attention),无法直接表征无眼动的内隐注意(Covert Attention),因此输出结果反映的是可观测的视觉朝向而非完整的人类注意行为。
3. 传统视线估计方法
传统方法直接从图像映射视线方向,可分为三类:
3.1 基于模型的方法(Model-Based)
利用眼球解剖结构构建几何模型,包括椭圆虹膜边界模型与球形眼球模型。前者通过拟合虹膜二维椭圆投影反推三维圆形结构,以法向量确定视线方向,但易受眼睑遮挡影响;后者通过定位瞳孔中心与三维眼球中心连线预测视线,依赖头部追踪、面部关键点或眼睑轮廓估计眼球中心,角膜反射与多相机方案可提升鲁棒性,但三维眼球中心的精确确定仍存在不确定性。
3.2 基于特征的方法(Feature-Based)
通过提取眼部关键特征(如瞳孔中心-角膜反射偏移PC-CR、瞳孔中心-眼角偏移PC-EC)进行回归映射,对光照与头部姿态变化具有一定鲁棒性。结合更多特征点(如鼻孔位置、眼睑点)可提升多方向视线估计的稳定性,但特征在极端姿态、遮挡下的定位精度仍是主要局限。
3.3 基于外观的方法(Appearance-Based)
突破了对特定几何特征的依赖,直接通过整幅眼部图像的像素特征映射视线方向,避免了局部特征跟踪的失效问题。早期方法依赖受试者特异性校准,样本效率低;后续通过半监督学习、合成数据训练及稀疏自编码器等技术逐步降低对个体标注的需求,结合离散余弦变换(DCT)、局部二值模式(LBP)等特征空间优化,提升了跨受试者场景的性能,但无约束环境下的精度仍有待提升。
4. 基于深度学习的视线估计方法
深度学习通过卷积神经网络(CNN)有效解决了传统方法在个体差异与头部运动下的性能瓶颈,研究人员从输入特征、模型架构、验证评估三个维度展开系统研究。
4.1 输入特征
根据输入模态分为三类:单眼图像直接提取外观特征,早期采用LeNet、VGG等骨干网络,后续发展为双眼特征融合、结合头部姿态信息,并通过生成对抗网络(GAN)进行低光增强、去眼镜反光等预处理;眼+人脸图像联合输入,利用面部信息隐含头部姿态,通过多流网络融合全局与局部特征,结合面部关键点提升建模精度,但增加了计算复杂度;全脸图像输入则省去了眼部分割步骤,通过空间加权机制、自注意力路由胶囊(Self-Attention-Routed Capsules)等技术聚焦有效区域,降低了模型复杂度,但需解决眼球区域占比小、细粒度特征提取难的问题。
4.2 代表性模型
4.2.1 CNN模型
监督CNN是主流范式,早期采用LeNet、AlexNet等通用骨干,后续设计专用架构(如GazeNet、RtGeneNet),结合多任务学习(Landmark-Gaze联合估计)提升泛化性。针对标注数据稀缺问题,半监督、自监督、弱监督及无监督学习范式逐步兴起,通过对抗学习、视线重定向(Gaze Redirection)等 pretext 任务实现无标注训练。
4.2.2 时序模型
利用视线的时间相关性,引入GRU、LSTM及双向LSTM(Bi-LSTM)处理视频序列,Gaze360模型通过7帧序列分析实现了球面坐标下的连续视线预测,并在输出中集成预测误差估计。研究表明,时序信息在复杂动态场景(如漂浮目标平滑追踪)中增益显著,但在简单屏幕交互场景下提升有限。
4.2.3 生成式与Transformer模型
生成对抗网络(GAN)通过学习解耦的潜空间表征,分离视线方向、头部姿态与个体外观,提升跨受试者泛化能力。Transformer架构被引入后,GazeTR-Pure模型直接处理全局面部特征,GazeTR-Hybrid则结合CNN的局部特征提取能力与Transformer的全局上下文建模优势,在精度与计算成本间取得平衡。
4.2.4 轻量化模型
面向移动端部署需求,MobileNet、MobileViT等轻量骨干被广泛应用,GazeCaps通过胶囊向量表征面部非线性变换,EM-Gaze结合度量学习优化移动端2D视线估计,FR-Net引入快速傅里叶变换(FFT)在频域提取特征,显著降低了参数量与计算量,同时支持实时推理。
5. 深度学习模型的验证评估
5.1 数据集
数据集从实验室受限环境向自然场景演进,包括CAVE(高分辨率可控环境)、GazeCapture(最大规模自然场景)、MPIIGaze(日常笔记本使用)、Gaze360(238人室内外混合)及ETH-XGaze(大范围头部姿态高分辨率)等,覆盖了不同受试者规模、环境光照、头部姿态与目标类型,为模型评测提供了标准化基准。
5.2 评估指标
三维视线估计采用角度误差(Angular Error),通过计算真实视线向量g∈?3与预测向量?∈?3的夹角衡量,公式为?angular=arccos(g·?/(‖g‖‖?‖));二维视线估计采用欧氏距离(Euclidean Distance),计算真实落点P与预测落点P?的直线距离,公式为?Euclidean=‖P-P?‖。
6. 深度学习模型的跨域适配
为解决模型在新场景下的性能衰减,主要采用两类策略:
6.1 域泛化(Domain Generalization)
仅利用源域数据提升模型对未知目标域的适应能力,PureGaze框架通过对抗学习纯化视线相关特征,去除光照、身份等无关因素,无需目标域数据即可实现跨数据集性能提升;结合自注意力与卷积-反卷积的混合架构,在降低计算成本的同时有效建模全局上下文,增强泛化能力。
6.2 域自适应(Domain Adaptation)
在训练阶段引入目标域数据,直接缩小域间差异。贝叶斯对抗学习框架通过分布参数估计缓解过拟合;旋转增强无监督域自适应(RUDA)利用视线估计的旋转一致性约束,为目标域分配伪标签;即插即用自适应框架(PnP-GA)通过离群值引导的协同学习,在不修改原有网络架构的前提下实现跨域适配;对比回归自适应(CRGA)通过对比损失拉近相似视线方向的特征距离,进一步提升无标注目标域下的适应精度。
7. 未来工作
未来研究需重点突破跨用户、跨环境的鲁棒泛化能力,降低对大规模标注数据的依赖,通过自监督与半监督学习提升数据效率;加强时序动态建模,开发适配资源受限设备的轻量化实时架构;推动视线估计与头部姿态、场景上下文的多模态融合,支撑更复杂的人机交互系统;构建更多样化的自然场景数据集,覆盖极端光照、姿态与人群特征,完善鲁棒性评估体系。
8. 结论
该综述系统梳理了视线估计从传统模型驱动到数据驱动的深度学习方法演进,分析了各技术路线的核心原理、优势局限与发展节点。研究表明,深度学习已显著提升视线估计在无约束环境下的精度与鲁棒性,但跨域泛化、数据依赖与实时部署仍是制约实际应用的核心瓶颈。综述整合了当前领域知识体系,为后续研究提供了结构化参考,将推动智能人机交互、辅助驾驶及沉浸式媒体等领域的实用化发展。