《Robotics》:Deep Learning-Based Gaze Estimation: A Review
Ahmed A. Abdelrahman,
Basheer Al-Tawil and
Ayoub Al-Hamadi
编辑推荐:
视线估计(Gaze Estimation)是理解用户意图与增强人机交互(Human–Computer Interaction)的关键环节,随着深度学习技术的融合已取得显著进展。然而,深度学习在视线估计中的应用仍面临独特挑战,尤其是在模型适配与优化以实现精准视线
视线估计(Gaze Estimation)是理解用户意图与增强人机交互(Human–Computer Interaction)的关键环节,随着深度学习技术的融合已取得显著进展。然而,深度学习在视线估计中的应用仍面临独特挑战,尤其是在模型适配与优化以实现精准视线追踪方面。本文对基于深度学习的视线估计近期发展进行了系统性梳理,重点探讨了从传统方法到复杂外观(Appearance-Based)技术的演变历程。研究人员深入分析了成功视线估计系统的核心构成要素,包括输入特征处理、神经网络架构以及数据预处理在实现高精度中的重要性。通过对现有方法的全面对比,阐明了其在不同实施场景下的有效性与局限性。本系统性综述旨在整合该领域的现有知识,识别当前研究的空白,并为未来的探索指明方向。通过清晰概述视线估计的最新技术水平(State-of-the-Art),并讨论持续的挑战与潜在解决方案,本研究致力于激发进一步的创新,推动开发更精准、高效的视线估计系统。
1. 引言
视线(Eye Gaze)作为一种关键的非言语沟通线索,在理解人类意图、认知及行为方面发挥着至关重要的作用。其广泛应用于人机交互、机器人交互、驾驶员疲劳监测以及虚拟现实(VR)与增强现实(AR)体验优化等领域。视线估计技术的发展历程反映了计算机视觉领域的显著进步。早期研究可追溯至1879年对阅读过程中眼动模式的观察,随后经历了从侵入式机械接触设备到非侵入式光学眼动仪的转变。20世纪70年代,远程视线追踪技术兴起,实现了对用户正常活动的无干扰监测。尽管早期设备依赖特定硬件且受环境限制,但在2000年后,研究重点转向利用普通网络摄像头等商用传感器,通过提取手工特征(如几何与外观特征)映射到视线点或方向。2015年是该领域的转折点,深度学习技术的引入克服了光照、相机设置及眼头运动复杂关系带来的问题。然而,跨数据集的泛化能力仍是挑战,近期研究主要通过域泛化(Domain Generalization)与域适应(Domain Adaptation)策略来提升模型在不同环境与个体间的适应性。
2. 视线估计问题设定
视线估计的核心目标是确定视线方向,即瞳孔注视的方向。典型配置包含人类受试者、传感器与视觉平面。传感器分为侵入式与非侵入式,前者精度高但舒适度低,后者反之,常见类型包括头戴设备、红外相机、单目相机及RGB-D相机。准确的视线估计不仅需要追踪眼球运动,还需监测头部朝向,因为眼头运动存在协调性。视觉平面指视线落点的表面,即视线点(Point of Gaze, PoG),其与受试者的距离变化(如电脑屏幕约60cm、手机约20cm、车载环境约50cm)增加了系统设计的复杂性。关键校准因素包括相机内参标定、几何标定及个性化标定,以修正角膜曲率等个体差异。现代方法逐渐转向基于外观的特征以减少对显式标定的依赖。值得注意的是,视线估计捕捉的是外显视觉注意(Overt Visual Attention),即视线与注意力一致的部分;而内隐注意(Covert Attention)则不涉及眼动,因此视线方向仅反映眼睛的物理朝向,而非完整的认知注意状态。
3. 传统视线估计方法
传统方法直接从相机图像映射至视线方向,主要分为三类:
- •
3.1 基于模型的方法(Model-Based): 利用眼球解剖学结构,主要包括椭圆虹膜边界模型与球形眼球模型。前者通过拟合二维虹膜轮廓椭圆投影回三维圆形以确定视线,但易受眼睑遮挡影响;后者通过确定三维空间中的瞳孔位置与眼球中心连线来预测视线,常借助面部关键点或头部追踪技术,但眼球三维中心的精确定位仍存在不确定性。
- •
3.2 基于特征的方法(Feature-Based): 侧重于识别输入图像中的特定关键点,如瞳孔中心与角膜反射点(Pupil Center-Corneal Reflection, PC-CR)或瞳孔中心与眼角(Pupil Center-Eye Corner, PC-EC)。这些回归方法对环境变化具有一定鲁棒性,但特征点在极端姿态或遮挡下的准确定位是主要挑战。
- •
3.3 基于外观的方法(Appearance-Based): 避免了特定特征点的跟踪难题,直接对整张眼部图像像素进行特征空间变换并映射至视线方向。早期方法多针对特定个体进行训练,需要耗时标定。后续研究引入了半监督学习、跨个体训练及合成数据策略,特别是大规模多视角数据集(如MPIIGaze)的建立,推动了无需个体标定的跨人视线估计的发展。
4. 基于深度学习的视线估计方法
深度学习,尤其是卷积神经网络(CNN),有效解决了传统外观方法中个体差异与环境变化的挑战。
- •
4.1 输入特征: 根据输入模态分为三类:(a) 仅使用眼部图像,利用单眼或双眼的局部细节;(b) 结合眼部与面部图像,利用面部信息编码头部姿态,通过多流网络融合特征;(c) 仅使用全脸图像,简化流程并利用人脸整体结构信息,但对细微视线特征的提取更具挑战性。
- •
4.2 代表性模型:
- •
CNN模型: 主流架构,涵盖监督学习(如LeNet、AlexNet、VGG、ResNet及专用设计)与弱/半/自/无监督学习范式,以应对标注数据稀缺问题。
- •
时序模型(Temporal Models): 利用GRU、LSTM及Bi-LSTM捕捉视频序列中的动态相关性,显著提升连续视线预测的准确性,尤其在复杂头动与目标追踪场景中。
- •
生成/Transformer模型: 生成对抗网络(GAN)用于特征解耦、图像增强及无监督表征学习;Vision Transformer(ViT)架构(如GazeTR-Pure与GazeTR-Hybrid)通过全局上下文建模提升了特征提取能力。
- •
轻量级模型(Lightweight Models): 针对移动端部署,采用深度可分离卷积、胶囊网络(Capsule Network)、频域特征提取(如FR-Net)等技术,在保证精度的同时大幅降低计算复杂度。
- •
4.3 验证: 常用数据集包括实验室环境下的CAVE、MPIIGaze,以及真实环境下的GazeCapture、Gaze360、ETH-XGaze等。评估指标主要采用三维视线方向的角误差(Angular Error)与二维视线点的欧氏距离(Euclidean Distance)。
5. 深度学习适配
为解决模型在未知域(新环境、新用户)的性能下降问题,主要采用两种策略:
- •
5.1 域泛化(Domain Generalization): 仅利用源域数据提升模型对未见目标域的泛化能力,如PureGaze框架通过对抗学习剔除光照、身份等与视线无关的特征。
- •
5.2 域适应(Domain Adaptation): 在训练过程中引入目标域数据。方法包括贝叶斯对抗学习、旋转一致性约束(Rotation-Enhanced Unsupervised Domain Adaptation, RUDA)、即插即用适配框架(PnP-GA)以及对比回归适应(Contrastive Regression Gaze Adaptation, CRGA),旨在缩小源域与目标域的分布差异,减少对目标域标注的依赖。
6. 未来工作与结论
未来研究应聚焦于提升模型在多样用户与环境下的泛化能力,减少对大规模标注数据的依赖(通过自监督与半监督学习),加强时序动态建模,开发适用于资源受限设备的轻量级架构,并将视线估计融入多模态感知框架。总体而言,深度学习已显著推动了视线估计向无约束环境发展,但在跨域泛化、数据效率与实时部署方面仍需突破。本综述整合了该领域的最新进展,为智能人机交互系统的研发提供了结构化参考。