《Neurocomputing》:E-SpikePT: Energy-efficient event-based eye tracking with spiking neural networks and knowledge distillation
编辑推荐:
事件驱动眼动追踪通过异步神经形态传感器实现高分辨率低功耗视觉感知,但传统方法依赖计算密集型人工神经网络(ANN),导致系统级能耗居高不下。本文提出E-SpikePT框架,整合脉冲神经网络(SNN)与知识蒸馏策略,通过SRTD模块(短时脉冲时空特征提取)与STD模块(结合GRU与Mamba的脉冲时序建模)实现分层计算,在保持3ET+数据集上1.56 MSE精度的同时将能耗降至0.049mJ。
作者:Byeongjun Kang、Junho Kim、Dongwoo Kang
韩国首尔弘益大学电子与电气工程学院,邮编04066
摘要
基于事件的眼动追踪技术利用神经形态传感器的异步特性,实现了高速且低功耗的视觉感知。然而,大多数现有方法仍然依赖于计算密集型的人工神经网络(ANN),这限制了系统在推理过程中的能效。在本文中,我们提出了E-SpikePT,这是一种高效的基于事件的眼球追踪框架,它将脉冲神经网络(SNN)与知识蒸馏技术相结合。我们的架构包括一个用于短期时空特征提取的脉冲残差时序动态(SRTD)模块,以及一个结合了GRU和基于Mamba的状态空间建模与参数化泄漏积分-放电(PLIF)神经元的脉冲时序动态(STD)模块。为了减轻SNN中常见的性能下降问题,我们引入了一种针对眼球追踪的坐标感知知识蒸馏策略,该策略能够在不增加额外推理开销的情况下,将高容量ANN教师模型的空间精度传递给SNN学生模型。在两个基于事件的眼动追踪基准测试SEET和3ET+上的广泛实验表明,E-SpikePT实现了具有竞争力的追踪精度(在3ET+上的均方误差为1.56 mJ),同时显著降低了功耗。
引言
眼动追踪技术已成为许多应用领域中的关键组成部分,包括人机交互(HCI)[1]、增强现实(AR)和扩展现实(XR)[2]、[3]、[4]、机器人技术[5]、[6]、心理学和认知研究[8]、[9]以及可穿戴系统[10]。这些系统通常部署在资源有限或物理分离的环境中,因此传感器和算法的低功耗设计非常重要。此外,人类的扫视动作非常短暂,通常持续20-100毫秒,并且可以达到高达700米/秒的最大速度[11]。因此,开发快速、准确且节能的眼球追踪算法和相机系统在严格的功耗限制下可靠运行至关重要。
与传统的基于帧的相机不同,事件相机是异步传感器,它们以事件流的形式报告每个像素的亮度变化[12]、[13]。这种事件驱动的感测方式实现了微秒级的时间分辨率,大大减少了标准相机在快速运动中常见的运动模糊[14]、[15]。此外,由于事件仅在亮度变化时生成,事件传感器可以在低功耗下运行,同时提供高动态范围,从而在极亮或极暗的照明条件下保持稳定的感测。由于这些优势,事件相机在各种计算机视觉和机器人应用中得到了越来越多的采用[16]、[17]、[18]。然而,与基于帧的相机相比,事件相机通常提供有限的空间分辨率和稀疏的空间信息,这使得提取传统深度学习流程所依赖的丰富外观特征变得具有挑战性。对于眼球和瞳孔追踪来说,这一挑战更加突出,因为这些动作极其快速且细致[11]。
最近关于基于事件的眼动追踪的研究重点在于利用事件相机的固有优势,如稀疏的事件流、高时间分辨率和高动态范围。值得注意的是,TENNs[19]引入了一种因果时空网络,以确保计算效率的同时保持事件数据的高时间分辨率。MambaPupil[20]通过CNN提取空间特征,并结合双向门控循环单元(GRU)[21]和线性时变状态空间模块(LTV-SSM),对复杂眼球运动的时间上下文进行了精细建模。同时,TDTracker[22]利用3D CNN捕捉眼球运动的短期动态,而GRU和Mamba[23]用于长期模式分析,从而通过生成预测热图来提高追踪精度。
虽然之前的基于事件的眼动追踪方法使用低功耗传感器实现高速感知,但大多数方法在推理过程中仍然依赖于计算密集型的人工神经网络(ANN)模型。这种依赖大大降低了事件相机提供的系统级功耗优势,尤其是在电池受限的边缘设备上。为了充分利用事件相机的低功耗潜力,推理模型本身也必须具有能效。脉冲神经网络(SNN)通过模拟生物神经处理过程提供了一种有前景的解决方案,其中神经元仅在膜电位超过阈值时通过稀疏脉冲进行通信,从而减少了冗余计算[24]、[25]、[26]。因此,SNN在超低功耗和低延迟视觉任务中受到了越来越多的关注[27]。然而,训练SNN仍然具有挑战性,因为脉冲生成是不可微分的,这使得基于梯度的反向传播变得困难[28]。此外,许多基于SNN的方法与传统ANN相比仍存在性能差距,这激发了在事件驱动感知系统中平衡精度和能效的持续研究。
为了解决这些挑战,我们提出了一种新颖的基于SNN的混合眼球追踪框架E-SpikePT。虽然TDTracker[22]在整个时间层次结构中使用密集的3D CNN、GRU和Mamba模块进行时空建模,但我们的设计通过提出的SRTD模块选择性地将脉冲计算引入短期时间建模阶段,该模块将参数化泄漏积分-放电(PLIF)神经元与残差3D卷积块相结合。对于长距离的时间依赖性,STD模块通过GRU桥在应用基于PLIF的脉冲之前保留了密集的特征转换。这种分层脉冲策略减轻了由脉冲量化引起的回归性能下降,同时显著降低了推理过程中的计算成本。在此设计的基础上,我们进一步引入了一种针对眼球追踪的知识蒸馏(KD)策略,以补偿回归过程中的脉冲引起的量化效应。通过使用专注于最小化坐标误差的专用损失函数,我们有效地将ANN教师模型的强大特征提取能力传递给了SNN学生模型,而无需任何额外的推理开销。因此,我们的框架在保持事件相机能效和低延迟优势的同时,实现了与传统ANN模型相当的精度(见图1)。我们提出的方法的主要贡献如下:
我们提出了一种用于边缘设备的混合SNN基事件眼球追踪框架E-SpikePT,将PLIF脉冲神经元集成到CNN-Mamba架构中,以实现能效高效的推理。
为了防止SNN精度下降,我们引入了一种特定于任务的知识蒸馏策略,并使用特定于眼球追踪的损失函数,将监督信息从ANN教师模型传递到学生模型以提高精度。
广泛的实验表明,所提出的方法在实现卓越精度的同时,在低功耗计算效率方面也取得了显著提升。
部分片段
基于事件的眼动追踪
为了有效利用事件数据的异步性、稀疏性和高时间分辨率,已经提出了多种基于事件的眼动追踪架构。基于ConvLSTM的方法使用循环结构共同建模时空信息,而CB-ConvLSTM[29]等变体通过仅传播隐藏状态变化来提高激活的稀疏性和计算效率。TENNs[19]和其他轻量级基于CNN的方法支持使用因果关系进行在线推理
整体框架
事件相机的原始输出是一系列异步事件
= (x_i, y_i, t_i, p_i)
其中x_i, y_i)表示像素位置,表示时间戳, ∈ {?1, +1}表示极性。一组事件表示为{e_i}n,其中表示事件数量。为了将转换为神经网络输入,我们采用了基于二进制映射的表示方法[56]。具体来说,该流首先被划分为具有固定分辨率的连续时间箱,从而产生一系列二进制事件帧。
数据集
在我们的实验中,我们在两个基于事件的眼动追踪数据集上评估了所提出的框架,即3ET+ [57]和SEET [29]。3ET+是一个使用DVXplorer Mini事件相机捕获的真实世界数据集,包含13名参与者的记录,每人贡献了2到6次记录会话。数据集的总大小约为9.2 GB,真实瞳孔注释的时间分辨率为100 Hz。
SEET是一个合成的基于事件的眼动追踪数据集
结论
在本文中,我们提出了E-SpikePT,这是一种结合了能效和追踪精度的混合SNN框架。通过使用基于Mamba的脉冲架构和坐标感知知识蒸馏技术,我们的模型有效减轻了SNN中固有的信息损失。实验验证表明,E-SpikePT在仅消耗0.049 mJ的功耗下,实现了与重型ANN模型相当的最先进精度,证明了其适用于资源受限的神经形态应用。
CRediT作者贡献声明
Byeongjun Kang:撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、方法论、形式分析、数据管理、概念化。Junho Kim:撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、方法论、形式分析、数据管理、概念化。Dongwoo Kang:撰写 – 审稿与编辑、撰写 – 原始草稿、监督、资源管理、项目管理、方法论、调查、资金支持
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
致谢
本工作得到了韩国政府(MSIT)资助的信息与通信技术规划与评估研究所(IITP)的资助(项目编号:RS-2024-00337012)的支持。
Byeongjun Kang于2024年从韩国首尔弘益大学电子与电气工程学院获得学士学位,目前正在攻读硕士学位。他的研究兴趣包括图像处理和计算机视觉领域,包括眼球追踪、脉冲神经网络以及图像到图像的转换。