blenderFaceUV:迈向基于“隐形”标记的面部追踪精度与灵活性研究

《Psychophysiology》:blenderFaceUV: Toward Marker-Based Precision and Flexibility in Facial Tracking With “Invisible” Markers

【字体: 大 中 小 】 时间:2026年09月23日 来源:Psychophysiology 3.2

编辑推荐:

  blenderFace是一种高度精确的基于标记的面部活动测量方法。与大多数依赖固定自然标记的基于相机的自动面部表情识别(automatic facial expression recognition, AFER)系统不同,blenderFace能够通过涂绘标记

  
blenderFace是一种高度精确的基于标记的面部活动测量方法。与大多数依赖固定自然标记的基于相机的自动面部表情识别(automatic facial expression recognition, AFER)系统不同,blenderFace能够通过涂绘标记灵活地追踪几乎任何感兴趣的点。然而,可见标记(如肌电(electromyography, EMG)电极)可能改变外观、增强自我意识,并影响面对面互动中的自发性反应。为解决这些局限,研究人员引入了blenderFaceUV,该方法使用仅在紫外(ultraviolet, UV)光(365 nm)下可见的防晒霜基底标记。在研究1中,研究人员通过对两名参与者进行平行的可见光和UV录制,评估了UV标记的追踪精度。在研究2中,研究人员考察了blenderFaceUV在N=18名被提示使用常见情绪词汇产生广泛面部运动的外行参与者中的可扩展性,并将相同面部运动下blenderFaceUV与OpenFace(一种基于点分布模型(point distribution model, PDM)的广泛使用的AFER系统)的测量结果进行了比较。研究1表明,UV标记能够以与可见标记相近的高精度被追踪(重投影/求解误差<0.3像素)。在10个标记、两名参与者、每名参与者超过3800次测量时点的情况下,可见标记与UV标记在x、y坐标上的平均相关为r=0.957,而中心化后的均方根误差(root mean squared error, RMSE)显示平均偏差约为1 mm。研究2证明了该方法的可扩展性,并揭示了OpenFace测量中与PDM相关的伪影,特别是在眨眼和大幅口部运动期间。PDM插值的地标(如上唇标记)也明显偏离于基于标记的blenderFaceUV测量结果。实际挑战仍然存在,包括隐形标记涂布的复杂性以及UV相机相对较高的成本(约2000–6000美元)。研究人员讨论了实施blenderFaceUV的技术要求、局限性以及推荐的工作流程。
### 论文解读:blenderFaceUV——面向隐形势标记的高精度面部追踪方法

#### 一、研究背景与问题

面部肌肉活动的测量在情感科学、心理生理学和社会神经科学中占据核心地位。面部反应为理解情绪、动机和人际过程提供了重要线索。长期以来,面部肌电(electromyography, EMG)因其优越的时间分辨率和敏感性被视为实验室研究的“金标准”,但其电极只能放置在皮肤上的有限位置,且存在“串扰”问题,即检测到的电活动并非来自记录电极附近的目标肌肉。此外,EMG需要高质量放大器与电磁屏蔽实验室,设备成本高且可及性较低。更为关键的是,EMG电极和线缆需直接附着于参与者面部,这使EMG本质上是侵入性的,会增强自我意识和反应性,尤其在面对面互动场景中尤为突出。

与无标记的自动面部表情识别(automatic facial expression recognition, AFER)算法(如OpenFace)相比,blenderFace方法(Zinkernagel等,2019)不受限于检测自然面部地标(如嘴角),而是通过涂绘标记灵活加入任意感兴趣的点,并实现亚毫米级测量精度。然而,blenderFace所采用的可见黑色标记在二元互动中仍可能显得突兀,意识到面部被标记可能使参与者改变自发的表情行为。此外,可见标记还可能干扰AFER算法的地标检测性能,从而限制与无标记算法进行公正比较的外部效度。为此,研究人员开发了blenderFaceUV,一种使用仅在紫外光(ultraviolet, UV,320–380 nm)下可见的防晒霜标记的新方法,旨在将基于标记的直接追踪精度与视觉上不显眼的记录方式结合起来。

#### 二、研究内容与主要结论

研究1(N=2)旨在对blenderFaceUV进行初步验证,比较其UV标记与原始可见blenderFace标记的追踪表现。研究人员同时使用普通网络摄像头(记录可见光范围,≈380–700 nm)和UV敏感相机(320–380 nm)进行平行录制,确认防晒霜标记在可见光谱中不可见,并直接比较两种标记的测量一致性。结果显示,UV标记与可见标记的平均相关性高达r=0.957(跨所有标记、轴线和情绪提示片段),中心化后的平均RMSE约为1 mm,表明两种标记在去除恒定空间偏移后运动轨迹高度吻合。研究2(N=18)进一步检验了blenderFaceUV在更大样本中的可扩展性,并将其测量结果与OpenFace(一种基于点分布模型(point distribution model, PDM)的广泛使用AFER系统)进行对比。结果表明,blenderFaceUV能够可靠采集全脸55个标记的运动数据,追踪精度(求解误差<0.3像素)与原blenderFace方法相当;与OpenFace的比较则揭示了PDM相关伪影会对测量产生明显干扰。

#### 三、关键技术方法

研究1招募了德国伍珀塔尔大学的两名女性参与者,研究2招募了德国凯泽斯劳滕-兰道大学(RPTU)的31名学生(排除13名后最终纳入18名,平均年龄22.5岁,66%为女性)。记录系统包括Logitech C920可见光网络摄像头与XNiteUSB8M-MNCUVL紫外线敏感相机(配Llewellyn Optics熔融石英透镜,对320–380 nm紫外线透明),两摄像头上下叠加,视角差约2.29°,并以3000 K色温UV LED泛光灯或黑光荧光管提供UV照明。视频数据通过FFmpeg采集,双机以网络时间协议(NTP)同步。参与者按要求模仿特定面部动作单元(Action Unit, AU,共8种,每种3次),并使用5种情绪词汇(快乐、悲伤、恐惧、厌恶、愤怒)进行提示性表情表达。数据分析遵循blenderFace标准流程:追踪头部参照标记、采集个体面部表面模型、追踪目标标记、使用blenderFace R包进行伪影筛查和异常值剔除。OpenFace分析使用标准参数对可见光视频进行处理,并通过“transformOFcoords()”函数消除头部运动影响,最终按帧、情绪和参与者将两套数据合并比较。

#### 四、研究结果

**1. 研究1:可见标记与UV标记的一致性与精度**:通过计算每名参与者在10个标记位置上x、y轴的皮尔逊相关,并经Fisher z转换聚合后得到平均r=0.957;剔除恒定空间偏移后的中心化RMSE降至约1 mm,说明两类标记测量的运动轨迹高度一致,差异主要源于绝对空间位置而非运动形态。

**2. 研究2:blenderFaceUV的可扩展性与面部运动可视化**:UV标记在普通可见光录像中完全不可见(仅呈现极淡的蓝色调),而在UV录像中清晰可辨。Blender求解误差低于0.3个像素,与原始blenderFace精度一致。对18名参与者5种情绪提示的追踪结果以图示化方式展现了各标记点的运动轨迹与方向分布,表明blenderFaceUV能够灵敏地捕捉微妙和大幅度面部运动。

**3. 研究2:与OpenFace测量的比较与PDM伪影**:配对比较采用7对对应标记(BL2/21、BR2/22、CL7/48、BL7/49、A7/51、BR7/53、CR7/54)的x、y轴数据。结果表明,运动幅度越大(如快乐、厌恶),OpenFace与blenderFaceUV的相关性越高;而运动较小时(如悲伤、愤怒、恐惧)对应性较差。负相关(最低r=?0.94)主要源于两类PDM伪影:(a)插值性地标(如51号标记的x轴为上唇中心点,由两嘴角中点插值而来),不对称口部运动会造成系统性偏差;(b)眨眼或大幅口部运动使整个PDM发生形变转移,如眨眼在22_Y上造成最高至约3 mm的伪运动。这些发现表明,PDM式方法会平滑并低估快速大幅面部动态,直接标记追踪则提供了更精确的替代方案。

#### 五、总结讨论与结论

本研究表明blenderFaceUV是原blenderFace工具包的有效扩展,在保持亚像素级追踪精度的同时实现了视觉不显眼的稳定记录。该方法特别适用于测量装置本身可能影响行为的研究情境,如隐性或显性社会性研究、面部模仿研究及细微动态面部表情的测量。与EMG相比,blenderFaceUV具有更轻的设备负担,无电缆拖拽或电极对皮肤的摩擦,且标记数量增加几乎不增加耗材成本。但当前版本仍存在技术挑战:防晒霜标记的涂布需要额外练习且错误率较高;UV相机及透镜成本约2000至6000美元,虽一次投入与EMG设备相当,但仍构成门槛。此外,研究未直接测量参与者自我意识降低或行为自然度提高程度,这一结论有待未来面对面互动研究验证。最终,研究人员认为blenderFaceUV是心理生理学实验室研究中富有前景的新工具,不仅可作为不同AFER算法之间进行性能基准比较的几何参照基础,还可用于“三角互证”EMG测量与AFER测量,为弥合地标式面部活动测量与数十年心理生理学研究成果之间的鸿沟提供了可行路径。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号