基于静态先验迁移的运动补偿与尺度鲁棒动态面部表情识别
《Expert Systems with Applications》:Motion-Compensated and Scale-Robust Dynamic Facial Expression Recognition via Static Prior Transfer
【字体:
大
中
小
】
时间:2026年08月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
摘要 动态面部表情识别(DFER)在自然场景中是一项具有挑战性的任务,在情感计算和智能人机交互方面具有重要的应用价值。然而,它仍面临三个关键挑战:高质量视频数据有限、面部尺度变化显著以及无关头部运动造成的严重干扰。现有的端到端框架往往难以在数据受限和非受限的真实场景中学习鲁棒
摘要 动态面部表情识别(DFER)在自然场景中是一项具有挑战性的任务,在情感计算和智能人机交互方面具有重要的应用价值。然而,它仍面临三个关键挑战:高质量视频数据有限、面部尺度变化显著以及无关头部运动造成的严重干扰。现有的端到端框架往往难以在数据受限和非受限的真实场景中学习鲁棒的时空表征。为了缓解这些局限性,我们提出了一种通过静态先验迁移实现鲁棒DFER的框架,称为RSPT-DFER。所提出的方法将学习流程解耦为两个协同阶段:空间表征预训练和时空动态微调。在静态预训练阶段,我们开发了多尺度关键点引导提示器(MS-LGP),以将多粒度视觉特征与基于关键点的结构线索相结合,提高对面部尺度变化的鲁棒性并增强对细微和局部表情线索的捕捉。在动态微调阶段,我们引入了运动补偿适配器(MCA)和时序动态适配器(TDA)。MCA在特征提取之前执行光流引导的运动补偿,以减少头部运动引起的时序错位,而TDA捕捉面部表情特征在帧间的时间演化依赖关系。在三个基准数据集上的大量实验表明,RSPT-DFER在DFEW和FERV39k上取得了最先进的性能,在MAFW上取得了有竞争力的结果,同时在动态微调期间仅需少量可调参数。代码可在 https://github.com/yangshuang920/RSPT-DFER 获取。
引言 面部表情线索是人类情绪状态的重要表现,在日常社会交流中发挥着至关重要的作用。随着面部情绪分析技术在各种实际场景中的日益普及,从面部信号中识别情感状态引起了越来越多的研究关注。现有研究已在不同的应用场景中探索了面部表情分析,包括人机交互Liu等(2017)、医疗辅助Bisogni、Castiglione、Hossain、Narducci和Umer(2022)以及驾驶员安全监控Wilhelm(2019)。一般而言,面部表情识别(FER)可分为静态面部表情识别(SFER)和动态面部表情识别(DFER)。SFER旨在从单张面部图像中推断情绪,而DFER则专注于从连续帧或视频片段中识别情绪。尽管深度学习在RAF-DB Li、Deng和Du(2017)、AffectNet Mollahosseini、Hasani和Mahoor(2019)以及FERPlus Barsoum、Zhang、Ferrer和Zhang(2016)等数据集上的真实场景SFER方面取得了显著进展,但DFER在DFEW Jiang等(2020)、FERV39k Wang等(2022)和MAFW Liu等(2022)等真实场景数据集上的表现仍然有限。这种差距主要是由视频数据的规模有限和标注模糊、面部尺度变化显著、捕捉细微表情线索困难以及特征提取过程中头部姿态变化的干扰等因素造成的。
数据稀缺和标注模糊是DFER的主要挑战之一。大规模的SFER数据集通常收集自网络图像,而DFER数据集主要编译自电影、电视剧和网络视频。因此,可用的DFER样本数量远小于SFER数据集。例如,FERV39k Wang等(2022)作为最大的DFER数据集之一,包含38,935个视频片段,而大规模SFER数据集AffectNet Mollahosseini等(2019)提供了超过450,000张人工标注的面部图像。这种数据差距使得DFER模型难以从零开始学习鲁棒的时空表征。此外,视频级表情标注本质上比图像级标注更加模糊,因为动态表情可能逐渐演变并包含混合或过渡性的情绪状态。通过Fleiss kappa Fleiss(1971)衡量,DFEW Jiang等(2020)与FERPlus Barsoum等(2016)相比的标注者间一致性较低,进一步表明DFER标注具有更高的不确定性。
面部尺度变化和细微表情变化构成了另一个关键挑战。在自然视频中,由于相机距离、镜头构图、主体运动和头部姿态变化Zheng、Mendieta和Chen(2023),表观面部尺度可能发生变化。然而,主流空间骨干网络,如ResNet He、Zhang、Ren和Jian(2016)以及ViT Dosovitskiy等(2021),通常处理固定分辨率的输入,自适应捕捉多粒度面部表征的能力有限Vo、Lee、Yang和Kim(2020)。当面部以较小尺度出现时,精细的局部纹理线索可能会减弱;当面部以近景局部视图出现时,全局语义轮廓可能建模不足。此外,面部表情识别通常依赖于围绕局部区域的细微非刚性形变,如眼睛、眉毛和嘴角。纯粹的基于外观的模型若没有几何先验引导,可能难以捕捉这些局部表情线索,导致视觉上相似的类别之间决策边界模糊Jung、Lee、Yim、Park和Kim(2015)。因此,引入显式几何先验有助于引导模型关注表情敏感的局部面部区域。
头部姿态变化也是一个可能导致DFER性能下降的关键因素Li和Deng(2022)。一些正脸视图合成(FVS)方法试图通过重建正脸来归一化面部姿态,但可能会引入伪影并扭曲与表情相关的面部几何结构Allaert、Mennesson、Bilasco和Djeraba(2018)。这些伪影对面部表情识别尤为有害,因为细微的面部运动和局部几何细节对于表情识别至关重要。因此,与其重建正脸,更合适的策略是减少头部运动引起的时序错位,同时保留与表情相关的非刚性面部动态。
为应对这些挑战,我们提出了RSPT-DFER,一种通过静态先验迁移实现的鲁棒动态面部表情识别框架。1)为缓解数据稀缺和标注模糊问题,我们将从大规模SFER数据中学习到的空间表情先验迁移到DFER中。这使模型能够从丰富的静态面部表情表征中获益,同时降低在有限视频数据上过拟合的风险。2)为提高对面部尺度变化的鲁棒性并增强对细微局部表情线索的捕捉,我们设计了一个多尺度关键点引导提示器(MS-LGP)。它从精细的局部纹理到粗粒度的全局语义提取多粒度视觉特征,并引入基于关键点的几何先验来引导模型关注与表情相关的区域。3)为减轻无关头部运动的影响,我们引入了一个运动补偿适配器(MCA)。MCA使用光流估计相邻帧之间的运动,并在特征提取之前进行时序对齐,减少头部运动引起的空间错位,为基于外观和关键点的特征提取提供更稳定的基础。为验证所提出的RSPT-DFER框架的有效性,在三个公开基准数据集DFEW、FERV39k和MAFW上进行了全面的实验评估。如图1所示,我们的RSPT-DFER在所有三个数据集上均取得了最佳的UAR,同时保持了有竞争力的WAR性能。本工作的主要贡献总结如下:
- 提出了一种用于动态面部表情识别的静态-动态迁移学习框架。所提出的两阶段范式首先从大规模静态面部表情数据集中学习鲁棒的空间表情先验,然后将其迁移到动态视频领域进行时空表情建模。此外,引入了时序动态适配器,以高效地赋予静态预训练模型时序推理能力,用于动态表情建模。该框架缓解了DFER中的数据稀缺问题,并学到了更具判别力的动态表情表征。
- 提出了一种多尺度关键点引导提示器,以增强尺度鲁棒和细粒度的面部表情表征。通过将基于关键点的几何先验与多尺度视觉特征相结合,MS-LGP引导模型关注与表情相关的局部区域。同时,多尺度融合策略既从高分辨率表征中捕捉精细的局部纹理,又从低分辨率表征中捕捉全局语义轮廓,提高了对面部尺度变化的鲁棒性,并增强了对细微和局部表情线索的捕捉。
- 设计了一种运动补偿适配器,以减轻动态面部表情视频中头部运动引起的时序错位。MCA将光流作为几何引导,在特征提取之前进行双向时序对齐。具体来说,相邻帧信息被扭曲到当前帧的坐标空间中,并通过残差块进行细化,使得前向和后向的时序信息能够被聚合。这样,MCA减少了无关的刚性头部运动,同时保留了与表情相关的非刚性面部动态。
本文的组织结构如下:第2节回顾了DFER领域的背景和相关工作。第3节详细描述了RSPT-DFER的技术实现,具体说明了MS-LGP、TDA和MCA组件的工作原理。为验证我们方法的有效性,第4节报告了在多个公开数据集上的大量实验结果,包括与最先进方法的比较、消融实验和可视化分析。第5节总结了本文的主要发现,讨论了当前的局限性,并概述了未来的研究方向。
章节摘要
用于DFER的端到端时空建模
随着深度学习的快速发展,DFER研究已从早期的手工特征提取方法演进到端到端深度神经网络方法。早期方法通常采用3D CNN,如C3D Tran、Bourdev、Fergus、Torresani和Paluri(2015)以及I3D Carreira和Zisserman(2017),来联合捕捉空间和时序特征,或者采用级联的"CNN+RNN"架构,使用LSTM Hochreiter和Schmidhuber(1997)或GRU Chung、Gül?ehre、Cho和Bengio(2014)来建模...
方法学
鉴于DFER中现有的挑战,包括数据采集困难和样本质量不一致,本文提出了一个集成了静态增强和动态学习的两阶段训练框架(见第3.1节)。通过利用静态面部表情先验知识,所提出的框架弥补了动态识别中的性能缺陷,并提升了整体识别准确率。在第一阶段,ViT骨干网络和MS-LGP模块在...上进行训练。
数据集
预训练数据集:通过大量消融实验,最终选择AffectNet-7作为本研究中SFER的核心预训练数据集。作为最大的现有SFER数据集,它包含超过一百万张从互联网爬取的图像和超过450,000个人工标注样本,涵盖了野外环境中多样的姿态、遮挡和光照条件。其样本多样性显著优于RAF-DB和FERPlus等同类数据集,赋予模型...
结论与未来工作
本文提出了一种名为RSPT-DFER的鲁棒动态面部表情识别框架,旨在系统性地解决自然场景中的三个核心挑战:视频数据稀缺、尺度剧烈变化以及头部运动干扰。该方法建立了一个两阶段迁移学习范式,利用大规模静态数据集AffectNet-7进行空间表征预训练,以弥补动态视频数据规模有限的不足。在模型架构方面,...
作者贡献声明
Shuang Yang:概念化、方法学、验证、可视化、初稿撰写。
Hong-Mei Sun:概念化、方法学、审阅与编辑。
Shuo Feng:数据整理、调查研究。
Qing Sun:资源获取、调查研究、审阅与编辑。
Rui-Sheng Jia:资金获取、监督、审阅与编辑。
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系,这些可能影响本论文报告的工作。
Shuang Yang | Hong-Mei Sun | Shuo Feng | Qing Sun | Rui-Sheng Jia
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号