《Sensors》:Prompt-Controlled Multi-Modal Tuning for Person-Specific Few-Shot Micro-Expression Recognition
编辑推荐:
微表情识别(Micro-expression recognition,MER)是诸多多媒体应用(如媒体理解与人机交互)中一项颇具挑战性的步骤,因为它能够揭示人类真实的情感。然而,传统的MER往往忽略个体特定的面部细微差异,限制了其在实际应用中的泛化能力与个性化
微表情识别(Micro-expression recognition,MER)是诸多多媒体应用(如媒体理解与人机交互)中一项颇具挑战性的步骤,因为它能够揭示人类真实的情感。然而,传统的MER往往忽略个体特定的面部细微差异,限制了其在实际应用中的泛化能力与个性化适应性。本文提出了一种新颖的个体特定小样本MER基准,仅使用目标个体的图像/视频作为参考,以拓展MER的泛化边界与个性化适应能力。为应对该基准,研究提出了一种提示控制的多模态调优(Prompt-Controlled Multi-Modal Tuning,PCMMT)框架。在PCMMT中引入了一个提示瓶颈(prompt bottleneck)机制,利用文本提示和CLIP多模态嵌入空间来桥接查询与参考视觉输入。该提示瓶颈还控制跨模态的信息流动,以提取个体特定的细微微表情运动。此外,在层级上设计了适配器组(adapter groups),分别微调多模态标记以细化个体特定线索并增强泛化能力。实验结果表明,所提出的个体特定小样本设置相比传统MER设置实现了更好的个性化泛化,且PCMMT在多种MER基准上均优于以往的最先进模型。
微表情识别(Micro-expression recognition,MER)是情感计算中一项具有挑战性的基准任务,旨在对视频序列中的细微、短暂面部表情进行分类。微表情是短暂、不自主的面部运动,能够揭示隐藏的情绪。与明显的宏观表情相比,其短暂、细微的特性使其难以被检测,但因其能揭示真实情绪状态而极具价值,在媒体生成、理解与人机交互等领域具有广泛应用。近年来,MER研究已从早期基于手工特征的方法转向深度学习架构,特别是基于Transformer的方法能够建模不同面部区域和视频帧之间的长程依赖关系。然而,仍有两个问题亟待解决:一是小数据问题,样本量有限限制了泛化能力,且需要心理学家进行人工标注;二是个体特定表情问题,传统方法仅捕获非泛化特征,无法动态识别个体差异。
为解决上述挑战,研究人员提出了一种新颖的个体特定小样本MER基准,旨在仅使用包含目标个体的单一参考样本来识别动态、个体特定的微表情。在实际应用(如人机交互和机器人)中,用户可轻松提供照片或短视频作为参考样本。基于该样本,可以学习大量个体相关信息(如面部结构、性别和年龄),从而灵活识别用户的微表情。没有此参考,传统MER只能学习静态的微表情特征。同时,传统小样本学习主要旨在增加类别多样性。为实现新基准任务并使当前MER更具实用性,研究人员设计了提示控制多模态调优(PCMMT)方法。该方法首先引入提示瓶颈机制,通过文本线索选择性地将参考样本中的个人信息注入查询,使模型捕获相关微表情线索并避免信息混淆。此外,采用一组模态感知适配器将冻结的CLIP骨干网络适应到MER领域,从而优化个人特征表示并减少跨模态信息杂乱。大量实验验证了所提基准设置和PCMMT框架的有效性。
在相关工作方面,研究人员回顾了微表情识别、小样本学习以及视觉-语言大模型的研究进展。微表情识别由于持续时间极短(通常小于0.5秒)和细微低强度的面部运动而比传统面部表情分析更具挑战性。深度学习方法如3D卷积神经网络、双流网络以及循环神经网络已被广泛用于捕获时空模式。为应对弱运动信号,研究引入了Eulerian视频放大(EVM)、面部关键点引导的注意力机制以及混合方法。小样本学习方面,元学习和度量学习是主流方法,如原型网络(Prototypical Network)、关系网络(Relation Network)、DeepEMD等。研究人员指出,人的多样性是MER的关键挑战,受原型学习启发,提出了个体特定小样本基准,将每个主体的参考视为个体特定原型,用于校准查询特征。视觉-语言大模型如CLIP通过对齐视觉和文本模态提供了丰富的语义先验,但直接应用于细粒度任务如MER仍具挑战,参数高效微调(PEFT)策略如适配器、提示调优和LoRA成为重要手段。
研究人员构建了个体特定小样本设置,与传统N-way K-shot不同,仅提供一个参考样本来定义该个体,并识别该个体的多种微表情类别。在数据集处理上,研究人员利用传统MER数据集,为每个受试者选取一个样本作为参考,通常推荐中性表情,因为没有微表情运动的帧更易获取且更符合实际应用场景。同时确保参考和查询不来自同一视频,避免数据泄漏。相比普通小样本学习,所提基准关注跨主体泛化,通过个体特定参考样本使模型适应任何个体,不存在年龄、性别或文化偏差。
PCMMT方法包括四个主要步骤:数据预处理(CLIP视觉分词器和文本编码器)、CLIP视觉编码器特征提取、提示瓶颈模块控制信息流、适配器组实现参数高效微调。输入为查询样本、定义个体的参考样本以及预定义文本提示。由于CLIP仅接受图像输入,利用排序池化(rank pooling)将视频转换为动态图像以保留时间运动信息。文本提示设置为关键MER元素描述,如“运动”、“眼睛”和“嘴巴”,经文本编码器嵌入后通过全连接层投影到视觉特征空间。可学习的分类标记与查询、参考和提示标记拼接后输入CLIP ViT视觉编码器,通过适配器组和提示瓶颈(注意力掩码)提取个体特定信息,最终由分类头预测微表情标签,使用交叉熵损失优化。
提示瓶颈模块通过控制从参考到文本提示再到查询的信息流,使文本提示充当信息瓶颈,过滤参考信息后再传递给查询,防止参考与查询直接信息流动。其优点在于提取个体特定MER信息并确保参考嵌入标记不受无关信息污染。设计的注意力掩码允许提示从参考和查询检索信息,但查询不能直接从参考获取信息,参考标记只能关注自身,从而保持参考的纯净性。适配器组采用两层MLP作为轻量适配器,通过残差连接插入冻结的CLIP视觉编码器,仅优化适配器参数。针对不同模态使用不同适配器:视觉标记(查询和参考)共享一个适配器,文本标记使用另一个适配器,分类标记不使用适配器因其本身可学习。
实验在SMIC和SAMM两个广泛使用的微表情数据集上进行。SMIC包含164个样本、16名受试者和三类标签;SAMM包含159个样本、29名受试者和五类标签。采用受试者独立的留一受试者(LOSO)协议,确保训练和测试无受试者重叠,评价指标为准确率和F1分数(均值±标准差)。实现细节上采用预训练CLIP-ViT-B/16作为视觉模型,适配器为512隐藏单元的两层MLP,文本提示默认使用“motion”、“eye”和“mouth”,使用AdamW优化器,余弦退火调度,共500轮,批大小16,总可训练参数仅0.005M,在NVIDIA 4090 GPU上运行。
主要结果方面,与Off-ApexNet、I3D-MOCO、SRMCL和LTR3O等方法比较,在个体特定小样本设置下,Off-ApexNet和SRMCL的准确率和F1分数均高于其朴素版本,验证了所提设置的有效性。PCMMT在SMIC上比SRMCL+Proto准确率高7.92%,在SAMM上准确率高5.88%,且标准差更小(SMIC上0.89%,SAMM上1.61%),表明性能更稳定。与之前最先进方法LTR3O相比,PCMMT在SMIC上准确率提升6.09%,在SAMM上F1分数提高0.044。
消融研究从多方面验证了各设计的有效性。提示瓶颈设计上,仅提示或仅瓶颈分别带来0.8%的准确率提升,两者结合则提升3%,说明统一设计更优。适配器组设计上,对不同模态使用不同适配器效果更好,且分类标记不需要适配器。提示选择方面,MER特定提示(“motion”、“eye”、“mouth”)优于通用提示和区域提示,因为它们能引导从参考中检索相关信息。置信区间比较显示,PCMMT的95%置信区间宽度在SMIC上为0.94%,在SAMM上为1.28%,比其他方法更窄,表明跨折变化更小。可视化结果中,随着各组件引入,正确类别的预测置信度逐渐提高(基线0.518提升至PCMMT的0.880),Grad-CAM热图显示PCMMT更准确地聚焦于与微表情变化相关的判别性面部区域。
研究结论指出,所提出的个体特定小样本MER基准通过简单添加参考样本扩展了MER的边界,有益于多媒体生成、理解、人机交互和服务机器人等应用。PCMMT创新性地设计了提示瓶颈和适配器组,提示瓶颈利用文本桥接视觉查询和参考并控制信息流以提取个体特定特征,适配器组有效微调多模态参数并保证计算效率。实验证明了两者的有效性。未来将设计更精确的框架以解决现实世界中的MER问题。