基于Mamba融合适配器和帧级特征排列的参数高效音视频动态面部表情识别

《Sensors》:Parameter-Efficient Audio-Visual Dynamic Facial Expression Recognition with Mamba Fusion Adapters and Frame-Level Feature Arrangement

【字体: 大 中 小 】 时间:2026年08月27日 来源:Sensors 4.0

编辑推荐:

  动态面部表情识别(DFER)近期因其在实现富有同理心及与人类兼容的技术中的关键作用而引起了广泛关注。开发在野外变化下保持鲁棒的模型是DFER研究及其实际应用的主要动机。通过多模态学习(利用音频和视频数据获得更丰富、互补的表示)来改进模型是一个有前景的方向。然而

  
动态面部表情识别(DFER)近期因其在实现富有同理心及与人类兼容的技术中的关键作用而引起了广泛关注。开发在野外变化下保持鲁棒的模型是DFER研究及其实际应用的主要动机。通过多模态学习(利用音频和视频数据获得更丰富、互补的表示)来改进模型是一个有前景的方向。然而,现有方法仍然严重依赖模态特定编码器和粗粒度内容级对齐,这阻碍了它们捕捉细粒度情感语义和动态跨模态交互的能力。为了解决这一问题,研究人员采用参数高效微调(PEFT)来促进音视频交互。该策略具有以下关键优势:(1)冻结参数保留了上游预训练知识,确保模型仅专注于学习音视频交互和模态融合模块;(2)在每个编码器层插入一个Mamba融合适配器(MFAdapter),对帧对齐的令牌序列执行因果的、音频条件化的融合,实现具有线性复杂度的高效多级跨模态注入;(3)引入帧级特征排列(FFA)策略,作为一种确定性的基于索引的排列方案,将音频令牌以视频帧率排列,为MFAdapter中的因果扫描提供帧索引的时间先验;FFA减少但不消除粗粒度的片段级错配,且不声称是经过验证的帧级同步。值得注意的是,在更新2.7%(470万)模型参数的情况下,该方法在DFEW和MAFW上取得了具有竞争力的性能,在MAFW上所有比较方法中取得了最佳WAR(58.70%),在DFEW上根据官方五折交叉验证协议取得了76.62%/65.25%(WAR/UAR)。
### 论文解读文章

#### 研究背景与动机

动态面部表情识别(DFER)旨在通过视频序列分析表情的时间演变,在情感计算中具有重要应用价值。早期研究依赖实验室控制数据集,无法捕捉真实世界的复杂性。随着DFEW、MAFW等野外数据集的出现,研究得以推进,但视频单模态方法在低光照、遮挡等条件下仍易错过细微线索。多模态融合(如音频与视觉互补)成为提升鲁棒性的方向,但现有方法存在三方面问题:第一,传统预训练-微调范式在数据稀缺时可能覆盖模态特定知识;第二,多数融合机制依赖简单拼接或时序Transformer,无法建模细粒度同步;第三,特征对齐多为粗粒度(片段级或层级),导致时间错配。为此,研究人员提出一种参数高效(PEFT)的音视频融合框架,结合Mamba的高效序列建模能力,旨在实现细粒度、低参数量的跨模态交互。

#### 研究内容与结论

研究人员在《Sensors》上发表了该项工作,核心贡献包括:提出帧级特征排列(FFA)策略,以确定性索引方式将音频令牌按视频帧率组织,为后续因果扫描提供时间先序;设计Mamba融合适配器(MFAdapter),在每对编码器层之间插入,对帧对齐的音频-视频令牌序列执行因果选择性扫描,实现线性复杂度的音频条件化视觉适应;整个框架冻结预训练编码器(AudioMAE与MAE-Face),仅训练约2.7%(470万)参数,在DFEW和MAFW数据集上取得竞争性性能。在DFEW上实现76.62% WAR/65.25% UAR,在MAFW上实现58.70% WAR/43.66% UAR,其中MAFW的WAR为所有比较方法中最高。实验证明,该参数高效设计不仅降低训练成本,还通过隐式正则化提升对少数类情感的识别平衡性。

#### 主要关键技术方法

研究人员采用两个公开的预训练ViT-Base编码器:AudioMAE(基于AudioSet预训练)和MAE-Face(基于AffectNet预训练),均冻结参数。核心方法包括:(1)帧级特征排列(FFA),将音频令牌按视频帧索引进行确定性子分组,每个视频帧对应约4个音频补丁(640ms跨度),提供帧索引时间先序;(2)Mamba融合适配器(MFAdapter),插入在每层编码器之间,先将音频与视频令牌投影至隐含维度64,再按音频-视频顺序拼接,通过因果Mamba选择性扫描实现音频条件化融合,最后恢复维度并添加残差连接;(3)时序分类头,采用单层Transformer编码器,聚合帧级令牌并融合音频[CLS]令牌后进行分类。样本来源:DFEW(12059个片段,来自1500+部影片)和MAFW(10045个片段,包含11类复合情感),均采用官方五折交叉验证协议。

#### 研究结果

**4.1 数据集**:在DFEW和MAFW上评估,均采用官方五折交叉验证。

**4.3 与最先进方法的比较**:在DFEW上,所提方法取得76.62% WAR/65.25% UAR,虽低于MMA-DFER(77.51%/67.01%),但仅更新470万参数(减少37%)。在MAFW上,取得58.70% WAR(最高)和43.66% UAR(第二高),优于全微调基线HiCMAE(56.17% WAR)。五折×3种子实验显示稳定性(DFEW上WAR 95%置信区间[76.23, 77.01])。

**4.4 消融研究**:
- **适配器有效性**:多模态输入优于单模态;MFAdapter在单模态和多模态下均提升性能。
- **音频鲁棒性**:静音音频下UAR低于完整模型,但优于容量匹配控制,表明音频内容有贡献;时间顺序(置换音频)增益小于音频存在本身。
- **MFAdapter vs 独立适配器**:MFAdapter的因果融合优于两个独立适配器(+5.57% UAR)。
- **适配器数量与位置**:每层插入适配器性能最佳。
- **帧级特征排列**:FFA优于直接拼接,提供有效时间结构化先验。
- **适配器变体**:Mamba选择性扫描优于MLP、交叉注意力、LoRA及恒等映射,表明因果有序状态空间扫描最适合FFA对齐框架。
- **下采样维度**:维度64在性能与效率间取得最佳平衡。
- **效率分析**:PEFT训练内存降低36.2%(从22.1GB到14.1GB),推理延迟不变。
- **全微调对比**:所提PEFT在UAR上优于全微调(65.25% vs 63.39%),而WAR略低(76.62% vs 77.53%),体现参数高效设计对少数类情感的平衡优势。

**4.5 可视化分析**:Grad-CAM热图和注意力图显示模型在悲伤、中性、快乐样本中正确关注眼部、口部等区域,并保持跨模态时间一致性。t-SNE显示加入MFAdapter和FFA后类簇更紧凑。混淆矩阵表明模型对高情感强度类别(如快乐94%)识别准确,对少数类(如厌恶)仍存在挑战但稳定性提升。

#### 讨论与结论

**讨论部分**:研究指出四项主要局限:1)数据集来自影视作品,可能不覆盖所有人口统计群体;2)类别不平衡及细粒度边界(如中性vs厌恶)仍存在;3)FFA假设同步,对可变时长、帧率、缺失音频等敏感,仅提供确定性排列而非验证同步;4)在DFEW上非最优,MAFW上WAR优势仅0.18pp,不声称统计显著优于MMA-DFER。未来工作将探索软对齐和跨数据集迁移。

**结论翻译**:在这项工作中,研究人员提出了一种用于野外DFER的参数高效音视频框架。通过冻结编码器参数并训练轻量交互模块,该框架保留预训练单模态表示,并将优化集中于跨模态融合路径。为此,引入帧级特征排列(FFA),一种确定性的基于索引的排列策略,将音频令牌以视频帧率排列。FFA本身不验证帧级流同步,而是提供帧索引时间先序,支持MFAdapter内的有序因果扫描,并减少但不消除粗粒度片段级错配。基于此帧索引分组,MFAdapter对音频前缀的令牌序列执行因果选择性扫描,以少量可训练参数在多个编码器深度实现高效的音频条件化视觉适应。互补的后期时序融合进一步聚合多模态证据用于识别。在DFEW和MAFW基准上的大量实验表明,该框架在更新2.7%(470万)模型参数的情况下取得了具有竞争力的性能。具体而言,在DFEW上达到76.62% WAR/65.25% UAR,在MAFW上达到58.70% WAR/43.66% UAR。研究人员将该方法定位为具有竞争力的基于PEFT的音视频DFER框架,而非多个基准上的最先进方法:在DFEW上,其绝对WAR/UAR低于MMA-DFER,但可训练参数减少37%;在MAFW上,其WAR仅超过MMA-DFER 0.18pp,而UAR落后0.45pp——这一差距与MAFW上的跨折标准差相当;因此,不声称统计显著优于MMA-DFER。当前工作严格在基准框架内的表情识别设置下评估;扩展到医疗健康等敏感领域仍是有前景的未来方向,需进行严格的领域特定验证和伦理保障。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号