《Knowledge-Based Systems》:An audio-video based multi-modal fusion approach for emotion recognition
编辑推荐:
多模态深度学习利用来自多个数据源(如音频和视频)的互补信息来提高情感识别系统的鲁棒性。然而,有效整合各模态间的异构特征仍具挑战性。在本文中,研究人员提出了一种多模态架构,联合建模音频和视觉信息用于情感分类。该框架采用预训练的R(2+1)D网络,通过残差学习结构
多模态深度学习利用来自多个数据源(如音频和视频)的互补信息来提高情感识别系统的鲁棒性。然而,有效整合各模态间的异构特征仍具挑战性。在本文中,研究人员提出了一种多模态架构,联合建模音频和视觉信息用于情感分类。该框架采用预训练的R(2+1)D网络,通过残差学习结构中2D空间卷积与1D时间卷积的组合,从视频输入中提取时空表征。对于音频模态,多种声学表征——包括均方根能量(Root-Mean-Square energy, RMS)、过零率(Zero-Crossing Rate, ZCR)、梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients, MFCC)以及沿时间维度平均的梅尔谱图(Mel-spectrogram)特征——通过专用的1D卷积网络进行处理,并辅以挤压-激励模块(Squeeze-and-Excitation module, SE模块)进行通道级特征重新校准。提取的音频和视频特征被融合后传递给Softmax分类器用于情感预测。研究人员在三个基准数据集上评估了所提方法:Ryerson音频-视觉情感言语与歌曲数据库(Ryerson Audio–Visual Database of Emotional Speech and Song, RAVDESS)、萨里音频-视觉表达情感数据集(Surrey Audio–Visual Expressed Emotion, SAVEE)和众包情感多模态演员数据集(Crowd-Sourced Emotional Multimodal Actors Dataset, CREMA-D)。实验结果表明了强劲性能,在RAVDESS、SAVEE和CREMA-D上分别取得了0.9711、0.9965和0.8990的F1分数,展现出与近期最先进方法相竞争的性能。代码与训练好的模型已在https://github.com/S-M-J-I/Multimodal-SER公开。
### 论文解读:基于音频-视频多模态融合的情感识别方法
#### 1. 研究背景、问题与意义
情感识别是情感计算领域的基础问题,广泛应用于人机交互、行为分析、心理健康评估、机器人和智能监控系统。早期研究主要集中于单模态方法,如语音情感识别(SER)或面部情感识别(FER)。SER利用1D卷积神经网络(CNN)或循环神经网络(RNN)建模语音时序动态,FER则通过2D CNN分析面部表情的空间模式。然而,单模态系统存在固有局限:SER忽略视觉情感线索,而基于静态图像的FER无法捕捉表达的时间动态。为弥补这些不足,研究人员引入了多模态音频-视觉框架,利用互补的情感信息。早期CNN融合模型实现了初步可行性,但性能提升有限;近期基于Transformer的交叉注意力和混合2D+1D CNN架构取得了更高精度。然而,多数多模态流水线依赖直接特征拼接,导致参数复杂度增加、时空冗余,并要求模态间严格同步。此外,处理所有视频帧和长音频序列会带来不必要的计算开销和噪声敏感性,而随机帧采样则可能丢弃情感关键时段。
针对上述挑战,研究人员提出了一种计算高效的多模态架构,旨在显式减少时空冗余,同时保留判别性情感线索。该研究的重要意义在于:通过结构化的时序采样策略和轻量级特征提取,在不依赖复杂Transformer的情况下取得了与最先进方法相竞争的性能,为多模态情感识别提供了实用且高效的解决方案。该论文发表在《Knowledge-Based Systems》。
#### 2. 主要关键技术方法(不超过250字)
研究人员采用以下关键技术方法:
1. **四分位时序采样策略**:将视频序列按帧数等分为三个情感活动区域(起始、峰值、结束),从每个区域中选取下界、四分位中心、上界共9帧,形成固定长度张量,减少时空冗余。
2. **预训练R(2+1)D网络**:使用在Kinetics-400上预训练的R(2+1)D残差网络作为视频骨干,仅微调最后一层,其余层冻结,提取时空特征。
3. **SE增强的1D CNN音频编码器**:对四个声学描述符(MFCC、ZCR、RMS、梅尔谱图)分别使用三个1D卷积块(扩张卷积+组归一化+GELU+丢弃)处理,随后通过挤压-激励(SE)模块进行通道级重校准,增强判别能力。
4. **多模态早期融合**:将音频与视频嵌入拼接,经层归一化和50%丢弃后,通过Softmax分类器输出情感概率。
5. **模态一致的数据增强**:对训练集应用色彩抖动+打击变换,以及随机透视+音高漂移与混响,提高鲁棒性。样本队列来源为三个公开数据集:RAVDESS(24名演员,1440样本)、SAVEE(4名男性,480样本)、CREMA-D(91名演员,7442样本)。
#### 3. 研究结果
**4.3 结果**
在SAVEE、RAVDESS和CREMA-D上,所提模型分别取得了99.65%、97.11%和89.81%的准确率,F1分数分别为0.9965、0.9711和0.8990,优于多数对比方法(如Tzirakis等、Ristea等、Mocanu等),在RAVDESS和CREMA-D上达到最先进水平。分类报告显示:RAVDESS上除“惊讶”外各类F1在0.95以上;SAVEE上除“愤怒”与“厌恶”外所有类别精度为1.0;CREMA-D中“快乐”与“愤怒”表现最佳(F1为0.98和0.94),“恐惧”和“悲伤”较易混淆。t-SNE可视化表明特征聚类良好,但CREMA-D上类间重叠较多。
**4.4 消融研究**
- **架构级消融**:引入SE模块使F1提升2.3%~9%(CREMA-D);增加R(2+1)D可训练层数(从仅stem+layer1到layer4)使所有数据集性能持续提升,最佳配置为SE+第四层微调。
- **单模态数据级消融**:仅视频模态在三个数据集上均优于仅音频模态;多模态融合显著优于任何单模态,表明两者互补。在CREMA-D上音频单独性能较差(F1=0.6889),说明该数据集声学信号更具挑战性。
- **帧数消融**:从3帧增至9帧,F1在SAVEE提升约2%,RAVDESS提升约3.6%,CREMA-D提升约18.7%,证明9帧配置在类间模糊数据集上提供了更鲁棒的时序表征。
**5. 讨论**
单模态与多模态贡献分析显示:视频分支对恐惧识别较弱(SAVEE上仅为56%),音频分支可部分补偿;音频对厌恶识别较差(62%),视频则达95%。融合后整体分类性能提升。与最先进方法比较:所提方法在RAVDESS和CREMA-D上超越[17]、[39]、[40]等CNN方法,在SAVEE上略逊于[17](0.10%),但无需数据集特定架构调整;相对于Transformer方法[3]、[16],本框架更轻量且取得可比甚至更优结果。新颖性在于将结构化数据选择(四分位采样)置于表示学习之前,而非增加模型复杂度。局限包括:模型大小约123 MB,不适合极端资源受限设备;帧选择策略为静态,未能动态定位高情感帧;CREMA-D上音频分支F1仅0.6889,需进一步改进。未来工作将探索知识蒸馏、动态帧过滤、添加文本或面部关键点模态、轻量骨干网络及持续学习。
**6. 结论(翻译)**
研究人员提出了一种基于深度学习的多模态情感识别框架,以计算高效的方式整合音频和视觉信息。该框架的一个关键组件是基于四分位的时序采样策略,它从每个视频中选择九个代表性帧,同时减少时空冗余。该设计在时序覆盖与计算效率之间取得了平衡。所提模型结合了预训练的R(2+1)D网络用于时空特征提取,以及一个由SE-Net模块增强的定制1D CNN用于音频特征细化。基于SE的通道重校准机制在保持轻量架构的同时提升了音频分支的判别能力。在架构、模态和帧选择层面进行的全面消融研究验证了所提设计选择的有效性。这些实验证实了SE模块、更深的时空特征提取、多模态融合以及四分位帧采样的益处。在SAVEE、RAVDESS和CREMA-D上的广泛评估表明,所提模型取得了强劲性能,F1分数分别为0.9965、0.9711和0.8990。这些结果表明,精心设计的采样策略和高效的多模态特征集成可以在不依赖高复杂度架构的前提下取得竞争性能。未来研究将聚焦于提高边缘部署的计算效率、引入自适应帧选择机制以及增加额外模态,以进一步增强模型在多样真实环境中识别情感的能力。