IAE-Net:集成通道注意力(Channel Attention, CA)与可变形注意力(Deformable Attention, DA)的面部表情识别(Facial Expression Recognition, FER)网络
《Mathematics》:IAE-Net: Incremental Learning-Based Attention-Enhanced DenseNet for Robust Facial Emotion Recognition
Haseeb Ali Khan and
Jong-Ha Lee
编辑推荐:
摘要:针对面部表情识别(Facial Expression Recognition, FER)中由非刚性面部形变、姿态变化及光照差异引起的特征错位与判别性不足问题,研究人员提出一种端到端深度网络——IAE-Net(Integrated Attention-En
摘要:针对面部表情识别(Facial Expression Recognition, FER)中由非刚性面部形变、姿态变化及光照差异引起的特征错位与判别性不足问题,研究人员提出一种端到端深度网络——IAE-Net(Integrated Attention-Enhanced Network)。该网络在骨干(Backbone)特征提取后引入通道注意力(Channel Attention, CA)模块,通过全局平均池化(Global Average Pooling, GAP)与全局最大池化(Global Max Pooling, GMP)生成通道描述向量,经共享两层多层感知机(Multi-Layer Perceptron, MLP)输出通道掩码(channel mask)以重标定(re-weight)特征通道,抑制背景噪声并增强表情相关激活;继而采用可变形注意力(Deformable Attention, DA)模块,利用轻量化3×3卷积预测有界二维偏移场(offset field, tanh激活约束),通过双线性采样(bilinear sampling / differentiable warping)对通道精炼后的特征图进行局部空间对齐,校正非刚性运动导致的错位,并与原始特征做残差连接(residual connection)以保留语义信息。 refined特征经全局平均池化(GAP)、两层全连接层(含Dropout)及Softmax分类器输出类别概率,使用稀疏分类交叉熵(sparse categorical cross-entropy)损失函数进行端到端训练。研究人员在多个公开FER基准数据集上的实验表明,IAE-Net较现有方法取得更优或相当的性能,验证了CA与DA模块在增强通道判别性与纠正空间错位方面的有效性。
论文解读:IAE-Net——集成通道注意力和可变形注意力的面部表情识别网络
一、研究背景与动机
面部表情识别(Facial Expression Recognition, FER)是人与机器交互中的关键技术,传统方法常基于手工特征或浅层学习,难以应对复杂场景。尽管卷积神经网络(Convolutional Neural Network, CNN)作为骨干(Backbone)提升了特征提取能力,但在实际应用中仍面临两大挑战:(1) 类内变异大——同一表情因个体差异、姿态变化和非刚性面部形变(如眉毛上扬、脸颊抬升、嘴部张开)导致空间错位;(2) 判别性区域被背景干扰稀释——重要通道未得到针对性增强。现有空间变换网络(Spatial Transformer Network, STN)仅做全局变换,可变形卷积(Deformable Convolution, DeformConv)修改卷积核采样位置但未在通道精炼后进行独立对齐步骤。因此,研究人员开展本研究,设计IAE-Net将通道注意力(Channel Attention, CA)与可变形注意力(Deformable Attention, DA)先后串联嵌入骨干网络后,实现通道维度再校准与局部空间形变校正,发表于《Mathematics》。
二、主要关键技术方法
研究人员以标准CNN(如ResNet系列)为骨干提取基础特征图 fbase∈?H×W×C。① 通道注意力(Channel Attention, CA):分别对 fbase做全局平均池化(Global Average Pooling, GAP)和全局最大池化(Global Max Pooling, GMP)得两路通道描述向量,拼接后经共享两层MLP压缩还原为C维,Sigmoid激活生成通道掩码 MC,按通道逐元素相乘(广播至空域)得通道精炼特征 fC=MC?fbase。② 可变形注意力(Deformable Attention, DA):用3×3卷积作用于 fC,tanh激活输出有界二维偏移场 Δ∈?H×W×2;对 fC各位置(u,v)按 Δu(u,v), Δv(u,v) 做双线性采样(bilinear sampling)获对齐特征 f?,残差融合 fD=BN(φ1×1(fC+f?))。③ 分类头:fD经GAP→FC(256, Dropout)→FC(64, Dropout)→Wclsh2+bcls→Softmax(K类),稀疏分类交叉熵训练。实验使用CK+、JAFFE、FER2013等公开FER数据集。
三、研究结果
2.3. Channel Attention (CA)
研究人员通过GAP与GMP并行提取通道统计信息,经共享双层MLP生成Sigmoid门控的通道权重向量,对骨干特征做通道级重加权。结果表明该模块能有效抑制无关背景通道响应,提升与表情判别相关通道(如眼、嘴区域对应通道)的激活强度,使后续空间对齐聚焦于有意义区域。
2.4. Deformable Attention (DA)
研究人员用轻量3×3卷积从 fC预测逐像素二维偏移场(tanh限制范围),通过可微双线性扭曲(differentiable warping / dense image warp)将 fC变形为局部对齐特征 f?,并与 fC残差相加后经1×1卷积与批归一化(Batch Normalization, BN)。研究指出DA不同于估计全局变换的STN,也不同于修改卷积采样格点的可变形卷积,DA在通道精炼后单独做密集局部偏移校正,保留原骨干卷积不变。实验验证该模块显著降低因非刚性面部运动和姿态变化造成的特征错位。
2.5. Classification Head and Training Objective
研究人员将DA输出 fD全局平均池化为向量 h,经两层全连接(256维含Dropout → 64维含Dropout)映射至logits z=Wclsh2+bcls,Softmax得各类别概率 p(y=k|x)=exp(zk)/Σj=1Kexp(zj),以稀疏分类交叉熵 ?CE=-log p(y|x) 端到端优化网络参数。消融实验证明CA与DA联合作用优于单独使用任一阵列。
四、讨论与结论
研究人员在多个标准FER数据集上与残差网络、含STN或DeformConv变体及近年SOTA方法对比,证实IAE-Net在准确率指标上具竞争优势。讨论指出:CA模块通过双池化(dual-pooling)通道描述与MLP重标定弥补了单一池化信息损失;DA模块的轻量偏移预测与残差双线性采样在几乎不增加计算负担下改善了局部特征对齐;二者串联互补——CA先滤除通道噪声、突出判别通道,DA再对此精炼特征做空间校正。局限在于极端大姿态或部分遮挡情形仍有改进空间,未来可考虑多尺度偏移场或结合视觉Transformer(ViT)架构。结论为:集成通道注意力与可变形注意力的IAE-Net能有效提升FER任务中对非刚性形变的鲁棒性与判别特征利用率,是一种有效的深度FER增强框架。