隐私保护的真实场景身体表达情感识别:一种具有心理学先验的双教师蒸馏框架

《AI Open》:Privacy-preserving in-the-wild bodily expressed emotion recognition: A dual-teacher distillation framework with psychological priors

【字体: 大 中 小 】 时间:2026年08月27日 来源:AI Open 8.9

编辑推荐:

  基于骨架的情感识别提供了基于RGB的情感分析的隐私友好替代方案,通过减少部署时面部外观、纹理和场景上下文的暴露。然而,在受控实验室环境中训练的模型在部署到真实场景时往往会性能下降,此时身体运动是自发的,视角和遮挡不受约束,且二维姿态存在噪声。研究人员通过DT–

  
基于骨架的情感识别提供了基于RGB的情感分析的隐私友好替代方案,通过减少部署时面部外观、纹理和场景上下文的暴露。然而,在受控实验室环境中训练的模型在部署到真实场景时往往会性能下降,此时身体运动是自发的,视角和遮挡不受约束,且二维姿态存在噪声。研究人员通过DT–KD(一种结构化监督迁移框架)解决了这一实验室到真实场景的差距,用于真实场景的身体表达情感识别。DT–KD并未将双教师蒸馏本身视为贡献,而是使用两个互补的教师针对不同来源的真实场景退化:一个特权三维运动学教师从实验室数据提供干净的运动指导,而一个模态对齐的二维教师提供更接近含噪的仅骨架部署设置的监督。它们的指导通过样本级熵路由进行融合,并通过心理学基础的7→26层次结构、LMA/VAD原型(Laban Movement Analysis/Valence-Arousal-Dominance原型)以及轻量级特征对齐和标签几何正则化器进一步结构化。在部署时,仅保留紧凑的学生模型,仅依赖二维姿态和33维拉班运动分析(LMA)描述符,无需RGB输入或教师模型。研究人员在真实场景的BoLD基准上评估了DT–KD,包含26个情感类别。蒸馏后的学生在宏观ROC–AUC上达到0.623 ± 0.011,在相同推理预算(每2秒片段2.148M参数和0.136G FLOPs)下,相比仅LMA基线提高了8.8个百分点,相比强域适应基线提高了10.5个百分点。在严格的跨受试者协议以及合成姿态遮挡和抖动下,增益持续存在,表明鲁棒性和校准性得到改善。研究人员进一步在EMOTIC上通过7路头的族级评估评估了外部跨数据集泛化,在从视频片段到单帧图像的严重偏移下,DT–KD仍保持更具区分性和更好校准性。研究人员还澄清,所提出的框架在实用的无RGB推理意义上保护隐私,而非正式的差分隐私机制。总体而言,熵路由结构化监督为在固定推理预算下缩小骨架情感识别中实验室到真实场景的差距提供了一种有效且部署友好的策略。
**研究背景、问题与动机**
情感识别是人工智能与人机交互的核心任务之一。基于骨架的情感识别(Skeleton-based Emotion Recognition, SER)相较于RGB视频分析,在部署时减少了面部外观、纹理和场景上下文的暴露,从而提供了更隐私友好的替代方案。然而,在受控实验室条件下训练的模型,在真实场景(in-the-wild)中往往性能显著下降,原因包括:身体运动是自发的、视角和遮挡不受约束、二维姿态估计存在噪声,以及标签分布长尾。这种“实验室到真实场景”的差距(lab-to-field gap)严重阻碍了其在驾驶员监控、辅助机器人及心理健康评估等实际应用中的部署,这些系统必须在分布偏移和严格计算预算下保持可靠。为此,研究人员提出了DT–KD,一种面向部署的结构化监督迁移框架,旨在利用心理学基础的层次结构(7→26)和双教师蒸馏,在不增加测试时计算成本的前提下,缩小上述差距,并将论文发表在《AI Open》。

**主要技术方法**
DT–KD的核心方法是双教师蒸馏与熵路由融合,结合心理学基础的层次结构。教师模型包括:一个特权三维运动学教师(训练于实验室三维运动捕捉数据EGBM和KDAEE),提供干净的运动指导;一个二维模态对齐教师(训练于RGB导出的二维姿态),提供与含噪部署设置更接近的监督。两个教师通过样本级熵路由(entropy routing)按置信度加权融合,学生接收来自更自信教师的更强指导。此外,引入心理学基础的7→26情感层次映射(基于LMA/VAD原型)、轻量级特征对齐(Feature Alignment, FA)损失、运动知情先验(movement-informed prior)和类图正则化(class-graph regularizer)。学生模型是紧凑的ST-GCN,仅消耗二维姿态导出的33维LMA描述符,部署时无需RGB输入、教师模型或三维信号。

**研究结果**
- **整体性能(Overall Performance on BoLD)**:在BoLD基准上,DT–KD在26个情感类别上达到宏观ROC–AUC 0.623 ± 0.011,较仅LMA学生提高8.8个百分点,较强域适应基线(DANN–GCN)提高10.5个百分点,且推理预算不变(2.148M参数,0.136G FLOPs)。校准误差(ECE)从0.0096降至0.0073。
- **详细性能分析(Detailed Performance Analysis)**:族级分析显示,DT–KD在所有情感族上均提升,高唤醒/瞬态组(如Surprise、Fear)增益较大。逐类ROC–AUC提升主要集中在困难类别(底部10类),低唤醒姿态类(如Sadness、Neutral)表现稳定。混淆分析(lift调整)表明,DT–KD减少了族内交叉混淆(如Annoyance、Disapproval、Anger族)。
- **消融研究(Ablation Studies)**:组件消融证实,双教师蒸馏、熵路由、特征对齐、7→26层次结构及正则化项均贡献显著。移除层次结构时宏观ROC–AUC降至0.601,移除LMA描述符(用原始二维关节)降至0.512。
- **跨受试者泛化(Generalization to Unseen Subjects)**:在严格跨受试者协议下,DT–KD保持约2个百分点的优势,高唤醒族增益最大,校准也改善(ECE更低)。
- **外部跨数据集泛化(External Cross-dataset Generalization on EMOTIC)**:在EMOTIC图像数据集上,DT–KD在7路家族头保持更高区分性和校准性,宏观ROC–AUC为0.635,优于所有基线,显示对严重视频到图像偏移的鲁棒性。
- **鲁棒性与校准分析(Robustness and Calibration Analysis)**:在姿态估计失败模式(随机关节丢失、高斯抖动、结构化肢体损坏)下,DT–KD在所有条件下保持最高宏观ROC–AUC,绝对下降幅度更大但起点更高。校准改善(ECE降至0.0073),且样本级增益与所选教师熵呈负相关(Spearman ρ = -0.21)。
- **身份泄露代理分析(Identity-leakage Proxy Analysis)**:基于33维LMA描述符的身份分类准确率(0.247)低于原始二维姿态序列(0.392),表明部署表示携带更少身份信息。
- **效率与部署(Efficiency and Deployment)**:学生模型在CPU上约40片段/秒,Jetson Orin Nano上约28片段/秒,支持边缘部署。

**讨论与结论**
讨论部分指出,DT–KD在不增加推理计算量的前提下,通过在训练时利用双教师、熵路由和心理学基础层次结构,有效提升了真实场景骨架情感识别的性能、鲁棒性和校准性。增益主要源于提升困难类别和族级分离度,而非强化已有简单类别。然而,仍存在系统性误差,如短暂遮挡爆发类与高唤醒类的混淆,以及正价类间的模糊。隐私保护是实用层面的(无RGB推理),而非正式差分隐私,未来需结合联邦学习、差分隐私等机制。局限性包括:评估仍以BoLD为中心,依赖上游二维姿态质量,且全训练管线较复杂。翻译结论部分如下:
研究人员提出了DT–KD,一种双教师和熵路由蒸馏框架,结合心理学基础的7→26层次结构,用于实验室到真实场景偏移下的骨架情感识别。在BoLD上,DT–KD达到宏观ROC–AUC 0.623,较仅LMA学生提高8.8个百分点,同时宏观PR–AUC持续提升,校准误差(ECE)从0.0096降至0.0073。这些增益不增加推理计算成本:部署学生参数和FLOPs不变,教师网络和投影头仅在训练时使用。DT–KD在严格跨受试者协议下保持明显优势,并在合成姿态遮挡和抖动下保持鲁棒,支持其对常见真实场景退化的适用性。研究人员进一步在EMOTIC上通过族级7路头验证外部跨数据集泛化,在从BoLD视频(T=64)到单帧图像(T=1)的严重偏移下,DT–KD仍更具区分性和更好校准性。方法学上,该框架通过熵路由融合、层次监督和特征对齐,将特权三维运动学先验和模态对齐二维信号迁移到紧凑学生模型中。因此,DT–KD在不进行架构搜索、集成或增加推理成本的情况下缩小了实验室到真实场景的差距。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号