C-TransDance:基于视觉姿态传感的风格条件门控CNN-Transformer用于实时多风格舞蹈质量评估

《Sensors》:C-TransDance: A Style-Conditioned Gated CNN–Transformer for Real-Time Multi-Style Dance Quality Assessment Using Vision-Based Pose Sensing

【字体: 大 中 小 】 时间:2026年10月22日 来源:Sensors 4.0

编辑推荐:

  基于视觉的人体运动评估要求模型同时捕捉时间执行模式和依赖情境的质量标准。这一问题在多风格舞蹈中尤其具有挑战性,因为相似的运动学模式在不同的风格约定下可能获得不同的质量评价。研究人员提出了C-TransDance,一种风格条件门控CNN–Transformer,

  
基于视觉的人体运动评估要求模型同时捕捉时间执行模式和依赖情境的质量标准。这一问题在多风格舞蹈中尤其具有挑战性,因为相似的运动学模式在不同的风格约定下可能获得不同的质量评价。研究人员提出了C-TransDance,一种风格条件门控CNN–Transformer,用于基于姿态的视觉传感实现实时多风格舞蹈质量评估。该系统使用MediaPipe BlazePose GHUM从单个正面摄像头提取33个身体地标,并使用归一化的关节坐标、置信度、速度和加速度表示每个运动序列。卷积分支用于局部时空执行模式,Transformer分支用于长程时间依赖,两者通过可学习门控融合进行组合,并由学习的舞蹈风格嵌入通过显式特征–风格交互进行调制。多任务头联合预测连续质量分数、质量类别和结构化反馈类别;时间注意力和关节级灵敏度与约束反馈模板耦合,以暴露可检查的运动证据。该框架在来自四种舞蹈风格、96名参与者的1152个片段上进行了评估,由三位合格教师独立标注,使用参与者独立划分和五个随机种子。在留出测试集(173个片段,15名未见参与者)上,C-TransDance取得了平均绝对误差(MAE)为4.86 ± 0.16,均方根误差(RMSE)为6.38 ± 0.22,准确率为82.1% ± 1.1%,宏F1为0.822 ± 0.011,而最强的无风格姿态基线的MAE为5.63。在该骨干网络和数据集内,移除风格条件使MAE增加了15.6%,而移除卷积分支后增加12.8%,移除Transformer分支后增加9.3%。由于基线未接收风格标签,且数据集中风格与套路部分混淆,这些结果被解释为风格信息是主要因素的控制性证据,而非一般的架构排序。整个系统以28.8 FPS运行,端到端延迟为34.7 ms,支持风格感知姿态传感在教师监督反馈中的技术可行性。
舞蹈训练依赖于反复观察、纠正和精细化动作质量。在专业与教育场景中,教师通过专家视觉判断评估姿态、节奏、协调、平衡、表现力与风格一致性,然而常规训练环境难以给每个学习者提供持续、可复现的个性化反馈。动作质量评估(Action Quality Assessment, AQA)不同于动作识别:动作识别只判断类别,而舞蹈评分需要对动作完成程度进行分级,且多风格舞蹈中同一运动学模式在不同风格约定下可能获得相反评价。现有AQA方法普遍假设单一规范执行标准,这适用于跳水或体操,但不适用于舞蹈。因此,研究人员提出将舞蹈风格作为评分函数的显式输入,并构建兼具局部与全局时间建模、可解释反馈的实时系统。

研究人员提出了C-TransDance系统,采用视觉姿态传感技术,从单个正面摄像头提取33个人体地标,并建立包含归一化坐标、置信度、速度与加速度的姿态张量。评估数据集包含96名参与者的1152个可用片段,覆盖当代、民间、街舞和古典四种风格,由三名合格舞蹈教师独立标注,并使用参与者独立划分和五随机种子重复实验。在留出测试集(173个片段、15名未见参与者)上,C-TransDance取得了MAE 4.86±0.16、RMSE 6.38±0.22、准确率82.1%±1.1%、宏F1 0.822±0.011,优于手部特征、LSTM、时间卷积、图卷积和纯Transformer等所有无风格姿态基线。消融实验显示,移除风格条件使MAE增加15.6%,高于移除卷积分支的12.8%和移除Transformer分支的9.3%,表明在此骨干与数据集内风格信息是主要贡献因素。系统以28.8 FPS、34.7ms端到端延迟运行,支持教师监督下的实时反馈。该研究将AQA的关注点从单纯时间编码转向风格条件化,并证实了风格感知姿态传感的技术可行性。

研究人员采用的主要关键技术方法包括:使用MediaPipe BlazePose GHUM提取33个身体地标并构建包含归一化坐标、置信度、速度、加速度的十通道姿态张量;设计双分支混合结构,卷积分支提取局部时空模式,Transformer分支建模长程时间依赖,两者通过可学习门控系数(收敛均值0.58)融合;引入风格嵌入及显式特征–风格交互;采用多任务学习联合优化分数回归、质量分类和多标签反馈预测;通过约束反馈模板将时间注意力与关节贡献绑定为可检查证据。样本队列来源为96名参与者的1152个片段,每位参与者平均约12个片段,三种划分为806训练、173验证、173测试。

结果部分主要发现如下:

7.1 风格条件混合模型在每个基于姿态的基线上领先(Style-Conditioned Hybrid Model Leads Every Pose-Based Baseline):在173个留出测试片段上,C-TransDance获得最低MAE 4.86±0.16、RMSE 6.38±0.22、准确率82.1%±1.1%和宏F1 0.822±0.011;相比最强无风格Transformer-only基线(MAE 5.63),MAE降低13.7%。单次混淆矩阵检查给出142/173正确,与平均指标一致,说明准确率未被多数类主导。

7.2 片段水平及设计效应界下的配对比较(Paired Comparisons at the Clip Level and Under a Design-Effect Bound):采用双尾Wilcoxon符号秩检验,经Holm–Bonferroni校正,六个配对比较的调整p<0.001;设计效应敏感性分析显示,在最保守的参与者水平界(ρ=1)下,四个比较仍显著(调整p≤0.032),而ST-GCN和Transformer-only的比较分别在假设组内相关低于约0.88和0.73时保持显著。

7.3 风格条件产生最大的观察消融差异(Style Conditioning Yields the Largest Observed Ablation Difference):固定划分、训练协议与种子集,移除风格条件使MAE从4.86升至5.62(+15.6%),移除卷积分支增加12.8%,移除Transformer分支增加9.3%。此外,去除时序平滑使MAE增加11.9%,去除置信度通道增加7.6%,去除反馈头主要将宏F1降至0.798。

7.4 风格间误差变化幅度与超过最佳基线的整体差距相当(Style-Wise Error Varies by as Much as the Entire Margin over the Best Baseline):按风格分析,民间舞误差最低(MAE 4.58),当代舞4.74,街舞4.96,古典舞最高5.17;0.59点的风格间跨度与相对最强基线0.77点的优势同量级。古典舞的精确对齐标准和街舞的快速转换是误差来源的可能原因。

7.5 部署瓶颈是姿态提取而非评估模型(The Deployment Bottleneck Is Pose Extraction, Not the Assessment Model):端到端延迟34.7ms,吞吐28.8 FPS;姿态提取占21.6ms(62%),CNN–Transformer推理占8.9ms,预处理与反馈生成共4.2ms。该结果表明提升姿态后端是获得性能余量的有效途径。

7.6 代表性窗口的解释输出(Explanation Outputs for a Representative Window):在一个代表性窗口中,最高注意力帧为第50帧(1.633s),权重0.021461,约为均匀水平的2倍,对应运动峰值/过渡;最大的关节贡献集中在左踝(0.08255)、左膝(0.07837)和右踝(0.073145),指向下肢稳定性和幅度。

7.7 失败可追溯到感知前端而非质量模型(Failures Trace to the Perception Front End, Not to the Quality Model):在34个唯一失败案例中,25个源于不完整或几何退化的单视角姿态输入,常见于快速转身、跳跃、地板动作、遮挡与服装干扰;地板动作的平均误差最高(9.14点);没有失败案例被定性归因于时间编码器。

讨论部分指出,风格条件化是评估设置内的主要贡献,但该结论限于单个骨干、数据集和姿态管线,且风格与套路部分混淆,需通过留出套路评估和匹配动作材料进一步分离。两个时间分支互补而非冗余;姿态噪声处理(时间平滑与置信度通道)的贡献超过Transformer分支本身。解释层通过约束模板将反馈绑定到可检查的帧和关节,支持教师审计。未来工作包括参与者水平精确检验、信息匹配比较、归因忠实性验证和跨工作室评估。研究结论翻译如下:通过控制消融量化了风格条件化对多风格舞蹈运动质量评估的贡献;在固定参与者独立划分、训练协议和种子集下,移除风格嵌入使平均绝对误差增加15.6%,移除卷积分支为12.8%,移除Transformer分支为9.3%,这些差异支持在评估骨干和数据集中将相关风格特定任务表述为共享运动表示上的多个任务。C-TransDance在留出测试集上取得MAE 4.86±0.16、RMSE 6.38±0.22、准确率82.1%±1.1%、宏F1 0.822±0.011,优于全部无风格姿态基线,并以28.8 FPS和34.7ms端到端延迟运行,通过约束模板提供可审计反馈。运行时间和误差分析表明感知前端是优先改进方向:姿态提取占62%延迟,并与34个大幅误差案例中的25个相关。标注一致性(总体ICC(2,k)=0.87)和风格间误差模式支持进一步研究标注、风格表示和向留出套路的转移。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号