
-
生物通官微
陪你抓住生命科技
跳动的脉搏
一个基于CNN和Bi-LSTM的模型流程,以及用于自由式摔跤动作识别的开放FSW数据集
《Scientific Reports》:A CNN–Bi-LSTM pipeline and open FSW dataset for freestyle wrestling action recognition
【字体: 大 中 小 】 时间:2026年03月24日 来源:Scientific Reports 3.9
编辑推荐:
摘要在近距离接触类运动中,人类动作的识别受到相互遮挡、快速姿势变化以及干扰性背景的影响。我们研究了自由式摔跤——这是一种具有持续身体互动的典型近距离接触运动场景——并发布了Open FSW数据集,该数据集包含210个经过处理的视频片段,涵盖了七种摔跤技巧(每种技巧30个片段),这
在近距离接触类运动中,人类动作的识别受到相互遮挡、快速姿势变化以及干扰性背景的影响。我们研究了自由式摔跤——这是一种具有持续身体互动的典型近距离接触运动场景——并发布了Open FSW数据集,该数据集包含210个经过处理的视频片段,涵盖了七种摔跤技巧(每种技巧30个片段),这些片段来源于受控训练环节和直播录像。我们提出了一种基于RGB图像的算法流程,该流程使用经过微调的DeepLabV3+模型对运动员进行分割,利用CNN架构(VGG16、InceptionV3、EfficientNet-B7)提取每帧的特征,并通过双向LSTM对这些特征进行整合,从而生成片段级别的预测结果。在采用按比赛/训练环节ID分层的六折交叉验证协议下,最佳配置(DeepLabV3+(前景检测)+ EfficientNet-B7 + Bi-LSTM)的top-1准确率达到了82.9%。消融实验量化了前景检测的附加价值,结果显示在最强的CNN架构下效果最为显著,尤其是在高遮挡情况下的识别能力得到了显著提升,但同时也会因分割操作而增加推理延迟。由于数据集规模较小,我们通过迁移学习和大量数据增强来防止过拟合,并强调这些结论仅适用于自由式摔跤这一特定领域。数据集和代码均已公开发布。为遵守版权规定,受控训练环节的视频片段以处理后的形式提供,而直播录像部分则以注释和片段元数据的形式公开,以便后续进行数据重建。