基于多模态大语言模型与领域知识图谱的舞龙舞狮竞技评分框架研究

《Scientific Reports》:Collaborative reasoning framework integrating multimodal large language models and knowledge graphs for dragon and lion dance technical action semantic understanding

【字体: 大 中 小 】 时间:2026年10月21日 来源:Scientific Reports 4.9

编辑推荐:

   摘要 舞龙舞狮占据着一种特殊的位置:它既是被国家认定的非物质文化遗产项目,同时又是一项规范化竞技运动。对其评判因而异常困难,因为任何一个评分要素都同时承载着时间、空间、动态和协作等多重含义。本研究将多模态大语言模型(MLLM)与领域专用知识图谱(KG)相结合,使得技术动

  

摘要

舞龙舞狮占据着一种特殊的位置:它既是被国家认定的非物质文化遗产项目,同时又是一项规范化竞技运动。对其评判因而异常困难,因为任何一个评分要素都同时承载着时间、空间、动态和协作等多重含义。本研究将多模态大语言模型(MLLM)与领域专用知识图谱(KG)相结合,使得技术动作能够依据规则手册被识别、评分并加以解释。该图谱编码了100种动作类型、224项技术要素、135条评分标准和83种常见错误模式,所有内容均提炼自官方规程、专家访谈及历史赛事记录。感知—检索—推理的流水线驱动着该框架的运作:MLLM提出初步标签,该标签触发结构化子图检索,检索到的三元组随后约束多跳推理过程。跨模态锚定模块通过带有规则感知难负样本的对比学习,将视觉动作嵌入与知识图谱实体表示进行对齐,而路径表述器则将获胜遍历路径转化为引用规则条款的裁决报告。我们在4,659个片段上进行了评测,这些片段按赛事不重叠地划分,确保没有任何套路、队伍或场地出现在多于一个子集中。与基于骨骼的动作识别器、近期视频多模态大语言模型、图谱增强检索流水线以及专用的动作质量评估回归器相比,该框架达到了82.7%的分类准确率、44.2的BLEU-4和61.5的ROUGE-L;预测执行得分的Spearman相关系数为0.812,相对L2距离为0.681,以79.4%的F1值识别扣分项,85.6%的时间引用了正确的规则条款。消融实验、超参数扫描、效率分析和降级视频测试表明,知识 grounding、感知锚定、结构化解释和冲突驱动的重检索分别针对不同的失效模式。两个端到端追踪的片段,一个被正确处理,一个未被正确处理,展示了生成报告中每一句都能映射到审查者可检查的图边。该框架作为一种裁判支持的设计方案,旨在为裁判组提供辅助而非取代其角色;它能否迁移至由其他规则手册管辖的运动尚待验证。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号