综述:音乐驱动的舞蹈创作:一篇综合性综述

《Neurocomputing》:Music-driven dance generation: A comprehensive review

【字体: 大 中 小 】 时间:2026年03月29日 来源:Neurocomputing 6.5

编辑推荐:

  音乐驱动舞蹈生成研究综述:系统梳理技术发展、算法创新、多模态应用及框架升级,总结公开数据集与评估指标,分析运动同步、风格保持、群体协作等核心挑战,提出融合神经科学、强化学习与跨模态推理的未来方向。

  
李森|李海生|徐飞|刘颖
北京工商大学计算机与人工智能学院,中国北京100048

摘要

音乐驱动的舞蹈生成是一项新兴且具有挑战性的任务,其目标是从音乐输入中自动合成真实且富有节奏感的人类舞蹈动作。随着技术的快速发展以及大规模数据集的可用性,这一领域在近年来取得了显著进展,吸引了学术界和工业界的广泛关注。本综述全面回顾了音乐驱动的舞蹈生成技术,填补了现有文献的空白。我们系统地整理了截至2026年发表的几乎所有相关研究,从四个角度分析了该领域的发展过程:技术演变、算法进步、目标扩展和框架升级。此外,我们还详细总结了公共基准数据集、常见的评估指标、代表性方法及相关综述。最后,我们指出了这项任务的关键点和当前面临的挑战,并讨论了未来研究的潜在方向。

引言

借助计算技术创作的生成艺术不仅验证了关于创造力和认知的逻辑理论,还通过计算系统深入探讨并模仿了人类智能[9]、[41]、[42]。舞蹈作为一种复杂的艺术形式,利用编排好的身体动作来表达抽象的思想和情感,并通过音乐、服装、道具、灯光、化妆等元素加以丰富。与文学、音乐和美术不同,舞蹈通过人体作为媒介,实现了动态的、有节奏的即兴表演、情感表达和审美感知。编舞本质上依赖于难以形式化的隐性知识。这一高度创造性的过程具有独特性,因为不同的编舞者很少会产生完全相同的动作序列。因此,将这种主观的编舞创造力映射到结构化的计算框架中仍然是一个重大挑战。尽管在理论研究方面取得了实质性进展,但当前学术进展与现实舞蹈创作需求之间的差距仍然存在,这突显了舞蹈生成在计算创造力领域中的关键地位[8]。
全球的研究人员花费了数十年的时间来推进舞蹈与计算方法的结合。基于他们的贡献,Joshi等人[62]提出了“舞蹈自动化”的概念,并将其分为六类:(1) 舞蹈表示通过使用标准化符号系统(如拉班记谱法)和形式语法来形式化舞蹈动作[47];(2) 舞蹈捕捉利用基于传感器或摄像头的系统记录复杂的舞蹈动作[142];(3) 舞蹈语义通过分析、分类和注释姿势、节奏和编排来解释舞蹈的含义[135];(4) 舞蹈生成使用计算技术生成在物理上合理、风格上一致且具有审美意义的舞蹈动作[61];(5) 舞蹈处理方法包括对舞蹈的建模、分析、识别、分类、检索、合成和可视化[81]、[124]、[130]、[150];(6) 舞蹈自动化系统应用于娱乐、在线学习、遗产保护、医疗治疗等领域。如上所述,舞蹈生成是一项关键的创新,使编舞者能够超越创作界限,同时扩展舞蹈艺术的表现形式。
早期的舞蹈生成技术难以克服编舞者的经验限制并减少手动干预的需求[133]。计算能力和人工智能(AI)的进步推动舞蹈生成从简单的辅助工具发展成为一种协作范式,促进了更高效和创新的编舞[199]。从人类动作生成的角度来看[201],舞蹈生成技术可以分为三类:文本驱动、视觉驱动和音乐驱动。文本驱动和视觉驱动的方法(如DanceGen [106])分别根据文本描述或视觉线索生成连贯的舞蹈动作。相比之下,音乐驱动的方法则根据输入音乐的节奏和风格创建充满活力的舞蹈动作。由于艺术协同性、技术可行性和商业潜力,这一类别已成为舞蹈生成研究的关键领域。
音乐驱动的舞蹈生成是一个具有实际和理论意义的重要研究领域:(1) 它降低了手动编舞设计的成本;(2) 它为探索人类动作生成的多方面特性提供了理想的背景;(3) 它推动了多模态AI的发展;(4) 它阐明了舞蹈的生物力学机制和美学原理;(5) 它研究了音乐与人类动作之间的内在联系,为神经科学提供了新的见解[11]。本文全面分析了截至2026年音乐驱动舞蹈生成的进展。考虑到多模态整合的趋势,我们将研究范围定义为任何以音乐为主要输入方式的编舞框架(例如[46])。本综述的组织路线图如图1所示,各部分内容如下:第2节建立了任务的数学基础和核心概念,第3节整理了基准数据集和评估指标;第4节和技术发展与分析,第5节进行了技术演变的系统回顾和里程碑作品的比较分析;在此基础上,第6节指出了该领域目前面临的关键挑战;最后,第7节讨论了未来研究的方向,第8节进行了总结性评论。

部分片段

初步介绍和问题阐述

本节建立了音乐驱动舞蹈生成的基础理论框架。我们首先对主要的舞蹈形式进行了分类,然后对人类动作表示模型进行了比较分析。最后,我们提供了音乐到舞蹈生成任务的正式数学定义。

数据集

舞蹈数据集最初是为了保护非物质文化遗产而创建的,通过保存传统舞蹈形式以防止其随时间流逝而消失[132],这些集合后来成为高级舞蹈研究的重要资源,尤其是在舞蹈数字化领域。舞蹈数字化已经从依赖传统方法(如手动转录(文本或草图)、舞蹈记谱和基本视频录制)发展到现代动作捕捉(mocap)和AI驱动的技术。

技术发展与分析

音乐驱动的舞蹈生成旨在使用计算技术生成与音乐同步或受音乐影响的舞蹈。该领域结合了计算机科学、音乐理论和舞蹈艺术,从20世纪60年代的初步实验发展到21世纪的AI驱动技术。本节将从四个方面系统回顾该领域的发展:技术演变、算法发展、生成目标的扩展以及任务框架的进步。

经典算法的比较

为了更深入地了解音乐驱动舞蹈生成的进展,本节提供了关键代表性研究的详细比较,如表2所示。评估涵盖了多个技术维度:输入模式、舞蹈动作表示、输出序列长度、细粒度手部动作的包含情况以及所使用的具体生成架构。
如表中所示,该领域经历了重大的范式转变:

关键问题分析

音乐驱动的舞蹈生成是一个新兴的跨学科领域,其目标是基于给定的音乐输入生成真实且富有表现力的舞蹈动作序列,确保音乐与动作之间的时间同步和语义对齐。这涉及音乐特征提取、舞蹈动作建模以及两者之间的复杂映射,需要先进的模型来表征、关联和整合来自不同模态的数据,同时解决固有的问题。

未来方向

随着人工智能与艺术创作的深度融合,音乐驱动的舞蹈生成正在进入一个新阶段,技术精度和艺术表达同步进步。从最初简单的音乐节拍到单个动作的映射,该领域已经取得了显著进展,涵盖了整合音乐结构、情感表达和群体互动的复杂生成框架。本章将探讨这一领域的未来趋势。

结论

本综述全面考察了音乐到舞蹈生成领域,特别关注与此任务相关的技术发展。在创建真实且富有表现力的舞蹈序列方面取得了显著进展,提高了人机协作的效果。尽管取得了这些进步,但仍存在挑战,例如可控的、长期的和群体舞蹈生成。未来的研究和实践应致力于开发更强大的生成算法,结合

CRediT作者贡献声明

李森:撰写——原始草稿、可视化、方法论、调查、形式分析、数据整理、概念化。李海生:撰写——审稿与编辑、监督、资源管理、项目管理、方法论、资金获取。徐飞:验证、软件、资源管理、方法论、调查、概念化。刘颖:撰写——审稿与编辑、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
李森目前在北京工商大学计算机与人工智能学院攻读博士学位。她还是北京舞蹈学院舞蹈数字艺术中心的教员。她的研究重点是数字编舞与生成AI的交叉领域,特别关注教育的数字化转型和自动化动作合成。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号