基于参考语音样本的可控音色克隆与风格复制技术,用于多模态人机交互
《Neurocomputing》:Controllable timbre cloning and style replication with reference speech examples for multimodal human-computer interaction
【字体:
大
中
小
】
时间:2026年01月01日
来源:Neurocomputing 6.5
编辑推荐:
针对现有语音个性化技术无法平衡音色克隆与风格复制的难题,本文提出可控语音合成新任务Control-TTS,通过双参考语音实现音色与说话风格的独立控制,实验表明其在自然度、相似度等指标上达到或优于现有方法。
谭伟兰|郭宇航|邓梦媛|王静|王文武|冯冲
北京工业大学计算机科学与技术学院,中国北京市海淀区中关村南大街5号,邮编100081
摘要
自然且个性化的语音交互是推进多模态人机交互(HCI)的核心需求之一,其应用广泛体现在智能家居设备、语音助手和移动设备中。近年来,HCI领域对语音的需求已经从基本的语音生成转向了对说话者音调和说话风格的精确定制,旨在实现更加直观和沉浸式的多模态人机交互。然而,现有的语音个性化技术存在显著局限性:零样本语音合成方法缺乏风格控制能力;而传统的风格可控合成方法则无法准确指定说话者音调,难以在说话者音调和说话风格之间实现平衡。为了解决这一问题,我们定义了一个新的任务:利用参考语音示例进行可控音调克隆和风格复制。该任务旨在通过两个参考语音示例直接控制说话者音调和说话风格,从而生成新的音调-风格组合。为此,我们提出了Control-TTS模型。该模型利用不同的参考语音分别控制合成音频中的说话者音调和说话风格特征,实现音调和风格的自由组合。这种方法生成的合成语音具有丰富的表现力,为HCI场景中的语音个性化提供了更加灵活和可定制的解决方案。我们在VccmDataset上的实验表明,Control-TTS在自然度平均意见得分(NMOS)、词错误率(WER)、说话者相似度和风格相似度等指标上达到了可比或领先的性能水平。我们的演示代码可访问:
https://progressivetts.github.io/Control_TTS/。
引言
自然且个性化的语音交互是推进多模态人机交互(HCI)的基石[1],[2],[3],其应用渗透到了智能家居设备、语音助手和移动设备中。这项技术弥合了文本和音频之间的模态差距,将基于文本的信息转化为富有表现力的语音输出,是实现直观多模态人机交互的重要接口。随着语音交互技术的发展,生成语音的自然度、表现力和情感适应性显著提升,使得在故事讲述、虚拟助手和教育应用等场景中能够提供出色的交互体验。
近年来,HCI的需求已从基本流畅的语音生成转向了对说话者音调和说话风格的精确定制。用户不仅希望获得可理解的语音输出,还希望根据特定角色和上下文风格调整语音特征。这一转变给个性化语音技术带来了新的挑战。理想的解决方案应能够独立控制说话者音调(捕捉说话者的独特嗓音特征)和说话风格(反映情感或语调等表现细微差别),同时保持内容的准确性。
目前,可控语音合成领域出现了几种研究方法,但每种方法都有其局限性。零样本语音合成[4],[5],[6],[7]只能从参考语音中转移情感-音调组合,无法自由指定任意风格或在合成过程中修改参考语音的情感表达[8],[9],[10],[11]。尽管一些研究使用情感ID来控制情感类型[12],但这种方法只能实现粗粒度的情感控制,无法捕捉同一情感类别内的细微变化。同样,风格可控的语音合成系统[13],[14],[15]只能调节语音风格,而无法指定说话者音调。尽管一些研究采用了说话者ID来控制音调[16],但由于说话者多样性有限,生成的音调变化不够丰富。这两种方法的根本缺陷在于它们无法有效分离音调和风格,导致对合成语音的控制不够精确。
此外,一些研究使用文本描述来控制合成语音的说话风格[13],[14],或者先从风格参考音频中提取文本描述,再利用这些描述来指导风格化语音的合成[17],[18]。然而,用文字描述语音风格不足以全面准确地表示风格特征。描述的不准确性可能导致无法准确传达原始语音风格的信息,从而使得生成的语音风格与原始音频的风格存在差异。同时,这一过程也增加了系统的操作难度,给用户带来了负担,并阻碍了这项技术的推广和普及。这些局限性源于一个核心问题:将风格视为可编码的文本属性,而不是需要独立建模的独立感知特征。
为了解决这些固有的局限性,我们提出的Control-TTS通过参考音频直接控制合成语音的说话者音调和说话风格,并可以指定任意说话内容,如图1所示。与单参考零样本TTS不同,我们的专用说话者编码器将说话者特定特征与参考语音分离,而风格编码器独立捕捉韵律和情感细微差别,从而消除了音调和风格之间的绑定。与基于文本描述的方法相比,我们的设计不需要显式的文本描述。通过将风格直接建模为感知嵌入,我们保留了细粒度的风格细节,减轻了用户的负担。对于基于离散情感ID的方法,我们的连续风格嵌入空间自然支持细微的风格变化,因为它基于感知相似性进行学习,而不是依赖预定义的类别。
我们的贡献如下:
•我们发现了多模态人机交互领域中对说话者音调和风格个性化定制的需求,提出了利用参考语音示例进行可控音调克隆和风格复制的任务。该任务利用两个参考语音样本更精确地控制说话者音调和说话风格,从而生成新的音调-风格组合。
•我们提出了Control-TTS模型,该模型通过有效重组语音示例的特征来生成新的说话者音调和说话风格组合。实验结果表明,Control-TTS在这项任务上表现出可比或领先的性能。
•我们进行了关于编码器数量、t-SNE聚类等实验的比较研究,还探讨了参考音频长度、背景噪声、训练数据量和跨语言参考音频对合成音频质量的影响。这些实验表明,Control-TTS利用多个编码器从多个角度对语音进行建模,从而在语音合成过程中更有效地提取音调和风格。
相关工作
相关工作
我们提出了利用参考语音示例进行可控音调克隆和风格复制的任务。与此任务相关的工作包括零样本语音合成、风格可控语音合成以及在文本描述指导下的可控语音合成任务。下面,我们将介绍这三方面的先前研究,并解释我们的工作与这些现有工作的区别。
提出的方法
在本节中,我们首先介绍了Control-TTS的整体结构和推理过程,展示了该模型如何在说话者风格和音调方面实现可控语音合成。然后,我们描述了推理过程中每个模块的作用及其输入和输出。最后,我们讨论了模型的训练过程及其背后的原理。
数据集
如表2所示,我们用于训练Control-TTS的数据集包括:LibriTTS [19]、ESD [27]。LibriTTS是一个多说话者的英语语音语料库。我们使用其中两个高质量的子集train-clean-360和train-clean-100作为训练集。这部分数据包含1151位说话者的115小时语音。我们使用dev-clean和test-clean作为验证集和测试集。ESD(情感语音数据库)是一个包含中文和英文语音的双语言数据集。
模型在各项指标上的表现
在这项实验中,我们对Control-TTS与各种基线模型进行了全面比较,评估了它们在测试音频上的表现,包括自然度平均意见得分(NMOS)、说话者相似度、风格相似度和词错误率(WER)等关键指标。为了测量说话者相似度,我们为模型提供了两个相同的参考语音片段。然而,由于PromptStyle和PromptTTS的训练代码不可用,我们使用了预训练版本。
结论
在多模态人机交互领域,用户对可定制语音的需求日益突出,尤其是在对音调和风格的精确控制方面。为了解决这一核心需求,本文提出了一种新的任务:利用参考语音示例进行可控音调克隆和风格复制,并设计了Control-TTS模型作为解决方案。该模型直接控制合成语音的说话者音调和说话风格。
CRediT作者贡献声明
谭伟兰:撰写——原始草稿、项目管理、方法论、形式分析、数据整理、概念化。郭宇航:方法论、研究调查、形式分析、概念化。邓梦媛:方法论、形式分析、数据整理、概念化。王静:研究调查、资金获取、概念化。王文武:撰写——原始草稿、研究调查。冯冲:研究调查。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
王静报告称获得了北京自然科学基金会的财务支持。如果还有其他作者,他们声明没有已知的可能影响本文工作的财务利益或个人关系。
致谢
本工作得到了国家自然科学基金(编号62571037, U25B2075)和北京自然科学基金(编号L242089, L257001)的支持。
谭伟兰是一名专注于自然语言处理的硕士研究生。他的研究兴趣包括语音合成、信息提取和语言模型安全。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号