《Computer Speech & Language》:Assessing the ability of neural TTS systems to model consonant-induced f0 perturbation
编辑推荐:
本文提出了一种音段级别的韵律探针框架,用以评估神经文本转语音(TTS)模型(如Tacotron 2和FastSpeech 2)在再现辅音诱发基频(f0)扰动这一细微声学现象上的能力。研究发现,模型在高频词汇上表现良好,但难以推广到低频词,揭示其更多依赖词汇记忆而非抽象的语音规则编码,为未来TTS系统的评估与改进提供了语言学诊断依据。
研究亮点
实验设置
本研究进行了两套实验。实验1(第4节)提供了一个基于理论的评估,旨在探究神经TTS模型(Tacotron 2和FastSpeech 2)能否再现音段层面的基频(f0)扰动模式,方法是对比来自同一单人语音库(LJ Speech)的合成语音与自然语音。而实验2(第5节)则在一个大规模、多说话人场景中,通过使用真实和伪造语音来评估这些线索的实际迁移性,从而展示了这些语音学线索的实用价值。
语料库分析
在我们的实验设计中,我们使用词汇频率作为模型对语料库熟悉度的代理。高频词在LJ Speech训练语料库中出现的统计可能性更高,而从COCA语料库随机抽样的低频词在训练中出现的可能性则较低。尽管这种基于频率的对比并未建立直接的因果关系,但它为测试模型在没有明确见过的词汇上的泛化能力提供了一个有用的基础。
分析与结果(实验1)
图1和图2分别展示了高频词和低频词的基频(f0)扰动模式。在这些图表中,高频词组包含的词极有可能出现在LJ Speech训练语料库中,而低频词组则由训练数据中可能不存在的词组成。因此,低频词集作为一个诊断探针,用于评估TTS模型能否将基频(f0)扰动模式推广到不熟悉的词汇项目上。
在
分析与结果(实验2)
这次关于音节起始辅音基频(f0)扰动模式的大规模对比展示于图4和图5。在高频词组(图4)中,原始语音和合成语音在不同起始辅音类型上都显示出相对一致的基频(f0)轨迹。清阻塞音后伴随着清晰的基本频率(f0)上升,而响音和浊阻塞音则展现出更平坦或更低的轮廓。这些模式与从单人语料库得出的预期一致,表明模型可以成功地
讨论
我们的研究结果表明,所考察的神经TTS系统在将音段韵律模式推广到不熟悉的词汇项目上能力有限。尽管Tacotron 2和FastSpeech 2都能在高频词上再现基频(f0)扰动效应,但它们在低频词上的表现急剧下降。FastSpeech 2完全无法区分起始辅音类型,而Tacotron 2显示出不完整且不稳定的模式。这种对比揭示了模型对
结论
本研究探讨了神经TTS系统是否能够再现音段层面的基频(f0)扰动,这是一种由局部发音机制产生的语音效应。通过将Tacotron 2和FastSpeech 2与自然语音对比,我们发现这两个模型能够在高频词上复现音节起始驱动的基频(f0)模式,但无法将这些效应推广到低频词。这些发现表明TTS系统更多地依赖词汇记忆,而非抽象的语音编码。