基于语言中间特征的电子喉语音增强方法:解决领域失配问题

《IEEE Journal of Selected Topics in Signal Processing》:Resolving Domain Mismatches in Electrolaryngeal Speech Enhancement With Linguistic Intermediates

【字体: 大 中 小 】 时间:2025年12月08日 来源:IEEE Journal of Selected Topics in Signal Processing 13.7

编辑推荐:

  本研究针对电子喉(EL)语音增强任务中的领域失配问题,创新性地提出利用语言中间特征(linguistic intermediates)提升语音可懂度与自然度。研究人员通过构建识别-对齐-合成框架,首先采用瓶颈特征(BNF)中间表示消除预训练(典型语音)与微调(EL语音)数据间的音色失配,显著提升性能;进一步引入离散文本中间特征(如音素级表示)缓解源-目标数据间的时序失配,改善韵律建模。实验表明,该方法在字符错误率(CER)和自然度评分(MOS)上均取得显著提升(CER绝对改善16%,MOS提高0.83),并在大规模伪EL数据集上验证了其泛化能力。该研究为跨领域语音转换提供了有效解决方案,对改善语言障碍患者的沟通质量具有重要意义。

  
对于因喉部切除而使用电子喉(Electrolarynx, EL)的患者来说,重新获得自然、清晰的语音能力是一项重大挑战。电子喉通过机械振动产生声源,但其输出的语音缺乏自然的音高变化,听起来机械单调,且伴有明显的背景噪声,导致可懂度大幅降低。这一问题在日语等声调语言中尤为突出,因为音高变化直接影响词义理解。传统的语音增强方法试图通过序列模型(如Transformer)直接映射EL语音与典型语音的声学特征(如mel谱),但面临两大核心难题:一是预训练数据(大量典型语音)与微调数据(稀缺的EL语音)之间存在显著的音色和语音类型失配;二是EL语音与典型语音在时序结构上存在较大差异,例如EL使用者语速较慢且存在发音缺失,导致模型难以学习准确的时间对齐。这些领域失配问题严重制约了语音增强的效果,亟需新的技术路径予以突破。
为解决上述问题,研究团队提出了一种分层处理框架,核心思路是将复杂的语音转换任务分解为识别、对齐和合成三个相对独立的模块,并通过引入语言中间特征(linguistic intermediates)来逐步消除领域失配。关键技术方法包括:1)构建鲁棒的语音识别(ASR)模块作为识别器,通过引入语音类型ID损失(speech type ID loss)等策略,使其能同时准确提取EL和典型语音的语言信息(以瓶颈特征BNF表示),从而消除音色失配;2)采用序列到序列模型(如Transformer)作为对齐模块,但其输入输出分别采用BNF和HuBERT(一种自监督语音表示)特征,而非直接处理声学特征,使其专注于建模时序结构;3)利用扩散模型(Diffusion model)作为合成模块,根据对齐后的语言特征生成目标说话人的高质量语音。此外,团队还深入比较了多种离散语言中间特征(如基于CTC的帧筛选、音素级中间特征、可学习离散化等)在进一步缓解时序失配方面的效果。研究使用了真实EL患者录音、14名典型说话人模拟的伪EL语音(pseudo-EL)等多组数据集进行验证。

III. PROPOSED FRAMEWORK WITH BOTTLENECK FEATURE INTERMEDIATES

本研究首先提出了基于瓶颈特征(BNF)中间表示的框架。该框架包含识别、对齐和合成三个独立训练的模块。识别模块采用经过改进训练的语音识别编码器(Conformer架构),通过引入语音类型ID损失(LSID)并在中间微调阶段对典型语音数据进行掩码处理,使其能够同时准确解码EL语音和典型语音,输出纯净的、与说话人无关的BNF。对齐模块则以EL语音的BNF为输入,以典型语音的HuBERT层嵌入为输出,训练一个Transformer序列到序列模型来学习两者之间的时序映射。由于BNF和HuBERT均富含语言信息而滤除了说话人特征,对齐模块可专注于解决时序失配问题。合成模块则采用基于扩散模型的声码器,将对齐后的HuBERT特征合成为目标典型语音的波形。实验结果表明,仅使用BNF中间特征(系统3),合成语音的字符错误率(CER)相较于直接转换mel谱的基线系统(系统1)绝对降低了16%,平均意见分(MOS)提高了0.83,证明该框架有效消除了音色失配,显著提升了语音的可懂度和自然度。

IV. PROPOSED APPROACHES WITH DISCRETE LINGUISTIC INTERMEDIATES

为了进一步解决EL语音与典型语音之间的时序结构失配,减轻对齐模块的负担,研究团队深入探索了多种离散语言中间特征的应用。首先,尝试用非自回归(NAR)时长预测器替代原有的自回归(AR)Transformer对齐模型(系统6),但效果不佳,原因是EL语音通常更长,而时长预测器设计用于扩展较短的文本输入。接着,研究了基于CTC(Connectionist Temporal Classification)的中间特征(系统7、8),利用CTC解码器去除BNF中对应于标记的帧,以压缩时序维度,但这种方法过于规则化,且会破坏帧间相关性,未能稳定提升性能。
最具突破性的发现是音素级中间特征(系统9)的应用。该方法将识别模块解码出的文本转换为音素序列,完全摒弃源语音的韵律信息,然后利用强大的文本到语音(TTS)系统(如Matcha-TTS)直接合成目标语音。这种策略彻底将语言信息与时序结构解耦,使得模型无需再学习复杂的时长映射。实验结果显示,相较于BNF中间特征系统(系统3),音素级中间特征在CER上取得了1.4%的绝对提升,MOS提高了0.2。这表明,尽管存在ASR误识别导致的错误传播风险,但通过音素归一化消除源语音的异常时序信息,并借助高质量TTS模型,能更有效地生成自然度更高的语音。
为应对音素级中间特征可能存在的错误传播问题,团队还尝试了两种优化策略。一是音素级中间特征结合源BNF(系统10),通过交叉注意力机制让TTS模型参考源BNF来“自我校正”ASR的转录错误,但实验结果喜忧参半,校正与过校正效应相互抵消,整体提升不明显。二是基于CTC损失的可学习离散化方法(系统11),旨在联合优化识别与合成模块,但该方法在本研究的句子级任务上表现不佳,误读现象更为严重,其CER和音素错误率(PER)均远高于音素级中间特征方法。

VI. RESULTS AND DISCUSSION

研究团队在更大规模的伪EL数据集(14名说话人)和另一组真实EL说话人数据上验证了所提方法的泛化能力。关键结论显示,音素级中间特征方法在所有测试的EL说话人上均一致性地优于传统的并行BNF(系统3)和并行mel谱(系统1)基线方法,证明了其强大的鲁棒性。进一步的相关性分析揭示了一个有趣现象:当识别模块的PER较高(即ASR性能较差)时,采用音素级中间特征相较于并行BNF方法带来的性能提升反而更大。这表明,对于ASR识别效果不理想的EL说话人,直接进行音素归一化是更有效且资源友好的策略。音素级中间特征方法还具有无需平行语料、易于控制目标说话人音色等实用优势,使其在真实场景中更具应用潜力。
本研究通过系统性的实验证明,利用语言中间特征是解决电子喉语音增强中领域失配问题的有效途径。首先,瓶颈特征(BNF)中间表示通过创建说话人无关的语言表征,成功消除了预训练与微调数据间的音色失配,使语音可懂度获得显著提升。进而,音素级离散中间特征的引入,通过将异常时序结构归一化为标准音素序列,有效缓解了源与目标数据间的时序失配,进一步优化了合成语音的自然度。尽管完全依赖音素级特征会损失源语音中有价值的韵律信息,且在ASR识别不准时存在错误传播风险,但实验证实,在当前技术条件下,它仍是性能最优且泛化能力最强的方案。该研究不仅为改善喉切除患者的语音沟通提供了切实可行的技术方案,其提出的“识别-对齐-合成”框架及对语言中间特征的深入探索,也为更广泛的跨领域语音转换、非典型语音处理等研究方向提供了重要的方法论借鉴和坚实的基线参考。未来工作可着眼于如何在利用音素归一化优势的同时,更好地保留或恢复源语音中有用的韵律特征。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号