基于互相关技术的复杂频谱目标语音提取及双重后处理方法

《Applied Sciences》:Target Speaker Extraction with Cross-Correlation for Complex Spectra and Dual Post-Refinements

【字体: 大 中 小 】 时间:2026年06月28日 来源:Applied Sciences 2.5

编辑推荐:

   摘要

  

摘要

目标说话人提取技术旨在利用注册语音中的说话人信息,从混合语音中分离出目标说话人的语音。近期,有一些方法通过交叉注意力机制来利用注册语音与输入混合语音之间的关系,而无需从注册语音中提取说话人嵌入。以往的方法将交叉注意力应用于编码后的表示,或分别应用于压缩频谱图的实部和虚部,但这些方法可能缺乏物理意义。在本文中,我们提出了一种两阶段的目标说话人提取方法,该方法采用了具有物理可解释性的改进型交叉注意力模块以及双重后处理结构。在第一阶段,通过类似相位敏感掩模的方式,利用两种信号的复数频谱之间的互相关来计算用于融合注册语音和混合语音的注意力权重。随后,将这些融合后的特征与混合语音特征一起输入语音提取网络,以获得初步提取的目标语音。第二阶段包含两个并行分支:一个分支利用注册语音以与第一阶段类似的方式对第一阶段的输出进行细化处理,另一个分支则利用混合语音来补充可能被弱化的目标语音。此外,还将从注册语音和第一阶段输出中提取的低维说话人嵌入引入第二阶段,以提高说话人的区分度。实验结果表明,在Libri2Mix数据集上,无论在干净环境还是噪声环境中,所提出的方法在语音质量、语音可懂度以及信号失真指标方面均优于现有的目标说话人提取方法。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号