基于多特征融合的汉语助听器言语清晰度预测模型(MCHASPI)

《Trends in Hearing》:A Mandarin Speech Intelligibility Prediction Model for Hearing Aids

【字体: 大 中 小 】 时间:2026年10月21日 来源:Trends in Hearing 3

编辑推荐:

  客观言语清晰度预测方法为人类听者测试提供了一种低成本的替代方案,使得研究影响清晰度的多种因素成为可能。然而,针对普通话听力障碍人群的言语清晰度客观预测在很大程度上尚不成熟。现有的清晰度指标基于英语语言结构,并且/或主要针对正常听力听者设计。本文提出了一种汉语助

  
客观言语清晰度预测方法为人类听者测试提供了一种低成本的替代方案,使得研究影响清晰度的多种因素成为可能。然而,针对普通话听力障碍人群的言语清晰度客观预测在很大程度上尚不成熟。现有的清晰度指标基于英语语言结构,并且/或主要针对正常听力听者设计。本文提出了一种汉语助听器言语感知指数(MCHASPI),这是一种用于预测经助听器处理后的言语对普通话使用者(无论是否存在听力损失)的清晰度的客观指标。一个关键挑战是高质量数据集的稀缺以及缺乏针对普通话语感知识别特性的模型。为解决此问题,研究人员首先利用主观听力测试构建了一个包含六种失真类型的普通话清晰度数据集。采用听力损失模拟器对参考(无失真)和测试言语信号进行预处理。从这些处理后的信号中提取多种特征并进行组合以供后续分析。研究人员开发了两种预测模型,即MCHASPI-NN和MCHASPI-L,分别利用神经网络和逻辑映射函数从特征值预测清晰度。MCHASPI模型的核心包括一种基于感知动机的分段拉伸方案以实现精确的信号对齐,随后进行逐帧阈值检测和多特征融合。对正常听力和听力受损听者的评估表明,在所有测试数据集上,MCHASPI的预测准确性显著优于现有模型。这验证了MCHASPI在评估不同程度听力损失人群的普通话言语清晰度方面的有效性。
一、研究背景与问题
言语清晰度(speech intelligibility)是衡量言语理解程度的核心指标,广泛应用于传输通道、声音重放设备及语音处理算法的性能评估。客观评价指标旨在替代主观听力测试,其性能通常通过预测分数与实际测量分数之间的皮尔逊相关系数(Pearson correlation coefficient, r)和均方根误差(root mean square error, RMSE)来衡量。近年来,针对听力受损(hearing-impaired, HI)听者的清晰度预测成为研究热点。助听器虽被推荐用于改善轻度至中重度感音神经性听力损失患者的言语交流,但即使佩戴助听器,HI个体在噪声环境下的言语识别仍面临困难,且助听器内部的信号处理可能引入失真,进一步降低清晰度。现有代表性指标如短时客观清晰度(STOI)、助听器言语感知指数(HASPI及其v2版本)等多为英语语言设计,且多数未考虑听力损失模拟(hearing loss simulator, HLS)。对于普通话而言,声调线索由基频(fundamental frequency, F0)轮廓和低频调制承载,在词汇辨识中起核心作用,这使得基于英语数据集开发的模型在普通话上的表现不佳。此前虽有面向正常听力(normal-hearing, NH)听者的普通话指标NHSPI及NHSPI-v2,但它们无法预测听力损失对清晰度的影响,也无法处理助听器动态处理带来的非线性失真和时间错位问题。因此,亟需开发一个专门针对助听器辅助下普通话HI听者的侵入式清晰度预测模型。
二、研究方法概述
研究人员首先构建了一个包含超过24000条清晰度评分的大型数据集,来自6类失真实验(频率压缩、二元掩膜处理、噪声与削波、噪声混响组合、声码器处理、声调操控),涉及12名NH和13名HI参与者。关键技术方法包括:采用剑桥MSBG模型模拟听力损失效应;使用CAM2B(v2)软件计算模拟助听器的增益和压缩比;基于伽马通滤波器组(Gammatone filterbank)进行子带分解;通过希尔伯特变换提取时间包络(ENV)和精细时间结构(TFS);结合倒谱相关系数(CEP)和高强度片段互相关(COV)形成多特征融合;创新性地引入分段时间拉伸对齐算法和帧级阈值检测以解决时间错位问题;最终分别采用逻辑回归(MCHASPI-L)和神经网络(MCHASPI-NN)将特征映射为清晰度分数。
三、研究结果
实验设置与参与者:实验经解放军总医院第六医学中心伦理委员会批准。共25名参与者,其中12名NH(4女8男,年龄22-30岁)和13名HI(5女8男,年龄27-77岁,平均58岁)。HI参与者的听力图如图1所示。所有参与者均为母语为普通话者,HI参与者经听力学家筛选,无显著口音且认知沟通能力足够。
语音材料:干净语音来源于AISHELL-3语料库,选取6位说话人(3男3女),原始录音采样率44.1kHz,为匹配助听器带宽重采样至24.0kHz。每位参与者接受相同的句子集,条件选择旨在避免清晰度分数趋近于1或0,以确保中间范围的均匀覆盖。
测试方法与失真类型:所有测试在隔声室中进行,背景噪声14.8 dBA。刺激通过Sennheiser HD600耳机呈现,校准后干净语音等效扩散场水平为65 dB SPL。参与者通过网页界面收听句子并输入听到的内容。每位参与者测试968个语音刺激,耗时约5小时,最终数据集包含24200条清晰度响应。清晰度评分为正确识别的汉字比例。
频率压缩语音:通过正弦建模实现频率压缩,频率压缩比(frequency compression ratio, FCR)设为1.5:1、2:1或3:1,截止频率(cutoff frequency, CF)为1000 Hz或2000 Hz,共19个条件。结果显示,HI组的误差棒更大,表明个体间变异性更大。重复测量方差分析(ANOVA)表明,CF和信噪比(signal-to-noise ratio, SNR)的主效应显著(p<0.001),FCR的主效应不显著。较高的CF保留了更多原始信号成分,从而对应更高的清晰度。未发现频率压缩对任何HI参与者有益。
二元掩膜处理语音:将干净语音与多人谈话噪声混合,SNR范围-18 dB至12 dB,步长6 dB。使用二元掩膜处理,并随机翻转10%或30%的时频单元标签,施加-10 dB或-100 dB增益。配对样本t检验显示,NH组清晰度显著高于HI组(p<0.001),10%翻转条件显著高于30%翻转条件(p<0.01),10 dB衰减条件显著高于100 dB衰减条件(p<0.05)。
削波及噪声中语音:包括语音与语音成形噪声(speech-shaped noise, SSN)混合,以及峰值削波或中心削波。SNR设为-8至20 dB,削波阈值为信号幅度累积直方图的10%-95%。NH组整体准确率显著高于HI组(p<0.001)。峰值削波对准确率的影响小于中心削波,削波类型和削波阈值的主效应均显著,两者交互作用显著。峰值削波阈值效应不显著,而中心削波阈值效应显著。参与者类型效应不显著。
噪声混响失真语音:使用SSN和四种房间脉冲响应(混响时间T60分别为0.29、0.86、1.50、2.23秒),SNR为-5至30 dB。NH组得分显著高于HI组(p<0.001),T60和SNR的主效应均显著。高T60值导致语音时间包络模糊,减少关键线索,使HI个体识别尤为困难。
声码器处理语音:包括噪声声码器和正弦波声码器,频带数为4、8或16。NH组得分高于HI组但不显著(p=0.28),可能是因为4频带时两组得分均接近随机水平。参与者类型与频带数的交互作用显著(p<0.001),反映当频带数大于4时NH组表现更好。频带数效应显著(p<0.01),频带数增加则清晰度提高。载波类型效应不显著。
声调操控语音:使用文本转语音工具改变基频模式,包括将所有声调改为单一调型、随机打乱或特定位置循环移位,SNR为-8至5 dB。两组参与者中,NH组得分均显著高于HI组(p<0.05),SNR效应显著,声调操控类型效应不显著。将所有声调替换为平调(Tone 1)对HI组的损害大于NH组,表明HI参与者更依赖冗余线索。
四、模型构建与评估
MCHASPI是一种侵入式指标,通过听觉模型提取特征并比较参考与测试信号的相似性。参考信号使用干净语音经正常听力参数听觉模型处理,测试信号则经失真和/或模拟助听器及听力损失处理。特征包括32个子带的ENV和TFS相关系数,以及来自HASPI-v1的CEP和COV。模型创新点包括:分段时间拉伸对齐算法(搜索因子范围0.96-1.06,步长0.01)以处理局部时长变化;帧级阈值检测(帧长0.1秒,50%重叠)以更准确反映子带局部能量特性。MCHASPI-L采用逻辑回归映射,最优特征组合为ENV+CEP;MCHASPI-NN采用神经网络,输入全部四个特征。训练数据为24200条句子级清晰度分数,评估基于258个条件的平均数据。结果表明,单独特征中ENV表现最佳;双特征组合中ENV+COV最优(r=0.873,RMSE=0.168),但与ENV+CEP组合无显著差异;三特征组合中ENV+CEP+COV最优(r=0.877,RMSE=0.165)。MCHASPI-L与MCHASPI-NN的性能差距很小,表明所提特征已捕获HI听者使用的关键感知线索。
五、总结与讨论
研究人员提出了MCHASPI,一种专为助听器辅助下普通话听者(包括NH和HI)设计的侵入式清晰度预测指标。该模型通过听力损失模拟、分段时间对齐和帧级阈值检测解决了现有模型的局限性。基于包含六种失真类型、超过24000条评分的普通话数据集,MCHASPI-L和MCHASPI-NN均表现出优于现有基线模型的预测准确性。MCHASPI-L在保持完全可解释性的同时取得了与MCHASPI-NN相近的性能,证实了所提特征的有效性。该工作填补了普通话助听器言语清晰度客观预测领域的空白,为助听器算法评估和优化提供了有力工具。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号