基于神经追踪机制解析深度神经网络生成虚拟说话人对噪声中言语理解与唇读能力的影响

《NeuroImage》:Relationships between speech-in-noise comprehension, lip reading ability and cortical speech tracking in talking avatars as well as natural talking heads

【字体: 大 中 小 】 时间:2026年10月11日 来源:NeuroImage 5.3

编辑推荐:

  深度神经网络(DNN)生成的虚拟说话人可增强噪声环境下的言语理解能力,并支持唇读。以词汇速率呈现的皮层言语追踪,在600毫秒的晚期潜伏期上,可预测视听条件下的噪声中言语理解表现。以短语速率(低于1赫兹)呈现的皮层言语追踪,可预测唇读能力,且在虚拟说话人条件下发

  
深度神经网络(DNN)生成的虚拟说话人可增强噪声环境下的言语理解能力,并支持唇读。以词汇速率呈现的皮层言语追踪,在600毫秒的晚期潜伏期上,可预测视听条件下的噪声中言语理解表现。以短语速率(低于1赫兹)呈现的皮层言语追踪,可预测唇读能力,且在虚拟说话人条件下发生改变。θ频段的皮层言语追踪未表现出视听增强效应。
一、研究背景与问题
在声学环境嘈杂的条件下理解对话内容是一项具有挑战性的任务,尤其对于听力受损人群而言尤为困难。当听者能够看到说话者的面部时,言语理解能力可得到显著提升,这依赖于唇部运动、面部表情、头部运动及其他细微视觉线索的整合。近年来,深度神经网络(DNN)技术的进步使得生成高度逼真的人工虚拟说话人成为可能,这类虚拟形象可有效规避“恐怖谷”效应,并已广泛应用于社交媒体和专业场景,如企业培训视频及火车站公共广播系统等。已有研究表明,虚拟说话人能够改善噪声环境下的言语理解,但其带来的收益始终小于自然视觉刺激所达到的效果,即便参与者无法有意识地分辨虚拟形象与自然视频之间的差异。
然而,大脑如何处理DNN生成的虚拟说话人脸部的神经机制仍鲜有探索。理解这些机制可能揭示限制虚拟形象沟通有效性的关键因素。神经言语追踪是言语感知的重要神经机制之一,在言语聆听过程中,听觉皮层的神经活动会与言语信号的振幅波动同步。这种同步主要发生在高δ频段(1–4赫兹)和θ频段(4–8赫兹),二者功能各异:θ频段追踪与音节节奏相关,反映较低层次的声学处理;高δ频段追踪对应词汇速率,反映较高层次的语言处理。低δ频段(0.5–1赫兹)包含短语速率,可能预期反映更高层次的语言处理,但此前在单模态言语感知中尚未得到研究。
视听言语会引发超出听觉单独和视觉单独反应叠加的增强神经追踪,这种增强在噪声理解能力较好的听者中更为明显,且在声学条件困难时尤为突出,这一效应被称为“反向有效性”。视听增强主要在高δ频段观察到,在6赫兹以上未被检测到。然而,虚拟说话人提供的噪声中言语增强是否与自然刺激的视听整合神经生物学机制相同,尚属未知。具体而言,虚拟说话人是否能触发自然视听言语特有的高δ频段增强特征,此前尚未被研究。
二、研究内容与结论
研究人员假设,逼真的虚拟说话人将引发与自然视频相似的神经追踪,反映相当水平的视听整合,在高δ频段而非θ频段表现出听觉皮层的增强追踪。为验证这一假设,研究人员记录了32名参与者在纯听觉、纯视觉及视听言语呈现条件下的行为数据及脑磁图(MEG)反应。视听刺激包括自然视频、DNN生成的虚拟说话人,以及言语噪声增强效果与虚拟说话人相似的退化视频。
初步分析意外发现低δ频段(0.5–1赫兹)对神经言语追踪有显著贡献。已有研究发现这些低频在无声唇读中发挥作用,颞叶低于1赫兹的神经活动即使在没有音频信号的情况下也能追踪言语包络,推测仅由唇部运动驱动,且在唇读能力较强者中更为明显。因此,研究人员也评估了这种低频皮层追踪,并探讨其与噪声中言语理解及唇读能力的关系。
三、关键技术方法
研究招募了32名健康右利手参与者(17名女性,年龄19–31岁),数据来自德国埃尔朗根大学医院伦理委员会批准的研究。刺激材料采用德语母语者朗读的奥尔登堡句子测试(OLSA)矩阵句,共571句有效录音。研究设置了三种视听刺激类型:DNN生成的虚拟说话人(采用D-ID公司基于CNN图像编码器和GAN图像到视频模型生成)、退化视频(通过FFmpeg的edgedetect滤镜提取轮廓)和自然视频,以及纯听觉和三种纯视觉条件。MEG数据使用248通道全头系统记录,经预处理后采用线性约束最小方差(LCMV)波束形成器进行源定位,将神经活动重建至包含听觉皮层的颞叶区域。使用线性前向模型结合岭回归估计时间响应函数(TRF),将言语包络分解为低δ(0.5–1赫兹)、高δ(1–4赫兹)和θ(4–8赫兹)三个频带作为预测变量,通过预测准确度(预测与实测神经信号的皮尔逊相关系数)量化神经追踪强度。
四、研究结果
4.1 面部运动分析结果
使用OpenFace工具包从自然视频和虚拟说话人中提取六种面部运动特征,包括口部张开面积、地标运动、上面部动作单元(AU)、下颌动作单元(AU26)、头部旋转和注视角度。口部张开与言语包络的互相关分析显示,自然视频和虚拟说话人在?80毫秒处均出现峰值,表明口部运动先于声音约80毫秒。面部运动与言语包络的相干性分析显示,虚拟说话人与自然视频在低频段(尤其低于1赫兹)存在显著差异。
4.2 行为结果
虚拟说话人和退化视频为参与者提供了相当的噪声中言语理解收益。参与者报告在实验过程中大多无法有意识地区分虚拟说话人与自然视频。
4.3 神经追踪结果
高δ频段的皮层言语追踪在600毫秒晚期潜伏期上可预测视听条件下的噪声中言语理解表现。低δ频段(低于1赫兹)的皮层言语追踪可预测唇读能力,且在虚拟说话人条件下发生改变。虚拟说话人条件引发了系统性更早且减弱的反应。θ频段的皮层言语追踪未表现出视听增强效应。
五、讨论与结论
研究表明,DNN生成的虚拟说话人能够增强噪声中的言语理解并支持唇读,但其神经追踪特征与自然视频存在差异,主要体现在低δ频段。高δ频段的晚期潜伏期追踪(600毫秒)与视听言语理解相关,低δ频段的追踪与唇读能力相关且在虚拟说话人中发生改变,θ频段未表现出视听增强。这些发现揭示了虚拟说话人在神经层面与自然刺激的差异,为优化虚拟说话人的设计以更好地利用视听整合神经通路提供了理论依据。研究结果同时表明,即使参与者无法有意识区分虚拟说话人与自然视频,其神经反应仍存在可检测的差异,这为理解虚拟形象沟通效果的神经限制因素提供了重要线索。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号