在SNNs中采用多尺度分块残差编码与时序随机插值填充技术,以提升语音分类性能

《Neural Networks》:Multi-Scale Chunked Residual Encoding and Temporal Stochastic Interpolation Padding in SNNs for Enhanced Speech Classification

【字体: 大 中 小 】 时间:2026年03月21日 来源:Neural Networks 6.3

编辑推荐:

  脉冲神经网络在语音处理中的多尺度编码与残差连接优化方法。针对现有SNN编码机制提取多尺度信息不足及时序维度不匹配问题,提出MCRE模块通过分层时间块整合局部与全局特征,模拟海马体-皮层信息重组机制,并设计TSIP方法利用高斯分布随机填充时序维度,解决残差连接应用中的数据流形不一致问题。实验表明,该方法在SHD、SSC和GSC数据集上分别实现96.44%、80.92%和95.64%的准确率,较基线提升1.34%、0.63%和0.29%,同时将能耗降低最大55%。

  
张琪|王华敏|沈航驰
中国重庆西南大学人工智能学院,400715

摘要

由于脉冲神经网络(SNNs)对时间具有敏感性,它们在处理语音数据集的时间信息方面展现出独特的潜力。当用于处理语音信息时,编码层对模型的输入信息和计算至关重要。然而,现有的SNN编码机制需要进一步优化,以便有效提取语音中的多尺度信息。此外,在处理语音信息过程中时间维度的不匹配限制了脉冲架构中残差连接的应用。为了解决这两个问题,我们提出了多尺度分块残差编码器(MCRE)和时间随机插值填充(TSIP)。MCRE的执行过程类似于海马体-皮层的信息重组机制,能够并行处理局部和全局时间特征,有效整合这两种类型的信息,从而增强模型的上下文理解能力。TSIP利用高斯分布随机选择时间维度上的填充位置,从而实现序列长度的均衡,并使残差连接得以应用。此外,通过高斯分布引入的结构化噪声可以提高模型的鲁棒性并提升其整体性能。我们在Spiking Heidelberg Digits(SHD)、Spiking Speech Commands(SSC)和Google Speech Commands v0.02(GSC)数据集上评估了我们的方法。我们的方法在SHD上达到了96.44%的准确率(提高了1.34%),同时在SSC(80.92%,提高了0.63%)和GSC(95.64%,提高了0.29%)上也取得了最佳性能。同时,我们的方法显著降低了基线的能耗,最大减少了55%。

引言

脉冲神经网络(SNNs)作为第二代人工神经网络发展中的杰出成果,被誉为第三代人工神经网络(ANNs)(Maass,1997)。SNNs更准确地模拟了人脑的结构和信息处理机制,极大地增强了生物可解释性(Hu等人,2023)。与ANNs相比,SNNs因其高效的事件驱动机制、极低的功耗特性以及强大的时间编码能力而脱颖而出(Li等人,2024a)。SNNs的核心在于其独特的脉冲神经元,例如Leaky Integrate-and-Fire(LIF)神经元(Gerstner和Kistler,2002),这种神经元仅在膜电位超过阈值时才发出脉冲输出,这与生物神经元的行为高度一致(Gerstner等人,2014)。这导致SNNs内的数据流具有显著的稀疏性,赋予了其低功耗和稀疏编码等独特优势。利用SNNs的稀疏二进制计算机制可以避免乘积累(MAC)操作,而只需要低能量的稀疏积累(AC)操作(Shen等人,2024;Wang等人,2024)。这种方法在TrueNorth(Akopyan等人,2015)、Loihi(Davies等人,2018)和Tianji(Pei等人,2019;Yao等人,2024)等神经形态计算平台上展示了显著的节能优势。由于时间特性,SNNs在处理复杂动态信息任务方面具有更大的适应性和潜力。大量研究表明,SNNs在计算机视觉(CV)(Luo等人,2025;Zhou等人,2024)和自然语言处理(NLP)(Hammouamri等人,2024a;Sun, Chua, Devos, Botteldooren, 2023;Sun, Su, Achterberg, Indiveri, Goodman, & Akarca,2023)等领域表现优异,不仅提高了网络的计算效率,也为其在未来智能信息处理中的应用奠定了基础。
为了充分利用这些优势,研究人员提出了各种编码方案,如直接编码、时间编码和相位编码,将静态声学特征转换为基于脉冲的表示,以便SNNs进行处理。使用这些编码方案的多个SNN模型证明了这些技术的可行性和潜力(Chen等人,2024b)。然而,上述编码方法的主要功能是将静态信息转换为适合SNNs处理的脉冲序列,而没有额外引入处理输入信息的模块,例如优化时间分辨率(Kim等人,2024;Qing-Hua等人,2020)。同时,考虑到SNNs在处理时间依赖的序列数据(如语音信号)方面具有天然优势,因为它们在编码时间信息和捕捉动态变化方面表现出色,因此在NLP领域探索SNNs的编码技术尤为重要。通过设计高效的编码方案(例如,整合时间粒度或频谱特征),模型可以更全面地学习语音输入特征,如韵律、音素转换和上下文依赖性。受海马体-新皮质信息重组机制的启发(Chen等人,2024a;Li等人,2024b),我们设计了一种名为多尺度分块残差编码器(MCRE)的高效编码方案,该方案通过在不同时间分辨率下学习信息,结合局部时间细节和全局时间动态,实现多尺度时间特征的融合,从而增强模型捕捉时间模式的能力。
为了解决梯度消失、性能下降和过拟合等问题,深度神经网络(DNNs)中引入了残差连接(He等人,2016;Razavi等人,2024),这一技术也在SNNs领域得到了广泛研究,包括Spiking-Resnet(Hu等人,2023)、Sew-Resnet(Fang等人,2021)和Ms-Resnet(Han等人,2022)等。然而,残差连接的使用受到模块间数据流形状不一致的限制,这在语音信息处理过程中经常遇到。具体来说,在模型中通过卷积和其他运算符处理语音数据后,时间维度的长度会发生变化(例如,从t1变为t2)。这种时间维度的不匹配阻止了直接相加或连接,从而限制了残差连接的应用。为了克服这一限制并成功引入残差连接,我们必须首先解决数据中时间维度不一致的核心问题。为此,我们提出了时间随机插值填充(TSIP)方法,该方法能够有效应用残差连接并提升SNNs的性能。
本文的贡献可以总结如下:
(1) 我们设计了MCRE来学习多尺度时间特征,它能够同时捕捉短时间块中的高频信息和长时间块中的低频信息,实现多尺度信息的融合,就像海马体-新皮质信息重组机制一样。
(2) 提出的TSIP方法旨在解决数据流形状不匹配的问题,克服了数据时间维度不一致情况下应用残差连接的限制,同时通过结构化噪声增强了模型的鲁棒性。
(3) 实验结果表明,我们的方法在Spiking数据集SHD和SSC上的分类准确率分别为96.44%和80.92%,达到了最佳性能。在非脉冲数据集GSC上,我们的方法达到了95.64%,比基线提高了0.29%。同时,我们的方法还显著降低了模型的能耗。

部分内容

脉冲神经元

脉冲神经元是SNNs的基本构建单元,数据通过这些神经元时被转换为标准的0和1脉冲信号。研究人员提出了多种脉冲神经元模型,包括Hodgkin-Huxley神经元(Efimova等人,2024)、脉冲响应模型(SRM)(Qin和Liu,2025)、Integrate-and-Fire(IF)神经元(Burkitt,2006)和LIF神经元(Gerstner和Kistler,2002)。目前,该领域的大多数研究人员主要使用LIF神经元。

方法

在以下两个小节中,我们将详细描述我们提出的多尺度分块残差编码器(MCRE)和时间随机插值填充(TSIP)方法,并提供相应的示意图以更好地解释这两种方法。

实验

我们首先在Spiking数据集SSC和SHD上进行实验,以验证所提出的MCRE和TSIP在脉冲数据上的有效性。随后,我们在非脉冲数据集GSC上进行实验,进一步证明了我们的方法在非脉冲数据上的有效性。在本章中,我们将首先介绍SSC、SHD和GSC数据集的基本信息,然后描述我们的实验设置,接着详细讨论我们在这些数据集上的实验结果。

结论

在本文中,我们提出了两个模块:多尺度分块残差编码器(MCRE)和时间随机插值填充(TSIP)。受海马体-新皮质信息重组机制的启发,MCRE通过结合局部时间细节和全局时间动态,实现了多尺度时间特征的融合,增强了编码动态信息的能力。模拟生物神经系统的多时间尺度编码,MCRE能够捕捉高频

CRediT作者贡献声明

张琪:撰写——原始草案、验证、软件开发、调查、正式分析。王华敏:撰写——审阅与编辑、监督、资源获取、方法论、资金申请、正式分析。沈航驰:验证、软件开发、调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了重庆市自然科学基金创新与发展联合基金(项目编号CSTB2025NSCQL ZX0160)、四川省科技计划(项目编号2026NSFSC0437)以及国家自然科学基金(项目编号U1804158)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号