《Electronics》:Effect of the Mass Transfer Biot Number on Moisture Desorption and Hygrothermal Stress in QFN Packages
编辑推荐:
本文提出了一种语音情感识别方法,并以高效的神经网络推理方式在基于现场可编程门阵列(field-programmable gate array, FPGA)的平台上实现。所提方法采用混合神经网络架构,集成卷积神经网络(convolutional neural n
本文提出了一种语音情感识别方法,并以高效的神经网络推理方式在基于现场可编程门阵列(field-programmable gate array, FPGA)的平台上实现。所提方法采用混合神经网络架构,集成卷积神经网络(convolutional neural network, CNN)、长短期记忆(long short-term memory, LSTM)网络和全连接神经网络(fully connected neural network, FCNN),以有效捕获语音信号中的局部特征与时序特征。该架构非常适合时间序列数据的建模,本文将其应用于语音信号。在FPGA实现方面,采用一维CNN(1D CNN)从梅尔频率倒谱系数(Mel-frequency cepstral coefficients, MFCCs)中提取特征,从而降低计算复杂度并提高基于CNN的处理效率。实验采用10折交叉验证,在RAVDESS、EMO-DB、IEMOCAP、BAUM-1s和eNTERFACE’05数据库上分别获得96.12%、97.79%、96.91%、94.01%和98.09%的平均识别率。根据识别精度,所提方法的性能优于现有相关研究。随后,研究人员利用所提出的推理算法将情感识别模型部署到FPGA上,在FPGA上获得的精度与PC端一致。这些结果验证了所设计模型在FPGA平台上的成功部署。
### 研究背景与问题
近年来,人工智能的进展显著推动了基于图像和语音的情感识别技术发展,使其成为智能系统中的重要应用,广泛用于驾驶员监控、欺诈检测、医疗健康和教育等领域。由于许多应用需要在边缘平台上实时处理,嵌入式设备对AI部署的重要性日益凸显。研究人员指出,现有深度学习框架(如Caffe、TensorFlow Lite)虽支持嵌入式平台模型推理,但嵌入式硬件平台在架构和资源约束上差异显著,单一框架无法提供跨设备的通用兼容性,且部署通常要求用户理解底层硬件架构、配置平台专属环境并执行复杂编译流程,对缺乏嵌入式开发经验的开发者构成较大障碍。
与此同时,尽管CNN、LSTM、CNN–LSTM/ConvLSTM和CLDNN等架构在语音情感识别中已展现出有效性,其计算复杂度和部署要求对资源受限的嵌入式平台仍是挑战。其中,常规2D CNN处理比1D CNN需要更多计算量和硬件资源,这对基于FPGA的嵌入式部署尤为重要。此外,以往FPGA平台上的情感识别研究主要聚焦基于CNN的图像情感识别,其准确率与推理速度均有限。因此,研究人员提出一种面向部署的1D CNN–LSTM–DNN架构,并采用高综合(high-level synthesis, HLS)直接在FPGA上实现核心神经网络推理操作,在推理阶段不依赖深度学习框架,从而在保持高识别精度的同时适应嵌入式平台的资源约束。
### 研究内容与总体结论
研究人员在改进CLDNN架构的基础上,设计并实现了一个面向FPGA嵌入式部署的高效语音情感识别系统。该系统利用1D CNN提取局部声学模式,LSTM捕获语音信号中的时序依赖,DNN层学习高层特征表示并完成分类。模型在RAVDESS、EMO-DB、IEMOCAP、BAUM-1s和eNTERFACE’05五个基准语音情感数据库上采用10折交叉验证评估,平均识别率分别达到96.12%、97.79%、96.91%、94.01%和98.09%,优于多数现有方法。通过HLS将训练好的模型转换为可综合硬件,并部署于Terasic VEEK-MT2S/Intel Cyclone V SX SoC FPGA平台,FPGA推理精度与PC一致。1D CNN配置相比2D CNN仅降低0.82%精度,却将推理时间从5.23 s降至1.44 s。模型参数存储从144 MB降至44 MB。硬件剖析显示LSTM层占推理时间的54.65%,成为主要计算瓶颈。论文发表在《Electronics》。
### 主要关键技术方法
研究人员主要采用了以下关键技术:(1)数据增强:采用高斯噪声注入(噪声幅度比固定为0.035)和音高偏移(对数相位因子0.7),将音频样本扩增至原始4倍;(2)特征提取:提取20维MFCC特征并重塑为一维序列;(3)混合网络架构:采用1D CNN–LSTM–DNN结构,LSTM配置20个记忆单元,并去除池化层以保持时序分辨率;(4)HLS部署:将Python推理算法经HLS转换为可综合硬件,在Terasic VEEK-MT2S(Intel Cyclone V SX SoC FPGA)平台上利用双ARM Cortex-A9核并行执行推理。
### 研究结果
**RAVDESS**:10折交叉验证获得96.12±0.52%平均识别率。混淆矩阵显示"calm"、"fear"和"happy"类别的精确率较低,前两者因低声压级和相似声学模式,后者因与其他类别存在声学特征重叠;"disgust"和"neutral"召回率较低。该方法比基于CLDNN的对比方法提高14.12个百分点。
**EMO-DB**:获得97.79±0.66%平均识别率。该数据库样本类别分布不平衡,但所有类别的精确率、召回率和F1值均高于94%,验证了方法的鲁棒性。"happy"精确率较低,归因于其与"angry"共享高声强声学特征,导致误分类。
**IEMOCAP**:获得96.91±0.39%平均识别率。四个情感类别的识别精度介于97%–99%,精确率、召回率和F1值处于95%–97%区间。"neutral"类别精确率与召回率较低,因其相对缺乏显著的声学区分线索。
**BAUM-1s**:获得94.01±1.50%平均识别率。"fear"和"surprised"召回率较低,易被误分类为"happy"。文献中对比方法报告了97.63%的准确率,但其实验协议未明确说明,本研究采用严格10折交叉验证,二者不能直接公平比较。
**eNTERFACE’05**:获得98.09±0.44%平均识别率。"surprised"类别召回率较低,易与"happy"混淆。所有类别指标均高于97%,验证了情感分类的有效性和鲁棒性。
**FPGA实现**:在RAVDESS上,FPGA十个测试折的识别精度为95.31%–96.94%,平均96.12%,与PC完全一致,平均推理时间为1.44 s/样本。模型存储从144 MB降至44 MB。各网络层执行时间分析表明,LSTM消耗0.787 s(占54.65%),为主要计算瓶颈。
### 总结讨论与结论
讨论部分从算法创新和硬件部署创新两方面总结。算法创新包括:采用面向FPGA的1D CNN替代2D CNN(以0.82%精度代价换取约72.5%推理时间缩减);去除池化层以保留卷积分支输出的完整时序序列,避免LSTM建模所需时间信息丢失;通过实验选取20个LSTM记忆单元,相较50单元仅损失0.14%精度而参数量约减半;数据增强、MFCC与改进1D CLDNN的组合显著提升识别性能。硬件部署创新包括:不依赖外部深度学习框架的直接推理实现;基于Cyclone V SoC双ARM核的并行推理;FPGA与PC功能等价且无精度退化;参数化存储方式将模型体积压缩约69.4%。
研究结论表明:所提方法在五个基准数据库上的一致高识别性能证明该架构可跨不同说话人、语言和情感类别实现可靠识别;1D CNN配置在精度与计算效率之间提供了适合资源受限FPGA平台的平衡;FPGA实现能够无精度退化地复现软件模型性能;参数化存储显著降低存储需求,支持嵌入式部署可行性。局限性包括:LUT、BRAM、DSP、功耗与能量等详细测量未充分报告;文献比较受数据集、情感类别、预处理与评估协议差异的影响;数据集内交叉验证尚不能完全确立跨语料库泛化能力。