eXCube2:一种基于脑科学原理的可解释脉冲神经网络框架,用于从音频、视觉及多模态音视频数据中识别情绪
N. K. Kasabov, A. Yang, Z. Wang, I. Abouhassan, A. Kassabova, T. Lappas
《Biomimetics》:eXCube2: Explainable Brain-Inspired Spiking Neural Network Framework for Emotion Recognition from Audio, Visual and Multimodal Audio–Visual Data
N. K. Kasabov,
A. Yang,
Z. Wang,
I. Abouhassan,
A. Kassabova and
T. Lappas
【字体:
大
中
小
】
时间:2026年03月15日
来源:Biomimetics 4.2
摘要
本文介绍了一种仿生框架以及基于脉冲神经网络的情感状态识别新型人工智能模型。这些模型可用于处理来自音频(语音)、视觉(面部)以及多模态音视频数据的情感状态识别任务。所开发的框架名为eXCube2,它采用了依据人脑结构设计的三维脉冲神经网络架构NeuCube。在eXCube2中构建的人工智能模型能够运用仿生学习规则,对时空数据及频谱时间数据进行处理训练。这类模型不仅能揭示数据中的模式,具备较好的可解释性,还能适应新数据。eXCube2模型已被实现为软件系统,并通过测试,其在对表达不同情感状态的语音和视频数据进行处理的性能表现良好。由于采用了人脑结构作为脉冲神经网络的基础,该框架能够实现音频输入的仿生音调映射与立体声映射、视觉数据的拓扑映射,以及两种模态数据的结合使用。这种新方法使得基于人工智能的情感状态识别更接近人类感知方式,相比现有人工智能系统具有更好的可解释性和适应性。尽管这并非研究的主要目标,但该模型的准确率仍处于较高水平。通过在标准数据集上的实验,该模型在单模态数据上的分类准确率可超过80%,而在使用多模态音视频数据时则能达到88.9%,同时还支持“无法判断”的输出结果。本文还探讨了eXCube2框架在其他音频、视觉及音视频数据领域的应用潜力,可用于解决诸如识别不同背景人群的情感状态、脑部疾病诊断(如帕金森病、阿尔茨海默病、注意力缺陷多动障碍、痴呆症)、评估治疗效果随时间的变化、分析在线客户的满意度、认知机器人技术、人机交互、聊天机器人以及互动电脑游戏等方面的难题。基于脉冲神经网络的人工智能实现方式还有助于利用神经形态芯片和平台,从而降低能耗、缩小设备尺寸、提升性能精度,同时增强系统的适应性和可解释性。这项研究为构建仿生人工智能系统迈出了重要一步。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号