《Brain Sciences》:ICTD: Combination of Improved CNN–Transformer and Enhanced Deep Canonical Correlation Analysis for Eye-Movement Emotion Classification
Cong Zhang,
Xisheng Li,
Jiannan Chi,
Ming Cao,
Qingfeng Gu and
Jiahui Liu
编辑推荐:
背景/目标:基于眼动特征的情感分类因其数据采集简便及眼动响应与情绪状态间的强关联性而被广泛采用。然而,现有情感识别方法仍面临眼动特征与情感标签相关性较弱、关键特征表现不突出等挑战。方法:针对上述问题,本研究提出了一种融合改进CNN-Transformer与增强
背景/目标:基于眼动特征的情感分类因其数据采集简便及眼动响应与情绪状态间的强关联性而被广泛采用。然而,现有情感识别方法仍面临眼动特征与情感标签相关性较弱、关键特征表现不突出等挑战。方法:针对上述问题,本研究提出了一种融合改进CNN-Transformer与增强型深度典型相关分析网络(ICTD)。该方法首先对原始眼动信号进行预处理和重构以提取信息特征。随后,利用卷积神经网络(CNN)和Transformer架构分别捕捉局部和全局特征。此外,引入增量特征前馈网络(IFFN)以增强Transformer,使模型能够对显著特征信息赋予更高的重要性。最后,通过基于余弦相似度的深度典型相关分析(DCCA)处理提取的特征表示以生成分类结果。结果:在SEED-IV、SEED-V和eSEE-d数据集上的实验表明,所提出的ICTD框架始终优于基线方法并达到最佳分类结果。(1) 在eSEE-d数据集上,三分类唤醒度和效价分类结果分别达到81.8%和85.2%;(2) 在SEED-IV数据集上,四分类情感分类结果达到91.2%;(3) 在SEED-V数据集上,五分类情感分类结果达到85.1%。结论:所提出的ICTD框架有效提升了特征表示能力和分类性能,在情感识别及生理信号分析的实际应用中显示出巨大潜力。
论文解读:ICTD模型在眼动情感分类中的应用与突破
研究背景与动机
情感作为人类主观的生理现象,其多面性表达使得准确识别情绪状态在认知科学中占据关键地位。随着情感计算领域的深入,基于眼动特征的情感分类因非接触式采集的便捷性及眼动响应与情绪状态的强关联性而备受关注。然而,尽管眼动数据在情感分析中展现出优势,现有技术仍面临显著瓶颈:首先,眼动特征与情感标签之间的相关性相对较弱,同一特征在不同情绪状态下可能呈现重叠模式;其次,现有研究多将眼动特征作为辅助信息融入多模态框架,限制了其独立分析潜力;再者,传统方法依赖统计特征且未区分特征在计算过程中的相对重要性,导致关键特征的判别力被稀释。为解决上述局限性,研究人员开展了融合改进CNN-Transformer与增强型深度典型相关分析网络(ICTD)的研究,旨在提升眼动情感分类的精度与鲁棒性,该成果发表于《Brain Sciences》。
关键技术方法概述
研究人员构建了ICTD框架,其核心在于多模态特征处理与优化。首先将瞳孔直径数据与注视数据视为两个独立且相关的模态,分别通过卷积神经网络(CNN)分支进行分层特征提取以捕获局部细节。随后,特征输入至Transformer编码器,其中传统的Feed-Forward Network (FFN)被替换为增量特征前馈网络(IFFN),以增强对显著特征的加权。通过自注意力机制建模特征间内部依赖后,利用基于余弦相似度的深度典型相关分析(DCCA)模块将两个模态的特征映射至共享潜在空间并进行优化,最大化投影表示间的相关性。最终,对齐的双模态特征经融合后输入分类器,通过联合优化分类损失与相关性损失实现高精度情感分类。实验使用了SEED-IV、SEED-V及eSEE-d数据集。
研究结果
1. 引言
研究明确了情感识别在认知科学及情感计算中的重要性,指出了当前眼动情感分析在数据相关性弱、特征权重均一化及缺乏独立模态研究方面的不足,确立了开发ICTD模型的必要性。
2. 相关工作
文献综述总结了眼动特征在情感识别中的应用现状,分析了差异化个体的眼动响应模型及结合脑电信号(EEG)等多模态分析方法的特点,并通过表格形式对比了不同方法的优劣,进一步凸显了本研究聚焦单一眼动模态深度挖掘的价值。
3. 提出的方法
3.1 任务定义:明确了从眼动数据样本X预测情感类别Y的分类任务。
3.2 方法结构:ICTD架构包含CNN-Transformer模块与增强型DCCA模块。
3.2.1 CNN-Transformer模块:引入多尺度平均池化层(核尺寸1×8至1×512)提取时序特征,结合CNN的局部感知与Transformer的长程依赖建模能力。位置编码采用正弦余弦函数(PE(pos,2i)=sin(pos/100002i/d), PE(pos,2i+1)=cos(pos/100002i/d))注入序列位置信息。
3.2.2 增量特征前馈网络(IFFN):替代标准FFN,通过层级特征变换与简化,实现对关键特征权重的动态调整,解决了特征重要性无主次之分的问题。
3.2.3 基于余弦相似度的增强型DCCA:摒弃传统线性变换,采用余弦相似度度量特征向量相关性,因其对向量方向更敏感且受异常值影响较小,更适合眼动数据的非线性特性。
3.3 优化目标:设计了包含分类损失(Lcls)和相关性损失(Lcorr)的联合损失函数(Ltotal=Lcls+λLcorr),通过梯度下降法端到端训练模型参数。
4. 实验结果与分析
4.1 数据集与预处理:使用SEED-IV(四分类)、SEED-V(五分类)及eSEE-d(三分类唤醒度/效价)数据集,对眼动信号进行去噪、分段及特征提取(如注视时长、扫视幅度、瞳孔直径等)。
4.2 评估指标:采用准确率(Accuracy)作为主要评价指标。
4.3 性能比较:ICTD在所有数据集上均超越基线模型。具体而言,在eSEE-d数据集上唤醒度与效价分类准确率达81.8%和85.2%;在SEED-IV上四分类准确率为91.2%;在SEED-V上五分类准确率为85.1%。
4.4 消融实验:验证了IFFN模块与余弦相似度DCCA的单独贡献,移除任一组件均导致性能下降,证实了两者在增强特征表示与相关性对齐中的关键作用。
讨论与结论
研究贡献:ICTD模型通过IFFN有效解决了特征重要性分配不均的问题,利用余弦相似度DCCA增强了跨模态特征的相关性,显著提升了眼动情感分类的性能。
局限性:模型复杂度较高,实时性有待验证;数据集规模与多样性仍需扩展。
结论:研究人员成功开发了ICTD框架,该框架通过整合改进CNN-Transformer与增强型DCCA,有效克服了传统方法中特征相关性弱及关键特征不突出的缺陷。实验结果充分证明,ICTD在多类别情感分类任务中具有优越的性能与稳定性,为基于生理信号的情感计算提供了一种高效且鲁棒的解决方案,具有重要的理论研究价值与应用前景。