《Algorithms》:A Survey of Six Classical Classifiers, Including Algorithms, Methodological Characteristics, Foundational Variants, and Recent Advances
编辑推荐:
本文提出一种新型残差多项式网络(RPN),通过极性感知架构显式建模脑电信号(EEG)中的正负激活模式,解决了现有深度学习模型忽视脑电信号固有层次时空结构、可解释性差的问题。该模型在真实驾驶疲劳数据集(SEED-VIG)上实现了97.65%的平均分类准确率,为脑电信号分析提供了更透明、更符合生理机制的深度学习框架。
引言
驾驶员疲劳状态对行车安全构成严重威胁。与传统主观量表、面部活动或外部设备监测等方法相比,基于脑电图的疲劳检测技术因其客观、可连续监测、不受外部光照影响等优势,成为提升道路安全的关键技术。然而,现有深度学习模型常将脑电数据视为通用时间序列输入,忽略了大脑活动固有的层次和时空结构,限制了其可解释性和泛化能力。针对此问题,本研究提出一种新型残差多项式网络(RPN),旨在通过极性感知架构显式建模脑电信号中的正负激活模式。
数据集:SEED-VIG
本研究采用上海交通大学脑-like计算与机器智能研究中心公开的驾驶疲劳数据集SEED-VIG。该实验在虚拟驾驶系统中进行,涉及23名健康参与者。实验记录了18个通道的脑电信号,并采用国际10-20系统进行电极放置。通过眼动仪记录的眨眼和眼睑闭合时间,计算PERCLOS指数作为疲劳的客观度量,并据此定义了清醒(PERCLOS ≤ 0.2)和疲劳(PERCLOS > 0.2)的二元分类任务。
基于脑电信号的疲劳分析框架
特征提取
研究表明,不同脑区参与不同的感知和认知活动。针对驾驶疲劳,主要分析与视觉、听觉及环境重复确认相关的颞叶和枕叶区域的脑电信号。脑电信号包含δ、θ、α、β四种典型节律,其变化与精神疲劳水平密切相关。本研究采用差分熵(DE)作为警觉度估计的特征,因其在估计警觉度方面优于传统的功率谱密度等时频特征。具体而言,将0-50 Hz频带以2 Hz为间隔等分为25个子带,对每个子带提取DE特征,形成通道×样本×频带(17 × 885 × 25)的特征矩阵。为减少被试间变异,对提取的DE特征进行Z-score归一化处理。此外,引入线性动态系统(LDS)对脑电特征进行滤波,以滤除与疲劳无关的成分。
RPN模型架构
RPN模型的核心思想是将非线性函数逼近理论与残差学习框架相结合。其理论基础是魏尔斯特拉斯逼近定理,即闭区间上的任何连续函数都可以用多项式以任意精度一致逼近。RPN通过引入残差多项式映射机制,将原始输入x(t)直接与多项式变换的输出y(t)相加,形成快捷连接,从而促进梯度流动,稳定训练过程。该设计使模型能够专注于学习残差非线性,同时保留线性信号成分,从而提高优化效率和鲁棒性。
RPN模型结构主要包括输入层、多项式展开层(基于多维泰勒网络MTN)、残差连接和输出层。MTN是RPN的核心组件,其输入为包含n个节点的时间序列x(t) = {x1(t), x2(t), …, xn(t)}T。中间层由n个变量的最高m次幂项组成,每个幂项乘以相应的权重向量后求和,得到输出层y(t)。Q(i,j)表示所有幂项的集合,其中i表示构成该幂项的变量的起始索引,j表示幂次。y(t)可表示为各幂项与其对应权重乘积之和。RPN通过将MTN与残差学习单元结构相结合,改变了神经网络原有的学习目标。残差单元的输入x(t)可以直接与多项式层的输出相加,该和再乘以权重矩阵W2,并通过softmax层转换为概率,最终得到输出y'(t)。这种残差连接设计不仅具有轻量化的优势,还通过将输入数据直接传输到输出层确保了信息流的平滑,有效缓解了高阶多项式处理中常见的过拟合和梯度消失问题。
训练与优化策略
RPN模型的训练结合了反向传播(BP)算法和Adam优化算法。BP算法用于计算误差梯度,确保模型在每一层通过参数更新有效减少误差。Adam优化算法则通过自适应学习率调整动态优化各层梯度,有效加速训练过程并增强收敛稳定性。具体而言,使用梯度的一阶矩估计和二阶矩估计动态自主调整每个参数的学习率。为避免梯度下降无法收敛到全局最优甚至发散,Adam算法中引入了学习率衰减系数,使得训练早期在可接受范围内学习步长尽可能大,随着训练轮数增加,学习率逐渐变小,确保学习结果至少在一个最优范围内振荡或逐渐接近最优点。为增强模型在处理跨被试任务时的鲁棒性,在预处理阶段对提取的DE特征应用了Z-score归一化,以减少被试间幅度和分布差异。结合Adam优化器的自适应学习率机制,RPN在处理不同被试的脑电数据时具有更好的稳定性和泛化能力。
基于RPN的驾驶员疲劳分类方法
整体框架包括脑电信号采集、预处理、特征提取(DE)、LDS滤波、以及RPN分类模型训练与测试。脑电信号被分解为2 Hz带宽的片段,对滑动时间窗内的信号应用短时傅里叶变换(STFT),得到信号的时变谱,进而提取差分熵特征。这些特征经LDS滤波后作为RPN分类模型的输入,并以PERCLOS p80标准作为标签。采用十折交叉验证策略,将数据划分为训练集和测试集,先训练RPN疲劳分类模型,再在测试集上进行测试。
实验结果与分析
桑基图分析
桑基图直观展示了17个输入特征与两种分类结果(0:清醒,1:疲劳)之间的关系。特征流带越宽,表明该特征对模型决策的贡献越大。分析表明,通道1(FT7,位于左前颞叶)和通道12(P2,位于后顶叶皮层)的特征流路径最宽,在模型决策中起关键作用。这一发现与神经生理学证据一致:疲劳时,FT7区域神经元活动减少,导致δ频带差分熵特征变化更明显;而P2区域与精细视觉信息处理相关,疲劳损害驾驶员的视觉聚焦和持续注意力,使得反映放松警觉状态的α频带(8-13 Hz)的DE值在P2处降低更显著。这些通道的主导地位不仅符合已知的脑行为关系,也为特征工程和系统优化提供了可操作的见解。
超参数选择
多项式逼近层的最高多项式次数是RPN模型的关键参数。比较实验评估了不同多项式次数的RPN模型的分类性能。结果表明,当多项式次数从2增加到3时,模型分类准确率提高4.32%;从3增加到4时,准确率再提升1.18%,达到最佳性能水平(97.65%);当进一步增加到5时,准确率仅边际下降(-0.13%),但训练时间显著增加(+8.85秒),出现过拟合倾向和训练效率下降。综合考虑分类性能、训练效率和泛化能力,最终将RPN中的最高多项式次数设置为4。所有超参数固定如下:Adam优化器参数β1= 0.9, β2= 0.999, ε = 1×10-8;初始学习率0.001,采用余弦退火策略衰减;最大训练轮数1000,早停耐心值8;批大小32,L2权重衰减系数1×10-4;在softmax前应用dropout率为0.2。
RPN模型的分类结果
在SEED-VIG数据集上,采用十折交叉验证,最大多项式次数为4,初始学习率0.001,重复实验十次。最终实验结果显示平均准确率为97.65%,灵敏度为96.55%,特异性为99.37%,平均每次实验运行时间为27.04秒。混淆矩阵显示,模型对“清醒”和“疲劳”两类样本的分类性能均衡,出现在非对角线区域的误分类样本数极低,表明RPN分类模型在疲劳分类中达到了高精度。
收敛速度与训练精度比较
与决策树(DT)、支持向量机(SVM)、K近邻(KNN)和长短期记忆网络(LSTM)等传统方法的比较实验表明,RPN方法能在较短时间内达到稳定状态,收敛速度优于其他方法。在训练精度上,RPN方法的性能也显著高于DT、SVM、KNN和LSTM方法。这主要归因于:RPN使用多项式逼近非线性函数,提供了清晰的数学表达式和计算方法;集成ResNet思想加速了信息传输和参数更新;引入Adam算法改善了收敛速度。
不同方法性能比较
将提出的RPN分类器与SVM、KNN、DT、LSTM、基于图的MI-MBFT和多尺度卷积Transformer等分类算法进行比较。十折交叉验证结果表明,RPN分类器在所有关键指标(准确率、灵敏度、特异性)上均优于传统机器学习算法。与LSTM架构相比,RPN保持了更高的准确率和灵敏度性能。与最新的Transformer方法相比,RPN的准确率分别比MI-MBFT和多尺度卷积Transformer高出3.01%和9.65%,同时训练时间减少40.2%和35.6%,充分展示了多项式-残差结构在精度和效率上的双重优势。条形图比较直观地显示了RPN在这些指标上优于所有其他模型,特别是在整体预测精度方面优势明显。
特征选择的消融研究
为了评估本研究所采用的DE特征在驾驶员疲劳分类任务中的有效性,并验证其相对于其他常用脑电特征的优越性,在相同模型架构下进行了特征类型的对比实验。比较的特征包括:差分熵(DE)、功率谱密度(PSD)、样本熵(SampEn)、小波系数和差分均值。所有特征均基于SEED-VIG数据集的δ、θ、α、β频带提取,并输入相同的RPN分类模型进行训练和测试。实验采用十折交叉验证策略。结果表明,DE在所有指标上均显著优于其他特征类型,其分类准确率比表现第二好的PSD高出3.19%,验证了DE的适用性和优越性。
性能提升的统计显著性分析
为了进一步验证所提出的RPN模型相对于基线方法的性能提升具有统计显著性而非随机变异,使用十折交叉验证结果对所有模型进行了一系列配对t检验。比较了RPN与几种基线模型(SVM、KNN、DT、LSTM、Transformer和基于图的方法)在每一折交叉验证中的分类准确率。计算了每次比较的平均差异、标准误差、t值和相应的p值。使用显著性水平α = 0.05来确定差异是否具有统计意义。统计结果显示,所有p值均小于0.001,表明RPN相对于所有基线模型的性能提升在0.05显著性水平上具有高度统计显著性,证实了RPN在捕捉疲劳相关脑电模式方面的鲁棒性和有效性。
结论与展望
本研究提出了一种基于脑电信号的RPN模型,通过多项式层精确逼近非线性函数,在驾驶员疲劳分类中实现了显著的性能提升。该模型架构结合了多项式网络和跳跃连接,有效利用了多项式层对非线性脑电动力学的强局部拟合能力以及残差结构在梯度优化方面的优势。在SEED-VIG数据集上,RPN实现了97.65%的分类准确率。与传统深度学习方法相比,RPN结构轻量,仅包含加法和乘法运算,训练时间仅为27.04秒,有效解决了高阶多项式处理中固有的过拟合和梯度消失问题,展现出优异的实时性能和低资源消耗。
这些优势使得RPN非常适用于车载实时疲劳监测系统,以及在癫痫发作预测和认知疲劳评估等临床脑电监测应用中显示出良好的部署潜力。未来的工作将侧重于优化多项式阶数的自适应选择,并探索与边缘部署相结合的在线学习策略,以增强在复杂驾驶场景中的实时响应能力。本研究不仅为疲劳检测建立了新范式,也验证了其多项式逼近框架在脑电信号解码中的广泛适用性。未来的研究将纳入更多独立的脑电数据集,采用跨数据集交叉验证和迁移学习策略,系统评估RPN在不同人群、不同采集设备和不同实验范式下的泛化性能,从而进一步加强其实际工程应用的基础。