EEFSA-SECM:一种改进的集成特征选择与堆叠集成分类器,用于检测帕金森病
《Frontiers in Neurology》:EEFSA-SECM: an enhanced ensemble feature selection and stacking ensemble classifier to detect Parkinson’s disease
【字体:
大
中
小
】
时间:2026年03月02日
来源:Frontiers in Neurology 2.8
编辑推荐:
摘要
引言:帕金森病(PD)是一种进行性神经系统疾病,其早期症状往往未被发现,这使得及时诊断变得具有挑战性。机器学习提供了强大的算法来检测基于语音的微妙生物标志物,这些标志物无法通过标准方法检测到。
方法:在本文中,我们提出了一种增强型集成特征选择算法(EEFSA),该算法结
摘要
引言:帕金森病(PD)是一种进行性神经系统疾病,其早期症状往往未被发现,这使得及时诊断变得具有挑战性。机器学习提供了强大的算法来检测基于语音的微妙生物标志物,这些标志物无法通过标准方法检测到。
方法:在本文中,我们提出了一种增强型集成特征选择算法(EEFSA),该算法结合了过滤器、包装器和嵌入式方法来提取最佳信息特征,消除冗余并提高分类性能。所提出的方法已在两个基于音频的基准数据集上进行了测试,例如数据集1(46个特征,80个样本),其中EEFSA将特征数量减少到20个;数据集2(754个特征,252个样本),其中EEFSA将特征数量减少到40个。尝试了九种机器学习分类器,并将其中最好的几种组合成一个堆叠集成模型,以逻辑回归作为元分类器。
结果:实验表明,EEFSA驱动的降维不仅提高了分类的准确性,还显著减少了训练时间,并最小化了过拟合。基于所提出方法部署的堆叠集成分类器模型(SECM)在数据集1和数据集2上的准确率分别为86.67%和89.95%,并且在所有实验中都优于单个分类器。
结论:总体而言,这项工作提供了一种新的、高效的特征选择和集成学习组合方法——EEFSA驱动的堆叠方法,用于帕金森病的分类。所提出的EEFSA–SECM框架在两个基准数据集上实现了有效的分类准确性、有竞争力的训练/测试时间以及改进的AUC分数,证明了其作为帕金森病诊断的有效和高效方法。
1 引言
帕金森病(PD)是全球第二常见的神经退行性疾病,大约2%–3%的65岁以上人群患有此病,全球有超过850万人受到影响(1)。PD的诊断特征是逐渐进展的运动症状,如震颤、僵硬、运动迟缓和姿势不稳,以及一系列非运动症状,包括认知障碍、抑郁、睡眠障碍和疲劳(2)。其根本病理与黑质中的多巴胺能神经元丢失和异常α-突触核蛋白聚集密切相关,尽管确切的病因仍然是遗传和环境因素的复杂相互作用。由于预计到2040年发病率将翻倍,PD正迅速成为全球性的健康负担。
早期检测PD非常重要,因为像药物和康复疗法这样的治疗方法在疾病早期阶段治疗效果更好(2, 3)。然而,由于PD的早期症状与正常衰老和其他神经系统疾病相似(4),诊断仍然具有挑战性。传统的诊断方法主要依赖于临床评估、患者病史和神经影像学检查,通常具有主观性、成本高昂,并且对于PD的早期检测不够敏感(4)。这种诊断限制引发了对利用非侵入性生物标志物(如语音、书写和步态模式)来创建基于计算机的诊断系统的兴趣日益增长(3)。最重要的是,语音分析被证明是一种非常有前景的方法,因为近90%的PD患者会出现语音障碍,如声音嘶哑、声音减弱和单调的语音(5)。
机器学习(ML)和深度学习(DL)技术已被证明可以通过捕捉生物医学信号中的复杂模式来有效检测PD(6)。基于语音的数据集分析显示出超过95%的准确性,而通过前馈神经网络和基于核的SVM等新技术则进一步提高了性能(1, 4)。此外,新的研究强调了结合语音、运动和成像的多模态方法的重要性,以产生更可靠和准确的预测(7)。
在ML技术中,集成学习也被证明可以显著提高诊断性能。诸如装袋、提升和堆叠等技术利用了集成分类器的优势来减少方差、偏差和过拟合(8, 9)。实际上,堆叠已被证明对于PD预测任务非常有效,通过组合一组不同的基础学习器(如随机森林、XGBoost和神经网络)来形成一个元分类器(5)。例如,Balaha等人(7)在多模态数据集上使用堆叠集成获得了几乎完美的准确性,而作者(5)通过使用堆叠在基于语音的PD检测中展示了分类器的改进鲁棒性。
1.1 贡献
提出了一种增强型集成特征选择算法(EEFSA),它结合了过滤器、包装器和嵌入式方法,从帕金森病语音数据集中选择高度区分性和非冗余的特征。通过比较九种机器学习分类器在完整和简化特征集上的性能,评估了EEFSA的有效性,显示出在准确性、泛化能力和计算效率方面的一致性改进。为了解决类别不平衡问题,应用了SMOTE技术,确保少数类的公平表示并提高分类器的鲁棒性。使用表现最好的基础学习器和逻辑回归作为元分类器构建了一个堆叠集成分类器模型(SECM),其性能显著优于单个分类器。所提出的EEFSA–SECM框架在两个基准数据集上实现了卓越的分类准确性、有竞争力的训练/测试时间以及改进的AUC分数,证明了其作为帕金森病诊断的有效和高效方法。
2 文献综述
帕金森病(PD)的精确诊断是机器学习应用研究领域中的一个新兴方向,因为PD分类的自动化。为了提高诊断准确性,最近的研究提出了使用集成方法以及结合多模态数据的高级特征选择技术。本综述概述了PD分类的方法,强调了集成学习、特征选择方法的相关计算研究。最近的研究表明,使用集成技术可以显著提高PD分类的准确性。Velmurugan和Dhinakaran(5)使用了一个堆叠集成模型,其中包含决策树、随机森林和SVM等基础分类器以及一个元分类器来组合输出以预测PD。他们的发现表明,堆叠比单个分类器提供了更高的准确性和稳定性,突显了集成学习技术在开发可靠和准确的自动化医疗诊断系统中的重要性。Shastry(9)提出了一个名为Nearest Neighbor Boosting(NNB)的集成模型,该模型结合了k-最近邻(KNN)和梯度提升(GB)。NNB结合了F-PER(特征排列技术),在准确性和置信度方面优于标准分类器。这进一步支持了集成基于距离和提升技术的混合模型的观点。
Ghaheri等人(10)提出了一个使用语音数据集的PD检测模型。他们使用SHAP进行特征选择,并结合了一个硬投票集成分类器。SHAP选择了重要特征,然后基于单个分类器的输出构建了集成分类器。与单个模型相比,他们的模型表现更好。因此,特征选择和集成方法的结合提供了更高的准确性和可靠性。Ali等人(11)提出了EOFSC,即一个基于样本依赖分类器的最优特征集成。该模型检查了PD患者语音记录中的特定类型发声,并为每种发声类型计算了最优特征子集。他们的模型使用为这些子集定制的分类器,比使用单个分类器的模型性能提高了6.5%。这突显了使用多样化发声数据对于准确检测PD的重要性。
最近的研究关注了特征选择方法在提高PD分类系统性能方面的作用。Nahar等人(12)应用了集成装袋分类器和包装器特征选择来检测帕金森病。Nahar等人(12)表明,特征选择可以提高分类准确性。在低维数据集上训练的分类器达到了82%的准确率,证实了使用相关特征子集可以提高检测性能的假设。然而,他们的研究仅关注基于装袋的集成方法,没有探索其他更复杂的集成方法。
在一项更全面的研究中,Qasim等人(13)开发了一个基于递归特征消除(RFE)、主成分分析(PCA)和SMOTE组合的混合框架。他们在UCI PD语音数据集上评估了多种分类器,其中SVM的准确率为98.2%,优于所有其他分类器。研究表明,通过积极的重采样和降维可以构建出鲁棒的分类器,但复杂的混合结构仍然带来了过大的计算负担。Sabeena等人(14)提出了一种基于优化的集成特征选择算法,结合了混合搜索方法,使用深度神经网络提取帕金森病(PD)分类的语音特征。他们的方法提供了更好的精确度、召回率和特征选择性能,并减少了过拟合倾向。这种方法受到更高的计算复杂性的影响,再次强调了性能和效率之间的经典权衡。
深度学习方法和传统机器学习方法为PD的检测提供了有效结果。Wang等人(15)采用了这种方法,并将其应用于多模态运动和语音信号以早期检测PD。他们展示了深度学习在PD检测中的潜力,准确率达到96%,使用了SVM、RF和深度神经网络。然而,也存在一些限制,如计算资源不足,影响了实际应用。Al-Sarem等人(16)在帕金森病语音数据上使用了CatBoost(一种梯度提升算法),并使用特征重要性评分来选择最具区分性的声学参数。他们的模型相对于随机森林和逻辑回归的结果表现出了竞争力。这项工作证明了先进提升技术和特征选择对于PD诊断的重要性,并强调了特征在高效缩小数据集到关键特征方面的作用。
本研究工作探索了一种结合增强型堆叠集成方法和集成特征选择算法(EEFSA)的早期帕金森病诊断方法。它解决了小数据集大小、类别不平衡和特征冗余问题,提供了一种更强大、非侵入性和可扩展的帕金森病诊断解决方案。
3 方法论
在这项研究中,提出了一个框架,用于使用音频数据在早期阶段检测帕金森病(PD)。研究数据来自UCI机器学习仓库。该框架包括两个阶段:第一阶段应用机器学习分类器而不进行特征降维;第二阶段使用增强型集成特征选择算法(EEFSA),结合了几种技术——过滤器、包装器和嵌入式方法进行特征选择。当用机器学习算法建模生物医学数据集时,常常会遇到维度灾难问题,引入冗余并降低模型的有效性。
为了解决类别不平衡问题,我们使用了SMOTE算法来构建平衡的数据集。在获得平衡的数据集后,使用优化的分类器对PD和健康受试者进行分类。所提出的系统具有堆叠集成分类器模型(SECM),其中包含多个基础学习器,如随机森林、XGBoost和支持向量机(Multilayer Perceptron)。基础学习器的结果由元分类器汇总,以提高鲁棒性。
随后,对模型进行了详细的评估,使用准确性、精确度、召回率、F1分数和AUC进行了广泛分析。所提出工作的整体工作流程如图1所示,展示了EEFSA、SMOTE和堆叠集成学习的集成,以实现准确和高效的基于音频的PD预测。
图1 提出的框架
3.1 数据集
本研究展示了增强型集成特征选择和聚合(EEFSA)框架的功能能力,该框架处理了两个不同的帕金森病数据集。这种多数据集方法有助于加强对不同人口统计和声学数据特征的分析。
数据集1:该数据集来自UCI机器学习仓库(17),包含80人的240个基于语音的录音实例,其中40人患有帕金森病(PD),40人健康。健康人群组中有22名男性和18名女性,平均年龄为66.38岁;PD人群组中有27名男性和13名女性,平均年龄为69.58岁。该数据集包含46个声学特征,可以分为五组:音高扰动、幅度扰动、频谱包络测量、噪声特征和非线性测量。重要特征如抖动和闪烁(加权平均)对于PD症状(静止性震颤、运动迟缓和僵硬)的检测至关重要,这些特征使用复杂的语音信号处理算法进行测量。
数据集2:本研究使用的第二个数据集来自伊斯坦布尔大学Cerrahpasa医学院神经科患者的声音记录(18, 28)。该数据集包含252人的声音记录,其中包括188名帕金森病患者(107名男性和81名女性,年龄在33-87岁之间;平均年龄:65.1±10.9岁)和64名健康对照组受试者(23名男性和41名女性,年龄在41-82岁之间;平均年龄:61.1±8.9岁)。参与者接受了临床检查,并被要求连续三次发出元音“a”的声音,录音的采样率为44.1 kHz。该数据集包含756个实例和754个特征,这些特征包括整数和实数值,没有缺失值。为了提取与帕金森病临床评估相关的声学特征,使用了语音信号处理方法,如时频特征、梅尔频率倒谱系数(MFCCs)、基于小波变换的特征、声带特征以及Teager小波量化变换特征(TWQT)。这些特征突出了与帕金森病相关的声音变化,包括声音震颤、僵硬和动作迟缓等症状,从而提高了数据集在分类任务中的实用性。
3.2 数据预处理
在机器学习框架的背景下,数据预处理对于信任度和有效性至关重要。对于这项分析,对帕金森病患者的语音数据集进行了各种预处理步骤。为了消除任何不相关或缺失的信息,进行了适当的清洗。为了保持模型训练和测试中不同类别的平衡分布,数据集使用与受试者无关的分层组划分方法进行了分割,其中75%用于训练,25%用于测试。使用MinMaxScaler进行特征缩放,将每个特征的数值缩放到0-1的范围内。该缩放器仅针对训练数据进行了拟合,然后使用相同的缩放参数应用于测试数据。考虑到数据集的医学背景和可能的类别不平衡问题,使用SMOTE(合成少数样本过采样技术)改进了训练数据集。SMOTE仅在每个交叉验证折叠的训练部分应用,使用默认配置(k=5个最近邻)和固定的随机种子(random_state=42),确保不会从验证或测试数据生成合成样本。这种方法有助于处理训练过程中的不平衡问题,提高了模型的鲁棒性并增强了泛化性能,减少了分类器处理不平衡情况时的偏差。尽管数据集I在整体上类别平衡,但由于受试者分组和不同折叠之间的样本分布不均,仍可能产生折叠级别的不平衡。
3.3 增强的集成特征选择算法(EEFSA)
在这项研究中,我们实现了一种基于Singh和Tripathi(19)的自定义集成特征选择算法,以使用语音数据改进帕金森病的分类。与原始的EEFSA不同,后者使用向后消除作为包装器,我们使用了RFE和随机森林估计器作为包装器,以获得更结构化和稳定的基于包装器的特征选择过程。向后消除根据统计显著性顺序移除特征,而在移除后不再考虑这些特征,这可能导致选择次优的特征子集。RFE是一种结构化的包装器方法,它会在每次消除步骤中重新训练模型并更新特征排名,从而实现合适且可靠的特征选择。当与RFE结合使用时,它可以捕捉非线性关系和特征交互,从而得到稳定的特征排名。如算法1(图2、图3)所述,EEFSA整合了三种不同的选择技术——皮尔逊相关性(过滤器)、RFE(包装器)和LassoCV(嵌入式)——来识别有影响力的特征。通过基于随机森林的重要性排名进一步精炼选定的子集,以保留最重要的特征。这种集成方法消除了不相关和冗余的标签,提高了分类的准确性。改进后的EEFSA策略不仅提高了分类准确性,减少了过拟合,还增强了模型在不同折叠间的泛化能力。
3.4 堆叠集成分类器模型(SECM)
对于帕金森病的分类,本研究使用了九种著名的机器学习分类器:K-最近邻、随机森林、决策树、支持向量机、装袋(以决策树为基估计器)、多层感知器、梯度提升、XGBoost和逻辑回归。每种模型都使用GridSearchCV和10折交叉验证进行了彻底的超参数调整,以确定最佳参数设置。具有最佳交叉验证准确性的模型有五个,它们形成了如算法2(图4、图5)所示的堆叠集成分类器。然后使用逻辑回归模型根据集成基础学习器的预测概率来训练最终的元分类器。因此,构建了这种集成方法。
3.4.1 机器学习模型的超参数
在这项研究中,每个机器学习分类器都需要一个或多个超参数来管理它们的学习过程,从而影响预测准确性。与所有机器学习模型一样,找到最优的超参数组合至关重要,因为不良的选择可能导致模型无法准确捕捉数据中的模式或变得过于复杂。在这项研究中,使用GridSearchCV和10折交叉验证自动找到了所有模型超参数的最佳设置,保证了模型训练过程中的可靠性和无偏性。超参数调整后,每个分类器都根据其交叉验证准确性进行了排名。排名前五的模型被放入堆叠集成中。在SECM中,基础学习器的输出通过类别概率预测进行组合。每个基础分类器产生预测的类别概率,这些概率随后被用作训练元分类器的输入特征。对于数据集I,使用逻辑回归作为元学习器,基础学习器的预测概率作为输入,配置最多2000次迭代和固定的随机种子以确保可重复性。数据集II使用带有弹性网络正则化的逻辑回归,配置SAGA求解器,正则化强度C=5.0,L1比率0.5,最多3000次迭代。这种配置在聚合来自异构基础分类器的概率输出时实现了有效的正则化和稳定的收敛。
3.5 性能评估
集成分类器和其他分类器在提取了语音特征后的帕金森病数据集上进行了训练,并使用传统的分类技术进行了评估。如方程2所示的准确性是最基本的K评估指标之一。如方程1所示的精确度是正确检测到的正样本与所有样本的比例,召回率(TPR)是正样本与实际正样本的比例,告诉我们捕获了多少真实的帕金森病病例。如方程4所示的F1分数是精确度和召回率的平均值,当存在类别不平衡现象时,这为评估增加了平衡维度。真负率(TNR)也分析了分类器识别健康对照组的能力;分类器的误分类倾向由假正率(FPR)和假负率(FNR)描述。为了基于混淆矩阵的所有四个组成部分计算性能,可以使用马修斯相关系数(MCC)(如方程5所示),这对于分布不均匀的数据集非常相关。接收者操作特征曲线下面积(AUC-ROC)(如方程6所示)总结了模型在所有阈值下的判别能力。值越高,模型之间的分类分离效果越好。在评估模型稳定性时,计算了10折交叉验证的准确性,同时测量了训练和测试时间以评估计算效率。评估指标正式定义如下:
(1) 精确度 = TP + TN / (TP + TN + FP + FN)
(2) 准确性 = TP + TN / (TP + TN + FP + FN)
(3) 召回率 (TPR) = TP / (TP + FN)
(4) F1分数 = 2 × 精确度 × 召回率
(5) MCC = (TP × TN) / (FP × FN) √(TP + FP) / (TP + FN + FP)
(6) AUC-ROC = ∫_1^10 TPR(d(FPR))
4 实验结果
4.1 实验—数据集I
本节分析了在数据集I上训练的分类器的评估,考虑了增强集成特征选择(EEFSA)对模型性能的影响。实现了三种基于过滤器、包装器和嵌入式方法的特征选择算法,具体包括皮尔逊相关性、递归特征消除(RFE)和LassoCV。创建了一个堆叠集成分类器(SECM),并将其与其他机器学习分类器结合,用于分类帕金森病患者和健康对照组。训练了九个分类器,包括使用GridSearchCV方法进行超参数优化的堆叠集成。进行了10折交叉验证程序来验证结果,并计算了平均交叉验证分数及其标准差。评估指标包括准确性、召回率、F1分数、ROC-AUC和验证分数。最初,使用皮尔逊相关性过滤出相关系数大于0.55的特征,选择了7个相关特征。这种相关性分析仅在训练数据上进行,以避免信息泄露。然后,应用了带有50棵决策树(n_estimators=50)和固定随机种子的递归特征消除(RFE),选择了10个有影响力的特征,应用了包装器方法。作为第三种方法,使用LassoCV计算最佳正则化参数,alpha网格范围从10^-4到10^1,进行了5折交叉验证,最多4000次迭代,以及固定随机种子,以选择10个相关特征。使用基于随机森林的杂质重要性分数对这些三个子集进行了排名,使用随机森林作为基础估计器(n_estimators=100),选择了20个最重要的特征来创建EEFSA子集,以实现更高效和准确的模型训练。使用集成选择的特征,堆叠集成分类器模型(SECM)获得了更高的准确率分数。EEFSA方法选择的20个特征优于竞争的单独特征选择方法。EEFSA为数据集I选择的特征突出了已知受帕金森病影响的语音特征。如Jitter_PPQ和Shimmer_APQ5这样的扰动特征捕捉了音高和响度的不稳定性,这在帕金森病中很常见,因为声带控制受损。与噪声相关的指标包括GNE、HNR35和HNR38,反映了呼吸音和弱音,这在声音低下的患者中经常出现。非线性特征如RPDE、DFA和PPE测量了不规则和减少的音高变化,有助于捕捉不稳定和单调的语音。此外,几个MFCC和delta MFCC特征代表了与发音不精确性和语音清晰度降低相关的语音频谱和时间变化。所有这些特征描述了帕金森病晚期语音的各个方面,解释了使用EEFSA实现的改进分类性能。在EEFSA过程的每个阶段选择的完整特征列表在补充材料中提供。根据完整特征集和EEFSA减少的子集对分类器进行了评估。堆叠集成使用GridSearchCV进行了超参数调整,确保所有分类器在相同的实验条件下进行评估。对于数据集I,最终的堆叠集成包括基于交叉验证准确性选出的前五个分类器,即SVM、逻辑回归、随机森林、KNN和装袋。使用EEFSA减少的集合对所有分类器进行了优化。表1提供了比较性能,显示了所有分类器在完整特征集和EEFSA选择的子集上的训练情况。
表1 分类器性能比较
模型 准确率 (%) F1分数 (%) 精确度 (%) 召回率 (%) MCC (%) AUC-ROC(10折)% 训练时间(秒) 测试时间(秒)
KNN 85.00 84.75 86.21 83.33 70.04 0.94 175.00 ± 11.18 83.52 ± 11.35 77.40 0.01
随机森林 81.67 81.97 80.65 83.33 63.37 0.91 97.89 ± 11.60 84.44 ± 10.33 38.11 0.01
决策树 66.67 64.29 69.23 60.00 33.63 0.75 47.06 ± 14.07 72.47 ± 14.01 2.06 0.00
SVM 86.67 86.67 86.67 86.67 73.33 0.94 48.00 ± 12.96 86.05 ± 11.10 3.94 0.03
装袋 81.67 81.36 82.76 80.00 63.37 0.89 47.94 ± 12.92 85.25 ± 11.87 50.67 0.06
MLP 66.67 65.52 67.86 63.33 33.41 0.75 87.01 0.56 ± 10.26 78.89 ± 13.92 65.34 0.00
梯度提升 81.67 81.36 82.76 80.00 63.37 0.86 67.50 ± 9.38 81.11 ± 10.85 97.01 0.00
XGBoost 76.67 76.67 76.67 76.67 53.33 0.84 47.44 ± 10.89 82.10 ± 9.82 38.47 0.03
逻辑回归 85.00 85.71 81.82 90.00 70.35 0.94 80.00 ± 11.97 84.94 ± 11.77 10.06
堆叠集成 85.00 85.25 83.87 86.67 70.04 94.67 85.06 ± 10.19 5.90 0.16
4.1 实验—数据集I
本节分析了在数据集I上训练的分类器的评估,考虑了增强集成特征选择(EEFSA)对模型性能的影响。实现了三种基于过滤器、包装器和嵌入式方法的特征选择算法,具体包括皮尔逊相关性、递归特征消除(RFE)和LassoCV。创建了一个堆叠集成分类器(SECM),并将其与其他机器学习分类器结合,用于分类帕金森病患者和健康对照组。训练了九个分类器,包括使用GridSearchCV方法进行超参数优化的堆叠集成。进行了10折交叉验证程序来验证结果,并计算了平均交叉验证分数及其标准差。评估指标包括准确性、召回率、F1分数、ROC-AUC和验证分数。最初,使用皮尔逊相关性过滤出相关系数大于0.55的特征,选择了7个相关特征。这种相关性分析仅在训练数据上进行,以避免信息泄露。然后,应用了带有50棵决策树(n_estimators=50)和固定随机种子的递归特征消除(RFE),选择了10个有影响力的特征,应用了包装器方法。作为第三种方法,使用LassoCV计算最佳正则化参数,alpha网格范围从10^-4到10^1,进行了5折交叉验证,最多4000次迭代,以及固定随机种子,以选择10个相关特征。使用基于随机森林的杂质重要性分数对这些三个子集进行了排名,使用随机森林作为基础估计器(n_estimators=100),选择了20个最重要的特征来创建EEFSA子集,以实现更高效和准确的模型训练。使用集成选择的特征,堆叠集成分类器模型(SECM)获得了更高的准确率分数。EEFSA方法选择的20个特征优于竞争的单独特征选择方法。EEFSA为数据集I选择的特征突出了已知受帕金森病影响的语音特征。如Jitter_PPQ和Shimmer_APQ5这样的扰动特征捕捉了音高和响度的不稳定性,这在帕金森病中很常见,因为声带控制受损。与噪声相关的指标包括GNE、HNR35和HNR38,反映了呼吸音和弱音,这在声音低下的患者中经常出现。非线性特征如RPDE、DFA和PPE测量了不规则和减少的音高变化,有助于捕捉不稳定和单调的语音。此外,几个MFCC和delta MFCC特征代表了与发音不精确性和语音清晰度降低相关的语音频谱和时间变化。所有这些特征描述了帕金森病晚期语音的各个方面,解释了使用EEFSA实现的改进分类性能。在EEFSA过程的每个阶段为数据集I选择的完整特征列表在补充材料中提供。根据完整特征集和EEFSA减少的子集对分类器进行了评估。堆叠集成使用GridSearchCV进行了超参数调整,确保所有分类器在相同的实验条件下进行评估。对于数据集I,最终的堆叠集成包括基于交叉验证准确性选出的前五个分类器,即SVM、逻辑回归、随机森林、KNN和装袋。使用EEFSA减少的集合对所有分类器进行了优化。表1提供了比较性能,显示了所有分类器在完整特征集和EEFSA选择的子集上的训练情况。
表1 分类器性能比较
模型 准确率 (%) F1分数 (%) 精确度 (%) 召回率 (%) MCC (%) AUC-ROC(10折)% 训练时间(秒) 测试时间(秒)
KNN 85.00 84.75 86.21 83.33 70.04 0.94 175.00 ± 11.18 83.52 ± 11.35 77.40 0.01
随机森林 81.67 81.97 80.65 83.33 63.37 0.91 97.89 ± 11.60 84.44 ± 10.33 38.11 0.01
决策树 66.67 64.29 69.23 60.00 33.63 0.75 47.06 ± 14.07 72.47 ± 14.01 2.06 0.00
SVM 86.67 86.67 86.67 86.67 73.33 0.94 48.00 ± 12.96 86.05 ± 11.10 3.94 0.03
装袋 81.67 81.36 82.76 80.00 63.37 0.89 47.94 ± 12.92 85.25 ± 11.87 50.67 0.06
MLP 66.67 65.52 67.86 63.33 33.41 0.75 87.01 0.56 ± 10.26 78.89 ± 13.92 65.34 0.00
梯度提升 81.67 81.36 82.76 80.00 63.37 0.86 67.50 ± 9.38 81.11 ± 10.85 97.01 0.00
XGBoost 76.67 76.67 76.67 76.67 53.33 0.84 47.44 ± 10.89 82.10 ± 9.82 38.47 0.03
逻辑回归 85.00 85.71 81.82 90.00 70.35 0.94 80.00 ± 11.97 84.94 ± 11.77 10.06
堆叠集成 85.00 85.25 83.87 86.67 70.04 94.67 85.06 ± 10.26 85.06 ± 10.19 5.90 0.16
在没有EEFSA特征选择的情况下,支持向量机(SVM)获得了最高的测试准确率86.67%,其次是逻辑回归和KNN,准确率为85.00%,而堆叠集成也获得了85.00%的准确率(表1)。在保留的测试集上的判别性能方面,堆叠集成展示了具有竞争力的性能,ROC-AUC为0.946,与SVM(0.944)和逻辑回归(0.947)相当。应用EEFSA后,堆叠集成获得了最佳的总体测试性能,准确率为86.67%,F1分数为87.10%,精确度为84.38%,召回率为90.00%,MCC为73.50(表2)。此外,堆叠集成保持了强大的判别能力,ROC-AUC为0.943。
表2 分类器性能比较
模型 准确率 (%) F1分数 (%) 精确度 (%) 召回率 (%) MCC (%) AUC-ROC(10折)% 训练时间(秒) 测试时间(秒)
KNN 81.67 82.54 78.79 86.67 63.65 0.85 378.89 ± 10.77 80.83 ± 11.52 62.10 0.04
随机森林 76.67 77.42 75.00 80.00 53.45 0.91 79.44 ± 11.11 85.31 ± 11.71 40.25 0.03
决策树 60.00 61.29 59.38 63.33 20.04 0.62 368.89 ± 12.22 70.68 ± 11.21 1.48 0.00
SVM 83.33 83.87 81.25 86.67 66.82 0.94 82.78 ± 10.08 87.04 ± 9.21 2.23 0.00
装袋 75.00 74.58 75.86 73.33 50.03 0.85 87.86 ± 10.67 84.63 ± 11.01 35.49 0.04
MLP 66.67 65.52 67.86 63.33 33.41 0.75 87.01 0.56 ± 10.26 78.89 ± 13.92 65.34 0.00
梯度提升 76.67 71.67 71.19 72.41 70.00 43.36 0.83 76.67 ± 10.18 83.21 ± 9.61 161.16 0.01
XGBoost 73.33 72.41 75.00 70.00 46.77 0.85 76.11 ± 13.16 83.70 ± 12.23 23.29 0.01
逻辑回归 81.67 82.54 78.79 86.67 63.65 0.93 81.67 ± 10.26 86.42 ± 9.94 31.10 0.00
堆叠集成 85.00 85.25 83.87 86.67 70.04 94.67 85.06 ± 10.19 5.90 0.16在没有EEFSA的情况下,堆叠集成模型的平均ROC-AUC为0.85 ± 0.10;而在使用EEFSA的情况下,平均ROC-AUC提高到了0.88 ± 0.11。这一改进表明,即使在标准差变化存在重叠的情况下,基于EEFSA选择的特征子集进行训练的堆叠集成模型的判别能力和鲁棒性也有所提升。分类器的性能结果如图8和图9所示,分别展示了使用EEFSA和不使用EEFSA时的准确率、精确度、召回率和F1分数。图6展示了在没有集成特征选择的情况下,使用10折交叉验证(10-fold CV)在数据集I上提出的堆叠分类器的ROC曲线。图7展示了在使用集成特征选择的情况下,使用10折交叉验证在数据集I上提出的堆叠分类器的ROC曲线。图8比较了在没有集成特征选择的情况下数据集I的性能。图9比较了在使用集成特征选择的情况下数据集I的性能。
从计算角度来看,EEFSA还提高了模型评估阶段的效率。通过特征选择,堆叠集成模型的每个模型的训练时间减少了6.38秒,而像MLP这样的复杂单个模型的训练时间则长得多(80.34秒),同时保持了竞争性的测试时间。这些结果表明,EEFSA框架在提高分类准确性的同时,也优化了计算效率。它是帕金森病分类中一种强大且适应性强的机器学习工作流程的方法。
4.2 实验——数据集II
在数据集2中,首先使用皮尔逊相关性(Pearson Correlation)作为过滤技术,筛选出相关系数大于0.30的特征,从而保留了15个特征。然后应用了包装器方法(wrapper approach)和递归特征消除(Recursive Feature Elimination, RFE)结合随机森林(Random Forest)估计器,通过重复消除过程识别出15个重要特征。嵌入式方法LassoCV被用来找到正则化参数的最佳值,其alpha范围从10^-4到10^1,使用5折交叉验证,最多迭代4000次,最终基于这些特征的系数保留了15个重要特征。这三个特征子集被结合起来形成EEFSA方法,其中随机森林作为基础估计器,使用100棵决策树(n_estimators = 100)对组合特征进行排名。然后选择了前40个特征来形成EEFSA子集,以增强模型的训练效率和准确性。这些通过集成选择的特征使用提出的堆叠集成方法有效应用,与单独的特征选择方法相比取得了更高的准确率。EEFSA方法在选择40个特征的情况下,在所有评估指标上均优于单独的特征选择方法。
EEFSA选择的数据集II的特征捕捉了帕金森病语音中的关键声学模式。几个基于MFCC的特征(例如mean_MFCC_0thcoef、mean_MFCC_1stcoef、mean_MFCC_2ndcoef、mean_MFCC_6thcoef)描述了语音的频谱形状,并对发音不精确和语音清晰度降低敏感,这些在帕金森病中很常见。大部分选定的特征来自TQWT和TKEO基度量,它们描述了语音信号的能量分布、熵和非线性振荡行为。这些特征显示了声带振动不规则、语音稳定性降低以及异常的能量调制,这些都是帕金森病语音中经常观察到的现象。特征还包括GNE_SNR_SEO、GNE_SNR_TKEO、DFA和基于IMF的特征,它们描述了呼吸音、和谐结构减少、长期信号不规则性、单调语音和节奏控制减弱。数据集II的EEFSA过程中每个阶段选定的完整特征列表在补充材料中提供。通过结合这些互补的频谱、时间和非线性特征,基于EEFSA的堆叠集成在数据集II上实现了准确性和泛化能力的提升。
分类器使用完整特征集和EEFSA选定的特征子集进行评估。所有分类器和提出的堆叠集成模型都经过了GridSearchCV的超参数调整,以在相似的工作条件下获得最佳模型配置。最终的堆叠集成由基于交叉验证准确性选出的前五个分类器组成,分别是MLP、梯度提升(Gradient Boosting)、XGBoost、随机森林(Random Forest)和装袋(Bagging),这是在训练阶段确定的。表3展示了所有分类器使用完整特征时的比较性能。表4显示了所有分类器使用EEFSA减少特征后的性能。定义的关键性能指标(KPIs)包括准确性、F1分数、ROC、AUC、精确度、召回率,以及训练和测试模型所需的时间。
表3 分类器准确性(%) F1分数(%) 精确度(%) 召回率(%) MCC(%) 10折交叉验证准确性(CV accuracy) 10折交叉验证AUC(CV AUC) 训练时间(秒) 测试时间(秒)
KNN 70.90 78.43 98.04 65.36 47.12 0.81 47 0.55 ± 7.76 75.45 ± 8.55 9.37 0.0248
随机森林 79.37 86.51 91.91 81.70 44.71 0.90 28 9.36 ± 6.86 82.69 ± 7.47 60 7.76 0.0565
决策树 84.66 90.10 94.29 86.27 57.39 0.82 07 3.21 ± 6.86 67.46 ± 8.49 48.03 0.0111
SVM 81.48 87.97 92.75 83.66 49.44 0.85 08 0.95 ± 7.05 83.95 ± 11.91 11 0.34 0.0206
装袋 81.48 87.89 93.38 83.01 50.71 0.87 68 1.00 ± 10.15 83.98 ± 8.27 16 28.05 0.0801
MLP 84.66 89.97 95.59 84.97 59.71 0.85 28 1.12 ± 7.78 82.29 ± 11.84 45 8.10 0.0122
梯度提升 86.24 91.16 95.04 87.58 61.47 0.89 98 3.25 ± 9.47 85.69 ± 8.89 30 15.37 0.0121
XGBoost 82.01 88.28 93.43 83.66 51.58 0.85 98 3.78 ± 10.51 86.88 ± 9.63 11 19.43 0.2040
逻辑回归 80.42 86.83 95.31 79.74 52.97 0.88 08 2.72 ± 7.16 86.25 ± 13.04 60 0.180.0075
堆叠集成 85.19 90.48 94.33 86.93 58.37 0.89 68 2.21 ± 9.71 87.96 ± 8.38 76 4.88 0.2523
表4 分类器在没有EEFSA特征选择的情况下在数据集II上的性能比较。
表4 分类器在使用EEFSA特征选择的情况下在数据集II上的性能比较。
在没有特征选择的情况下,梯度提升(Gradient Boosting)获得了最高的测试准确率86.24%,紧随其后的是堆叠集成模型,准确率为85.19%(表3)。尽管堆叠集成在模型选择过程中涉及多个基础学习器,但报告的计算时间反映了在相同评估条件下的最终模型训练和推理成本。在这种设置下,梯度提升的每个模型训练时间显著更长(3015.37秒),而堆叠集成只需要764.88秒,同时保持了竞争性的判别性能(ROC-AUC = 0.896)。应用EEFSA后,几乎所有分类器的性能都有明显提升(表4)。堆叠集成模型获得了最佳的整体性能,测试准确率为89.95%,F1分数为93.56%,精确度为97.18%,召回率为90.92%,MCC最高为71.85%。此外,EEFSA显著将堆叠集成的每个模型训练成本降低到了69.31秒,同时保持了较低的测试时间0.1827秒。这些结果表明,EEFSA不仅提高了预测性能,还提高了模型评估阶段的计算效率,使得提出的堆叠框架适用于大规模声学数据集的实际部署。
使用EEFSA方法,大多数分类器在所有评估指标上均表现出提升的性能。图10和图11展示了在没有EEFSA和使用EEFSA的情况下,使用10折交叉验证的堆叠集成分类器的ROC曲线。在没有EEFSA的情况下,模型的平均ROC-AUC为0.87;而在使用EEFSA的情况下,平均ROC-AUC提高到了0.89,但方差更低,表明模型的泛化能力和可靠性更好。不同分类器的性能在准确率、精确度、召回率和F1分数方面进行了评估和比较(图12、图13)。EEFSA特征选择提高了所有模型的性能,但在集成堆叠(Ensemble Stacking)和梯度提升(Gradient Boosting)分类器上效果最为显著。
评估结果表明,与使用完整特征集相比,应用EEFSA可以一致地提高测试准确率和稳定性。此外,EEFSA还降低了大多数分类器的每个模型训练和推理成本。堆叠集成模型在最低的每个模型评估时间内获得了最高的准确率,证实了EEFSA带来的双重好处。获得的结果清楚地展示了EEFSA框架在数据集II上的适用性,它提高了分类准确性,减少了过拟合倾向,并优化了计算资源的使用。
表5中的比较结果显示,现有方法在数据集I上的准确率范围从75%到84.17%,其中Singh和Tripathi(19)使用混合特征选择方法达到了83.30%。相比之下,提出的EEFSA-SECM模型达到了86.67%,优于之前的研究,并在经典机器学习方法中取得了最高的准确率。对于数据集II,如早期研究报道的准确率在80%到91.62%之间,Sabeena等人(14)使用基于深度学习的方法达到了最高的准确率98.77%。提出的EEFSA-SECM达到了89.95%,与表现最好的模型相当,同时通过依赖减少且更具判别力的特征子集保持了效率。这些发现表明,EEFSA-SECM在分类准确性和特征选择效率之间提供了良好的平衡,使其成为帕金森病检测的稳健解决方案。
6 结论
该框架结合了增强型集成特征选择算法(Enhanced Ensemble Feature Selection Algorithm, EEFSA)和堆叠集成分类器模型(Stacking Ensemble Classifier, SECM),旨在改进基于生物医学数据集构建的机器学习模型。EEFSA基于三种特征选择策略:过滤器(filter)、包装器(wrapper)和嵌入式方法(embedded methods),这些方法使用皮尔逊相关性(Pearson Correlation)、递归特征消除(Recursive Feature Elimination)和LassoCV,从而在不损失判别能力的情况下执行降维,得到最优特征空间。选定的特征集经过特征选择处理后,对特征进行排名和聚合,形成了一个强大的特征子集,提高了预测准确性并减少了计算时间。
在数据集I和数据集II上的实验结果表明,提出的堆叠集成在多个评估指标上始终优于传统分类器。值得注意的是,该模型在应用EEFSA时实现了具有竞争力的准确率和F1分数,同时显著减少了训练和测试时间。ROC曲线以及交叉验证分数也证实了模型的可靠性和泛化能力。因此,EEFSA与堆叠集成分类器模型(SECM)的结合为高维分类问题提供了一个强大、计算效率高、可解释且快速的解决方案,特别是在生物医学领域。这种方法可以扩展到医疗保健中的其他分类问题、实时诊断系统和集成多种数据模式的多模态数据集。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号