《Biomimetics》:Elite-Guided Nutcracker Optimization Algorithm with Memory-Differential Spiral Search for Feature Selection
编辑推荐:
特征选择能够有效去除分类任务中的冗余和无关特征;然而,在不同维度的数据集上进行特征子集搜索仍面临初始化随机性强、搜索空间复杂、局部开发方向单一以及难以有效更新劣势个体等挑战。本文提出一种基于精英引导与记忆差分螺旋搜索的坚果优化算法用于特征选择(Elite-Gu
特征选择能够有效去除分类任务中的冗余和无关特征;然而,在不同维度的数据集上进行特征子集搜索仍面临初始化随机性强、搜索空间复杂、局部开发方向单一以及难以有效更新劣势个体等挑战。本文提出一种基于精英引导与记忆差分螺旋搜索的坚果优化算法用于特征选择(Elite-Guided Nutcracker Optimization Algorithm with Memory-Differential Spiral Search for Feature Selection,EGRNOA)。该方法首先采用最小冗余最大相关性(Minimum Redundancy Maximum Relevance,mRMR)预选候选特征,从而减少冗余特征对后续搜索过程的干扰;随后引入Logistic–Tent混沌初始化以增强初始种群分布的均匀性。在NOA的觅食阶段,研究人员设计了一种记忆差分螺旋搜索策略,将全局最优记忆、个体历史最优记忆和随机差分方向共同融入螺旋更新过程,使搜索不再仅围绕单一最优个体收缩,从而在保持方向性扰动的同时增强局部开发能力。研究人员构建了一种多样性自适应的精英引导劣势个体重建机制,利用精英种群信息对劣势个体进行定向修复,在缓解早熟收敛的同时提高种群更新效率。在CEC2020基准函数上的实验结果表明,EGRNOA在所有十个函数上均取得最佳或并列最佳的平均结果,并获得1.050的最佳Friedman平均排名。在十个不同维度的分类数据集上,EGRNOA在九个数据集上取得最高平均分类精度;在movement数据集上,其平均精度较次优算法提升6.41个百分点。收敛曲线、箱线图、临界差图和消融实验进一步验证了记忆差分螺旋搜索和多样性自适应精英引导重建机制在提升搜索质量和增强特征选择鲁棒性方面的有效性。
论文解读
一、研究背景与问题
随着数据采集与智能感知技术的快速发展,医学诊断、生物信息学、文本分析、图像识别、网络安全和工业故障诊断等领域的分类数据呈现出不同的维度特征。部分数据集仅包含少量描述变量,而另一些数据集则包含数百甚至数千个候选特征。无论维度规模如何,原始特征空间中都可能包含无关特征、冗余特征、弱相关特征和噪声变量。直接使用全部原始变量不仅会增加训练成本,还可能降低模型的泛化能力和稳定性。因此,选择一个紧凑且具有判别力的特征子集是机器学习、模式识别和生物医学数据分析中的重要问题。
特征选择旨在从原始特征集中去除不必要的信息,同时保留对目标任务有贡献的变量。与特征提取不同,特征选择不改变所选变量的物理含义,这在强调可解释性的场景中具有优势。现有方法通常分为过滤式、包裹式和嵌入式三类:过滤式方法计算效率高,但与最终分类器的耦合较弱;包裹式方法直接使用分类器评估候选子集,通常能获得更好的预测性能,但重复的分类器评估增加了计算成本;嵌入式方法将特征选择集成到模型训练过程中,但其结果往往依赖于特定的学习模型。
特征选择的挑战不仅存在于高维数据中:在低维数据集中,不稳定的优化器仍可能错误地移除关键变量或在有限样本上导致过拟合;在中维数据集中,变量间的交互变得更加复杂,冗余信息开始影响特征子集的质量;在高维数据集中,特征子集空间呈指数级增长,穷举搜索不可行,对初始化质量、种群多样性维持和局部细化能力提出了更高要求。因此,实用的特征选择算法应能在不同维度规模的数据集上保持稳定性能。
坚果优化算法(Nutcracker Optimization Algorithm,NOA)是一种模拟星鸦觅食、贮藏、空间记忆和缓存恢复行为的群体智能优化方法。然而,标准NOA主要针对连续优化问题设计,直接应用于特征选择时面临候选特征冗余、初始种群覆盖不足、觅食阶段局部开发方向单一以及后期劣势个体更新效率低等问题。
二、研究内容与意义
针对上述问题,研究人员提出了EGRNOA框架,围绕降低搜索空间复杂度、增强觅食阶段开发能力和提高劣势个体更新质量三个主要目标展开。该框架首先使用mRMR对候选特征空间进行必要压缩,然后采用Logistic–Tent混沌初始化改善种群分布,在NOA觅食阶段嵌入记忆差分螺旋搜索,使螺旋更新同时受全局记忆、个体记忆和差分方向的约束,并结合多样性自适应精英引导机制重建劣势个体,最后通过Sigmoid二值映射和KNN交叉验证完成特征子集评估。
实验结果表明,EGRNOA在CEC2020基准函数上取得最佳或并列最佳的平均结果,并获得最佳Friedman平均排名;在十个分类数据集上,EGRNOA在九个数据集上取得最高平均分类精度。该研究为不同维度特征选择问题提供了一种系统性的解决方案,将数据级预筛选、种群级搜索增强和个体级质量修复有机结合,具有重要的理论价值和实践意义。
三、关键技术方法
研究人员采用的主要技术方法包括:基于mRMR的分段式候选特征预筛选策略,根据原始特征维度设定不同保留比例;基于Logistic–Tent混合混沌映射的种群初始化方法;在NOA觅食阶段设计的记忆差分螺旋搜索策略,将全局最优记忆、个体历史最优记忆和随机差分方向融入螺旋更新;多样性自适应精英引导重建机制,根据种群多样性和适应度排序对劣势个体进行定向重建;以及Sigmoid二值映射与KNN五折交叉验证相结合的特征子集评估框架。
四、研究结果
CEC2020基准函数上的通用优化性能评估。 在CEC2020基准函数实验中,EGRNOA在十个函数上均取得最佳或并列最佳的平均值,在F5和F7上相对次优算法的平均值优势最为明显,差异分别达39.2771和36.3473。在重复运行稳定性方面,EGRNOA在F1、F2、F4、F6、F7和F8六个函数上取得最低标准差。Friedman排名检验显示,EGRNOA获得1.050的最佳平均排名,优于标准NOA的1.950以及其他对比算法。
与其他元启发式特征选择方法的对比。 在十个分类数据集上,EGRNOA在九个数据集上取得最高平均分类精度。在movement数据集上,EGRNOA较次优算法HPSO-LS-FS提升6.41个百分点。在arcene数据集上,HPSO-LS-FS取得最高平均精度86.06%,而EGRNOA取得85.35%,仍具竞争力。收敛曲线分析表明,EGRNOA在多数数据集上能较快进入较高精度区域并在后期保持稳定。箱线图分析显示,EGRNOA在九个数据集上的箱体位置处于较高水平,且分布较为集中,表明其优势并非来自偶然最优结果。CD图显示,EGRNOA取得1.100的最佳平均排名,与HGAFS、ACO、NOA和PSO的差异具有统计显著性。
消融实验。 在五个代表性数据集上的消融实验表明,完整EGRNOA在所有数据集上均取得最高精度。去除mRMR后,各数据集精度下降2.05至7.45个百分点;去除Logistic–Tent初始化后,精度下降2.20至3.45个百分点;去除记忆差分螺旋搜索后,精度下降2.25至3.25个百分点;去除精英引导重建后,Parkinson、CNAE和rejafada数据集上的精度分别下降5.44、5.66和5.20个百分点。控制对比实验显示,NOA+mRMR在所有六个数据集上的平均分类精度均高于标准NOA,而EGRNOA进一步高于NOA+mRMR,表明性能提升来自mRMR预筛选与改进搜索机制的联合作用。
五、讨论与结论
研究人员指出,本研究仍存在一定局限性:mRMR在五折交叉验证之前使用完整的类标签信息进行特征排序,验证折的标签信息可能间接影响候选特征集的确定;基于五折交叉验证精度引导特征子集搜索并报告最终分类性能,可能引入一定程度的乐观偏差。此外,研究主要使用KNN分类器评估候选特征子集,所选特征对其他分类模型的适用性尚未得到进一步验证。未来工作将采用嵌套交叉验证或在训练数据内完成特征预筛选和子集搜索的独立测试集,并使用不同分类器和更多真实生物医学数据集评估EGRNOA的泛化性能、可扩展性和实际适用性。
本研究提出了一种基于精英引导与记忆差分螺旋搜索的坚果优化算法用于特征选择(EGRNOA),该方法整合了mRMR预筛选、Logistic–Tent混沌初始化、记忆差分螺旋搜索、多样性自适应精英引导重建、反射边界处理、概率接受机制和Sigmoid二值映射策略,以改善搜索过程中探索与开发的平衡,并减少冗余特征对特征子集搜索的干扰。在CEC2020基准函数上的实验结果表明,EGRNOA在所有十个测试函数上取得最佳或并列最佳的平均性能,并获得最佳Friedman平均排名。在当前评估协议下,EGRNOA在十个分类数据集中的九个上取得最高平均分类精度,并在剩余数据集上保持较强竞争力。收敛曲线、箱线图、CD图和消融实验进一步支持了所提出的改进模块在增强搜索稳定性、重复运行鲁棒性和分类性能方面的有效性。