《IEEE Transactions on Evolutionary Computation》:A Multi-Fidelity Genetic Algorithm for Hyperparameter Optimization of Deep Neural Networks
编辑推荐:
机器学习模型的性能高度依赖超参数设置,对于计算成本极高的深度神经网络(Deep Neural Network, DNN)而言,超参数优化(Hyperparameter Optimization, HPO)往往难以实现。多保真度优化算法是缓解DNN超参数优化计算
机器学习模型的性能高度依赖超参数设置,对于计算成本极高的深度神经网络(Deep Neural Network, DNN)而言,超参数优化(Hyperparameter Optimization, HPO)往往难以实现。多保真度优化算法是缓解DNN超参数优化计算负担的有效方案。在此背景下,研究人员提出了一种基于多保真度评估的双目标遗传算法(Genetic Algorithm based on Multi-Fidelity evaluations with 2 Objectives, GAMF2O)。该研究明确了如何调整进化场景以适应多保真度方法,并提出一种新的个体评估方案,即在评估中同时采用低保真度评估结果和学习容量(Learning Capacity)两个目标,其中学习容量的应用在评估过程中具有创新性。实验结果表明,该算法在不同分类和回归任务中均优于现有最先进算法。
研究背景与意义
随着深度学习(Deep Learning, DL)模型在大模型时代参数量与复杂度的激增,单次模型训练的计算成本已达到前所未有的高度。传统的超参数优化(Hyperparameter Optimization, HPO)流程,无论是随机搜索还是贝叶斯优化(Bayesian Optimization, BO),均需要对每一个候选配置进行完整的单保真度(Single-Fidelity)训练评估。这种机制在面对ResNet、BERT等大型模型时,因计算资源消耗过大而变得不可行。为解决这一痛点,多保真度优化(Multi-Fidelity Optimization)应运而生,其核心思想是利用低保真度(Low-Fidelity)评估(如使用部分数据或少量训练轮次)来替代昂贵的全量评估,从而降低计算开销。然而,主流的多臂赌博机(Multi-Armed Bandit)类算法,如Hyperband(HB),存在两个显著缺陷:一是严重依赖随机搜索导致采样效率低下;二是仅依据当前低保真度性能进行剪枝,极易过早丢弃那些起步慢但潜力巨大的优质配置。针对上述挑战,研究人员提出了GAMF2O算法,旨在兼顾计算效率与搜索精度,相关成果发表于《IEEE Transactions on Evolutionary Computation》。
关键技术方法
研究人员设计了一种适配多保真度场景的双目标遗传算法。首先,采用锦标赛选择与多点交叉算子维持种群多样性,并引入动态变异率策略以平衡探索与开发。其次,借鉴连续减半(Successive Halving)思想,设定剪枝因子与控制点,仅在资源分配的关键节点对表现优异的个体进行晋级训练,大幅削减无效计算。最为核心的创新在于评估函数:将传统的单一损失函数改进为双目标加权公式 ev=λ1?loss+λ2?lc。其中,lc(Learning Capacity,学习容量)定义为近期学习曲线斜率,通过线性回归拟合获得。权重 λ随训练进程动态调整,早期侧重学习容量以避免早熟,后期侧重最终损失。实验涵盖分类(如Cifar-10、Fashion-MNIST)与回归(如Boston Housing)共20个基准数据集,并与HB、BOHB、DEHB等基线算法进行了公平对比。
研究结果
I. 保真度与选择精度的相关性分析
研究人员通过实证分析了保真度水平与最优配置筛选精度之间的正相关关系。实验表明,当保真度达到60%时,筛选精度可超过80%。同时发现,筛选范围越大(Top-N中N越大),所需判断保真度越低。这一发现为多臂赌博机算法在早期阶段基于低保真度进行大规模剪枝提供了理论支撑,同时也解释了为何仅凭当前损失容易误删后期潜力大的配置。
II. 基于多保真度评估的双目标遗传算法
GAMF2O成功将进化计算引入多保真度框架。通过对超参数进行按类型编码,配合基于类型的多点交叉,保证了进化的有效性。引入学习容量作为第二目标后,算法在低保真度阶段(低于50%)的决策精度显著提升。这是因为学习容量能有效识别出那些损失值暂时较高但下降速度快的配置,避免了传统算法仅因短期表现不佳而将其淘汰。
III. 实验验证与性能评估
在20个不同规模的任务中,GAMF2O在计算成本上与主流多保真度算法相当,并未因引入第二目标而产生显著额外开销。性能方面,GAMF2O在13个任务中取得最佳结果。统计检验显示,在分类任务中,GAMF2O显著优于HB和BOHB;在回归任务中,显著优于DEHB。特别是在优化超参数众多(如31个参数的VGG类模型)或模型收敛较慢的场景下,GAMF2O的优势最为明显。而在模型仅需极少轮次即可收敛的简单场景下,算法表现与其他基线持平。
讨论与结论
研究结论表明,GAMF2O有效解决了传统多臂赌博机算法的两大痛点。通过将遗传算法引入采样过程,克服了随机搜索在高维空间效率低下的问题;通过引入学习容量这一新颖的评估指标,解决了优质配置被过早剪枝的问题。虽然该算法在处理极快收敛模型时优势不明显,但在大多数复杂DNN优化场景中展现了卓越的性能与鲁棒性。未来的工作将致力于进一步降低对高保真度评估的依赖,使其能直接应用于Transformer或扩散模型等超大模型的超参数优化中。