基于知识的节点选择与改进的LASSO正则化方法在神经网络建模中的应用——以经济数据预测为例
《Knowledge-Based Systems》:Knowledge-driven Nodes Selection with Modified LASSO Regularization for Neural Network Modeling in Economic Data Forecasting
【字体:
大
中
小
】
时间:2026年01月06日
来源:Knowledge-Based Systems 7.6
编辑推荐:
作者:Wisnowan Hendy Saputra、Dedy Dwi Prastyo、Kartika Fithriasari
所属机构:印度尼西亚苏拉巴亚十月十日技术学院统计系,邮编60111
摘要
机器学习模型的复杂性通常伴随着正则化处理,而人们期望这种处理能够降低模
作者:Wisnowan Hendy Saputra、Dedy Dwi Prastyo、Kartika Fithriasari 所属机构:印度尼西亚苏拉巴亚十月十日技术学院统计系,邮编60111
摘要
机器学习模型的复杂性通常伴随着正则化处理,而人们期望这种处理能够降低模型的复杂性。神经网络模型的复杂性在于它们同时面临着基于梯度的估计挑战。基于L1范数的正则化方法较为流行,因为它可以筛选模型参数,但已有研究表明该方法无法有效应用于基于梯度的估计。本研究提出了一种改进的正则化方法(称为mLASSO),通过修改梯度来保持其在基于梯度估计中的有效性。mLASSO正则化方法基于知识驱动进行节点选择,允许根据节点之间的连接关系部分或完全移除某些节点。我们的仿真研究表明,mLASSO正则化的有效性不受激活函数类型、数据分布或隐藏层节点数量变化的影响,这在神经网络模型架构中非常重要。实验结果证明,mLASSO正则化能够有效降低模型评估指标的值。基于实际应用结果,我们认为mLASSO正则化能够有效防止神经网络模型过拟合,从而确保模型预测结果不受训练数据中异常值的影响。此外,mLASSO正则化对模型的拟合优度也有显著影响。这些结果表明,mLASSO正则化能够有效克服神经网络模型的过拟合问题,并显著降低模型复杂性。
引言
随着技术的不断发展,越来越复杂的机器学习模型应运而生。这些模型的复杂性往往需要相应的正则化方法来降低算法的复杂性[1]。自19世纪以来,正则化技术经历了显著发展,从直接选择方法发展到嵌入式方法。嵌入式正则化方法被认为是最现代的,因为它将正则化机制融入算法模型中,使其能够与建模过程同步运行[2]。在发现L2范数正则化方法后,人们发现它无法准确筛选关键信息,因此开发了L1范数正则化方法[3]。L1范数正则化(即最小绝对值收缩与选择算子LASSO)常用于机器学习模型的正则化[4],[5],[6]。L1范数正则化的简单性在于它仅通过在损失函数模型中添加L1范数乘数来实现,这种正则化方法适用于所有基于最小误差的建模场景[7]。LASSO正则化方法在应用于神经网络模型时面临一些挑战[8]。需要使用梯度概念进行正则化的算法模型必须能够一致地捕捉或选择层间的信息[9]。在神经网络建模中,节点选择指的是根据权重参数将信息从输入层传递到隐藏层或从隐藏层传递到输出层[10],[11],[12]。LASSO正则化的核心思想是从输入层到隐藏层或从隐藏层到输出层选择信息[13],且这种选择过程必须是单向的,不能反复切换。目前,基于这一理念的正则化方法仍存在局限性[15],[16],[17],[18]。神经网络LASSO是一种专门为神经网络模型设计的LASSO改进版本[17],但它的应用仅限于隐藏层只有一个节点的情况[18]。这一限制与先前的研究结果一致,即L1范数正则化方法无法在完全连接的神经网络模型中有效运行[19]。本研究旨在通过提出一种基于知识的节点选择正则化方法来解决上述问题。该方法通过修改隐藏层中的梯度来实现,同时保持LASSO的基本原理。改进后的LASSO正则化方法具有两个关键特点:(i) 不仅适用于输入节点,也适用于隐藏节点;(ii) 在选择节点时能够保持一致性,符合LASSO基于知识的选择原则。
为了评估所提出正则化方法的性能,我们使用特定条件生成的数据进行了仿真研究。同时,我们还对标准神经网络模型(即NN-mLASSO)应用了正则化处理。通过比较未应用正则化的模型与应用mLASSO正则化的模型,来确定最佳模型。我们依据赤池信息量准则(AIC)[20]来选择最佳模型。作为实证应用,我们将mLASSO正则化方法应用于两种不同的经济数据案例:第一种情况是印度尼西亚国内生产总值(GDP)数据,第二种情况是印度尼西亚通货膨胀率数据。模型性能评估采用了多种准确性指标,第一种情况基于平均绝对百分比误差(MAPE),第二种情况基于对称平均绝对百分比误差(SMAPE)[21]和平均反正切绝对百分比误差(MAAPE)[22]。
本文的其余部分如下:第2节介绍了应用于神经网络模型的LASSO正则化方法;第3节分析了使用标准LASSO知识库进行节点选择的结果;第4节展示了评估改进型LASSO正则化模型性能的仿真研究结果;第5节将改进型LASSO正则化模型应用于实际数据;第6节讨论了仿真研究和实证应用的结果;第7节对全文进行了总结。
章节摘录
基于LASSO的节点选择知识驱动分析
本质上,基于神经网络(NN)的模型是一种非线性模型,它通过对隐藏层和输出层中的每个节点应用激活函数变换来实现功能。确定输入层和隐藏层节点数量的标准往往具有挑战性,尤其是隐藏层的节点数量可能非常多[23]。
使用改进型LASSO进行神经网络节点选择
目前,神经网络模型中的正则化方法仍主要依赖于L0范数或L2范数,这些方法无法实现节点选择[25],[26],[28];虽然L1范数正则化可以用于收缩处理,但无法保证满足不可逆条件[29,30];同时结合L1和L2范数的方法也无法保证满足不可逆条件[31]。根据正则化原理...
基于生成数据的仿真研究
本研究的第四部分通过实验评估所提出正则化方法的性能。以下是具体内容...
实证应用
在本节中,我们分别实现了带有和不带有mLASSO正则化的神经网络模型。具体内容包括:(i) 预测印度尼西亚GDP数据;(ii) 预测印度尼西亚通货膨胀率数据。
讨论
本研究为神经网络框架内的正则化技术发展做出了重要贡献。所提出的mLASSO正则化方法能够有效选择输入层与隐藏层之间的节点,与以往的正则化方法相比具有明显优势。通过方程(2)可以看出,mLASSO正则化能够确保模型...
结论
本研究提出了一种新的正则化方法,即改进型LASSO(mLASSO),用于神经网络模型。该方法能够满足不可逆收缩的要求,而标准LASSO正则化在基于梯度的估计中无法实现这一目标(参见引理1的描述)。mLASSO正则化通过将L1范数应用于神经网络模型的所有连接来实现...
CRediT作者贡献声明
Wisnowan Hendy Saputra: 负责撰写初稿、软件开发、方法论设计及概念构建。Dedy Dwi Prastyo: 负责审稿、编辑、验证、监督、方法论完善及资金筹措、概念构建。Kartika Fithriasari: 负责监督工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号