用于埃尔曼神经网络的分数阶梯度下降学习方法
《Neural Networks》:Fractional-Order Gradient Descent Learning for Elman Neural Networks
【字体:
大
中
小
】
时间:2026年03月24日
来源:Neural Networks 6.3
编辑推荐:
针对传统整数阶梯度下降在Elman神经网络训练中易陷入局部极小值、收敛慢等问题,本文提出基于Grünwald–Letnikov定义的分数阶梯度下降算法。通过引入历史梯度信息的加权聚合机制,算法增强了记忆特性,有效缓解局部最优问题并加速收敛。实验表明,该算法在系统识别和时间序列预测任务中显著优于传统方法及LSTM/GRU基线,验证了其有效性。
作者:李赫 | 王珊泽 | 陈阳权 | 刘艳梅
沈阳航空航天大学,中国辽宁省沈阳市道义区道义南路37号,110136
摘要
为了解决传统整数阶梯度下降在训练Elman神经网络时的局限性,如易陷入局部最小值和收敛速度慢的问题,本文提出了一种基于Grünwald–Letnikov定义的分数阶梯度下降学习算法(FO-Elman)。首先系统地推导了Elman网络各层的分数阶梯度表达式,并建立了完整的反向传播框架;同时从理论上证明了该算法的收敛性。然后,利用分数微积分的记忆特性,将历史梯度信息的加权聚合纳入参数更新规则中,从而克服了标准优化方案的不足。最后,通过系统识别和时间序列预测任务的实验结果表明,FO-Elman显著提高了Elman网络的优化性能,为循环神经网络的训练提供了新的理论和算法工具。
引言
神经网络作为机器学习和人工智能领域的核心技术,在模式识别、系统识别和时间序列预测等多个应用中表现出色(Cao等人,2006年;Gawlikowski等人,2023年;Soydaner,2022年)。其中,循环神经网络(RNN)由于其固有的记忆机制和动态特性,在处理序列数据和相关时间问题时具有独特优势(Amalou等人,2022年;Saon等人,2021年;Wang等人,2022年)。Elman神经网络作为一种早期且经典的RNN架构(Liu等人,2008年),具有结构简单和高计算效率的特点。通过在隐藏层引入递归层来实现状态反馈,它为处理时间信息提供了有效的解决方案。
目前,RNN已广泛应用于各个领域,包括工业过程控制(Bonassi等人,2022年;Dhaked,2024年;Lanzetti等人,2019年;Sharma等人,2021年)、金融市场预测(Hansun和Young,2021年)、语音信号处理(Gelly和Gauvain,2018年;Zhao等人,2017年)、生物医学信号分析(Lyu等人,2017年;Naderi和Mahdavi-Nasab,2010年)、交通流量预测(Tian和Pan,2015年)以及电力系统负荷预测(Bao Huy等人,2023年;Cui等人,2020年;Kong等人,2019年)等众多实际应用场景。除了预测之外,Dhaked等人还展示了智能决策方案如何通过使用高速数字继电器和模糊逻辑控制器来识别和分类输电线路故障,从而支持电网保护(Dhaked等人,2023b)。在系统识别领域,RNN已成功用于非线性动态系统的黑箱建模(Fei和Lu,2018年;Kosmatopoulos等人,1992年;Kumar,2024年;Kuschewski等人,1993年;Wang和Chen,2006年),例如化学反应器建模(Zarzycki和?awryńczuk,2021年)、机器人动力学识别(Folgheraiter等人,2023年)以及复杂液压系统的参数估计(Liu等人,2025年)。相关的数据驱动识别方法也被应用于电化学能源系统;Dhaked等人比较了多种机器学习方法用于实时PEM燃料电池电压预测和早期退化预测(Dhaked等人,2024年)。在时间序列预测方面,这些网络在处理具有长期依赖性的序列数据时表现优异(Atabay等人,2022年;Dhaked等人,2023a;King等人,2024年),在天气预测(Zhao等人,2018年)、股票价格波动预测(Zhao等人,2021年)和网络流量预测(Ramakrishnan和Soni,2018年)等应用中取得了显著成果。
已经开发出了许多优秀的RNN变体,包括长短期记忆网络(LSTM)(Fu等人,2024年;Greff等人,2017年;Zhang等人,2024a)、门控循环单元(GRU)(Dey和Salem,2017年)以及各种注意力机制网络(Feng等人,2024年)。研究人员将它们与其他神经网络和算法结合使用。例如,Lakshmi Narayanan等人使用改进的循环径向基函数神经网络设计了基于机器学习的风力涡轮机调速控制器,并通过修改的粒子群优化算法调整参数,以实现更稳定的额定功率输出(Lakshmi Narayanan等人,2024年)。Zha等人(2022年)将卷积神经网络(CNN)的强大特征提取能力与LSTM的优越时间建模优势相结合,构建了CNN-LSTM混合模型,在预测月度气田产量方面取得了比单独使用LSTM更好的性能。Sun等人(2024年)通过添加注意力机制增强了这一混合模型,提出了CNN-LSTM-AM模型,利用多个传感器的信号来预测海上风力涡轮机的功率。通过对比受控变量,他们完成了传感器敏感性分析,以确定最佳的传感器组合用于功率预测。Liu等人(2021年)提出了一种基于双向门控循环单元和条件随机场层(BiGRU-CRF)的岩性序列分类算法。他们将支持向量机(SVM)的概率输出向量与原始数据连接作为BiGRU-CRF的输入,证明无论训练序列和测试序列是否相似,SVM-BiGRU-CRF算法通常都能获得最佳结果。Zhang等人(2024b)通过提出一种结合经验/变分模态分解(E/VMD)与LSTM的混合模型,解决了LSTM预测中的时间滞后问题。VMD将高频噪声与变化缓慢的低频成分分离,增强了原始序列的稳定性。该模型使用实测的波高和风速数据进行了验证,有效缓解了LSTM中的滞后问题。
尽管开发了如此丰富的RNN变体和先进的混合模型,但由于其结构简单、参数少以及训练速度快(Huang和Qin,2024年;Liu等人,2015年),Elman神经网络在许多实际应用中仍然具有重要意义。特别是在计算资源有限的系统、实时控制应用以及数据集规模较小到中等的建模任务中,Elman网络的效率和可解释性使其成为首选方案。此外,作为RNN的基本架构,Elman网络为研究和验证新的优化算法提供了理想的测试平台。其简单结构便于深入分析算法的收敛特性和优化机制。然而,随着应用场景变得越来越复杂,对预测准确性的要求不断提高,传统梯度下降学习算法在处理复杂的非线性优化问题时逐渐暴露出固有的局限性,包括易陷入局部最优值、收敛速度慢、对初始参数设置的敏感性以及复杂损失函数表面上的潜在振荡现象(Liu等人,2022年;Zhang等人,2021b)。这些缺点严重限制了Elman网络在高精度建模和预测任务中的应用效果。
随着深度学习理论的不断发展和计算能力的显著提升,研究人员开始将分数微积分与神经网络结合,以探索更灵活和高效的学习算法。分数微积分作为经典微积分的扩展,允许使用任意实数阶数,而不是传统的正整数。这一特性赋予分数阶算法更大的灵活性和记忆特性(Chen等人,2023年;Chen等人,2021年;Kang等人,2025年;Lopes Ferrari等人,2024年;Sivalingam和Govindaraj,2025年;Wang等人,2017年;Yuan等人,2026年)。Chen等人(2024年)提出了一种基于Caputo算子和Adam算法的分数阶梯度下降优化器,并设计了基于连接云模型(CCM)的分数阶调度器(FOS)。这种方法在日志核心图像数据集的识别和分类任务中取得了比传统梯度下降算法更好的分类性能。其他研究人员还将分数微积分与神经网络结合使用(Zu?iga Aguilar等人,2020年),提出了一种专门用于系统识别的分数阶神经网络。这种新的黑箱建模方法的有效性通过识别三个不同系统得到了验证。Pang等人(2019年)将物理信息神经网络(PINN)扩展到分数阶PINN(FPINN),用于解决时空分数对流-扩散方程,系统研究了它们的收敛性,并证明了它们在解决具有强迫项的多维正向和逆问题时的准确性和有效性。Yao等人(2020年)提出了一种用于时间序列预测的分数阶回声状态网络(FESN)。对于FESN,将水库状态微分方程替换为分数阶微分方程,并通过两个数值示例验证了其有效性。分数微积分理论可以有效地将传统激活函数扩展到分数阶激活函数(Bingi等人,2025年),相关研究表明这种改进显著提高了风力发电预测模型的准确性和鲁棒性。Vellappandi和Lee(2025年)提出了一种通过将Caputo分数导数集成到深度神经网络中的创新方法,有效捕捉了这些系统中的记忆效应和长期依赖性。
现有研究表明,分数阶梯度下降方法在优化神经网络方面具有超越传统整数阶方法的潜力(Liu等人,2018年;Zhang等人,2021a)。然而,对于具有独特应用优势的Elman网络,其训练过程仍然主要依赖于具有显著局限性的整数阶梯度下降算法。为了克服这些限制,本文提出了一种新的分数阶梯度下降学习算法。该算法将Grünwald-Letnikov定义的分数微积分理论纳入Elman网络的误差反向传播框架中。通过设计具有分数阶特性的梯度计算和权重更新规则,旨在有效缓解训练过程中的局部最优值陷阱,加速收敛,并最终提高网络在时间建模和预测任务中的性能。本研究的主要贡献如下:
1. 为Elman神经网络训练开发了一种基于Grünwald–Letnikov的分数阶梯度下降算法,引入了基于历史梯度的记忆感知更新规则。
2. 推导出了完整的FO-Elman反向传播框架,并在Lipschitz连续性和强凸性条件下证明了其收敛性;进一步分析了α的作用及其对权重衰减特性的影响。
3. 在系统识别和时间序列预测基准测试中,FO-Elman与GD/SGDM/RMSProp/Adam以及循环基线(LSTM/GRU)进行了广泛的实验比较,并进行了参数敏感性分析,结果显示其均方误差(MSE)有所改善。
本文的其余部分组织如下:第2节介绍基于Grünwald–Letnikov的分数阶梯度下降算法(FOGD)及其基本特性。第3节介绍FO-Elman学习框架和收敛性分析。第4节报告了系统识别和时间序列预测的实验结果,包括基线比较和参数敏感性研究。第5节总结了本文。
章节片段
初步介绍
本节介绍了基于Grünwald-Letnikov定义的分数阶梯度下降(FOGD)算法的推导和仿真验证。
基于FOGD的Elman神经网络
Elman循环神经网络作为一种具有上下文层的前馈网络,通过状态反馈机制处理序列数据。通过结合分数阶梯度下降算法,我们可以构建具有长期记忆能力的FO-Elman网络模型。本节将提供该算法的完整数学框架的详细推导。
实验结果
Elman神经网络作为循环神经网络(RNN)的一种变体,常用于时间建模任务和时间序列预测问题。为了评估所提方法在系统识别领域的有效性,我们考虑了两种场景:(1)高度非线性抽象系统的识别;(2)由两个级联水箱组成的液位控制系统的识别。在这两个系统识别任务中,分数阶梯度
结论
本文提出了一种基于Grünwald–Letnikov定义的分数阶梯度下降Elman神经网络学习算法(FO-Elman)。通过引入具有记忆特性的分数阶梯度计算机制,该算法有效缓解了传统整数阶梯度下降方法在建模复杂动态系统时容易陷入局部最优值以及对学习率的高度敏感性问题。
未引用的引用
缺失的引用:算法1
CRediT作者贡献声明
李赫:概念化、资金获取、方法论、撰写——原始草稿。王珊泽:方法论、软件、撰写——原始草稿。陈阳权:概念化、方法论。刘艳梅:方法论。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。
作者是该期刊的编委会成员/主编/副主编/客座编辑,未参与本文的编辑审查或发表决定。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号