一种具有进化超参数优化的并行-串行回声状态网络,用于工业时间序列预测
《Engineering Applications of Artificial Intelligence》:A parallel–serial echo state network with evolutionary hyper-parameter optimization for industrial time-series forecasting
【字体:
大
中
小
】
时间:2026年07月02日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
周文凯|刘洪根|李明|刘玲|崔俊峰中国江西省赣州市江西科技学院磁浮轨道交通装备江西省重点实验室摘要在智能制造和实时工业决策领域中,提升预测精度与计算效率对于人工智能应用而言至关重要。尽管深度学习模型在工业时间序列预测方面取得了显著进展,但其实际应用往往受到高计算成本以及需要反复进
周文凯|刘洪根|李明|刘玲|崔俊峰中国江西省赣州市江西科技学院磁浮轨道交通装备江西省重点实验室摘要在智能制造和实时工业决策领域中,提升预测精度与计算效率对于人工智能应用而言至关重要。尽管深度学习模型在工业时间序列预测方面取得了显著进展,但其实际应用往往受到高计算成本以及需要反复进行基于梯度的训练的限制。回声状态网络为非线性时间建模提供了一种轻量级的人工智能方法,但传统ESN在处理复杂、混沌的时间数据时仍存在特征提取能力有限且对储能器配置敏感的问题。为解决这些问题,本文提出了一种并行-串行回声状态网络,以实现强大且高效的工业时间序列预测。该框架利用多个并行储能器提取多样的局部时间模式,再通过串行储能器整合这些表示,从而增强多尺度时间依赖性建模及记忆容量。此外,还引入了一种基于分解的多目标进化算法用于超参数优化,以自适应配置关键模型参数,包括并行储能器数量、泄漏率及连接性,进而减少手动调整的工作量并提升模型的泛化能力。在基准数据集及真实工业数据集上的大量实验表明,所提出的方法始终优于传统ESN变体及常见的深度学习基准模型。与传统ESN系列模型相比,该方法在归一化平均绝对误差和归一化均方根误差方面分别实现了高达81.44%和66.70%的降低,同时其运行时间也远低于基于循环神经网络和Transformer的基准模型。这些结果充分证明了所提出的人工智能框架在处理复杂工业时间序列预测任务中的有效性及实用价值引言工业时间序列预测在智能制造、预测性维护、能源管理、交通运营以及实时决策系统中发挥着基础性作用。在这些场景中,预测模型不仅需要具备较高的预测精度,还需能够在不断变化的运行条件下实现高效训练、可靠部署以及快速重新配置(Fatima和Rahimi,2024;Farahani等人,2025)。在相关的工业与电力工程领域中,基于人工智能的数据驱动方法在保护继电和故障检测等复杂信号分析任务中也展现出了实用价值(Mohanty等人,2024;Mohanty等人,2023),这进一步凸显了在现实工程环境中需要具备强大性能且计算效率高的智能模型。过去十年间,循环神经网络、卷积序列模型以及基于Transformer的架构已成为时间序列预测的主要范式(Hochreiter和Schmidhuber,1997;Luo和Wang,2024;Zhou等人,2021;Wu等人,2021;Nie等人,2023;Dong等人,2025)。这些方法显著提升了模型对非线性时间依赖性的建模能力,尤其适用于长时段和高维序列的预测。然而,最近的综述也指出,深度预测模型仍面临诸多实际挑战,包括高计算成本、对大规模训练数据的强烈依赖、过拟合风险、超参数不稳定以及可重复性问题(Chen等人,2023;Zhao等人,2026;Kong等人,2025)。这些限制可能使得它们难以在那些要求模型能够高效更新且需在有限计算资源下部署的工业环境中得到广泛应用。在此背景下,回声状态网络和储能器计算方法依然极具吸引力,因为它们在保留非线性时间处理能力的同时大幅简化了训练过程,只需优化输出层即可(Jaeger和Hass,2004;Jordanou等人,2022)。得益于这种轻量级的机制,ESN已被成功应用于时间序列预测、混沌信号建模以及与控制相关的动态学习任务中(Xie等人,2024;Zhang等人,2024;Duarte和Eisencraft,2023;Na等人,2023)。不过,传统ESN在处理混沌的、高维的或多变量工业数据时,仍然存在特征提取能力不足以及预测性能不稳定的问题。近期研究显示,ESN的性能在很大程度上取决于储能器结构及超参数配置,而随机初始化的储能器可能无法很好地匹配目标序列的特征(Gonbadi等人,2025;Yu等人,2024;Wang等人,2024;Racca和Magri,2021)。因此,标准ESN的实际性能往往受到结构表达能力有限以及对参数选择高度敏感性的双重制约。为解决这些局限性,现有的ESN研究主要沿着两个方向发展。首先是结构优化,旨在通过更深入的、串行的、并行的、分层的或混合式的储能器架构来提升时间表征能力(Li和Tanaka,2020;Huang等人,2023;Yao等人,2024;Shen等人,2025;Ding等人,2023)。例如,分层和多储能器设计能够强化非线性变换与记忆表征能力,而混合串行-并行结构则试图在时间集成深度与计算效率之间取得平衡(Huang等人,2023;Shen等人,2025;Ding等人,2023)。其次是自适应配置,通过优化关键超参数或自动调整储能器结构,以减轻手动调整的负担并提升模型的鲁棒性(Yang等人,2024;Jaeger等人,2007;Wang和Yan,2015;Thiede和Parlitz,2019;Zhang和Li,2007)。这些研究表明,如果参数敏感性问题得不到解决,仅优化储能器结构是不够的;同样,仅依靠超参数优化也无法完全弥补结构薄弱带来的表征瓶颈。因此,对于基于ESN的预测模型,应将结构优化与自适应配置结合起来考虑,而非分开处理。基于上述观察,本研究旨在开发一种基于ESN的预测框架,该框架能够在保留储能器计算轻量级训练特性的同时,同步提升局部特征多样性、多尺度时间集成能力以及自适应超参数配置能力。为此,我们提出了一种新的并行-串行回声状态网络框架,以克服深度、多样性及适应性之间的权衡问题。该架构巧妙结合了并行与串行储能器配置的优势:并行储能器独立从高维输入信号中提取多样的局部特征,而随后的串行储能器则负责捕捉并整合多尺度时间依赖性。这种双重机制显著增强了非线性特征变换能力及长期记忆保持能力。与这一架构设计相辅相成的是一种基于MOEA/D的超参数自配置机制。这种自适应优化过程会根据目标时间序列的特定数据特征,共同调整关键参数、泄漏率、并行储能器数量以及连接性。该方法通过协同优化结构层面与参数层面的配置,有效降低了过拟合风险,提升了模型的泛化能力,同时也减少了对手动调整的依赖。本研究的主要贡献如下:(1)混合架构设计:提出了一种新的PaS-ESN结构,通过整合并行与串行储能器,同时解决混沌时间序列中的局部特征提取与全局时间集成问题。(2)自适应超参数优化:引入了基于MOEA/D的优化策略,用于共同调整关键网络参数,从而减少人工干预并提升模型鲁棒性。(3)全面验证:从计算复杂性、非线性变换能力以及储能器动态稳定性等多个角度对所提框架进行了研究,并在基准数据集及真实工业预测任务上进一步验证了其有效性。尽管所提框架提升了结构层面的表征能力及超参数的自适应能力,但本研究仅聚焦于单步预测及离线超参数搜索。多步预测与在线自适应配置仍是未来研究的重要方向。本文的其余部分安排如下:第2节回顾ESN的基本原理及多目标优化问题的构建方法;第3节详细介绍PaS-ESN的架构以及基于MOEA/D的超参数优化流程;第4节进行理论分析;第5节呈现实验结果;第6节总结并指出未来的研究方向。章节节选初步知识本节为我们的研究奠定理论基础。我们首先介绍ESN及其深度学习变体,重点阐述了对原始模型的简化措施,这些简化在保留核心动态特性的同时降低了模型复杂性。接着,我们对多目标优化问题进行形式化定义,并明确了关键的帕累托最优原则。提出的算法本节介绍PaS-ESN架构及其自动化的超参数优化框架。我们首先详细描述PaS-ESN的分层储能器结构,该结构通过并行储能器向串行储能器传递信息,从而提升时间特征提取能力。随后,我们将超参数优化问题定义为多目标问题,需要优化三个关键参数:连接率、泄漏率以及并行储能器数量。优化理论洞察与分析所提出的方法在处理复杂非线性时间序列预测方面具有显著的效率与精度优势,且能够高效处理多尺度时间数据,具备很高的算法适用性。在本节中,我们从计算复杂性、非线性变换能力以及储能器动态稳定性三个理论角度分析了PaS-ESN方法的有效性。实验结果与分析本节对所提出的PaS-ESN模型进行实验评估。其主要目标有两个:一是确定最有效的多目标优化算法用于超参数调优,二是对比PaS-ESN与基准模型的预测性能。为此,我们首先基于超体积和计算时间对三种常用的优化算法——NSGA-II、MOEA/D和MOPSO进行了比较,最终选出具有最佳平衡效果的算法。结论本文提出了一种结合混合储能器架构与进化算法超参数优化的PaS-ESN,用于工业时间序列预测。与仅采用单个储能器、仅串行或仅并行的ESN变体不同,所提框架首先使用多个并行储能器提取多样的局部时间特征,再通过串行储能器整合这些特征,从而提升了模型的非线性表征能力及多尺度时间处理能力。CRediT作者贡献声明周文凯:撰写——初稿、可视化、验证、软件、方法论、研究、正式分析。刘洪根:撰写——初稿、方法论、研究、指导。李明:撰写——审阅与编辑。刘玲:指导。崔俊峰:数据整理。利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号