《Modelling》:Operation Prediction of a Gasification-Based Waste Treatment Plant Using Deep Learning
Shunsuke Arai,
Kentaro Mitsuma,
Takahiro Kawaguchi,
Keiichi Kaneko and
Seiji Hashimoto
编辑推荐:
摘要:本文提出一种深度Hammerstein–Wiener(HW)模型用于非线性动态系统辨识(Nonlinear Dynamic System Identification),该模型将基于有限脉冲响应(FIR)的时序卷积网络(Temporal Convolut
摘要:本文提出一种深度Hammerstein–Wiener(HW)模型用于非线性动态系统辨识(Nonlinear Dynamic System Identification),该模型将基于有限脉冲响应(FIR)的时序卷积网络(Temporal Convolutional Network, TCN)用作线性动态模块,将三层全连接神经网络(Fully Connected Neural Network, FC–NN)结合修正线性单元(Rectified Linear Unit, ReLU)激活函数用作非线性静态模块。传统HW模型受限于线性动态部分表达能力不足及手动选择模型阶数的困难,所提方法利用膨胀因果卷积与残差连接使TCN能有效捕捉长时历史依赖并自动确定动态阶数,同时神经网络灵活拟合复杂静态非线性。研究人员采用反向传播算法端到端训练整体模型参数,并在基准非线性动态系统数据集上与经典HW模型、仅含TCN或仅含NN的对比模型进行验证。实验结果表明深度HW模型在一步 ahead预测及多步预测精度上均优于对照方法,证明TCN与NN的合理耦合可显著提升HW框架对复杂非线性动态过程的建模能力,为工业过程建模提供一种兼具可解释性与表达力的深度辨识方案。
论文解读:基于TCN与NN的深度Hammerstein–Wiener模型用于非线性动态系统辨识
一、研究背景与意义
非线性动态系统的黑箱辨识是过程控制与系统工程中的重要课题。经典Hammerstein–Wiener(HW)模型由串接的线性动态块(通常为传递函数或FIR滤波器)与输入/输出非线性静态块构成,结构简单且具一定物理解释性,但其线性动态部分多采用低阶传递函数或固定阶FIR,难以刻画具有长时依赖和复杂动态特性的工业过程;此外,传统HW模型中非线性环节常限定为参数化基函数(如多项式、样条),对强非线性的拟合能力不足,且模型阶数与结构需人工预设。为克服上述局限,研究人员引入时序卷积网络(Temporal Convolutional Network, TCN)——具备膨胀因果卷积(dilated causal convolution)与残差连接,可自适应提取长时历史特征并避免手动设定动态阶数——作为HW模型的线性动态子块;同时采用三层全连接神经网络(Neural Network, NN)配合ReLU激活函数作为非线性静态子块,以增强对任意连续非线性映射的逼近能力。该研究构建了"深度HW模型",并在《Modelling》期刊发表,旨在验证TCN与NN耦合的HW框架能否在非线性动态系统辨识中获得优于经典方法的精度与泛化性。
二、关键技术方法概述
研究人员首先定义基于FIR系数的TCN层,以扩张因果卷积加残差连接实现线性动态滤波;其次定义含一个隐层的三层全连接网络FC(W1,b1)→ReLU→FC(W2,b2)作为非线性静态元素,可训练参数集记为??={W1,b1,W2,b2};然后将TCN置于HW模型线性动态位置、NN置于非线性静态位置,形成Deep HW架构,其中中间变量z(i)k表示第i层信号,??(i)与??(i)分别为对应层FIR系数集与NN参数集;整个模型通过最小化预测输出?k与真实输出yk间的损失函数(如MSE),采用梯度下降/反向传播进行端到端训练;最后在已知非线性动态系统基准数据集上对比经典HW、单独TCN、单独NN及所提Deep HW模型的辨识性能。
三、研究结果
3.1 Hammerstein–Wiener (HW) Model
经典HW模型结构为:输入u经过线性动态块G(q)得中间变量x,经静态非线性f(x)得v,再经线性动态块H(q)得输出y。指出传统HW中线性块多为低阶传递函数或定阶FIR,非线性块常为参数化函数,存在结构局限。
3.2 TCN-Based Linear Dynamic Element
研究人员定义一维因果卷积及膨胀因果卷积(dilated causal convolution),膨胀因子d控制感受野大小。TCN由多层膨胀卷积加残差连接与权重归一化组成,FIR系数矩阵集??={G0,G1,…,Gm}作用于历史输入uk?m:k得到线性动态输出z(2)k=∑mj=0Gjuk?j,该形式等价于可变阶FIR滤波且TCN自动学习有效记忆长度。
3.2.3 Nonlinear Static Element: Three-Layer Neural Network
全连接层定义为FC(x|W,b)=Wx+b。ReLU(x)=max(x,0)逐元素作用。三层NN为NN(x|??)=FC2(ReLU(FC1(x|W1,b1))|W2,b2),其中??={W1,b1,W2,b2}为可训练参数。
3.3 Deep Hammerstein–Wiener Model
Deep HW模型表述为:
?k= NN(z(1)k| ??(1))
z(2)k= TCN(uk?m:k| ??(2))
z(1)k= NN(uk| ??(1))(注:依原文即输入先经NN非线性再经TCN线性,或按层叠定义可扩展)
其中z(i)k为第i层中间信号,??(i)与??(i)为第i层参数。可通过堆叠多个非线性与线性块构造更深版本。
四、讨论与结论
研究人员得出结论:①将基于FIR的TCN引入HW模型解决了传统线性动态块阶数难确定及长时依赖捕捉不足的问题,膨胀卷积使模型感受野随层数指数增长而参数量仅线性增加;②采用三层ReLU神经网络作为静态非线性元素比参数化基函数更具普适逼近能力且便于梯度优化;③端到端训练的深度HW模型在基准非线性动态系统辨识任务中,一步预测与多步预测误差均低于经典HW模型及单一TCN或NN模型,验证了TCN与NN在HW框架下互补的有效性;④该深度HW结构保留了HW模型串接可解释性(线性—非线性—线性分解),同时为各子块引入深度学习表达能力,可推广至化工、冶金等具有动态滞后与强非线性的工业过程建模。研究发表于《Modelling》,为非线性动态系统辨识提供了一种结构可解释、性能更优的深度学习方法。