1. 引言
在实际应用中，获得的时间序列通常表现出非线性、非平稳性及快速变化性等动态特性，对这些时间序列进行准确的预测具有很大的挑战。因此，在面向时间序列预测的模型中研究融合了人工神经网络等智能算法。这些智能算法在各自的领域中取得了不同的预测效果。其中，递归神经网络以其良好的非线性逼近能力，被广泛应用于非线性时间序列预测问题中，并得到了学术界广泛的认同。但是，由于递归神经网络训练算法计算量过大，收敛速度缓慢，训练效率低等问题，限制了它的进一步发展及在实际中的应用。回声状态网络选用“储备池”取代传统递归神经网络的隐含层，简化了模型训练过程，只针对部分连接权进行训练，解决了传统递归神经网络训练算法繁杂，训练时间长，易陷入局部最优等一系列难题。
在实际预测中，对于同一组数据采用不同预测方法得到的预测值是不同的，有的预测结果往往差别很大。因此，针对不同预测方法的优缺点，可以把多种预测方法进行融合，从而创建出一种新的预测模型来实现数据预测，这种新的模型能够充分有效的整合大量有效信息，在最大程度上提高数据的预测精度。
为了更好的对具有多尺度特性的时间序列进行预测，本文运用小波分析方法与回声状态网络模型相结合来创建小波回声状态网络预测模型。利用小波方法对原始时间序列进行处理，获得不同层上的细节部分序列和概貌部分序列，根据不同层上的序列特性分别创建与之相匹配的回声状态网络模型从而得到各层预测数据，将各层预测数据进行拟合，最终得到原始时间序列的预测结果。通过对某国国民生产总值的仿真研究表明，该模型能够很好的拟合时间序列的发展趋势，预测精度较高。
2. 小波回声状态网络模型
小波回声状态网络模型首先利用小波分析的方法对时间序列进行分解与重构，分别得到不同层上的细节部分序列和概貌部分序列，针对不同层上的序列特性分别创建相应的回声状态网络，将各层回声状态网络模型的预测数据进行拟合，最终得到原始时间序列的预测结果，以此来提高数据预测精度。模型结构如图1所示。
小波回声状态网络模型由三部分构成，分别是小波分解与重构、各层回声状态网络模型创建、各层预测数据拟合。
2.1. 小波分解与重构
小波分解与重构是对多尺度时间序列分析的经典方法，本文选用Mallat算法来完成原始时间序列数
Figure 1. Wavelet echo state network model structure
图1. 小波回声状态网络模型结构图
据的小波分解，Mallat算法具体如下[1] ：
(1)
式中，
表示低通滤波器，
表示高通滤波器。
和
分别表示原始时间序列分解在
下的概貌信号和细节信号，其中
，当
时，有
为原始信号，即0尺度上的信号。
在运用小波分解算法(1)对原始时间序列进行小波分解以后，生成的概貌信号和细节信号在信号点数上总是要比分解前的信号点数缩减一半，但信号点数的缩减对于预测过程是非常不利的。为了解决以上问题，通过一些算法将分解后的概貌信号和细节信号重新进行重构，重构算法[2] 如下：
(2)
其中，
表示为H的对偶算子，
表示为G的对偶算子。在运用重构算法(2)对小波分解后的概貌信号和细节信号进行重构以后可以增加信号的点数。对
和
分别进行重构，得到第1层、第2层…第J层细节信号的重构结果
和第J层概貌信号的重构结果
，并且它们同原始信号
的点数是一样的。
2.2. 回声状态网络模型
2.2.1. 回声状态网络模型结构
回声状态网络是一种新型的递归神经网络[3] ，它是通过创建一个大规模的“储备池”代替传统神经网络的隐层作来对系统的动态信息进行处理。回声状态网络的模型结构如图2所示。
回声状态网络由三部分组成，分别为输入层、储备池和输出层。输入信号
与储备池之间经由输入连接权矩阵
连接，储备池中有许多随机分布的神经元，神经元节点之间经由内部连接权矩阵
实现相互连接，网络输出
经由反馈连接权矩阵
反馈到储备池，内部状态向量
则由神经元的输出组成，
经由输出连接权矩阵
与输出层进行连接。储备池的主要作用就是对输入信号进行处理，其中
、
、
在网络初始化阶段随机产生，在其后的训练过程中保持不变，不需要再对其进行训练。输出层的神经元数目与输入数目相等，其输出神经元是由一系列平行的神经元构成。在回声状态网络中，只需要对
这一个输出连接权进行训练，而且训练过程十分简单，只需要求解一个线性回归问题。
假设回声状态网络具有
个输入单元、
个输出单元、
个内部信号处理单元。则输入数据单元
、输出数据单元
以及系统内部状态变量
在
时刻的取值为[4] ：
(3)
(4)
Figure 2. Echo state network model structure
图2. 回声状态网络模型结构图
(5)
储备池内部状态更新方程如下式：
(6)
式中，
，
，
，
为内部神经元激活函数，通常情况下，
采用双曲正切函数。
网络的输出方程如下式：
(7)
2.2.2. 回声状态网络的训练算法
对回声状态网络进行训练其实就是对
进行训练的过程，通过预先给定的教师样本数据
来训练出与之相匹配的输出连接权矩阵
。假设反馈连接权
，同时假设输入到输出连接权也等于0。回声状态网络的训练过程一共有两个阶段：动态采样阶段、权值计算阶段[5] [6] 。
1) 动态采样阶段
首先对网络进行初始化，随机生成网络的初始状态，一般情况下，取内部状态向量
。从0到T时刻，把教师样本输入数据
通过输入连接权
连接到储备池，同时把输出数据
通过反馈连接权
连接到储备池，然后根据储备池内部状态更新方程，实现系统内部状态的计算，以及完成相应输出
的计算与收集。需要注意的是，每个时刻的内部状态
的计算，都应该把教师样本数据
写入到输出单元。假设从T0时刻开始，网络趋于稳定，为了消除任意选定的初始状态对系统动态特性的影响，则从T0开始收集系统内部状态变量、相应的输入部分和输出部分，从T0时刻开始，能够认为系统反映的是输入、输出样本数据之间的映射关系，以向量
为行构成矩阵
，同时以相应的样本数据
构成一个列向量
。
2) 权值计算
在权值计算阶段，通过在动态采样阶段收集的系统内部状态矩阵
和教师样本数据来求解出输出连接权
。
由于系统内部状态变量
和系统实际输出
呈现线性关系，同时网络进行训练的目标是让网络的实际输出
最大可能的逼近期望输出
，即
(8)
使计算权值
(
属于
)实现系统的均方误差最小化，则需求解如下的最优化问题[7] ：
(9)
在数学的观点中，以上问题是一个线性回归问题，可以归结为求矩阵B的伪逆矩阵的问题，即
(10)
这样就确定了回声状态网络模型的所有的参数，完成了对回声状态网络的训练。
2.3. 各层预测数据拟合
将各层预测数据进行拟合，最终得到原始时间序列的预测结果。
3. 模型预测仿真研究
3.1. 原始时间序列的分解与重构
本文中，将某国1947.1~2013.1国民生产总值季度数据作为原始样本分析数据。运用Mallat算法和Daubechies小波(Db10)实现对原始时间序列的3尺度分析。其中，经过小波分解的细节部分信号分别标记为
；经过小波分解的概貌部分信号标记为
，具体折线图如图3所示。
3.2. 各尺度分层建模预测
1) 模型训练
首先需要随机生成系统的
及
，同时令
，生成一个具有回声状态属性的初始网络[7] 。
然后进行网络动态采样。采样阶段根据系统内部状态更新方程收集系统内部状态：任意初始化储备池内部状态，这里令初始状态为0；将教师样本输入数据和教师样本输出数据分别通过输入连接权矩阵和反馈连接权矩阵加到储备池之中，按照内部状态状态更新方程及网络输出方程完成内部状态和相应的输出的计算及采集。
需要注意的是，本文对样本输入数据进行了特殊的处理，模型所采用的输入数据并不是在时间位置上连续的，而是采取数组形式。即假定输入向量为
，该输入向量中的每一个分量本身也是由一个向量组成，例如，
是时间序列
的前
个数据组成的向量，
则是时间序列
中提取
后
Figure 3. Wavelet decomposition and reconstruction
图3. 小波分解重构图
接下来的
个数据组成的向量，后面以此类推。在本文的模型中，
取值为16。
最后进行权值计算，权值计算方法同前面所述。
2) 模型预测
对输入数据运用上述同样的方法进行特殊处理以后将其输入到已经训练好的模型之中，用输入数据对储备池进行激发，同时收集内部状态向量，最后利用模型训练阶段所求得的输出权值矩阵与系统内部状态进行线性组合，得到各层预测数据，各层预测效果图如图4~图7所示。
3.3. 各尺度预测数据拟合
将各层预测数据进行拟合，最终得到原始时间序列的预测结果。
原始时间序列预测数据与原始数据对比图如图8所示。
本文采用MAPE (平均绝对百分比误差)作为评价预测模型预测效果的指标，在小波回声状态网络模型中MAPE的值为2.3122%。可见，该模型的预测精度较高。
Figure 8. Wavelet echo state network model for predicting
图8. 小波回声状态网络模型预测效果图
4. 结论
本文提出了小波回声状态网络预测模型，针对回声状态网络模型面向多尺度时间序列分析预测的局限性，引入了小波分析方法，来提高针对多尺度时间序列预测的预测效果。小波回声状态网络预测模型首先运用小波方法对原始时间序列进行处理，对处理所得的各层数据分别创建回声状态网络模型进行预测，将各层预测数据进行拟合从而得到最终预测结果。仿真研究表明，该模型具有很好的预测效果。