基于小波变换和CNN-GRU的碳交易量组合预测方法

Combined Forecasting Method of Carbon Trading Volume Based on Wavelet Transform and CNN-GRU

摘要: 为更好地挖掘大量采集数据中蕴含的有效信息，提高碳交易量预测精度，文中提出一种基于小波变换和卷积神经网络(CNN)、门控循环单元(GRU)模型的碳交易量组合预测方法。首先利用小波变换算法对上海市历史碳交易量数据进行去噪处理，接着将去噪后数据序列输入到CNN-GRU模型中进行预测，最终将预测结果与使用原始数据的GRU模型和CNN-GRU模型的预测结果进行对比，结果表明使用小波变换和CNN-GRU的组合预测方法可有效提高碳交易量预测的精度。

Abstract: In order to better exploit the effective information contained in the large amount of collected data and improve the accuracy of carbon trading volume prediction, a combined carbon trading volume prediction method based on wavelet transform and convolutional neural network (CNN), gated re-current unit (GRU) model is proposed in this paper. Firstly, the wavelet transform algorithm was used to denoise the historical carbon trading volume data in Shanghai, and then the denoised data series were input into the CNN-GRU model for measurement. Finally, the prediction results were compared with those of the GRU model and CNN-GRU model using the original data, and the results showed that the combined prediction method using wavelet transform and CNN-GRU could effec-tively improve the accuracy of carbon trading volume prediction.

1. 引言

随着世界人口与企业数量的持续增长，怎样降低温室气体排放量，以实现经济增长与生态环境双赢发展的低碳经济成为备受重视的问题。精准的碳交易预测对于推动各国积极主动应对气候变化具有重要意义，以节能减排等为手段降低温室气体的排放总量，更是中国尽早实现碳达峰及碳中和的重要依据，在保护环境方面起着至关的作用 [1] [2] [3] [4] 。所以，利用碳交易市场的历史数据来预测未来碳交易量的变化，对企业运营中的碳排放成本管理，以及指导公司选用成本最优化的降碳手段，使在产业结构由高耗能向低功率能转变的同时，对整个社会节能减排成本保持最优化具有重要意义 [5] [6] [7] 。

现有的碳交易预测方法主要有传统预测方法和人工智能预测方法。一方面，传统预测方法主要是以评估模型和回归模型为代表的时间序列预测法。文献 [8] 与文献 [9] 都是采用STIRPAT模型分别对柳州市二氧化碳排放量以及对长三角地区碳排放影响因素进行预测和实证分析，研究结果均表明该模型的估算偏差较小，具备相当的实用价值，为推进碳中和碳达峰工作做出重要参考；文献 [10] 中采用混合数据抽样(MIDAS)回归模型对我国电力行业的年度碳排放量进行了预测，预测结果与比ARDL模型等模型进行比较，研究发现MIDAS模型具有更高的预测精度。

另一方面，人工智能预测方法主要是以支持向量回归(SVR)和深度神经网络为代表的时间序列预测法，如卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)等。机器学习模型因具有良好的性能，在数据预测与分析中得到了众多学者的广泛应用。目前智能神经网络作为机器学习的一种经典方法被引入到碳交易预测领域。文献 [11] 采用Lasso回归和BP神经网络方法对广州碳交易市场中碳价数据及指标体系中的各个变量进行预测，研究发现该模型平均相对绝对误差较小，预测精度较高；文献 [12] 提出使用模糊信息粒化和交叉验证算法的支持向量机(CV-SVM)预测时序回归模型，对欧洲和中国碳交易市场进行预测，结果表明该模型对两类碳交易市场的预测结果均较为理想；文献 [13] 与文献 [14] 分别将灰狼极限学习机和灰色关联分析与神经网络模型进行优化结合，结果表明该算法克服了算法容易陷入局部最优解这一问题并有效提升了神经网络的训练速度和达到了良好的预测效果；文献 [15] 采用支持向量回归(SVR)预测模型对建筑碳排放进行预测，结果表明该研究的预测算法提高了泛化能力及鲁棒性并且具有突出的预测性能和精度；文献 [16] 采用基于随机森林(RF)的预测方法对建筑阶段碳排放进行预测，以估计大量建筑活动排放所产生的环境效应，结果表明相对于多元线性回归方法，该模型具有更高的决定系数和更低的均方误差。

综上所述，可以看出目前大多数学者都是采用传统预测方法或者单一人工智能预测方法来进行预测分析，而组合优化模型预测的研究还非常少，且没有考虑对原始数据的预处理来进一步提高预测精度 [17] [18] [19] 。因此，本文提出一种基于小波变换和CNN-GRU组合预测方法对上海碳交易量数据进行预测，该算法不仅可以对历史碳交易量数据进行去噪处理，从而有效提高预测的精度，还可以结合卷积神经网络可以减少权值数量、降低模型的复杂度以及门控制循环神经网络可以减少训练参数，降低学习时间的优点，从而加快运算效率，提高预测精度，提升预测效果。

2. 相关的模型理论简介

2.1. WT模型

小波变换(Wavelet Transform, WT)是一种新的变换分析方法，它提供了一个随频率变化的“时间–频率”窗口，可以有效地处理信号的时域和频域内容。小波变换利用伸缩平移算法对信号逐步地实现更多细分，并利用对多频分析要求的自动适应去分析信号处理的任何环节，在低频处详细区分频率，在高频处详细区分时间，因此傅里叶变换困难的问题得到了缓解，在当今科学研究中得到广泛使用。并且它在低频区域拥有较低的时间分辨率和较高的频率分辨率，而在高频区域拥有较高的时间分辨率和较低的频率分辨率，特别适用于在研究非平稳信号时提取信息的局部性质，所以小波变换也被誉为研究处理信号的显微镜 [20] 。

小波变换去噪方法是一个构建在小波变换多分辨分析上的算法，它是针对噪音与信号在各个信息频带上的小波分解系数存在强度差异分布的特征，把各个信息频带上相应的小波系数去掉，留下原始信号的小波分解系数，进而对处理后的小波系数实现小波重构，获得纯净的信号。对比以往的其他去噪方法，小波变换在低于峰值信噪比状况下的去噪效率较好，去噪后的信号辨识率较高，并且小波变换去噪方法对于时变信号与突变信号的去噪效率更为突出。由于噪音和有效信号经过小波变换后所得的小波系数有所不同，一九九三年有研究学者认为可选取一种适当的阈值，对经过小波变换后所得的小波系数实行阈值处理。把小波系数低于阈值的全部设为零，超过阈值的部分保留，而后对经阈值处理后的小波系数加以重构，由此就可以有效的过滤掉噪声。对原始数据采用小波分解，将其三层分解得出的各细节分量(高频)与近似分量(低频)来对细节分量采用阈值处理，对经过处理后的各分量进行小波重构，从而获得除噪后的数据信号，其基本原理如图1所示：

Figure 1. The basic principle of wavelet denoising

图1. 小波去噪基本原理图

2.2. CNN模型

CNN是一种前馈式神经网络，应用在深入学习领域，通常是由输入层、卷积层、池化层、全连接层和输出层构成，其主体构造是卷积层和池化层，两者交互使用可以更高效获得数据局部特征和降低数据局部特征维度。输入层可以输入多维向量组；卷积层能够提取原始数据的特征量，并深入挖掘数据的内在联系；池化层能够减小网络复杂性、减少训练参数；全连接层是将处理后的数据进行合并，计算分类和回归结果；卷积层是将给定的数量、视窗大小的卷积核沿数据视窗的方向逐渐滑动完成张量积的动作；池化层是从所有输入信息中抽取给定大小的视窗，并将视窗的最大值输出。因此CNN被广泛应用在图像识别、人脸识别、物体检验、模式分类、时间序列数据等方面。CNN的基本结构如图2所示：

Figure 2. Basic structure of CNN

图2. CNN基本结构

2.3. GRU模型

循环神经网络(Recurrent Neural Network, RNN)是把序列数据作为输入，其神经元不但能够接受来源于其它神经元的数据，而且能接受来源于自身的信息，因此RNN具有记忆性、参数共享的特性，非常适合于序列的非线性特征学习。长短时记忆网络(LSTM)的提出是为了克服RNN梯度消失，不能掌握更久远数据信息的问题，通过这种网络计算能够了解掌握长短期序列数据间的相互依赖信息 [21] 。而GRU算法是近年来提出的LSTM网络的一种变体，它相较于LSTM训练参数更少，又能够保持良好的预测结果，同时收敛效果更好 [22] [23] [24] [25] 。

GRU模型结构与LSTM相似，由更新门和重置门构成，但GRU采用单一的更新门取代了LSTM的输入门和遗忘门，并且混合了神经元状态和隐藏状态，可以有效解决循环神经网络中梯度消失的现象，同样也可以在保证训练目标效果的时候降低了训练参数。其中，更新门是用来决定前一时刻的状态信息在当前时刻学习中的保存程度，更新门值越大则保留程度越大；重置门是用来控制前一时刻的状态信息与当前时刻状态信息的结合程度，重置门值越大则结合度越大 [26] [27] 。GRU的单元结构如图3所示：

Figure 3. GRU unit structure

图3. GRU单元结构

其具体计算式为：

$z_t=\sigma \left(W_z{h}_{t-1}+U_z{x}_t+b_z\right)$ (1)

$r_t=\sigma \left(W_r{h}_{t-1}+U_r{x}_t+b_r\right)$ (2)

$\widetilde{h_t}=\tanh \left(W_h{x}_t+U_h\left(r_t\otimes h_{t-1}\right)+b_h\right)$ (3)

$h_t=\left(1-z_t\right)\otimes h_{t-1}+z_t\otimes {\tilde{h}}_t$ (4)

式中： $W_z$ 、 $W_r$ 、 $W_h$ 、 $U_z$ 、 $U_r$ 、 $U_h$ 为权重矩阵； $b_z$ 、 $b_r$ 、 $b_h$ 为对应的偏置向量； $r_t$ 为 ${\tilde{h}}_t$ 与 $h_{t-1}$ 的结合程度值； $z_t$ 为 $h_{t-1}$ 与 $x_t$ 的保留程度值； ${\tilde{h}}_t$ 为 $h_{t-1}$ 与 $x_t$ 的更新状态。

2.4. WT-CNN-GRU组合模型

本文所提WT-CNN-GRU组合预测方法的具体实现过程如下：

1) 首先进行上海市碳交易量历史数据的收集，再应用小波变换的阈值去噪法对碳交易量数据噪声进行处理，进而得到去噪后的数据序列。

2) 接着通过CNN模型对碳交易量数据的高层特征进行提取，构建时间序列的一维特征向量。

3) 最后将处理后信号输入到GRU模型中进行训练计算，最终输出得到碳交易量的预测数据。

该组合预测模型训练流程如图4所示。

3. 算例分析

3.1. 实验设置

本文选取国泰安数据库的碳交易量日数据，以中国上海市的碳交易量历史数据作为实际算例。文中采用编程语言Matlab对上海市碳交易量数据进行小波去噪处理以及采用编程语言Python编写并开源基于Keras人工神经网络库的TensorFlow框架。实验平台配置为：AMD Ryzen 7 5800H处理器，3.20 GHz*，16.0 GB内存，Windows10专业版64位(DirectX 64)操作系统。

3.2. 数据去噪

碳交易量数据可以视为是一种时间序列，因数据受到外界各种因素的干扰就会形成非平稳的数据信号，多种噪声存在于碳交易量系统之中。为建立预测精度较精准的CNN-GRU预测模型，以及对有噪声的高频信号能起到抑制作用，引入小波阈值进行去噪处理，可有效去除碳交易量数据中的噪声信号。小波阈值去噪基本由以下3个步骤完成：

1) 原始信号进行小波分解。首先输入原始数据信号，对含噪信号进行分析，选择适合的小波基和分解层数以实现N层小波分解。

2) 阈值的处理。对小波分解系数进行阈值处理，得到估计小波系数，来去除信号中的噪声。

3) 信号的重构。对经过阈值处理后得到的估计小波系数加以重构，最后得到去噪后的信号。

Figure 4. Prediction process

图4. 预测流程

文中采用中国上海市的碳交易量数据作为实际算例，应用Db5正交小波对时间序列进行9层小波分解，选取软阈值函数对小波系数进行了阈值的处理。数据原始信号与去噪后信号依次如图5和图6所示。

Figure 5. Carbon trading volume data actual signal

图5. 碳交易量数据实际信号

Figure 6. Carbon trading volume data after denoising signal

图6. 碳交易量数据去噪后信号

3.3. 模型训练

本文针对单一模型(CNN、GRU)精度不高，运行时间较长等问题，集合CNN和GRU各自的优势，构建了CNN-GRU的碳交易量组合预测模型。CNN-GRU模型主要包含一维CNN和GRU两个部分，以一维CNN的输出最为GRU的输入，一维CNN由1个输入层、2个参数相同的卷积层、1个池化层、1个全连接层和一个输出层构成。GRU部分包含2个GRU循环层、1个全连接层和1个输出层。将经过小波去噪后的数据序列输入模型中，最终经过全连接层输出预测值。

CNN神经网络中卷积核数目为10，卷积步长为1，卷积方式选用same卷积法，激活函数选用relu函数，在完成卷积后进行valid最大池化，最后可以获得n个大小为30的一维向量，并输入到GRU循环神经网络中。GRU循环神经网络通过对获得到的特征向量执行机器学习，从而构建2层GRU结构来达到最佳的预测效果，然后对全连接层的输出数据执行反归一化得到最终的碳交易量预测数据。得到上海市碳交易量预测结果如图7所示：

Figure 7. Prediction results of CNN-GRU after wavelet denoising

图7. 小波去噪后CNN-GRU预测结果

为了验证基于小波变换的CNN-GRU的组合预测模型的可行性，将所提模型与原始数据的GRU预测结果和CNN-GRU模型预测误差进行对比。本文选取2个预测评价指标来评估模型的精度，分别为平均绝对误差(MAE)和均方根误差(RMSE)，其计算公式分别为：

$MAE=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left|y_i-{\hat{y}}_i\right|}$ (5)

$RMSE=\sqrt{\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\hat{y}}_i\right)}^2}}$ (6)

式中 $y_i$ 和 ${\hat{y}}_i$ 分别为碳交易量第i个预测点的实际数值和预测数值；n为预测点总个数。根据三次不同数据和模型训练结果，所得误差对比为表1：

Table 1. Comparison of prediction errors of different models

表1. 不同模型预测误差对比

由表1可以得出，本文所提出的小波去噪方法和CNN-GRU模型在碳交易量数据的预测上具有更低的均方根误差和平均绝对误差，因此该方法具有可行性和优越性。

4. 结论

本文针对碳市场中的碳交易量数据的复杂性以及传统预测方法和单一预测方法的训练时间长、预测精度不高问题，提出了一种基于小波变换和CNN-GRU的碳交易量组合预测方法。通过中国上海市的历史实际碳交易量数据验证，对比利用原始数据序列GRU模型预测和CNN-GRU模型预测，本文所提出组合预测方法的MAE和RMSE均为最低，具有更高的预测精度。本文所提碳交易量组合预测方法的特点如下：

1) 由于碳交易量数据受到随机性和非线性等多种因素影响，因此采用小波变换的阈值去噪方法，得到去除噪声后的纯净信号可以更好地反映碳交易量数据的变化规律，能够有效降低预测误差。

2) 将去噪信号输入CNN-GRU模型进行预测，解决了大量碳交易数据特征不明显以及训练时间长和信息梯度易爆炸的问题，实现了对数据的充分挖掘，与现有人工智能预测模型相比具有较高的学习能力和准确度。

3) 该方法为碳排放发展预测领域提供了一种新的思路和方法，具有较好的理论价值与应用价值，可以为其他城市的碳排放预测研究提供支撑。

4) 未来研究可以进一步考虑碳交易市场中其他多种因素的相关影响，以及考虑其他更佳的优化方法或者更新的智能算法来进一步提高预测精度。