基于LSTM循环神经网络的转向架部件监测参数趋势预测

Trend Prediction of Monitoring Parameters of Bogie Components Based on LSTM Recurrent Neural Network

摘要: 故障诊断与预测通过海量数据，采用推断统计、神经网络等研究方法，对监测数据进行分析和预测，从而评估轨道车辆的健康状况，最大限度保证轨道车辆各系统部件健康工作。本文通过研究转向架关键部件的物理特性，结合长短期记忆网络在处理“长期依赖”问题的优势，构建了基于长短期记忆网络的转向架关键参数趋势预测模型。为了验证方法的有效性，本文使用CRH380动车组转向架轴箱轴承和齿轮箱的温度监测数据进行了预测。结果表明，基于长短期记忆网络的转向架关键部件参数趋势预测方法能够有效预测转向架关键参数的变化趋势。

Abstract: Fault diagnosis and prediction use massive data, inferred statistics, neural network and other research methods to analyze and predict the monitoring data, so as to evaluate the health status of the rail vehicle and ensure the health of each system component of the rail vehicle to the greatest extent. In this paper, by studying the physical characteristics of the key components of the bogie, combined with the advantages of the long and short-term memory network in dealing with the problem of “long-term dependence”, a trend prediction model for the key parameters of the bogie based on the long and short-term memory network is constructed. In order to verify the effectiveness of the method, this paper uses the temperature monitoring data of the CRH380 EMU bogie axle box bearing and gear box to make predictions. The results show that the trend prediction method of bogie key component parameters based on long- and short-term memory network can effectively predict the change trend of bogie key parameters.

1. 引言

转向架系统作为轨道车辆的核心部件，其健康状态直接影响着车辆的行车安全，而转向架轴箱轴承和齿轮箱是转向架中最为核心的部分。研究表明，在车辆故障诱因中，大约30%是由上述部件的损坏引起的。随着转向架系统的结构复杂性和耦合性越来越高，传统的以专家经验为诊断依据的方法已不适用。特别是轨道车辆维修由计划性维修向状态性维修转变的过程中，亟需实现对车辆系统部件性能状态的预测能力。为此，本文通过研究转向架关键部件的物理特性，结合长短期记忆网络在处理“长期依赖”问题的优势，构建了基于长短期记忆网络的转向架关键参数趋势预测模型。本文使用CRH380动车组转向架轴箱轴承和齿轮箱的温度监测数据进行了预测，验证了方法的有效性。

2. 国内外现状

目前，关于转向架系统的故障诊断研究，国内外学术团体及工业界已取得了一定的研究成果。冯泽阳等人分析了我国当前转向架故障诊断的技术特点，通过小波包变换提取了列车转向架故障工况的能量特征向量，同时结合列车振动信号的时频特征，提出一种基于多维特征SVM模型的列车转向架故障诊断方法。并通过滚动振动试验台实测的转向架故障运行工况数据，对比了SVM算法和BP神经网络的诊断性能 [1]。颜云华等人针对转向架系统故障诊断问题，将SVM的硬输出通过Platt模型转化为概率输出，用混淆矩阵来评估分类器的识别能力；将分类器局部可信度作为DS融合时的折扣因子，建立了基于SVM和DS结合的转向架系统故障诊断模型 [2]。刘建强等人针对转向架轴承故障特征极容易受到轮轨激扰和环境随机噪声影响的问题，提出一种故障诊断方法。该方法首先对采集的振动信号进行降噪预处理，并利用小波包分析法将其分解为多个频带，基于峭度指标自适应调整各频带包络分析和故障搜索的顺序，快速、充分地提取轴承故障特征 [3]。王远霏等人针对地铁车辆转向架轴承的故障诊断方法大多采用单一物理量作为信息来源，存在智能诊断准确率低，可靠性差等问题，提出了基于D-S证据融合理论的智能故障诊断方法。该方法以轴承运行中的振动加速度信号和温度信号为基本信息来源，采用加权改进D-S证据理论融合算法，诊断轴承健康状态，并在发生故障时判断故障类型 [4]。周彭滔等人提出一种基于小波包熵和多核学习的列车轴承故障智能诊断方法，该方法通过对轴承振动信号进行小波包分解，提取小波包特征分量，通过广义信息熵的概念定义了小波包特征熵函数，最后基于多核学习训练出的分类器对轴承故障类型进行分类，判断轴承的工作状态 [5]。然而上述研究主要是针对已获取的转向架监测数据进行分析，实现对转向架系统当前状态的评价，对现阶段动车组由计划性维修向状态性维修过渡的目标帮助有限，因此实现在基于现有转向架监测数据基础上的预测具有更大的实际意义。

3. 基于LSTM的时序数据预测

3.1. LSTM循环神经网络

传统的神经网络由于每层之间的节点没有任何连接，因此无法解决序列数据建模的问题。循环神经网络(Recurrent Neural Network, RNN)由于在隐藏层增加了一个隐藏层状态，使每层之间的节点实现了连接，使每个节点当前时刻的输入与后面节点的输出有关。RNN单元输出有两个，隐藏层输出 $h_t$ 和状态输出 $y_t$，相应的数学表达式为：

$h_t=f_a\left(W_{xh}{x}_i+W_{hh}{h}_{t-1}+b_h\right)$ (1)

$y_t=W_{hy}{h}_t+b_y$ (2)

其中， $W_{xh}$ 为输入层到隐藏层的权重系数， $W_{hh}$ 为隐藏层到隐藏输出的权重系数， $b_h$ 为隐藏层的偏置项系数， $f_a$ 为激活函数， $W_{hy}$ 为隐藏层到状态输出层的权重系数， $b_y$ 为状态输出层的偏置项系数，t表示时刻。

然而，由于RNN存在梯度消失和梯度爆炸等问题，故不能处理延迟过长的时间序列。为此，长短期记忆网络(Long Short-Term Memory, LSTM)通过引入“细胞状态”的概念，同时在与时间点对应的每层神经元中加入输入门、输出门和遗忘门来删除或添加信息到细胞的状态，解决了上述问题。LSTM单元结构如图1所示。

Figure 1. LSTM unit structure diagram

图1. LSTM单元结构图

LSTM单元更新步骤如下：

${\tilde{c}}_t=\tanh \left(W_{xc}{x}_t+W_{hc}{h}_{t-1}+b_c\right)$ (3)

$i_t=\sigma \left(W_{xi}{x}_t+W_{hi}{h}_{t-1}+W_{ci}{c}_{t-1}+b_i\right)$ (4)

$f_t=\sigma \left(W_{xf}{x}_t+W_{hf}{h}_{t-1}+W_{cf}{c}_{t-1}+b_f\right)$ (5)

$c_t=f_t\odot c_{t-1}+i_t\odot {\tilde{c}}_t$ (6)

$o_t=\sigma \left(W_{xo}{x}_t+W_{ho}{h}_{t-1}+W_{co}{c}_{t-1}+b_o\right)$ (7)

$h_t=o_t\odot \tanh \left(c_t\right)$ (8)

其中，i、f、c、o、 ${\tilde{c}}_t$ 代表的含义如图所示。此外， $\sigma$ 一般为Sigmoid函数， $\odot$ 为逐点乘积，tanh为激活函数。LSTM模型的训练过程主要包括4个步骤，首先按照公式(3)~(7)计算LSTM细胞的输出值，其次按照时间和网络层级反向计算每个LSTM细胞的误差项，然后根据误差项来计算每个权重的梯度，最后应用基于梯度的优化算法更新权重。本文选用适应性动量估计(Adaptive moment estimation, Adam)作为梯度优化算法，

3.2. 基于LSTM的转向架部件监测参数预测

根据转向架关键部件的物理特性，结合LSTM循环神经网络原理，本文构建了基于LSTM的转向架部件监测参数趋势预测方法，整体框架如图2所示。

Figure 2. LSTM parameter trend prediction framework

图2. LSTM参数趋势预测框架

基于LSTM的转向架部件监测参数趋势预测的训练与测试伪代码如下：

输入：F_o，m，L，S_state，seed，steps， $\eta$。

输出：与测试集对应的部件监测参数时间序列及RMSE。

1) get $F_{tr}$， $F_{te}$ from $F_o$ by m #划分训练集和测试集。

2) ${F^{\prime }}_{tr}=\text{z\_score}\left(F_{tr}\right)$ #对 $F_{tr}$ 进行标准化。

3) get X, Y from ${F^{\prime }}_{tr}$ by L #设定分割窗口值L对 ${F^{\prime }}_{tr}$ 分割。

4) create ${\text{LSTM}}_{\text{cell}}$ by $S_{state}$。

5) connect ${\text{LSTM}}_{\text{net}}$ by ${\text{LSTM}}_{\text{cell}}$ and L。

6) initialize ${\text{LSTM}}_{\text{net}}$ by seed。

7) for each step in 1: steps。

8) $P={\text{LSTM}}_{\text{forward}}\left(X\right)$。

9) $\text{loss}={\displaystyle {\sum }_{i=1}^{L\left(m-L\right)}{\left(p_i-y_i\right)}^2/\left[L\left(m-L\right)\right]}$ #用均方误差计算训练过程的损失函数。

10) update ${\text{LSTM}}_{\text{net}}$ by Adam with loss and $\eta$ #用Adam算法更新网络权重。

11) get ${\text{LSTM}}_{\text{net}}^{·}$ #训练好的LSTM网络。

12) for each j in $0:\left(n-m-1\right)$。

13) $P_{f+j}={\text{LSTM}}_{\text{net}}^{·}\left(Y_{f+j}\right)$。

14) append $P_o$ with $P_{f+j}\left[-1\right]$。

15) $P_{te}=\text{de\_zscore}\left(P_o\right)$ #反标准化。

16) error measure $\epsilon \left(P_{te},F_{te}\right),{\epsilon }_e\left(P_{tr},F_{tr}\right)$。

4. 转向架关键部件参数趋势预测

为了验证基于LSTM循环神经网络的转向架关键部件监测参数趋势预测方法的有效性，本文使用获取的CRH380BL动车组转向架的轴承温度数据和小齿轮温度数据进行了测试，实验相关评价指标、环境及结果如下：

4.1. 评价指标及模型参数

本文采用均方根误差(Root Mean Square Error, RMSE)作为衡量本文所提方法在预测转向架部件检测参数时的精度指标。RMSE的计算公式如下所示：

$\text{RMSE}=\sqrt{{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\left(y_t-f_t\right)}^2/T}}$

其中， $f_t$ 和 $y_t$ 分别为转向架部件检测参数时间序列在t时刻的观测值和模型输出值，T为数据点个数。本文通过对转向架部件检测参数组成的训练集和测试集分别计算RMSE值，来定量地评价模型的拟合和预测精度。在转向架部件监测参数预测实验中，获得的本文模型拟合和预测精度值如表1所示：

Table 1. Model training and testing RMSE value

表1. 模型训练和测试RMSE值

本文设计的LSTM模型主要由1个输入层，4个神经元构成的隐藏层组成，实现对一个预测值的输出。本文选用Sigmoid作为模型的激活函数，batch size为1，整个过程迭代100次。训练集地划分为65%，其余的作为测试集。

4.2. 预测结果分析

图3为转向架非驱动侧轴箱轴承的温度数据。其中，蓝色曲线为实际的监测数据，绿色曲线为训练集的预测值，红色曲线为测试集的预测值。由图可知，在图中0~95 s之间，绿色曲线与蓝色曲线相比虽然存在约1 s左右的延迟现象，但绿色曲线的变化趋势与蓝色曲线基本一致。在图中0~45 s之间，绿色曲线预测的温度值与实际监测到的温度值基本不存在误差；在45~75 s之间，绿色曲线的温度值与蓝色曲线相差在1℃以内，证明了本文提出的方法在对训练集进行预测时的准确性。在图中100~130 s之间，红色曲线的变化趋势与蓝色曲线基本一致，在100~115 s之间，红色曲线与蓝色曲线的温度误差在2℃左右；在115~125 s之间，两色曲线基本不存在误差。上述结果表明，本文提出的基于LSTM的参数趋势预测方法能够有效预测轴承温度。

Figure 3. Axle box bearing temperature (non-drive side)

图3. 轴箱轴承温度(非驱动侧)

图4为转向架驱动侧的轴箱轴承温度数据，图中蓝色、绿色和红色曲线代表的数据与图3中相同。观察发现，在图中0~95 s之间，绿、蓝两色曲线的变化趋势基本一致，虽然绿色曲线比蓝色曲线存在1 s左右的延迟，但是预测的轴承温度与实际监测温度基本一致。证明了本文提出的方法在进行训练集数据预测时的准确性符合期望。在图中95~110 s之间，红色曲线较蓝色曲线存在约1 s的延迟现象，但温度数值预测准确。在110~120 s之间，红色曲线的预测值与蓝色曲线的实际值相比存在较为明显的误差，主要因为轴承的温度检测数据存在明显的波动，证明本文方法在针对剧烈波动数据的预测方面仍有优化空间。

图5为齿轮箱电机侧的小齿轮温度数据。在图中0~85 s之间，绿色曲线代表的训练集预测数据与蓝色曲线代表的小齿轮温度实际监测数据虽然存在1 s左右的延迟现象，但是预测的温度数值与实际数值相同，证明了本文方法在对训练集样本预测方面的有效性。在100~130 s之间，红色曲线代表的预测值与蓝色曲线代表的实际监测值误差在1℃以内，证明了本文提出的方法在针对测试样本的预测方面具有较好的效果。上述现象表明，本文提出的基于LSTM循环神经网络的转向架关键部件监测参数趋势预测方法，能够被实际运用到转向架关键系统部件检测参数的预测中。

Figure 4. Axle box bearing temperature (drive side)

图4. 轴箱轴承温度(驱动侧)

Figure 5. Pinion temperature (motor side)

图5. 小齿轮温度(电机侧)

图6为齿轮箱车轮侧的小齿轮温度数据。观察发现，在图中0~95 s之间，绿色曲线所代表的测试数据集的预测数据与蓝色曲线所代表的小齿轮实际监测数据基本一致，在图的起始阶段，两色曲线虽然存在2℃左右的误差，但是在后续的平稳阶段，绿色曲线能够对蓝色曲线实现较好的预测。相关现象表明，本文所提方法在对平稳变化的数据具有较好的预测能力，但仍需在未来优化对激变数据的预测准确率。在图中100~140 s之间，红色曲线代表的测试集预测数据与蓝色曲线代表的实际监测数据基本一致，证明了本文提出的方法对小齿轮温度数据的预测能力较好。

Figure 6. Pinion temperature (wheel side)

图6. 小齿轮温度(轮侧)

5. 结论

如何提高我国轨道车辆健康管理和运维决策水平，已成为轨道交通行业可持续发展的战略问题和迫切需求。转向架作为轨道车辆的核心部件，其性能状态直接影响车辆运行的安全性。本文提出的基于LSTM算法的转向架关键部件监测参数趋势预测方法，能够有效预测转向架关键部件表征参数的变化趋势，对提高转向架系统运行的安全性及其计划性维修向状态性维修的过度有着重要的意义。