基于TCN-BiLSTM的航空发动机寿命预测

Aero-Engine Life Prediction Based on TCN-BiLSTM

摘要: 航空发动机是飞机的重要组成部分，其性能和可靠性直接影响飞机的安全性和经济效益。针对航空发动机寿命预测精度低和数据复杂度高的问题，提出基于一种基于TCN和BiLSTM融合模型用于航空发动机寿命预测。该模型通过TCN捕捉长期依赖关系和处理长序列数据，通过BiLSTM处理上下文信息和提取高级特征，将筛选出来的数据特征输入TCN-BiLSTM模型中预测航空发动机的剩余寿命。本文采用NASA开发的C-MAPSS数据进行实验，通过数据仿真验证，模型可以较为准确地预测出航空发动机的剩余寿命，并与SVG、MLP、CNN、LSTM和CNN-LSTM的预测结果相比较，对比结果证明TCN-BiLSTM模型的RSME和Score均低于上述模型方法，从而证明本文提出方法预测效果更好。

Abstract: Aero-engine is an important part of aircraft, and its performance and reliability directly affect the safety and economic benefits of aircraft. Based on the problem of low accuracy and high data complexity of aero-engine life prediction, a fusion model based on TCN and BiLSTM is proposed. The model captures long-term dependencies and processes long sequence data through TCN, processes context information and extracts advanced features through BiLSTM, and inputs the screened data features into the TCN-BiLSTM model to predict the remaining life of the aero-engine. In this paper, the C-MAPSS data developed by NASA is used to experiment. Through data simulation, the model can accurately predict the remaining life of the aero-engine, and compared with the prediction results of SVG, MLP, CNN, LSTM and CNN-LSTM, and the comparison results prove that the RSME and Score of TCN-BiLSTM model are lower than the above model method, thus proving that the prediction effect is better.

1. 引言

航空发动机是提供飞机推动力的关键装置。发动机的推力直接影响飞机的速度和性能，决定了飞机的起飞、爬升、巡航和着陆能力[1]-[3]。同时发动机的可靠性和性能直接影响飞行安全，航空发动机的性能和可靠性对于航空公司的经济效益至关重要。因此需要对航空发动机进行寿命，确保维修过程的高效性和经济性[4] [5]。

剩余寿命的预测方法[6]主要包括基于物理模型的方法和基于数据驱动的方法。基于物理模型的方法可以理解寿命的根本机制，但需要大量实验进行验证建模复杂并且成本较高。基于数据驱动的方法只需要对历史数据进行分析和建模，可以根据实际数据进行调整和修改，灵活度高[7] [8]。

近年来，随着大数据和深度学习技术的发展，寿命预测在飞机领域的运用越来越普遍。航空发动机的寿命预测通过包含着复杂的非线性关系，深度学习模型如神经网络相对于传统的方法可以更好地处理这种非线性关系。万等[9]利用双向长短记忆神经网络对航空发动机进行寿命预测。马等[10]提出一种基于Transformer的多编码器特征输出融合的方法对航空发动机进行剩余寿命预测。王等[11]提出了一种基于随机森林提取重要特征，输入时间卷积网络进行故障预测。王等[12]提出一种TCN-HS的滚动轴承寿命预测的方法，利用膨胀卷积解决了栅格效应的问题。张[13]提出一种基于注意力机制和CNN-BiLSTM模型的航空发动机剩余寿命预测方法，展现了BiLSTM够高效地处理时序数据、捕捉上下文信息，提高了寿命预测的准确性。郑等[14]提出一种基于TCN的电商商品需求预测方法，展现了TCN不存在梯度消失和梯度爆炸的问题，稳定性好并且预测精度高。

由于在进行寿命预测时，BiLSTM在处理长序列数据容易面临梯度消失问题，TCN在数据处理中容易出现对某些数据分布不敏感的问题。针对以上存在的问题和两个模型之间的优势的分析，本文将TCN模型和BiLSTM模型进行融合，提出一种基于时间卷积网络与双向长短记忆神经网络(Temporal Convolutional Network with Bidirectional Long Short-Term Memory, TCN-BiLSTM)的航空发动机的预测融合模型。TCN捕捉到长期依赖关系和处理长序列数据，通过多尺度特征提取来对特征进行更全面地捕捉。BILSTM处理上下文信息和提取高级特征[15]。综合利用两个模型的优势，用来提高模型的预测能力和鲁棒性，提高寿命预测的精度。通过与SVG、MLP、CNN、LSTM和CNN-LSTM等其他典型预测法方法对比，实验结果表明TCN-BiLSTM模型的RMSE和Score低于上述方法，从而验证了本方法的有效性。

2. 基本理论

2.1. TCN的基本理论

时间卷积网络(TCN)自2016年由Lea等人首次提出[16]，用来解决时间序列预测的算法。TCN网络是由空洞因果卷积和残差模块构成[17]。空洞因果卷积不仅可以处理序列时序性问题，还能用来抓取更长的依赖关系，获取更大的感受野，残差块用来跨层传递信息，进行深层网络训练。

(1) 因果卷积。TCN要处理序列问题，就必须使用CNN模型。下面给出因果卷积的定义，输入序列为$X=\left(x_1,x_2,\cdots ,x_T\right)$ ，滤波器$F=\left(f_1,f_2,\cdots ,f_K\right)$ ，在$x_t$ 处的因果卷积为：

${\left(F\ast X\right)}_{\left(x_t\right)}={\displaystyle \sum }_{k=1}^K{f}_k{x}_{t-K+k}$ (1)

其中k为卷积核大小。

(2) 空洞卷积。在标准的卷积里注入空洞，以此增加感受野。下面给出因果卷积的定义，输入序列为$X=\left(x_1,x_2,\cdots ,x_T\right)$ ，滤波器$F=\left(f_1,f_2,\cdots ,f_K\right)$ ，在$x_t$ 处膨胀因子为d的空洞卷积为：

${\left(F{\ast }_{d}X\right)}_{\left(x_t\right)}={\displaystyle \sum }_{k=1}^K{f}_k{x}_{t-\left(K-k\right)d}$ (2)

其中d为卷积核的间隔数量，k为卷积核大小。

因果卷积每一层t时刻的输出都是前一层t时刻的值以及$t-1$ 时刻的值共同得出，因果卷积不考虑未来信息，若想追溯历史信息节点越远，隐藏层数越多，如果层数增多，就导致梯度消失，出现训练复杂、拟合效果不好等问题。因此引入膨胀卷积，增加感受野，因此膨胀因果卷积如图1所示。

Figure 1. Inflation causal convolution

图1. 膨胀因果卷积

(3) 残差块。为了避免因引入空洞因果卷积导致网络训练出现梯度消失和网络退化问题，因此TCN引入残差模块。如图2所示。

$y=\text{Activation}\left(x+F\left(x\right)\right)$ (3)

其中x是输入，$F\left(x\right)$ 是模型输出，y是输出。

Figure 2. Residual module

图2. 残差模块

2.2. BiLSTM的基本理论

Figure 3. BiLSTM model

图3. BiLSTM模型

BiLSTM (双向长短记忆神经网络)是由正向和逆向处理数据的LSTM (长短记忆神经网络)组成的[18]。使得BiLSTM可以充分利用过去和将来的信息捕捉前后上下文的信息，有效解决LSTM单向处理数据的问题。BiLSTM的内部结构如图3所示。

则BiLSTM其中的LSTM的记忆单元由输入门、输出门和遗忘门3个门构成，图4为LSTM的内部结构。

Figure 4. LSTM structure

图4. LSTM结构

输入门$i_t$ 决定了进入记忆单元的输入内容，定义为：

$i_t=\sigma \left(W_{ix}{x}_t+W_{ih}{h}_{t-1}+b_i\right)$ (4)

遗忘门$f_t$ 用来丢弃先前无用的状态信息，定义为：

$f_t=\sigma \left(W_{fx}{x}_t+W_{fh}{h}_{t-1}+b_f\right)$ (5)

输出门$o_t$ 决定输出的内容，定义为：

$o_t=\sigma \left(W_{ox}{x}_t+W_{oh}{h}_{t-1}+b_o\right)$ (6)

t时刻的细胞状态$C_t$ 是由$i_t$ 和${\tilde{C}}_t$ 相乘选择的信息加入构成的。${\tilde{C}}_t$ 是遗忘门输出$f_t$ 和上一时刻的细胞状态$C_{t-1}$ 共同决定的，定义为：

${\tilde{C}}_t=\tan h\left(W_{Cx}{x}_t+W_{Ch}{h}_{t-1}+b_C\right)$ (7)

$C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t$ (8)

式(4)~(8)中，$\sigma$ 为sigma函数，W为权重，$h_{t-1}$ 为上一个时间步的输出信号，b为偏差项。

3. 基于TCN-BiLSTM的剩余寿命预测方法

本文将TCN与BiLSTM神经网络模型进行融合，提出TCN-BiLSTM的航空发动机剩余寿命预测方法。预测算法流程如图5所示。

Figure 5. Flow chart of aviation engine residual life prediction

图5. 航空发动机剩余寿命预测流程图

预测步骤如下：

(1) 特征参数选择

航空发动机的剩余寿命受多个参数的影响，观察其与发动机寿命的相关性，保留参数在时间上或飞行条件下发生较大波动特征变量。

(2) 归一化

对训练集和测试集进行归一化，公式如下

$x^{\prime }=\frac{x-x_{\min }}{x_{\max }}$ (9)

其中$x_{\min }$ 为特征参数的最小值，$x_{\max }$ 为特征参数的最大值。

(3) RUL衰退函数

在航天发动机的退化过程中，在初始期间发动机的传感器参数没有明显的变化，只有达到衰退点之后，发动机的传感器参数才会有明显的变化，因此需要设置发动机的衰退节点值，为发动机衰退设置标签，方便更加准确的预测发动机的寿命，采用构建发动机的退化曲线函数来构建剩余寿命的衰退函数，即

$\text{RUL}=\{\begin{array}{c}c,r_i\ge c\\ r_i,r_i<c\end{array}$ (10)

其中c为设置的衰退节点值，$r_i$ 为发动机的剩余寿命。

(4) 剩余寿命预测

将处理好的数据分别输入TCN和BiLSTM模型预测剩余寿命，然后将TCN和BiLSTM模型预测结果进行融合，融合后的剩余寿命为到航空发动机故障阈值经历的周期。

4. 基于TCN-BiLSTM的航空发动机剩余寿命预测

4.1. 数据集介绍

本文采用NASA开发的C-MAPSS数据集[19]来进行航空发动机的剩余寿命预测。其中涵盖了各种发动机故障模式和失效事件的数据参数。这些故障模式可以模拟发动机在实际运行中出现的故障，例如叶片磨损、油液泄漏、轴承失效等。

该数据集包括FD001、FD002、FD003和FD004等4个子数据集，如表1所示。每个子数据集提供了来自多个工况和操作条件下的发动机系列的数据，共有26列数据。第1列为发动机编号，第2列为当前运行周期，3至5列为对发动机性能有重大影响的三个参数(飞行高度、马赫数、节流解析器)，6~26列为21个传感器参数。训练集中，不同编号的发动机从健康状态运行到出现故障。测试集中，数据是从健康状态运行到出现故障之前的一段时间的。C-MAPSS数据集详情见表1。

Table 1. C-MAPSS data set

表1. C-MAPSS数据集

数据集	C-MASS
	FD001	FD002	FD003	FD004
Train ID	100	260	100	249
Test ID	100	259	100	248
工作状态	1	6	1	6
故障类型	1	1	2	2
训练数据量	17,731	48,819	21,820	57,522
测试数据	13,095	33,990	16,595	41,213

4.2. 数据预处理

4.2.1. 特征选择

通过对C-MAPSS数据分析和计算，部分传感器数据对发动机退化不产生影响，通过计算不同发动机周期内传感器数据的方差，发现例如FD001数据集中部分传感器1、5、6、10、16、18和19数据的方差为0，故在本实验中剔除这8个传感器监测的数据，最后保留2、3、4、7、8、9、11、12、13、14、15、17、20和21等14个有效的传感器数据进行实验。

4.2.2. 归一化

将训练集和测试集的传感器数据代入式(9)中进行归一化，将传感器数据转化为无量纲数据，缩放到[0, 1]的区间。选择归一化后的FD001数据集中编号为1的发动机14个有效传感器数据的变换趋势如图6所示。

Figure 6. Normalized sensor data

图6. 归一化的传感器数据

4.3. RUL标签设置

用原RUL衰退函数进行寿命预测会导致寿命预测不准确，本文采用分段函数对RUL进行寿命衰退标签处理，如图7表示。

Figure 7. RUL decline curve

图7. RUL衰退曲线

4.4. 模型性能指标

本文采用两个指标来评价模型的预测能力，为均方根误差(RMSE)和Score指标，即

$\text{RMSE}=\frac{1}{n}{\displaystyle \sum }_{i=1}^n\left({\widehat{y}}_i-y_i\right)$(11)

$\text{Score}=\{\begin{array}{c}{\displaystyle \sum }_{i=1}^n{\text{e}}^{-\frac{{\widehat{y}}_i-y_i}{13}}-1,{\widehat{y}}_i-y_i\le 0\\ {\displaystyle \sum }_{i=1}^n{\text{e}}^{\frac{{\widehat{y}}_i-y_i}{10}}-1,{\widehat{y}}_i-y_i>0\end{array}$(12)

其中n为发动机总数；${\widehat{y}}_i$ 为第i个发动机的预测RUL；$y_i$ 为第i个发动机的真实RUL。

两种模型的性能指标不同的值对模型的评判标准不同，但是RMSE和Score预测值越小时，模型预测的效果越好。

4.5. 实验结果与分析

本文采用方法TCN-BiLSTM对2个来自不同工况条件下发动机的剩余寿命数据集进行预测，为了验证所提的方法在航空发动机RUL预测的有效性，将其与SVR (支持向量回归)算法、MLP (多层感知器)算法、CNN (卷积神经网络)算法、LSTM (长短记忆神经网络)算法、CNN-LSTM算法等预测效果进行对比分析。FD001和FD004数据集在不同方法中的RMSE和Score的值见表2。

Table 2. Model evaluation index comparison

表2. 模型评估指标对比

方法	RMSE		Score
	FD001	FD004	FD001	FD004
SVR	20.96	36.54	1382	10,023
MLP	25.23	77.37	1205	561,660
CNN	18.45	29.16	1290	7890
LSTM	16.14	28.17	338	5550
CNN-LSTM	16.13	23.26	303	4630
TCN-BiLSTM	15.31	20.09	298	3589

表2可得本文所提的方法在FD001数据集上预测的最优结果RMSE和Score比SVR、MLP、CNN、LSTM、CNN-LSTM方法降低了26.53%、39.32%、16.98%、5.09%、5.08%和78.44%、75.27%、76.90%、11.83%、0.66%。在FD004数据集上预测的最优结果RMSE和Score比SVR、MLP、CNN、LSTM、CNN-LSTM方法降低了45.02%、74.03%、31.10%、28.68%、13.63%和64.19%、99.36%、54.12%、35.33%、22.48%。通过TCN-BiLSTM和其他方法对比误差有明显降低，因此本文所提出的方法能够有效提高RUL预测准确率。

为了进一步观察TCN-BiLSTM的预测效果，图8和图9分别对FD001和FD004两个子数据集每台发动机RUL的实际值和预测值的误差进行可视化分析，可以看出两者误差较小，横坐标为发动机变化，纵坐标表示寿命周期。图10~12和图13分别为FD001-31、FD001-34、FD004-57和FD004-86号发动机，用全测试循环的全寿命退化预测结果比较分析，本文方法在单个发动机的RUL中预测也有一定的优势。

Figure 8. FD001 test set

图8. FD001测试集

Figure 9. FD004 test set

图9. FD004测试集

Figure 10. FD001-31 engine No

图10. FD001-31号发动机

Figure 11. FD 001-34 engine No

图11. FD001-34号发动机

Figure 12. FD004-57 engine No

图12. FD004-57号发动机

Figure 13. FD004-86 engine No

图13. FD004-86号发动机

5. 结论

本文提出了一种基于TCN和BiLSTM融合的剩余寿命预测的方法，采用TCN多尺度特征提取来对特征进行更全面地捕捉，BILSTM处理上下文信息和提取高级特征，用TCN缓解BiLSTM预测时候的梯度爆炸问题。通过在NASA开发的C-MAPSS数据集上进行实验，证明了方法的有效性。首先通过对数据集的预处理，找出寿命退化中变化趋势最大的特征数据。然后，构建TCN-BiLSTM剩余寿命预测模型。最后将TCN-BiLSTM模型和SVR、MLP、CNN、LSTM和CNN-LSTM模型进行对比，通过评价验证指标的比较，验证了本文方法在剩余寿命预测中的优势。

虽然本方法在本次实验中获得了良好的结果，但是仍需要进一步的优化与提高，未来的研究中将尝试通过新的优化方法寻找最佳参数以及寻找最佳神经网络结合计算的方法，减少人为因素带来的影响。

基金项目

北华航天工业学院2023年硕士研究生科研创新项目(项目号：YKY-2023-32)。

NOTES

^*通讯作者。