基于改进Bi-LSTM的航迹预测模型设计

Design of Trajectory Prediction Model Based on Improved Bi-LSTM

摘要: 随着我国航空事业的发展，国家航空安全形势不容乐观，飞机航迹精准预测对执行反劫机任务场景时提高指挥员战场决策能力至关重要，可使指挥员迅速掌握战场态势、精准把握作战时间、快速作出优化决策，对有效打赢反恐战争具有重要意义。针对航迹特征提取过程的梯度消失影响预测精确性的问题，提出了一种基于残差门的Bi-LSTM改进预测模型。在单个LSTM模型中引入残差结构，由正反序两个残差门LSTM构建出Bi-LSTM模型，使得Bi-LSTM模型可以更好的记忆和训练数据特征，避免轨迹数据梯度消失，对飞机航迹数据具有较高的预测精度。

Abstract: With the development of China’s aviation industry, the national aviation safety situation is not optimistic, and accurate prediction of aircraft tracks is crucial to improve commanders’ battlefield decision-making ability when performing anti-hijacking mission scenarios, so that commanders can quickly grasp the battlefield situation, accurately grasp the combat time, and quickly make optimization decisions, which is of great significance to effectively winning the war against terrorism. Aiming at the problem that gradient disappearance affects the prediction accuracy of track feature extraction process, an improved prediction model of Bi-LSTM based on residual gate is proposed. The residual structure is introduced into a single LSTM model, and the Bi-LSTM model is constructed from the two residual gate LSTMs in forward and reverse order, so that the Bi-LSTM model can better remember and train data features, avoid the disappearance of trajectory data gradient, and have high prediction accuracy for aircraft track data.

1. 引言

根据民航总局的数据，2021年全年，我国民航旅客吞吐量为90748.3万人次，较2020年增长59% [1] 。随着航空事业的发展，在我国民用航空领域，一些以航空器为袭击目标具有恐怖主义特征的暴力犯罪亦时有发生，如险些造成机毁人亡的6.29和田劫机事件、深航ZH9648航班机上纵火事件、中国国际航空公司CA905航班劫持飞往台湾事件等 [2] 。国家航空安全形势不容乐观，预测飞机航班偏离既定路线技术，对指挥控制航班安全飞行尤为重要，可有效提高指挥员在反劫机等任务中的战场决策能力。

Figure 1. Block diagram of the improved Bi-LSTM trajectory prediction model

图1. 改进的Bi-LSTM航迹预测模型设计框图

文献 [3] 构建了PSO-LSTM目标航迹预测模型，采用粒子群PSO算法对LSTM网络参数进行调优，以此来提升网络的预测精度；文献 [4] 将LSTM神经网络和ARIMA模型结合，挖掘历史航班飞行数据内部隐藏的依赖关系来进行新的航迹预测；文献 [5] 对比了三种航迹预测模型(Stacked-LSTM预测模型、CNN-LSTM预测模型、Bi-LSTM预测模型)，将距离最近的航迹簇作为该被预测船舶的先验数据，最终确定Bi-LSTM训练的模型预测效果相对较好。以上文献所用模型均没有对预测过程中存在的梯度消失问题进行研究，文献 [6] 虽然对上述问题进行了研究，但只是采用单个LSTM网络，不能同时考虑正反双向信息预测，无法保证时间序列预测处理精确性 [7] 。

鉴于此，本文对Bi-LSTM进行改进，提出了一种基于残差门的Bi-LSTM航迹预测模型。构建基于残差门的Bi-LSTM模型，在真实航迹数据集上进行预测，将输入数据特征，通过残差门加到记忆状态的输出上，能够更好的对航迹内的时序性信息进行特征提取，可以更好的训练和记忆数据特征，避免在提取特征过程中梯度消失，从而提升航迹预测精度。基于残差门的Bi-LSTM航迹预测模型设计框图如图1。

2. ADS-B数据采集和预处理

2.1. ADS-B基本概念

ADS-B (Automatic Dependent Surveillance-Broadcast)广播式自动相关监视，飞机自动将自身识别号、经度、纬度、高度、真航向、速度等信息向其他飞机或地面站广播，以供管制员及飞行员对飞机状态进行监控，正是因为ADS-B有以上诸多的优点，促成国际航空界积极推进该项技术的应用。

2.2. 数据采集

ADS⁃B航迹数据全部来源于机载设备，信息传输通道目前运用得较多的有：VDL Mode4 (甚高频数据链模式4)、UAT (万能电台数据链)、1090ES (1090MHz S模式扩展电文数据链)。

国内一般采用1090ES模式，下行数据调制在1090MHz左右，本文采用R820T + RTL2832架构的RTL-SDR接收ADS-B信号。SDR (Software-defined radio)是软件定义无线电的简称，这个设备可以接收无线电信号，实现全频段的接收，而且相对于专业无线电的设备，RTL-SDR的成本很低。

定位西安咸阳机场，RTL-SDR接收到的ADS-B信号，使用RTL1090解码，adsbSCOPE显示，如图2。由此，ADS-B航迹数据可由adsbSCOPE下载直接导出，或者根据接收到的航班信息ICAO字段在VariFlight网站上导出，如获取到西安咸阳–昆明长水航班的ADS-B部分航迹数据如表1所示。

Figure 2. adsbSCOPE displays flight information on a map

图2. adsbSCOPE在地图上显示航班信息

Table 1. ADS-B track data

表1. ADS-B航迹数据

2.3. 数据预处理

原始ADS-B航迹信息存在的异常数据会对航迹预测造成不利影响，因此需要进行原始数据预处理。预处理流程如图3所示。首先提取数据报文中的t时刻的航迹特征信息{λ_t, φ_t, h_t, ν_t, θ_t}，分别对应经度、纬度、高度、航速及航向；其次采用MAD (median absolute deviation)绝对中位差法 [8] 检测和剔除异常值处理；然后基于滑动窗口的移动平均值滤波法(moving average) [9] 填补缺失值，若由附近2N个数据采样点组成的数据集合为：

$\left(x_{i-N},\cdots ,x_i,\cdots ,x_{i+N}\right)$ (1)

则移动平均值滤波后该点值y_i为

$y_i=\frac{1}{2N+1}\left(x_{i-N}+\cdots +x_i+\cdots +x_{i+N}\right)$ (2)

最后采用最小最大标准 [10] 对数据进行归一化，消除不同量纲对预测结果的影响。

Figure 3. Preprocessing flowchart

图3. 预处理流程图

3. 基于改进的Bi-LSTM航迹预测模型

本节对Bi-LSTM理论基础进行描述，在此基础上，引入残差结构，提出了基于残差门的Bi-LSTM改进模型，使得Bi-LSTM模型可以更好的记忆和训练数据特征，避免轨迹数据梯度消失，提升预测精度。

3.1. Bi-LSTM网络理论

长短期神经网络(long short term memory, LSTM)是循环神经网络(RNN)的一种。LSTM相对于RNN，在隐藏层h中新增了遗忘门f_t、输入门i_t、输出门o_t以及一个隐藏状态 ${\tilde{c}}_t$ ，LSTM隐藏层结构原理如图4，各门状态计算公式见文献 [11] 。

Figure 4. Structure diagram of LSTM unit

图4. LSTM单元结构图

在单向的循环神经网络中，模型实际上只使用到了“上文”的信息，而没有考虑到“下文”的信息。在实际场景中，预测可能需要使用到整个输入序列的信息。因此，目前业内主流使用的都是双向的循环神经网络。顾名思义，双向循环神经网络结合了序列起点移动的一个循环神经网络和令一个从序列末尾向序列起点移动的循环神经网络。而作为循环神经网络的一种拓展，LSTM自然也可以结合一个逆向的序列，组成双向长短时记忆网络(Bi-directional Long Short-Term Memory, Bi-LSTM)。

Bi-LSTM在LSTM的基础上，结合了输入序列在前向和后向两个方向上的信息。对于t时刻的输出，前向LSTM层具有输入序列中t时刻以及之前时刻的信息，而后向LSTM层中具有输入序列中t时刻以及之后时刻的信息。因此，传统Bi-LSTM神经网络结构由以上2个独立的LSTM构成，分别从正序和逆序两个方向对输入的信息进行特征提取，最终输出的特征由正逆序提取的特征拼接得到，Bi-LSTM网络结构如图5，双向卷积神经网络的隐藏层要保存两个值，右侧传输方向h参与正向计算，左侧传输方向h参与反向计算，最终的输出值H取决于正向h和反向h。

Figure 5. Bi-LSTM network structure diagram

图5. Bi-LSTM网络结构图

由此正逆序兼顾过去和将来的信息，可使Bi-LSTM提取数据特征的性能和效率优于单个LSTM结构模型。Bi-LSTM中的2个LSTM神经网络参数是相互独立的，实际应用中发现循环神经网络存在诸如梯度消失、梯度爆炸等问题 [12] ，因此需要对Bi-LSTM进行改进。

3.2. 改进的Bi-LSTM

深度学习对于网络深度遇到的主要问题是梯度消失和梯度爆炸，采用数据初始化和正则化的传统解决方案，虽解决了梯度问题，却产生网络性能退化的新问题，也就是深度加深但错误率上升。而采用残差设计，不仅能够解决退化问题，同时也解决了梯度问题，更使得网络的性能也提升了 [13] 。

残差模块 [14] 被广泛应用在卷积神经网络中，让非线形层满足H(x,w_h)，然后从输入直接引入一个短连接到非线形层的输出上，使得整个映射变为式(3)，为残差网络的核心公式。

$y=H\left(x,w_h\right)+x$ (3)

假设第l层残差卷积子模块映射为：

$F\left(x_l,w_l\right)=x_l+H\left(x_l,w_l\right)$ (4)

式中x_l为第l层输入， $w_l=\left\{w_{l,k}|1\le k\le K\right\}$ 是第l层的参数，K是残差单元层数。

假设损失为ε，根据链式求导法则，我们可以得到

$\frac{\partial \epsilon }{\partial x_l}=\frac{\partial \epsilon }{\partial x_L}\frac{\partial x_L}{\partial x_l}=\frac{\partial \epsilon }{\partial x_L}\left(1+\frac{\partial }{\partial x_l}{\displaystyle {\sum }_{i=1}^{L-1}F\left(x_i,w_i\right)}\right)$ (5)

式(5)显示梯度由两部分连接的线形特性保证了信息可以直接反向传播到浅层。同时对于小的batch(批/一批样本)而言，梯度不太可能会消失，因为通常对于小的batch来讲不会总是为1，那么这表示即使权重非常小，梯度也不会为0，不存在梯度消失的问题。

在单个LSTM模型中引入残差结构见图6，2个加入残差结构的LSTM构建出Bi-LSTM模型，提出了基于残差门的Bi-LSTM改进模型。依据残差理论，将输入数据特征，通过残差门加到记忆状态c的输出上，从而使Bi-LSTM模型可以更好的训练和记忆数据特征，避免梯度消失，见图7。

Figure 6. Structure diagram of a single LSTM network with residual structure

图6. 引入残差结构单个LSTM网络结构图

Figure 7. Improved structure diagram of Bi-LSTM network based on residual gate

图7. 基于残差门的Bi-LSTM网络改进结构图

残差门r_t的定义见式(6)。

$r_t=sigmoid\left(W_r\cdot x_t+b_r\right)$ (6)

更新记忆状态的计算公式见式(7)。

$C_t=\left(f_t\otimes C_{t-1}+i_t\otimes {\tilde{C}}_t\right)+r_t$ (7)

3.3. 基于改进的Bi-LSTM预测模型构建

基于以上分析，本文构建的基于残差门的Bi-LSTM改进模型训练及航迹预测过程，如图8所示，能够更好的对航迹内的时序性信息进行特征提取，并且避免在提取特征过程中梯度消失，从而提升航迹预测精度。

Figure 8. Based on the improved Bi-LSTM prediction model

图8. 基于改进的Bi-LSTM预测模型

图8中L(X(t)，Y(t))为损失函数 [15] ，基于距离度量，计算公式如式(8)。

$L\left(X\left(t\right),Y\left(t\right)\right)=\Vert X\left(t\right)-Y\left(t\right)\Vert$ (8)

图8中预测精度评价指标，评估所提出预测模型的性能采用以下三个指标：平均绝对误差MAE (Mean Absolute Error)、均方根误差RMSE (Root Mean Square Error)、平均绝对百分比误差MAPE (Mean Absolute Percentage Error) [16] 。这三个指标其值越小表明模型预测性能越准确，即模型预测性能就越好。

4. 模型验证及分析

4.1. 数据集描述及预处理

本文通过在西安咸阳机场附近使用RTL-SDR设备，采集该空域内的6000条ADS-B航迹数据报文，随机选用前70%组数据作为训练集，后30%组数据为测试集。

对原始获取到的ADS-B航迹数据进行预处理，原始航迹与预处理后的航迹对比如图9。可以看到，经过预处理以后，航迹具有连续性并且去除了异常孤立点，便于后续神经网络训练数据特征，提升模型预测精度。

(a)(b)

Figure 9. Preprocessed data compared to raw data. (a) Original track; (b) normalization of tracks

图9. 预处理数据与原始数据对比图。(a) 原始航迹；(b) 归一化处理航迹

4.2. 设置模型参数

为使模型预测达到最优效果，经过训练设置本文的模型预测模型的超参数：学习率为0.005，迭代次数为250，窗口长度为5，单元数为350，批大小为128，损失函数为MSE。

4.3. 实验结果分析

将本文的模型与文献 [5] 中提出的未加入残差结构的Bi-LSTM模型进行对比实验。采用相同训练和测试数据，提取连续前3个时刻的航迹特征作为输入，输出后一个时刻的高度、经度、纬度来分别训练模型，对比两种模型的预测航迹和真实航迹，如图10所示，可以看出，这两种模型均能预测出真实航迹的趋势，改进的Bi-LSTM模型相比传统Bi-LSTM模型的真实航迹趋势贴合度更高，也未出现过拟合情况，表明改进的Bi-LSTM模型预测性能良好，较好地解决航迹预测问题。

Figure 10. Comparison of predicted track and real track of the two models

图10. 两种模型的预测航迹和真实航迹对比

由图11至图13可知，改进的Bi-LSTM预测模型高度、经度、纬度误差曲线比传统Bi-LSTM模型总体平稳，前者高度预测误差值小于后者占测试集总数93%，纬度占90%，经度占88%，表明该改进的Bi-LSTM预测模型具有较好的稳定性及预测精度。

评估预测性能指标，进一步验证本文所提出的改进Bi-LSTM预测模型优势，在测试集上计算三个平均指标，对比两种模型如表2所示。

Figure 11. Comparison of track altitude errors

图11. 航迹高度误差对比

Figure 12. Comparison of track longitude errors

图12. 航迹经度误差对比

Figure 13. Comparison of track latitude errors

图13. 航迹纬度误差对比

Table 2. Comparison of evaluation indicators

表2. 评估指标对比

从表2中可以看出，本文提出的改进Bi-LSTM预测模型经度、纬度、高度的RMSE、MAE、MAPE均为最小，分别为(0.017323, 0.003011, 0.021703)、(0.004203, 0.002354, 0.006811)、(0.000165, 0.000108, 0.000487)，相比于未加入残差门的传统Bi-LSTM模型，分别低(31.0%, 49.0%, 4.2%)、(41.0%, 47.7%, 7.1%)、(20.3%, 45.7%, 5.6%)，表明改进Bi-LSTM预测模型具有更佳的预测效果及更高的检测精度。

5. 结束语

针对航迹特征提取过程的梯度消失影响预测精确性的问题，提出了一种基于残差门的Bi-LSTM改进预测模型。该模型在单个LSTM模型中引入残差结构，由引入残差结构的LSTM构建出Bi-LSTM模型，从而使改进后的Bi-LSTM模型可以更好的训练和记忆数据特征，避免梯度消失。实验结果表明本预测模型对飞机航迹的预测精度明显高于未引入残差结构的传统Bi-LSTM网络，在反劫机作战、飞机避碰、航班行为异常检测与预警等方面具有广阔的应用场景。