基于声学特征的管制员疲劳检测方法研究

Controller Fatigue Detecting Study Method Based on Acoustic Features

摘要: 针对管制员工作疲劳问题，提出一种基于陆空通话分析的方法。利用雷达模拟机设计实验环境，采集一组包含PVT值和陆空通话记录数据。基于声学特征，分析了其对疲劳水平的贡献。随着疲劳程度的加重，各个参数均发生变化。通过SVM的基础上，验证了特征组合能够较准确地检测疲劳等级，为进一步形成管制员疲劳监测工具提供支持。

Abstract: In this paper, a novel method based on radiotelephony records was proposed. Designing expe-rimental environment with ATC simulator, a bundle of data containing PVT values, and radi-otelephony records was collected. Based on selective acoustic features, analyzing of each feature in contribution to fatigue level has been done. It can be found that with the fatigue levels getting severe, changes exhibit in each parameter. Upon using SVM, it has also been proved that the combination of features is able to accurately detect fatigue level. The contributions of this paper could be used to construct applied tools for real-time controllers’ fatigue after further studies.

1. 引言

空中交通管理的目标之一是支持航空运输的安全、高效运行。管制员在保持或提高当前安全水平的同时，获得空中交通效率和效能水平。随着我国空中交通量的持续增长，出现了许多高密度的交通区域，表明管制员需要投入更多的精力来实施空中交通管制。空中交通管理是一种高度分布式、以安全为关键的系统。安全依赖于不同管制单位的多个管制员的对空管制指令，因此，管制员疲劳问题也随之出现。厦门ATC安全报告系统 [1] 的数据分析表明，18%的运行差错是直接由管制员警觉性不足造成的。英国航空安全自愿报告系统 [2] 的调查数据显示，13%的不安全事件与管制员的疲劳有关。中国民航局华北空管局的调查显示，66%的管制员在工作过程中存在疲劳感 [3]。目前有效的管制员疲劳识别与监测方法尚不足，采用运行数据驱动的方法监测管制员工作疲劳，是行业研究的热点问题之一。

通常疲劳状态检测有两种不同的手段，即主观法和客观法 [4]。典型的主观检测方法有斯坦福嗜睡量表(SSS)和卡罗林斯卡嗜睡量表(KSS) [5]。客观检测方法是以生理生化指标为基础的，典型的有：脑电图(EEG) [6]、尿液成分检测 [7]，以及面孔识别、眼动跟踪等人体行为特征检测。随着生物化学检测技术的发展，使得研究人员将生物化学检测方法应用于疲劳研究成为可能。JAP等 [8] 研究了驾驶员在驾驶过程中疲劳程度脑电信号的变化，验证了其作为疲劳指标之一的可靠性。王磊等 [9] 在人脸识别中采用闭眼时间比、闭眼时间和打哈欠频率作为指标来判断空管人员是否处于疲劳状态。考虑到生物化学检测方法通常需要额外的设备，并且需要实验的被测人员配备专门的量规，属于干涉型检测。由于前述方法的不足，如何利用运行数据有效地识别管制员的疲劳水平是需要研究的问题之一。本文提出了一种新的利用陆空通话记录的客观方法。语音检测方法具有无创、可靠性高等优点，已广泛应用于驾驶疲劳检测，如借助心理声学感知结合分类器对驾驶员疲劳进行分类 [10]。此外，根据实际管制员的工作席位也考虑了工作班次安排。为了模拟管制员的真实工作环境，本文采用雷达模拟机开展实验。

2. 实验策略及数据收集

2.1. 实验设计

为了得到有代表性的疲劳状态数据，选择了15名高级实习学生作为被测人员。他们的专业是航空交通运输专业(平均年龄22.4岁，标准差0.56)。被测人员都是普通话流利的健康男性个体，每人都有定期的日程安排，且具有3个月以上的实习经历，能够熟练操作雷达模拟机。

用于测试的雷达模拟机已使用多年，该模拟机也用于管制员的培训和考核。该模拟机具有管制员席位和模拟机长席位，能够生成与实际管制运行环境接近的运行数据。

为了验证每个被测对象的疲劳水平，引入PVT (精神运动警觉测试)方法。PVT监测在每次上岗前后进行。每个PVT动作持续120秒。该结果可以用PVT值表示被测人员疲劳状态，较小的值意味着较高的警觉性。根据之前的研究 [11]，警觉性与疲劳之间存在一定的映射关系，警觉性越高，疲劳水平越低。PVT值可以通过软件自动存储。PVT测试已广泛应用于航天员警戒度测量 [12]。本实验使用的软件为佛罗里达睡眠研究中心的PVT web beta版本 [13]。

2.2. 被测人员分组及PVT测试

将15名被测人员编号为1~15，分为3组，每组5人。考虑到工作量和工作时间的公平性，每个被测对象的工作时间安排见表1。

Table 1. Candidate’s schedule table

表1. 被测人员时间表

根据此表，每位候选对象将进行2小时的工作，每25个工作记录下来5分钟取PVT值，其值可以反映管制员的疲劳程度。

本文根据PVT值将管制员的疲劳等级分为3级。第0级，个体平均反应时间的PVT记录值位于[100, 290] msec；第1级，此值位于(290, 350] msec；以及第2级，此值位于(350, +∞] msec。PVT软件设置允许反应时间小于100 msec作为无效数据，该数据也由软件存储。

PVT结果值在图1中给出，它显示了每个被测人员PVT值的分布。

Figure 1. PVT value distribution

图1. PVT值分布

图1中横坐标表示PVT活动时间，纵轴给出PVT结果值。对数据进行简单的统计，图2给出了关于PVT疲劳水平的数分布。与前文相同，图2中横坐标表示模拟管制的时间跨度，其中3个柱形代表上文提到的不同疲劳水平。纵轴给出样本数。

Figure 2. Fatigue level distribution

图2. 疲劳等级分布

2.3. 数据收集

模拟管制后，采集语音数据，以便构建将作为分析材料的语料库。语料与陆空通话严格相符。陆空通话的内容定义如下：对于第一次联系，陆空通话结构定义为：“对方的呼号 + 己方的号(+指令)”。第一次联系后，陆空通话结构定义为：“对方的呼号 + 指令”。模拟飞行员陆空通话结构定义为：“对方呼号 + 己方呼号 + 指令回复”。所有的会话都遵循语音通信系统(VCS)的原理，即语音呼叫被PTT间隔隔开。

雷达模拟机能够自动存储语音通信的所有内容，文件格式为.wav。首先，管制员的通信语音数据要根据时间序列和被测人员进行检索和存储。其次，被测人员管制员对模拟飞行员的请求时间也可以计算并存储到文件中。经过这两个步骤，可以方便地构建出完整的语料库用于进一步的处理。处理包括预加重和加窗以及帧处理。

3. 声学特征判定

针对陆空通话记录的声学特征很多，如韵律特征、质量特征等。需要从原始语音数据中找出有用的子集来识别能够表示管制员疲劳状态的特征。实际上，从原始数据中提取的多个特征向量所代表的子集在说话人相关信息识别中起着非常重要的作用 [14]。一般有三种典型的声学特征参数 [15]，分别是韵律特征、质量特征和基于频谱的特征。这些特征可以用语音帧能量、过零率、Mel频率倒谱系数(MFCC)、基音频率以及它们的一阶和二阶差分等数学向量来表示。

3.1. 特征选择

构造一组声学特征来识别一个人的疲劳程度很重要 [16]。对于特征的选择，需要遵守一些原则，它们是：1) 特征可以保证根据不同的状态区分目标的类型；2) 特征易于提取，计算量适中；3) 特征稳健；4) 特征不宜刻意模仿；5) 不应因时间和环境的不同而改变特征。经过预处理和结果的观察，确定语音通信数据的关键特征为：短时能量、短时平均幅度、短时平均过零率、MFCC。此外，一些特征，如平均语音速率和语音反应时间也很可观，因为它们也反映疲劳问题。

表2列出了特征选择对疲劳检测的贡献。

Table 2. Features’ vector selection

表2. 表特征向量的选择

3.2. 特征分析

为了验证上述特征与疲劳等级的相关性，利用MATLAB软件对各特征进行计算。

15名被测人员短期平均能量验证结果列于表3。

Table 3. Short-term average energy

表3. 短期平均能量

统计结果如图3所示，采用直方图，添加其最大偏差值的附加信息。

以上数据表明，随着疲劳程度的加重，参数E将逐渐增大。随着被测人员进入深度疲劳状态，这一现象相对更为显著。由于管制员在工作期间需要保持高度的警惕性，当人感到疲劳时，会比平时大声说话。这意味着语音能量增加。

平均语音速率，该参数在被测人员疲劳程度变得严重时，表现出更慢的趋势。根据定义，它可以用每个时间单位的音节数来表示，并表示为S = a/t，其中a为每个语音段的说话音节数，t为说话所花费的时间。每位被测人员的平均语音速率可由下式计算。

Figure 3. Statistic results of short-term average energy

图3. 短期平均能量统计结果

$S\left(i\right)=\frac{{\displaystyle \underset{1}{\overset{n}{\sum }}S\left(i,n\right)}}{n}$ (1)

这里i为候选人的编号，n为对应语料样本的编号。事实上，陆空通话往往同时涉及中英文两个阶段，一些特殊的字母表和数字都是以单音节发音的。它需要特殊的方法对语音段进行处理，才能正确地分离出音节。

对15名被测人员的平均语音速率进行验证的结果如图4所示。

Figure 4. Average speech rate change tendency

图4. 平均语音速率变化趋势

统计结果如图5所示，使用与以前类似的直方图。

采用类似方法，对剩余参数进行处理，分析结果如图6所示。

从以上参数变化分析可以发现，随着疲劳程度的加重，各参数均有变化。而且包括E、R、Z在内的参数变化明显，同时它们的变化趋势较为稳定。在回放原始陆空通话数据时，可以得到类似的效果，模拟机长的参数会随着疲劳程度的加重而发生同样的变化。

Figure 5. Statistic results of average speech rate

图5. 平均语音速率统计结果

Figure 6. Variation of other parameters

图6. 其他参数的变化

为了了解这些参数根据疲劳程度的不同变化趋势，设计了两种情况。在案例1中，观察了不同疲劳水平下被测人员参数的变化趋势。在案例2中，观察了一组被测人员在同一时刻不同疲劳水平下参数的变化趋势。观察取自每个参数从清醒到轻度疲劳的变化率，也取自从轻度疲劳到重度疲劳的变化率。这里从清醒到轻度疲劳的变化率表示其从疲劳水平0到水平1的变化率，其他表示如前定义的从水平1到水平2的变化率。用公式计算的平均能量E的变化率如下表示。其他参数可以用同样的方法计算。

$\Delta E=\frac{\left|E_2-E_1\right|}{E_1}$ (2)

计算结果见表4。

从表4的结果来看，很明显，案例1和案例2都具有实质性的一致性趋势。总的来说，每个参数的值都有变化率。可以说，对于一个被测人员或一组被测人员，这些参数的变化具有大致相同的含义。但参数E和M的变化率变化明显，参数MFCC和P变化微弱。

Table 4. Average rate of change of characteristic parameters

表4. 特征参数的平均变化率

4. 多个参数的验证

在上述研究的基础上，对管制员疲劳程度识别中几个参数的组合进行验证。本部分引入支持向量机算法(SVM)来验证不同参数组合的有效性。利用一个被测人员数据的前两天作为训练数据，第三天的数据作为验证数据，SVM可以帮助得到任意个体参数或参数组合的准确率。

4.1. 支持向量机模型

SVM的基本思想是在样本空间中分离不同类别的样本，并找出最优超平面。当所有样本点距离超平面最远时，表示已达到最优分类效果。

如前所述，已经定义了三种不同的疲劳等级，需要使用多分类SVM方法。本文选择了基于多分类回归支持向量回归(SVR)的回归分类方法。

利用样本集 $D=\left\{\left(x_i,y_i\right)\right\}$， $x_i\in Rd$， $y_i\in R$，构造特征空间结构的回归方程如下：

$\{\begin{array}{l}{y}_i-\omega \cdot x_i-b\le \epsilon \\ \omega \cdot x_i+b-y_i\le \epsilon \end{array}i=1,2,\cdots ,n$ (3)

这里n为训练样本大小，ω为权重向量，b为偏差量。

由于需要在合理范围内拟合误差，引入松弛变量 ${\zeta }_i\ge 0$， ${\zeta }_i^{\ast }\ge 0$。并构建了特征空间结构的回归方程。

$\{\begin{array}{l}{y}_i-\omega \cdot x_i-b\le \epsilon +{\zeta }_i\\ \omega \cdot x_i+b-y_i\le \epsilon +\zeta *\end{array}i=1,2,\cdots ,n$ (4)

优化目标可以表示为：

$\min \left\{\frac{1}{2}\Vert {\omega }^2\Vert +C{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\zeta }_i+{\zeta }_i^{\ast }\right)}\right\}$ (5)

其中C为惩罚参数 [17]，是在构造数据子空间时调整置信区间和经验风险的比例。由于存在凸二次规划问题，通过构造拉格朗日函数并对其求导以及使其对偶，回归方程可表示为方程(6)。

$f\left(x\right)=\left(\omega \cdot x\right)+b={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\partial }_i^{\ast }-{\partial }_i\right)\left(x_i\cdot x\right)+b}$ (6)

通过使用核函数，可以将样本数据从低维特征空间映射到高维特征空间。核函数 $K\left(x_i,x_j\right)$ 替换原公式中的内积 $\left(x_i,x_j\right)$，则函数变为：

$f\left(x\right)={\omega }^{\text{T}}\phi \left(x\right)+b={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left({\partial }_i^{\ast }-{\partial }_i\right)K\left(x_i\cdot x\right)+b}$ (7)

4.2. 参数组合的验证

根据前面的讨论，借助SVM分类和MATLAB工具箱，可以计算出检测疲劳水平的各个参数或参数组合的精度。

本文选取线性函数、多项式函数、RBF函数和S型函数四种核函数进行精度验证。结果如图7所示。

Figure 7. Number and accuracy of feature vectors

图7. 特征向量的数量和精度

如图7所示，可以发现随着特征向量(参数)的增加，精度也逐渐提高，4个参数后精度会趋于稳定。Poly函数比其他函数更稳定，RBF函数可以用较少的参数具有较高的精度值。因此，本文选择RBF函数进行分类计算的进一步验证。考虑到有100多个参数组合，将E、Z、S、R参数组合起来用于疲劳等级的识别。部分分类结果如表5所示。

Table 5. SVR classification results

表5. SVR分类结果

通过对表5的观察得出了以下结论。单一参数由于精度较低，对疲劳检测能力较弱；尽管有短时平均过零率，但其中Z效果较好。不同参数的组合精度高于单一参数，效果较好。对于轻度疲劳检测，ESP组合显示相对较好的结果，可以达到68.20%的精度。而且对于深度疲劳检测，EZR组合也显示了可以达到91.20%精度的结果。

因此，用于管制员疲劳状态检测，通过组合各个声学特征可以有效提高检测的准确性。由于管制语音的采集不会对管制指挥产生影响，不会要求管制员佩戴任何检测设备，因此有效降低了对管制员的干扰，基本实现了无感检测，是本文所提出方法的主要优势。

5. 结论

陆空通话语音的采集对管制员无干涉，可真实完整反应管制员的工作状态；而语音特征是管制员疲劳状态的客观反应，通过提取陆空通话语音特征可以有效客观评价其疲劳程度。

本文选取了七个特征来识别疲劳状态。通过实验收集了PVT和语音分析数据，为研究提供支持。通过统计分析证明了这些选择性参数之间的相关性，即它们都具有与疲劳状态相一致的变化趋势，但对疲劳检测的有效性并不相同。并将SVM算法应用于单参数和组合参数的疲劳状态检测中，证明了采用特殊的组合参数可以提高疲劳状态检测的精度。其中，ESP组合针对轻度疲劳精度达到68.20%，EZR组合针对深度疲劳检测精度达到91.20%。

空中交通管制是安全关键的工作之一，管制员工作位置的职责不同，塔台管制员的语音指令与区域管制员的语音指令有较大差异。因此，针对不同岗位的管制员，进一步的研究需要更多的样本数据，也需其他算法来支持研究。

致谢

本文得到中国民航局华东空管局局科技项目(KJ1804)的支持。