基于双高斯过程回归的自适应评估建模方法

Adaptive Evaluation Modeling Method Based on Double Gaussian Process Regression

摘要: 针对网络信息体系表现出的复杂、动态、涌现等特性，提出基于双高斯过程回归的自适应评估建模方法，通过指标相关性分析挖掘不同层级指标之间的连接关系，建立与评估数据相适应的评估指标体系，并基于双高斯过程回归模型训练自适应的评估模型，实现评估计算。实验证明，这种基于指标关系量化分析建立的评估指标体系以及通过训练学习得到的自适应评估模型能够很好地拟合评估指标之间客观存在的关联关系，更加逼近真实的评估模型，从而提高评估计算准确率。

Abstract: In view of the complexity, dynamics, emergence and other characteristics of network information system, an adaptive evaluation modeling method based on double Gaussian process regression is proposed. The connection relationship between indicators at different levels is minded through index correlation analysis, and the evaluation index system suitable for the evaluation data is established. The adaptive evaluation model is trained based on the double Gauss process regression model to realize the evaluation calculation. Experiments show that the evaluation index system established based on quantitative analysis of index relationship and the adaptive evaluation model obtained through training and learning can well fit the objective correlation between evaluation indexes, which is closer to the real evaluation model, so as to improve the accuracy of the evaluation calculation.

1. 引言

网络信息体系是典型的复杂系统，其复杂特性主要表现在：① 网络信息体系的组分系统通过相互作用，最终涌现出新的性质，实现体系能力跃升。涌现是体系在结构、行为、状态上所表现出的创新性质，是体系性质的一次相变，即体系整体性状的改变，而不是某个方面的简单变化。② 网络信息体系是“活”的系统，对于外部或自身状态的变化具有适应性、可自组织。基于不同层面的规则或人因影响，网络信息体系在面临复杂情况时，能够在一定范围内进行自组织调整，从而动态适应纷繁多变的作战场景。

网络信息体系的这些特性决定了基于简单系统思想的理论方法将再不适合体系内在属性及外发表现的评估分析，使得现有方法手段难以满足日益复杂的体系准确、高效的评估分析需要。

本文面向网络信息体系评估分析亟需，提出基于双高斯过程回归的自适应评估建模方法，基于指标关系量化分析建立评估指标体系，通过双高斯过程回归训练学习得到自适应评估模型，正确描述评估指标之间的关系，更加逼近真实的评估模型，从而提高评估计算准确率。

2. 相关工作

常用的体系评估方法 [1] 包括数学解析法 [2] [3] [4]、统计分析法 [5] [6]、模拟仿真法 [7] [8] [9]、综合评价法 [10] [11] [12] 等，这些方法尽可能真实地表述体系的评估过程，是面向“过程”的研究模式。随着人工智能、复杂网络理论、大数据分析等技术的兴起 [13] [14] [15]，出现了兵棋推演 [16] [17] [18] [19]、深度学习 [20] [21] [22] [23]、复杂网络建模 [24] [25] [26] [27] 的体系评估方法。这些评估方法应用于装备体系效能评估、作战试验训练评估等典型业务场景，形成了大量成熟落地的研究成果。

随着网络信息体系建设的逐渐深入，体系的动态涌现等复杂特性日渐凸显，现有的评估理论和方法难以满足这种复杂巨系统的评估需求。一是传统树状的指标体系无法正确刻画体系组分之间的相互影响关系，二是简单的、静态的聚合模型无法满足复杂体系评估需求。尤其是针对小样本场景，基于深度学习等建模训练方法应用效果不佳。本文面向网络信息体系评估亟需，结合体系复杂特性，提出基于双高斯过程回归的自适应评估建模方法，建立与体系相适应的评估指标体系和评估模型，为体系评估提供一种可行的解决方案。

3. 自适应评估模型构建

3.1. 评估指标体系优化设计

评估指标体系优化设计是基于基础指标集，通过指标数据的相关性分析等手段实现网状指标体系设计。

基础指标集通常由体系级指标、系统级指标、功能级指标等三类指标组成。体系级指标往往是与使命任务相关的效能指标，例如任务完成度、任务完成时间等；系统级指标往往是与系统应用相关的指标，如目标定位精度、辅助决策时间等；功能级指标是与基础资源相关的指标，如网络传输速度、信息传输时延、网络带宽等。在体系运行过程中，功能级指标通过系统级指标影响体系级指标，根据这种影响关系，本文将体系级指标定义为指标体系的顶层指标，系统级指标定义为指标体系的中间层指标，功能级指标定义为指标体系的底层指标。

在提取评估主要指标形成基础指标集后，开展评估指标体系优化设计，主要包括指标重要度分析、指关系优化筛选、网状指标体系构建等步骤。

3.1.1. 指标重要度分析

指标重要度主要是度量下层指标对上层指标的影响程度。这里通过系统级指标与体系级指标之间的相关性，来确定系统级指标相对于体系级指标的重要度。

在众多相关性分析方法中，最具影响力的是Pearson相关系数(又称积矩相关系数)。使命任务层指标与业务应用层指标相关性分析通过计算两层指标之间的Pearson相关系数，形成相关矩阵：

$M=\left[\begin{array}{ccc}{m}_{11}& \cdots & m_{1J}\\ ⋮& \ddots & ⋮\\ m_{I1}& \cdots & m_{IJ}\end{array}\right]$ (1)

其中I表示体系级指标的个数，J表示系统级指标的个数， $m_{ij}$ 表示第i个体系级指标和第j个系统级指标之间的相关系数，其计算方法如下：

两个具有相同时间标签和时间尺度的指标序列X和Y可以看成两个向量，不失一般性，假设两个向量已经中心化，那么它们之间的夹角 $\theta$ 的余弦为：

$r=\cos \theta =\frac{\langle X,Y\rangle }{\Vert X\Vert \Vert Y\Vert }=\frac{{\displaystyle {\sum }_{i=1}^n{x}_i{y}_i}}{\sqrt{{\displaystyle {\sum }_{i=1}^n{x}_i^2}{\displaystyle {\sum }_{i=1}^n{y}_i^2}}}$ (2)

其中， $\langle \cdot ,\cdot \rangle$ 代表向量的内积； $\Vert \cdot \Vert$ 代表向量的长度。

当 $\theta =0$ 时，说明两个向量的夹角为0，即两个向量同方向重合，说明两个向量是正相关的，此时 $r=\cos \theta =1$ ；当 $\theta =\pi /2$ 时，说明两个向量垂直，线性无关，此时 $r=\cos \theta =0$ ；当 $\theta =\pi$ 时，说明两个向量反向重合，负线性相关，此时 $r=\cos \theta =-1$。

3.1.2. 指标关系优化筛选

一般情况下，认为Pearson相关系数 $0\le \left|r\right|<0.3$ 的两个指标之间低度相关， $0.3\le \left|r\right|<0.8$ 为中度相关， $0.8\le \left|r\right|<1$ 为高度相关。通过阈值划分将相关矩阵M变换为

$M^{\prime }=\left[\begin{array}{ccc}{m^{\prime }}_{11}& \cdots & {m^{\prime }}_{1J}\\ ⋮& \ddots & ⋮\\ {m^{\prime }}_{I1}& \cdots & {m^{\prime }}_{IJ}\end{array}\right]$ (3)

其中 ${m^{\prime }}_{ij}=\{\begin{array}{ll}0\hfill & \left|m_{ij}\right|<\delta \hfill \\ 1\hfill & \left|m_{ij}\right|\ge \delta \hfill \end{array}$， $\delta$ 表示相关性阈值，通常设定为0.3，也可视具体数据而定。 ${m^{\prime }}_{ij}=0$ 表示指标体系中第i个体系级指标和第j个系统级指标之间不存在连接关系， ${m^{\prime }}_{ij}=1$ 表示指标体系中第i个体系级指标和第j个系统级指标之间存在连接关系。若第j个系统级指标与所有体系级指标都不存在连接关系，即 ${m^{\prime }}_{ij}=0,i=1,2,\cdots ,I$，那么需要将第j个系统级指标从指标体系中去除。至此，确定了系统级指标与体系级指标之间的连接关系。

3.1.3. 网状指标体系构建

类似的，采用3.1.1和3.1.2节所述方法，分析功能级指标相对于系统级指标的重要度，确定功能级指标与系统级指标之间的连接关系。至此形成了“功能级–系统级–体系级”三层网状指标体系H，可形式化表示为：

$H=\left(V,E\right)$ (4)

其中节点V和连边E分别表示为：

$V=\left(S_3,S_2,S_1\right)$ (5)

$E=\left(E_{S_3{S}_2},E_{S_2{S}_1}\right)$ (6)

其中 $S_3$ 表示功能级指标集， $S_2$ 表示系统级指标集， $S_1$ 表示体系级指标集， $E_{S_3{S}_2}$ 、 $E_{S_2{S}_1}$ 分别为各级指标之间的连接关系。网状指标体系H 反映了从功能级指标到系统级指标再到体系级指标的级联关系，网状指标体系示意如图1所示。

Figure 1. Diagram of network index system

图1. 网状指标体系示意图

3.2. 评估模型训练计算

3.2.1. 双高斯过程回归

双高斯过程回归是对经典高斯过程回归的改进，传统的高斯过程回归算法由Rasmussen提出，高斯过程回归和贝叶斯线性回归类似，不同之处在于高斯过程回归用核函数替代了贝叶斯回归中的基函数，使得一些难以表示出基函数的模型仍可以用核函数继续进行回归过程，应用广泛。

高斯过程是一个随机变量的集合，这些随机变量服从联合高斯分布。在高斯过程回归中，这些随机变量表示自变量函数的值。高斯过程回归假设自变量函数分布的均值为0，它们之间的相关性则用协方差函数表示，常用的协方差函数如下：

$K_{i,j}=K\left(X_i,X_j\right)={\theta }_0\exp \left\{-\frac{1}{2}{\displaystyle {\sum }_{d=1}^{D1}{\eta }_d{\left(x_{i,d}-x_{j,d}\right)}^2}\right\}+{\theta }_1$ (7)

式中：

$X_i$ ——第i 个自变量， $i=1,2,\cdots ,N$ ；

$X_j$ ——第j 个自变量， $j=1,2,\cdots ,N$ ；

${\theta }_0$ 、 ${\eta }_d$ 、 ${\theta }_1$ ——高斯核函数中的超参数， $d=1,2,\cdots ,D1$ ；

$x_{i,d}$ —— $X_i$ 中第d 维上的数值；

$x_{j,d}$ —— $X_j$ 中第d维上的数值。

在上述的协方差函数中，若两个变量越接近或者越相似，则两者的相关性越大，否则，相关性越小。在定义了协方差函数后，我们的目的是利用训练集中的自变量和因变量，预测新来样本的自变量 $X_{N+1}$ 对应的因变量 $y_{N+1}$，这要求我们去预测响应的条件分布 $p\left(y_{N+1}|y_1,y_2,\cdots ,y_N\right)$，为了得到这一条件分布，我们先得到Y的联合分布：

$p\left(y_1,y_2,\cdots ,y_N\right)=N\left(y_1,y_2,\cdots ,y_{N+1}|0,C_{N+1}\right)$ (8)

式中：

$C_{N+1}$ —— $\left(N+1\right)\times \left(N+1\right)$ 个自变量之间的协方差矩阵。该协方差矩阵可以分解为如下形式：

$C_{N+1}=\left(\begin{array}{cc}C& K\\ K^{\text{T}}& c\end{array}\right)$ (9)

式中：

K——元素为 $K\left(X_i,X_{N+1}\right)$ 的向量；

$c=K\left(X_{N+1},X_{N+1}\right)+\beta$。

由此，我们可以得到 $p\left(y_{N+1}|y_1,y_2,\cdots ,y_N\right)$ 的均值和协方差函数：

$m\left(X_{N+1}\right)=K^{\text{T}}{C}^{-1}{\left(y_1,y_2,\cdots ,y_N\right)}^{\text{T}}$ (10)

${\sigma }^2\left(X_{N+1}\right)=c-K^{\text{T}}{C}^{-1}K$ (11)

上述两个公式是定义高斯过程回归算法的关键，从中我们可以看出，无论是均值还是协方差函数都依赖于 $X_{N+1}$，从中可以得到想要预测的 $y_{N+1}$，即 $m\left(X_{N+1}\right)$。

3.2.2. 基于双高斯过程回归的模型参数计算

利用双高斯过程回归算法解决基于网状指标体系的评估建模的问题，定义Y 为其中一个上层指标， $X=\left\{x_1,x_2,\cdots ,x_D\right\}$ 为影响Y的D 个下层指标，Y与X构成了最小评估单元。如图2所示，上层指标Y 对应三个下层指标 $x_1$ 、 $x_2$ 、 $x_3$，Y与 $x_1$ 、 $x_2$ 、 $x_3$ 构成了一个最小评估单元。双高斯过程回归训练过程即是利用已有训练样本数据来计算每个最小评估单元的双高斯模型参数，建立从下层指标到上层指标的预测计算模型。

利用N 个训练样本数据来训练回归模型，然后用该模型去预测第 $N+1$ 个样本的上层指标值。基于双高斯过程回归的指标预测具体流程如表1所示。

采用上述方法，基于网状指标体系H ，针对每个体系级指标和系统级指标，提取其下层指标集合形成评估单元，针对每个评估单元进行高斯过程回归训练，得到评估单元的评估模型参数。网状指标体系H 与包含的所有评估单元对应的评估模型构成了自适应评估模型。至此，建立了与网状指标体系H相适应的评估模型。输入功能级指标值，利用评估模型可以计算系统级和体系级指标值作为评估计算的结果。

Figure 2. Minimum evaluation unit

图2. 最小评估单元

Table 1. Index prediction based on double Gaussian process regression

表1. 基于双高斯过程回归的指标预测

为提高模型适应性，对计算结果修正后可作为新的样本对模型参数进行调整更新。

3.3. 自适应建模流程

基于高斯过程回归的自适应评估建模流程如图3所示，主要包括评估指标集设计、评估指标体系设计、自适应评估模型构建、评估计算与结果修正等步骤。

1) 评估指标集设计。面向体系评估需求，提取体系级、系统级、功能级三个层次的相关指标构成评估指标集。

2) 评估指标体系设计。采取3.1节提出的指标体系优化设计方法，自顶向下依次分析体系级指标和系统级指标之间、系统级指标与功能级指标之间的连接关系，形成分层网络化指标体系。

3) 自适应评估模型构建。采用3.2节提出的评估模型训练计算方法，对体系级和功能级的每个指标

Figure 3. Flowchart of adaptive modeling

图3. 自适应建模流程图

对应的评估单元进行评估模型参数训练，得到所有评估单元的模型参数。网状指标体系和评估单元的模型参数构成了自适应评估模型。

4) 评估计算与模型修正

将功能级指标值作为自变量输入构建的自适应评估模型，计算系统级和体系级指标作为因变量输出。对预测输出的系统级和体系级指标值修正调整，并将调整后的指标值作为新增样本，按照3.2.2节提出的模型训练计算方法对各评估单元的模型参数进行重新计算，完成模型修正。

4. 实验结果与分析

4.1. 实验场景

近距离空中支援(Close Air Support, CAS)就是航空兵为支援地面、海上部队、两栖部队、特种部队进行作战，对接近己方的敌前沿和钱近终深直接影响，保证己方当前行动而进行的空中火力突击，可由固定翼飞机、直升机或无人机完成。CAS作战时，一般己方部队已与敌方交火，这需要空中火力同地面部队的机动和火力精确配合。精确配合是通过正确控制近距支援攻击机来实现的。一般是由地面或空中的终端控制员负责目标召唤和引导。当攻击机接近目标时，终端控制员使用无形的、光电信号、发烟装置等标志为攻击机知识目标。

对CAS行动过程进行仿真试验，并提取仿真过程数据进行本文所提基于双高斯过程回归的自适应评估建模方法验证。

4.2. 实验数据

结合CAS行动过程，提取任务完成时长、是否二次打击等作为体系级指标，提取攻击机任务时间、信息处理时间、爆炸距离作为系统级指标，提取任务上报时延、任务协调时延、信息交互次数、目标决策误差、目标位置误差等作为功能级指标。

CAS仿真模拟场景下涉及的可调控因素包括信息交互延迟、攻击机初始位置、导弹落点位置、任务上报时间、目标位置等5项，分别设置1、2、3三个水平，按照五因素三水平正交设计方法，共设计18组仿真实验。基于18组仿真试验数据，计算得到18组指标值，作为本文方法验证的指标数据，选择其中17组作为训练样本，1组作为测试样本。

4.3. 实验结果

利用python编程实现本文所提基于双高斯过程回归的自适应评估建模方法，基于18组仿真实验数据进行指标体系优化设计与自适应评估模型构建，详细实验结果如下。

4.3.1. 指标体系优化设计结果

1) 体系级和系统级指标连接

系统级指标相对于体系级指标的重要性计算结果如图4所示。计算结果表明，信息处理时间、爆炸距离和飞行距离对是否二次打击重要度都较高。信息处理时间越长，信息优势越不明显，爆炸距离越大，说明行动优势越弱，这些都会使得二次打击发生的概率升高。而二次打击发生，则飞机飞行时间越长。爆炸距离和飞行时间对任务完成时长重要度较高，信息处理时间对任务完成时长的重要度相对较低。这是由于信息处理时间只有几秒钟，对整体任务完成时长的影响显得相对较弱。

Figure 4. Importance of system-level metrics

图4. 系统级指标重要度

基于系统级指标重要度分析结果，建立系统级与体系级指标之间的连接关系，如图5所示。

Figure 5. Connection between system and hierarchy level

图5. 系统级与体系级连接关系

2) 系统级和功能级指标连接

功能级指标相对于系统级指标的重要性计算结果如图6所示。计算结果表明，任务上报时延和任务协调时延对爆炸距离重要度都较高。任务上报时延和任务协调时延越大，信息时效性越差，信息优势越不明显，可能使得爆炸距离越大，降低打击精度，削弱行动优势。

计算结果中对信息处理时间重要性最高的指标是信息交互次数、目标决策误差，而实际上，信息交互和目标决策主要发生在信息处理结束之后的任务分配、引导交互过程中，因此数据挖掘分析结果不能完全反映指标关系，需要根据实际业务过程进行调优。排除信息交互次数、目标决策误差之后，对信息处理时间最重要的指标为任务上报时延、任务协调时延，但是重要性不明显。这与实际情况是一致的，由于仿真试验设计的信息传输时延相对较小，加上仿真模型存在时间精度不够，导致了这种弱相关性。

对飞行时间重要性最高的指标是任务协调时延、信息交互次数、目标决策误差。任务协调时间越长，信息优势越弱，发生二次打击的概率越高、信息交互次数越高；目标决策误差越大，飞机飞行时间越长。因此这些因素都会影响飞行时间。

Figure 6. Importance of function-level metrics

图6. 功能级指标重要度

基于功能级指标重要度分析结果，建立功能级与系统级指标之间的连接关系，如图7所示。

Figure 7. Connection between function and system level

图7. 功能级与系统级连接关系

3) 网状指标体系

在依次建立体系级、系统级、功能级连接的基础上，构建形成网状指标体系，如图8所示。

Figure 8. Result of network index system construction

图8. 网状指标体系构建结果

4.3.2. 评估模型构建结果

从18组试验数据中随机选择一组作为测试样本，其余17组数据作为测试样本，进行评估模型构建和任务完成时长指标预测。重复进行五次样本测试随机选择、模型学习训练和指标预测计算，预测结果如表2所示。

Table 2. Evaluation and prediction result

表2. 评估预测结果

可以看出，任务完成时长预测值均在实际值的 $3\sigma$ 区间内，借鉴双高斯过程回归模型强大的拟合学习能力，所建立的自适应评估模型能够准确的刻画指标之间的量化关系，实现准确的自适应评估计算。

5. 结论

本文针对体系复杂特性，提出了基于双高斯过程回归的自适应评估建模方法，通过指标相关性分析挖掘不同层级指标之间的连接关系，建立与评估数据相适应的评估指标体系，并基于双高斯过程回归模型训练自适应的评估模型。基于CAS典型场景仿真数据开展分析试验分析，验证了所提出指标优化设计和自适应评估模型构建方法的有效性。同时，实验结果表明，所构建的自适应评估模型能够较好地反映指标之间的量化关系，得到准确的评估计算结果。

致 谢

对本文的创作给予指导和帮助的同事朋友，在此一并感谢。

基金项目

本文受到国防科技项目“XX跨域体系集成与试验验证技术”(NO: 2019-JCJQ-ZD-193-00)等资助。