基于校园场景的无人配送车智能驾驶系统的测试与评价

Test and Evaluation of Intelligent Driving System of Unmanned Delivery Vehicle Based on Campus Scene

摘要: 无人驾驶车辆的测试与评价对保障其行车安全至关重要，本文对校园环境下的无人配送车展开研究，对其智能驾驶系统进行测试分析与评价。通过校园场景的解构，运用PICT (Pairwise Independent Combinatorial Testing tool)组合测试工具生成场景重构组合集，并建立树状模型，分析校园测试场景库；改进Pairwise算法，在满足覆盖度的前提下，运用概率决策使生成的测试用例集数量明显降低，对这组矛盾问题进行有效控制；选取校园典型道路和天气类型，合理规划出无人车配送路线，并结合实地考察合理设计测试场景；基于层次分析法确定权重，运用模糊综合评价法对无人配送车进行综合评价。

Abstract: The test and evaluation of unmanned vehicles is very important to ensure their driving safety. This paper studies the unmanned delivery vehicles in the campus environment, and tests, analyzes and evaluates its intelligent driving system. Through the deconstruction of campus scenes, the Pairwise Independent Combinatorial Testing tool PICT (Pairwise Independent Combinatorial Testing tool) was used to generate scene reconstruction Combinatorial sets, and the tree model was established to analyze the campus test scene library. The Pairwise algorithm was improved to reduce the num-ber of test case sets generated by probabilistic decision making under the premise of satisfying the coverage degree, and the contradictory problems were effectively controlled. The typical roads and weather types on campus were selected to reasonably plan the unmanned vehicle distribution routes, and the test scenarios were reasonably designed based on field investigation. Based on the analytic hierarchy process, the weight is determined, and the fuzzy comprehensive evaluation method is used to comprehensively evaluate the unmanned delivery vehicle.

1. 引言

随着人工智能、深度学习、5G等新兴技术的飞速发展与深度融合，无人驾驶车辆得到迅速发展，在这过程中测试与评价两个环节尤为重要 [1] 。目前，已有一些学者针对其展开研究。针对测试过程中的场景构建，Simon Ulbrich [2] 等认为：场景描述了环境的快照，包括情境和动态元素，以及所有参与者和观察者的自我表现，以及这些实体之间的关系；Erwin de Gelder等 [3] 提出：场景是测试车辆、静态环境(如基础设施和天气等)及动态环境(包括其他交通参与者)在一段时间内的持续活动，由公共道路上行驶的测试车辆自动生成，突出场景在时间上的持续性。针对智能车辆的性能评价，孙杨 [4] 从任务复杂度、环境复杂度、人工干预程度三个方面运用可拓展层次分析法给出无人驾驶车辆各级评价指标权重，并采用混沌理论量化分析评价指标，从而实现无人驾驶车辆智能水平的定量评价。陈龙 [5] 提出一种基于车辆动力学频响特性的关键参数估计方法，通过分析电–机–轮胎间耦合动力学系统的频响规律，得到各子系统频域特征点与关键参数的函数关系，结合频域辨识方法实现参数估计，并基于多源数据挖掘对汽车智能驾驶系统的有效性进行评价。魏子茹 [6] 等采用基于层次分析法和客观赋权法的改进灰色关联理论分析方法对无人驾驶车辆进行评价，得到与传统模糊综合评价法有一致性的评价结果，在降低评价方法主观性的同时，保证了评价方法的有效性，并提高了测试评价效率。

本文结合无人车运行的校园环境，提出关于校园场景的理解：校园场景是测试车辆完成驾驶任务时一切动态及静态参与要素的大规模异构强耦合系统，包括天气光照、基础设施及道路布局、交通参与者(行人、两轮车、四轮车等)、动态交通环境下的行驶信息等。同时聚焦无人配送车运行的校园场景，对其智能驾驶系统进行测试与评价。

2. 校园测试场景参数构建

考虑校园无人车的功能特点以及结合上述的校园场景要素分类，从测试场景多样性角度出发，将校园测试场景分为三个子层，即：气象环境层、道路信息层、交通参与层。

2.1. 气象环境参数

气象环境参数主要对天气类型、光照强度、温度、风级及路面潮湿情况进行分析，其具体成分如下表1所示：

Table 1. Meteorological environment layer

表1. 气象环境层

本文选取五种较为常见的天气类型进行研究，针对光照强度分别选取白天(光照强度较强)、傍晚/清晨(光照强度一般)、夜晚(光照强度较弱)三种。对于温度和风级，根据实际天气状况进行合理选择。由于天气类型不同会影响路面干湿程度，为了便于后续工作开展，本文将路面潮湿情况列入气象环境层。结合Pairwise算法理论依据并添加适当约束，运用PICT组合测试工具生成19种气象环境参数集。

2.2. 道路信息参数

道路信息参数主要通过对路面类型、路面结构及几何参数等相关数据进行分析，具体分析如下表2所示：

Table 2. Road information layer

表2. 道路信息层

对于道路类型，选取校园场景中常见的五种结构，即：T型路口、十字路口、直道、弯道、坡道；选取水泥和沥青两种路面材料，并分析道路几何参数。此外，通过对路径的决策，确定其车道走向。运用PICT组合测试工具并合理使用约束条件，生成52种道路信息参数集。

2.3. 交通参与参数

交通参与参数主要对交通参与对象及其动态和静态要素以及对象间的行驶方向进行分析，具体成分如下表3所示：

Table 3. Traffic participation layer

表3. 交通参与层

除测试车辆外，本文选取校园场景中较为常见的五种参与对象进行研究，并对其相对行驶方向及静态要素做出分析；在对相对位置的研究中，本文参考中国汽车技术研究中心发布的《C-NCAP管理规则》 [7] 得出对象动态要素的偏置率及碰撞偏移量。运用组合测试工具得到48种交通参与参数集。

3. 智能驾驶系统虚拟测试用例生成

3.1. 影响因素分析与树状模型构建

分析并合理选取测试用例中的影响因素及其对应值是设计高效测试用例的前提 [8] ，本文基于测试用例的基本设计原则，为下文中测试用例的生成过程提供一种树状的数学描述模型，具体如下图1所示：

Figure 1. Tree mathematical model

图1. 树状数学模型

智能驾驶系统测试场景库及其对应的各个子层影响因素集如上图各节点所示，则一条完整的测试用例可以表示为：

$T=\left\{\left(b_i,b_j,b_k\right)|b_i\in B1,b_j\in B2,b_k\in B3\right\},i=1,2,\cdots ;j=1,2,\cdots ;k=1,2,\cdots$

其中，T为测试场景库；b_i为气象环境集B1中第i个参数集合；b_j为气象环境集B2中第j个参数集合；b_k为气象环境集B3中第k个参数集合。

3.2. 测试用例生成

3.2.1. 参数集概率分布

为便于后续的概率决策和校园典型测试用例的生成，需要对上述三种参数添加约束。通过分析2021全年天气状况得天气分布概率；分析校园场景得道路类型分布概率；分析除测试车辆以外的校园其他交通参与对象得参与对象类型分布概率。具体数值分布如下表4所示：

Table 4. Value distribution

表4. 数值分布

其中，对校园其他交通参与对象分析时，分别选取一天中三个时间段，每个时间段采集10次，统计一周的数据并处理计算得出上述概率分布。

3.2.2. 按参数集概率产生组合覆盖测试用例方法

组合测试的测试用例生成问题是一个NP (Non-determinism Polynomial)难问题，因此，关于这个问题，只能利用启发式方法、贪心算法等进行近似求解，而且各种解决方法都具有不同的优缺点。本文提出一种算法模型，在Pairwise算法 [9] 的基础上加入概率决策，既可满足较高的覆盖度，又能降低生成数量，对这组矛盾问题进行有效控制。新改进的算法以概率作为参数取值的指标，从而确保校园典型测试用例集的生成，为后续配送路线的规划及进一步测试提供理论依据。

数据表明：添加约束后的算法执行时筛选出30%以上的天气参数类型和5%以上的道路信息类型，生成的测试用例集数量较约束之前有明显的降低，具体如下表5所示。

Table 5. Comparison of quantities before and after

表5. 约束前后数量对比

由上图可看出：对于概率较小的天气类型和道路类型不予生成测试用例，以保证测试用例集的典型性。

4. 虚拟仿真与测试分析

由上节分析可得校园典型的天气类型和道路类型，本节将针对典型类型参数并结合实地采集的情景设计测试用例。

4.1. 校园孪生场景生成与配送路线规划

利用Prescan仿真软件，构建河南科技大学西苑校区南苑校园真实环境的仿真场景，具体如下图2所示。在此基础上并结合校园典型测试用例集，规划出两条无人车配送线路，其具体内容如下图3所示。

Figure 2. Campus simulation scenario

图2. 校园仿真场景

Figure 3. Distribution route planning

图3. 配送路线规划

上图配送线路的起点为校区大门，终点为学生宿舍楼大门，符合学生日常收取行为。通过规划出的路线，使得无人车完成校园中的配送任务。

4.2. 测试场景设计与分析

对于测试场景的天气类型，选择由概率分布选取最大概率值的阴天/多云；对于两条配送线路分别规划三种测试集，在完成配送任务的过程中对无人配送车的智能驾驶系统进行测评。

根据上文得出的校园典型测试用例集以及实地场景采集设计如下测试用例(见表6)。

上述测试用例分别对应的线路及测试情景图如下所示(见图4)。

对测试车添加AEB和ACC两种算法，进行Prescan/Simulink的联合仿真。为进一步对测试车的智能驾驶系统进行评价，本文选取车辆安全性、货物安全性和经济性三方面参数指标进行分析，其具体分析图如下所示。

Table 6. Test case types

表6. 测试用例类型

(a) 线路1仿真1 (a) 线路1仿真2 (c) 线路2仿真1 (d) 线路2仿真2

Figure 4. Test case scenario diagram

图4. 测试用例情境图

由图5(a)中的各指标参数的变化趋势可以看出，线路1下的两组仿真中，车辆的稳定运行速度大致相同，符合校园低速配送的安全性要求，纵向加速度的变化幅度仿真1小于仿真2，配送时间仿真1大于仿真2，俯仰角的变化幅度仿真1大于仿真2，当测试车辆检测前方存在行车危险时，仿真1和仿真2均能保持安全距离；从图5(b)可看知：线路2的路程大于线路1，且交通流量大于线路1，纵向加速度的幅度范围基本相同，配送时间仿真2小于仿真1，俯仰角的整体变化幅度仿真1大于仿真2，当无人配送车检测前方存在行车危险时，仿真1和仿真2均能保持安全距离。

5. 校园无人配送车智能驾驶系统综合评价

本节根据上述测试分析结果，采用基于层次分析法 [10] 计算权重的模糊综合评价方法对该测试车智能驾驶系统做出相应评价。

5.1. 综合评价指标体系选择

结合上述仿真过程分析，本文分别选取测试车的实时车速、测试车与其他交通参与者的实时距离以及车头时距(HWT)作为安全性评价指标；选取俯仰角、纵向加速度和急动度作为舒适性评价指标；选取配送时间和测试车平均速度作为经济性评价指标。其具体评价指标体系如下图6所示。

5.2. 基于层次分析法确定权重

本文利用层次分析法对测试车辆待测系统的安全性、舒适性、经济性各指标进行分析，确定其重要性序列，利用层次分析法确定各指标权重步骤如下。

1) 构造判断矩阵。由专家依据重要性程度给出各指标评分，具体执行标度如下表7所示。

(a) 线路1仿真图(b) 线路2仿真图

Figure 5. Simulation analysis

图5. 仿真分析图

2) 确定各因素权重。利用方根法求解判断矩阵A的最大特征值及特征向量，特征向量即为权数分配。对判断矩阵每一行元素相乘并计算其n次方根：

Figure 6. Evaluation index system

图6. 评价体系图

Table 7. Scale definition

表7. 标度定义表

$M_i=\underset{j=1}{\overset{n}{{\displaystyle \prod }}}{u}_{ij},\left(i,j=1,2,\cdots ,n\right)$ (1)

$\overline{W_l}=\sqrt[n]{M_i}$ (2)

对向量 $\overline{W_l}$ 作归一化处理，得：

$W_i=\overline{W_i}/\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\overline{W_i}$ (3)

即： $W=\left(W_1,W_2,\cdots ,W_n\right)$ 为权值向量。

计算判断矩阵A的最大特征根：

${\lambda }_{\max }=\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\frac{[A{W]}_i}{n{W}_i}$ (4)

3) 一致性检验。求出特征值和最大特征向量之后，还需对其合理性作一致性检验，RI值时判断矩阵的随机一致性指标，其1~9阶值如下表8所示：

Table 8. RI value

表8. 1~9阶RI值表

一致性检验指标为：

$CI=\frac{{\lambda }_{\max }-n}{n-1}$ (5)

若 $\frac{CI}{RI}<0.1$ ，则判断矩阵具有满意的一致性。

综上所得各层各指标权重值为(见表9)。

Table 9. Weight value

表9. 权重值表

5.3. 综合评价分析

确定测试车评价指标集为 $U=\left\{u_1,u_2,u_3,\cdots ,u_m\right\}$ ，评价集为 $V=\left\{v_1,v_2,v_3,\cdots ,v_n\right\}$ ，其中u_i为测试车的评价指标，v_i为相应指标下的隶属度，由此可得评价矩阵R_i。则准则层指标的模糊评价结果可表示为：

$b_i=Bi\odot R_i=\left(b_{11},b_{12},b_{13},\cdots ,b_{1n}\right),\left(i=1,2,3\right)$

其中，“ $\odot$ ”算子选用加权平均型M (·, +)。

同理可得目标层指标的模糊评价结果：

$b=A1\odot R$

其中，R由准则层指标的模糊评价结果得出的综合评价矩阵。

综上，得出无人配送车智能驾驶系统的综合评价结果，具体如下(见表10)。

Table 10. Evaluation results

表10. 评价结果

将评价集隶属度分别赋值为(1.0, 0.8, 0.6, 0.4, 0.2)，依据得分越高越好的原则，计算综合评价得分，最终得到的结果如下(见表11)。

Table 11. Fuzzy composite evaluation scores

表11. 模糊综合评价得分表

综上可得该无人配送车智能驾驶系统的综合水平，同时，该模型为也将指导后续校园无人配送车的改进。

6. 结语

1) 针对校园场景下无人车智能驾驶系统的测试，本文构建了校园测试场景库，为后续开展测试工作提供场景依据。

2) 利用组合测试生成校园测试场景参数集，并改进Pairwise算法，使其既可满足较高的覆盖度，又能降低生成数量。

3) 基于测试用例生成结果，对典型校园场景进行设计并仿真分析；采用基于层次分析的综合评价方法对测试车辆待测系统进行分析评价。

4) 本文的研究成果能够为仿真和封闭场地以及部分开放道路场地的场景库建设和测试用例设计提供理论分析及应用借鉴；在后续工作中将对校园场景中存在的危险边界场景进行提取与研究。

基金项目

郑州市重大科技创新专项(2021KJZX0060-8)。

致谢

感谢河南省智能车辆实验室提供的帮助，感谢导师高建平教授给予的指导。

参考文献

NOTES

^*通讯作者。