基于人工智能的路面抛洒事件检测及应用研究

Research on Detection and Application of Road Sprinkling Events Based on Artificial Intelligence

摘要: 公路路面抛洒事件与交通安全密切相关，本文通过路侧布设的固定视频图像，基于高斯混合模型(GMM)中的HSV颜色空间(色调、饱和度、明度)，构建路面抛洒事件智能检测算法，突破复杂交通环境下的公路视频图像样本采集难题，实现路面抛洒事件的智能识别及主动预警，研究结果表明检测准确率达到90.42%，漏检率低于10%。

Abstract: Road surface sprinkling events are closely related to traffic safety. This paper uses fixed video images deployed on the roadside to construct an intelligent detection algorithm for road surface sprinkling events through the HSV color space (hue, saturation, and brightness) of the Gaussian Mixture Model (GMM). The proposed method overcomes the difficulty of collecting road video image samples in complex traffic environments, and achieves intelligent recognition and active warning of road surface sprinkling events. The results indicate that the detection accuracy reaches 90.42%, and the missed detection rate is less than 10%.

1. 引言

路面抛洒物影响公路交通安全，需要及时发现并处理抛洒物。以往主要依靠人工巡检或者采用视频轮询的方式进行人工比对来发现路面抛洒物，导致管理部门很难及时发现事件并实施快速处置。随着人工智能技术的发展，依靠智能感知手段实现公路事件检测，从而将“人盯屏幕”的被动管理模式转向自动发现的主动管理模式，是智能交通领域研究的热点与难点。在众多智能感知手段中，由于视频图像包含广域的、丰富的交通细节信息，因此，有效利用路侧视频图像识别技术，已成为检测路面抛洒事件的重要方法。目前，基于车载视频的图像识别技术已应用于道路三维建模、路面抛洒事件检测等业务领域 ‎[1] ‎[2] ，主要采用行车记录仪采集高速公路视频数据，对高速公路抛洒物进行实时检测与定位，依托手机App及后台服务平台实现抛洒物图像、位置信息和管理部门的动态联动。也有相关研究采用帧间差分法实现目标自动检测，该算法对背景中的微小变化不敏感，有较强的抗干扰能力，但是提取的运动目标不完整，容易产生检测空洞 ‎[3] ‎[4] ‎[5] 。本文依托路侧固定视频图像，基于高斯混合模型(GMM)中的HSV颜色空间(色调、饱和度、明度)，提出一套复杂交通环境下的视频图像采集及预处理技术，用于检测路面抛洒物，并实现事件预警。

2. 总体思路

Figure 1. Technical route

图1. 技术路线

本文所采用的技术路线如图1所示，分为视频预处理及样本集制作、路面抛洒事件检测、系统应用三个部分。视频预处理及样本采集主要实现图像扭曲校正、自适应光照增强以及扩充训练样本集；路面抛洒事件检测主要实现路面抛洒物特征分析、提取以及定位；系统应用主要基于以上技术研发路面抛洒事件实时监测、报警确认、事件统计等功能模块。

3. 视频预处理及样本制作

1) 图像几何校正

由于路侧固定摄像机的几何参数标定与拍摄角度不当等问题，造成采集的路面抛洒事件图像产生几何畸变或者相对角度异常。随着摄像机产品性能指标的逐步提升，由于几何参数漂移或不稳定造成的图像几何畸变现象减弱，使得拍摄角度问题成为图像识别的主要不利因素。本文利用水平旋转校正算法，对摄像机角度进行水平与竖直方向的运动校正。

2) 自适应光照增强

光线对图像的清晰度和质量影响较大，可依据图像对比度和亮度分为六类图像：白天正常型、夜晚正常型、白天强光型、夜晚强光型、白天弱光型、夜晚弱光型。通过分析发现，针对白天和夜晚正常图像，路面抛洒物与背景路面的对比度较大，所以对于这两类图像不需要进行专门的增强处理，而其他四种类型的图像由于光照不良而导致无法有效识别抛洒物，因而需要采用对比度自适应增强算法对图像进行增强处理。

3) 生成训练样本集

卷积神经网络(CNN)的泛化能力与训练样本数量有关，数量丰富的样本量不仅可以提高图像分类的准确率，还能有效防止过拟合现象。然而，在实际测试过程中，难以获取到足够大的实验样本用于分类器训练，此时需要人为扩展训练数据，即通过对原始图像进行一些不改变其类别的几何变化来增加训练集的额外副本，从而扩充训练集大小，提升CNN模型的泛化能力。

在采集的公路视频图像数据库中，由于随机剪裁、适当旋转并不会影响公路资产属性，因此采用随机缩放、旋转图像、镜像翻转、添加椒盐噪声等多种几何变换以补充数据集，以解决数据集样本量不足的问题，如图2、图3所示。得到初步的数据集后，选用监督分类方法，利用LabelImg标注软件进行数据标注。

Figure 2. Image rotation

图2. 图像旋转

Figure 3. Add salt and pepper noise

图3. 添加椒盐噪声

除采用几何变化方法扩展样本数量之外，本文还采用CNN模型与生成对抗网络(GAN)模型进行融合处理，有效弥补多样化的数据样本集，如图4所示。深度卷积生成对抗神经网络通过对真实样本的训练获得样本集，并将其用于训练过程，能够提供数据样本所涵盖的复杂环境和形态，从而有效提升路面抛洒物检测的准确度和效率。

Figure 4. Sample generation based on GAN model

图4. 基于GAN模型的样本生成

4. 路面抛洒事件检测

路面抛洒物形成的过程是从行驶车辆上遗落、运动直至静止，抛洒事件在监控视频图像中的行为表现为运动目标分离，并逐渐静止在图像背景中。路面抛洒检测常选用双重背景差分算法和图像聚类算法。

双重背景差分算法利用Vibe算法建立稳定的背景模型图，通过视频序列前后两次背景差分时，待检测物体具有“先动后停”的物理特征，将疑似路面抛洒物检出。由于该算法需要摄像机机身固定，且背景具有不变性，才能获得稳定的背景建模图，在实际应用中无法适应设备镜头可能转动以及视频中场景变化的情况。

图像聚类算法利用路面范围内的图像颜色和纹理特征进行分析，采用像素级图像聚类算法对不同的物体进行分类，在一定程度上具有语义信息。但是，路面检测范围不稳定以及路面与抛洒物的相似度较大时，抛洒物不易检出。

Figure 5. Road surface sprinkling detection process

图5. 路面抛洒物检测流程

为克服以上问题，本文提出基于GMM模型的HSV颜色空间检测算法。GMM模型克服了路面抛洒物检测的局限性，在视频动态场景下依然有很好的适用性，可动态进行背景建模并获取背景图。相比三原色(RGB)模型，三通道图像在HSV颜色空间中更加接近人眼对颜色的分类，因而具有更好的目标分类效果。具体实现步骤如图5所示。

步骤1：利用适用于动态背景下的GMM模型对图像进行背景建模，去除车辆和行人等移动目标；

步骤2：以车道线检测为辅助，分割路面作为待检测区域，去除无关背景；

步骤3：对路面颜色建模，颜色采用HSV模型，利用待检测物体和路面的差异，分离待检测物体和路面；

步骤4：通过形态学滤波对灰度图进行处理，去除噪点，采用膨胀腐蚀操作，凸显待检测物体；

步骤5：采用支持向量机(SVM)训练目标检测模型，去除路面上出现的其他物体(如车道线)；

步骤6：采用矩形框对路面抛洒物进行选择与显示，标记该事件名称，并在系统中提示路面异常事件报警信息，将信息存入数据库。

高斯背景建模初始过程需要利用500至1000帧图像训练得到初始背景参数，据此参数为每个像素点建立高斯分布模型。此过程不适用于快速变化的公路场景，训练过程相对较慢且计算量大幅度增加。本文对高斯建模初始化方法进行调整，不利用训练历史帧的方式获得初始背景参数，提出利用改进平均值背景模型来实现高斯模型的背景初始化，均值和方差如下：

${\mu }_0=I_{mean}\left(x,y\right)$

${\sigma }_0^2=\frac{\left({{\displaystyle {\sum }_{i=1}^N\left|I_i\left(x,y\right)-{\mu }_0\right|}}^2\right)}{N}$

其中 $I_{mean}\left(x,y\right)$ 表示改进平均值背景模型每一点的像素值， $I_i\left(x,y\right)$ 表示第i帧图像坐标为 $\left(x,y\right)$ 的像素点的值。在利用改进的平均值背景建模法后，一般只需要50帧就可以获得较为准确的背景图像，极大提升了处理速度。图6、图7显示了高斯模型改进前后的使用效果，采用改进型高斯模型建模的背景在第115帧的车辆目标已不明显，在第560帧时能够较好的实现背景建模。由此可见，改进型高斯模型建模能够在初始背景模型建立之后较快得到稳定的背景模型，不仅缩短了建模时间，而且避免了因背景模型不够准确而出现错检的问题。

Figure 6. Background modeling results of Gaussian model

图6. 高斯模型背景建模结果

Figure 7. Background modeling results of improved Gaussian model

图7. 改进型高斯模型背景建模结果

本文对上述算法进行了对比测试，测试结果表明，双重背景差分算法难以适应风速较大情况下的路侧摄像机摆动，对于频繁调整摄像机角度的点位也无法正常获得较好的检测结果；图像聚类算法在复杂环境中的应用效果不佳，当路面出现反光时，误报率超过50%；基于GMM模型的HSV颜色空间检测算法使用快速、动态的GMM背景建模方法，提高了算法的准确性与鲁棒性，使得路面抛洒事件的检测准确率达到90.42%，误报率低于10%。

5. 系统应用

基于以上关键技术，结合公路行业实际业务需求，开发路面抛洒事件检测及预警系统。系统通过分析路侧固定视频图像，自动识别路面抛洒物事件，并主动发布事件报警信息。系统主要功能如下：

1) 实时检测报警

根据管理部门设置的监测区域，运行智能检测算法，对路面抛洒事件实时检测并报警，同时提供抛洒事件取证图像及时间、桩号等信息，如图8所示。

Figure 8. Real-time detection and alarm

图8. 实时检测报警

2) 报警信息确认

推送检测结果至监控管理中心，对检测结果进行核查，完成事件检测信息的存储及共享推送，如图9所示。

Figure 9. Alarm confirmation

图9. 报警信息确认

3) 事件统计分析

对事件进行统计分析，得出事件类型、频次、高发地等信息，如图10所示，用于支撑管理部门有重点的开展交通事件预防与处置工作。

Figure 10. Event statistics

图10. 事件统计

6. 结语

1) 本文提出通过路侧固定视频开展路面抛洒检测，为大范围路网管理提供了一种低成本、广覆盖、全时段的智能检测手段。

2) 本文构建了基于GMM模型中HSV颜色空间的路面抛洒检测算法，在路网真实场景下的检测准确率达到90.42%，可以有效支撑事件及时预警与快速处置。

3) 在今后的研究工作中，将采用更多样本数据对本文提出的检测算法进行强化训练，提升检测算法的稳定性与准确性，以便进一步推广应用研究成果。