基于路网监测设施的公路精准定位巡查系统研发及应用

Research and Application of a Highway Precise Positioning and Inspection System Based on Road Network Monitoring Facilities

摘要: 针对传统被动式人工模式难以发挥PTZ (Pan/Tilt/Zoom)摄像机监控能力的问题，文中提出了一种基于路网监测设施的公路精准定位巡查系统，将摄像机不同预置位与里程桩号定量化匹配，从而实现按照里程桩号、时间自定义查询条件进行主动时空控制的公路精准定位视频监测方法与路网全里程一张图视频监测技术流程。实践表明既可以有效降低公路日常视频巡查人工成本，也可以提升日常巡查中交通事件的处置效率，缩短交通事件响应时间，适合大规模路网视频监测应用。

Abstract: In response to the problem that traditional passive manual mode cannot fully utilize the monitoring ability of PTZ (Pan/Tilt/Zoom) cameras, this paper proposes a highway precise positioning and inspection system based on road network monitoring facilities, which quantitatively matches different preset positions of cameras with mileage stations, In order to achieve active spatiotemporal control based on mileage station number and time query conditions, a video monitoring method for precise positioning of highways and the technical process of one map video monitoring for the entire mileage of the road network can be achieved. Practice has shown that it can effectively reduce the labor cost of daily video inspections on highways, improve the efficiency of handling traffic incidents in daily inspections, shorten the response time of traffic incidents, and is suitable for large-scale road network video monitoring applications.

1. 引言

目前国省干线公路布设平均密度已达每2.76公里/个具有云台的高清球机，是PTZ (Pan/Tilt/Zoom)摄像机，具有调节监测视频角度和调焦能力，极大的提升了视频监控的水平。但是，已有的路网运行监测系统主要面向摄像机固定预置位，视频监测覆盖范围有限，难以有效挖掘已有视频设施潜力，无法为路网管理、养护巡查提供公路精准定位巡查信息服务。在传统的路网视频监测模式中，公路视频监测巡查系统主要依靠人工轮巡的方式，值班人员一般是完全被动式地通过路网监测设施视频画面或其他途径获得事件信息，然后手动操作将路网监测设施切换到最佳观测角度，并进行交通事件的记录和处理。这种人工监测模式需要值班人员精力高度集中，易疲劳，难以充分发挥已有高清PTZ摄像机视频监测覆盖范围。此外，人工智能等创新的感知技术和方法的出现，也为逐渐将视频监控从人工操作过渡到自动化提供了技术支持，实现视频监测从人工到自动的转变，已成为未来公路巡查发展的趋势与热点。

目前，为提高公路视频巡查效率，已有学者进行了公路视频信息采集与分析等技术研究。例如，章先阵等 [1] 开发了一种基于公路巡查车的交通设施信息采集系统，利用公路巡查车上的图像采集设备和GPS定位设备，通过自动化和视觉识别技术，能够更快速地采集、分析和利用交通设施信息，从而增强公路巡查的效率和准确性。杨春生等 [2] 提出了一种视频车辆检测系统，通过视频监测来确定交通流的各种信息，但对如何通过视频监测快速获得信息并未说明。朴金旭 [3] 开发了一种针对高速公路下的视频监测需求进行整合的AI + 高速公路智慧视频监测系统，但并未涉及预置位的自动化设置。李国锋等 [4] 提出了一种基于预置位定位与控制的新型主动视频监控方法，针对传统被动式人工巡查方式的不足，采用自动控制技术和模式识别、图像处理等技术，提高了公路轮巡管理的效率。此外，随着科学技术的发展，标准化、数字化的交通信息采集方式逐渐成为研究热点 [5] ，但是该种方式仍然依靠人工方式进行视频轮巡，巡查人员的劳动强度仍然很大。部分学者和研究机构利用人工智能技术实现交通信息的自动化采集 [6] ，但需要采集足够的样本进行训练，难以适应复杂公路交通环境。

因此，本文提出了一种基于路网监测设施的公路精准定位巡查系统，将摄像机不同预置位与里程桩号定量化匹配，将非结构化、连续的视频数据离散化，为不同摄像机预置位匹配公路空间参考信息，对于不同里程范围公路能够自动采用相适应的云台旋转、光学变焦，提供一种主动式、动态化公路视频监控巡查模式，进一步为视频设施规划设计提供科学决策，有利于路网监测设施建设成本控制。

2. 系统原理设计

2.1. 系统流程设计

为了依托已有路侧视频监控资源实现全区域路网全方位视频自动轮询，需要进一步对路侧固定摄像机不同预置位进行标定，即分析不同预置位所能观测的路段范围，保证不同视频点位视频监测路段范围有交叉。每个摄像机视频点位基本都有上行、下行两个监测方向，从上行初始位置到下行最终位置，按照相邻预置位拍摄图像之间有足够的路段监测范围交叉的要求，可依次标定为摄像机极限预置位(上行初始)、中间预置位(1、2、3、...)、极限预置位(下行最终)，如图1所示。其中，建议将路网监测日常停留位置作为该摄像机基础预置位。

Figure 1. Camera preset calibration model

图1. 预置位标定模型

由于不同预置位采用的光学变焦倍数不同，因此拍摄的图像中人、车、路等像素尺寸大小存在明显差异。为了满足图像智能分析要求，设定不同预置位拍摄图像像素应满足如下要求：车辆不低于400*400像素，非机动车不低于200*200像素，行人不低于100*100像素，道路区域位于图像中间位置且占据图像篇幅60%以上。在满足以上要求的前提下，如图2所示，系统实现原理可分为以下4个方面：

1) 业务人员使用GPS定位设备或驾驶搭载有车载卫星定位终端的巡查车，沿着一条在公路路侧或者中央隔离带的固定杆件上安装有PTZ摄像机的公路，由里程桩号从小到大方向行驶，并实时发送巡查车当前行驶位置的经纬度信息；

2) 根据巡查车当前行驶位置的经纬度信息，结合PTZ摄像机安装位置的经纬度信息，调度距离巡查车当前行驶位置最近的PTZ摄像机拍摄视频或图片，通过开展基于深度学习的巡查车辆目标识别及跟踪，逐个设置PTZ摄像机的上行、中间预置位、过渡预置位以及下行极限预置位，并形成摄像机预置位与经纬度匹配关系表；

3) 根据摄像机预置位与经纬度匹配关系表，按照经纬度与里程桩号的换算关系，将每一个摄像机预置位所拍摄路段经纬度范围数据，换算得到所拍摄路段里程桩号范围数据，建立摄像机预置位与里程桩号匹配关系表；

Figure 2. System flowchart

图2. 系统流程图

4) 业务人员通过可视化客户端输入里程桩号，按照摄像机预置位与里程桩号匹配关系表，调度距离输入里程桩号最近的PTZ摄像机自动调整预置位并拍摄视频或图片，将多个摄像机多个预置位拍摄的图片进行图像拼接或组合，得到按照里程桩号变化规律组合一张带有里程桩号的区域路网视频监测精准定位一张图，主要存在2种情形：

① 支持输入里程桩号S^query，按照摄像机预置位与里程桩号匹配关系表，调度距离输入里程桩号最近的PTZ摄像机，并且选取匹配里程桩号范围{S^small, S^big}包含该输入里程桩号S^query的摄像机预置位，已知该摄像机预置位对应云台水平旋转角度p^include、上下俯仰移动角度t^include以及镜头光学变焦参数z^include，利用线性差值方法计算输入里程桩号S^query对应的摄像机预置位上下俯仰角：

t^query = (S^query − S^small)/S^small*t^include + t^include

则输入里程桩号S^query对应摄像机预置位参数为云台水平旋转角度p^include、上下俯仰移动角度t^query以及镜头光学变焦参数z^include，支持业务人员精准定位查询里程桩号S^query的视频或图片；

② 支持输入里程桩号范围 $\left\{{\text{S}}_1^{\text{query}},{\text{S}}_2^{\text{query}}\right\}$ ，根据摄像机预置位与里程桩号匹配关系表，如果具有一个摄像机预置位所拍摄路段里程桩号{S^small, S^big}包含所输入的里程桩号范围 $\left\{{\text{S}}_1^{\text{query}},{\text{S}}_2^{\text{query}}\right\}$ ，则使用该摄像机预置位精准定位拍摄所输入里程桩号范围路段的视频或图片；如果所输入里程桩号范围 $\left\{{\text{S}}_1^{\text{query}},{\text{S}}_2^{\text{query}}\right\}$ 与多个摄像机预置位所拍摄路段里程桩号有交叉，则使用与输入里程桩号范围有交叉的多个摄像机预置位共同拍摄视频或图片。

2.2. 预置位配置原理

为了实现基于深度学习的巡查车辆目标识别及跟踪，并逐个设置PTZ摄像机的上行极限预置位、中间预置位、过渡预置位以及下行极限预置位。基于深度学习方法识别巡查车辆目标，为了满足图像智能分析要求，巡查车辆在图片中占有像素尺度需≥400*400，否则基于深度学习方法无法识别并跟踪巡查车辆目标，巡查车辆在图片中占有像素尺度400*400记做目标识别最小像素尺度。

巡查车辆搭载有车载卫星定位终端，由小里程桩号向大里程桩号行驶过程中，相对于每一个PTZ摄像机，巡查车辆是由远及近、行驶通过、行驶远离过程，每个预置位具体设置方法如下：

1) 根据PTZ摄像机分辨率、靶面尺寸规格、焦距、光学变焦倍数等参数，按照巡查车辆在所拍摄视频或图片中间位置，且在所拍摄视频或图片中占有像素尺度 = 目标识别最小像素尺度时，根据经验预先调整PTZ摄像机到预估上行极限预置位，等待巡查车辆进入；当巡查车辆进入预估上行极限预置位所拍摄视频或图片范围内时，根据巡查车辆在视频或图片位置及占有像素尺度关系，微调PTZ摄像机上下俯仰角t，保证巡查车辆在视频或图片中间位置、占有像素尺度 = 目标识别最小像素尺度，此时PTZ摄像机所选择的云台水平旋转角度p^upex、上下俯仰移动角度t^upex以及镜头光学变焦参数z^upex，即为上行极限预置位；巡查车辆通过视频或图片中间位置到驶出视频或图片范围时的经纬度范围数据，即为上行极限预置位所拍摄路段经纬度范围数据；

2) 随着车辆的行驶，按照巡查车辆行驶轨迹自动调整PTZ摄像机云台水平旋转角度、上下俯仰移动角度以及镜头光学变焦参数，保证巡查车辆在拍摄视频或图片中间位置，且占有像素尺度 = 目标识别最小像素尺度，并以此类推得到新的上行中间预置位，按照得到的先后顺序，按照上行中间预置位1、2、3…m^up排序；直到巡查车辆在拍摄视频或图片中间位置，但是占有像素尺度始终>目标识别最小像素尺度，则转到下一个预置位设置；

3) 当巡查车辆进入预估下行极限预置位拍摄视频或图片范围内时，根据巡查车辆在视频或图片位置及占有像素尺度关系，微调PTZ摄像机上下俯仰角，保证巡查车辆在视频或图像中间位置、占有像素尺度 = 最小目标物识别像素尺度，此时PTZ摄像机所需云台水平旋转角度p^dwex、上下俯仰移动角度t^dwex以及镜头光学变焦参数z^dwex，即为下行极限预置位；巡查车辆通过视频或图片中间位置到驶出视频或图片范围时的经纬度信息，即为下行极限预置位所拍摄视频或图片观测路段经纬度范围数据。

2.3. 图片拼接与组合原理

本文中对同一摄像头的不同预置位采集的图像进行图像拼接，并对不同摄像头的多张拼接图像进行组合。目前常见的图像拼接方法主要有4个步骤：特征提取及描述，特征匹配，变换参数估计。本文拟结合基于不变量的SURF (Speeded Up Robust Feature)特征检测算法，实现上行、下行起始预置位图像像素层面融合拼接。SURF全称Speeded Up Robust Features，是在SIFT算法的基础上提出的，主要针对SIFT算法运算速度慢，计算量大的缺点进行了改进。

在SURF算法中，是基于Hessian矩阵的极值来定位特征点的位置，Hessian矩阵定义如下：

$H\left(x,\sigma \right)=\left[\begin{array}{cc}{L}_{xx}\left(x,\sigma \right)& L_{xy}\left(x,\sigma \right)\\ L_{xy}\left(x,\sigma \right)& L_{yy}\left(x,\sigma \right)\end{array}\right]$

其中， $L_{xx}、L_{xy}、L_{yy}$ 分别表示图像中的点与高斯二阶偏导 $\frac{{\partial }^{2}g\left(\sigma \right)}{\partial x^2}、\frac{{\partial }^{2}g\left(\sigma \right)}{\partial x\partial y}、\frac{{\partial }^{2}g\left(\sigma \right)}{\partial y^2}$ 的卷积值， $\sigma$ 为高斯

函数的标准差，高斯函数的形式如下：

$g\left(\sigma \right)=\frac{1}{2\text{π}{\sigma }^2}{\text{e}}^{-\frac{x^2+y^2}{2{\sigma }^2}}$

在构建尺度空间时，经过离散化后的滤波器并不是理想滤波器，因此，可将Hessian矩阵近似为盒式滤波器(box filter)，并使用盒式滤波器与原图像作卷积。这种对高斯二阶偏导的近似可以降低计算成本，并且在使用积分图像这种计算方式后，计算时间与于滤波器的尺寸大小不再相关，同时可重复性也较原始的高斯函数优越。Hessian矩阵按照上述思想可改写为以下形式：

$H\left(x,\sigma \right)=\left[\begin{array}{cc}{D}_{xx}\left(x,\sigma \right)& D_{xy}\left(x,\sigma \right)\\ D_{xy}\left(x,\sigma \right)& D_{yy}\left(x,\sigma \right)\end{array}\right]$

其中， $D_{xx}、D_{xy}、D_{yy}$ 分别代表盒式滤波器与积分图像中点的卷积计算结果，其判别式为：

$\det \left(H\left(x,\sigma \right)\right)=D_{xx}{D}_{yy}-{\left(\omega D_{xy}\right)}^2$

其中， $\omega$ 为加权系数，公式如下：

$\omega =\frac{L_{xy}{\left(1,2\right)}_F{D}_{xx}{\left(9\right)}_F}{L_{xx}{\left(1,2\right)}_F{D}_{xy}{\left(9\right)}_F}=0.912\approx 0.9$

取盒式滤波器模板的大小为9 × 9时，它所近似的高斯二阶函数尺度 $\sigma =1.2$ ，得到上述取值， ${\Vert x\Vert }_F$ 表示 $x$ 的范数， $\omega$ 通常取值0.9，目的是为了补偿使用盒式滤波器补偿所带来的误差。理论上此加权系数会随着高斯函数的标准差(即后续图像的尺度)而变化，但实际应用中并不会对结果产生显著影响。

3. 系统总体架构

基于第一小节的系统实现原理，本文提出的路网监测设施的公路精准定位巡查系统总体架构如图3所示，主要由硬件部分和软件部分组成，其中硬件部分包括PTZ摄像机、车载卫星定位终端、手持GPS终端等，软件部分具体可分为预置位配置平台端和应用平台端。

Figure 3. System overall architecture

图3. 系统总体架构

1) 硬件组成

➢ PTZ摄像机

一般安装于公路路侧、中央隔离带的固定杆件上，安装高度一般为8至12米，配置有云台支持摄像机水平旋转、上下俯仰移动及镜头光学变焦控制，相邻PTZ摄像机之间间距为几百米到数公里不等，同时PTZ摄像机安装位置的里程桩号、经纬度是确定的。

➢ 车载卫星定位终端

支持便携式搭载在巡查车辆上，支持实时获取巡查车辆行驶位置的经纬度信息。

➢ 手持GPS定位终端

便携式手持GPS定位终端可由工作人员随身携带，支持实时获取工作人员实时位置的经纬度信息。

2) 软件组成

➢ 预置位配置平台

由摄像机预置位设置模块、摄像机预置位与里程桩号匹配模块、视频或图片精准定位查询模块等功能模块组成，可部署于区县公路管理站，通过PTZ摄像机预置位与里程桩号匹配，实现业务人员按照里程桩号对相应路段视频或图片的精准定位查询，通过数据接口接受应用平台的调用指令，显著提升公路行业管理效率。

➢ 应用平台

由图片并行采集拼接模块、监测盲点人工巡查模块等功能模块组成，可部署于市级公路行业管理部门，允许公路行业管理者配置和调用路网监测设施的预置位，使其能够灵活地监测巡查不同路段的交通状况，以满足特定的监测巡查需求和重点关注区域，提高管理效率。

Figure 4. System physical architecture

图4. 系统物理架构

本系统物理架构如图4所示，设计方面具有如下两个特点：

1) 模块化。整个系统具有标准化的模型算法接口和模块化的系统功能结构，使得系统更容易维护和升级。业务应用与算法模型分离，能够满足多样化的公路精准定位巡查需求，不同的业务应用可以轻松选择并集成适合其目标的算法模型，可以随时更新和替换，而无需重新设计整个系统，不仅可以适应不断变化的需求和新的技术进展，而且还可以适应公路巡查领域的不断演进和增长。

2) 分布式。整个系统采用分布式架构，将市级公路事业发展中心视频巡查任务拆分前推至各区(县)公路管理站，显著减少公路巡查系统并发视频轮巡网络传输带宽的要求，减少了对中心服务器和网络传输的压力，提高了整体网络资源的利用效率。分布式架构使得任务可以更快速地响应和处理，有助于及时发现和处理公路交通事件，提高了公路巡查管理的效率。可满足省、市、区(县)公路管理单位不同层次的应用需求，提供更灵活的解决方案。

4. 开发与应用实例

本系统采用前后端分离的方式，预置位配置平台与应用平台服务器后端均基于Java语言开发，服务前端通过VUE框架开发。

1) 预置位配置平台

系统软件部分包括摄像机预置位设置模块、摄像机预置位与里程桩号匹配模块和视频或图片精准定位查询模块共三个部分，可自由组合部署于公路行业管理部门，通过可视化客户端，供业务人员操作使用。

➢ 摄像机预置位设置模块

该模块支持根据摄像机基本性能参数及安装部署参数，结合选定的目标物，通过接入视频或图片，基于成像原理，自动计算摄像机观测距离；根据日常路网管理工作经验，设置公路上行、下行的极限预置位、中间预置位。支持接入摄像机视频流，提供可视化窗口，便于利用深度学习、机器视觉的巡查车辆检测等人工方式进行校验，并建立每个预置位与经纬度的对应匹配关系，建立摄像机预置位与经纬度匹配关系表。

➢ 摄像机预置位与里程桩号匹配模块

该模块可对接已有协同巡查系统、路面病害快检系统获取的里程桩号与经纬度的匹配关系，并辅助利用车载或手持GPS模块，支持将每一个摄像机预置位所拍摄路段经纬度范围数据，换算得到所拍摄路段里程桩号范围数据，建立摄像机预置位与里程桩号匹配关系表。对一些路程桩号与经纬度匹配关系缺失路段或者已有视频点位地理信息的检验提供支持，并定位视频监控盲点桩号范围。

➢ 视频或图片精准定位查询模块

该模块支持摄像机预置位与里程桩号匹配模块进行数据交互，并接收业务人员通过可视化客户端输入的里程桩号，通过预置位与里程桩号匹配关系，精准调度相应摄像机及对应预置位拍摄视频或图片，自动调度PTZ摄像机精准定位聚焦到所查询里程桩号路段进行拍摄。为行业管理者提供精准定位视频巡查，能够有效提升施工现场监管、应急指挥调度管控等业务需要。

2) 应用平台

由图片并行采集拼接模块、监测盲点人工巡查模块、智能巡查系统对接模块等功能模块组成，可部署于市级公路行业管理部门，对接已有巡查系统。以路网监测设施为媒介，提供交通事件的实时检测报警、事件统计分析与处置协同等可视化应用，供业务人员操作使用。

➢ 路段精准定位视频监测

该模块支持输入里程桩号，通过预置位与里程桩号匹配关系，精准调度相应摄像机及对应预置位拍摄视频或图片，并实时展示预置位检测盲点点，如图5所示，为行业管理者提供精准定位视频巡查，能够有效提升施工现场监管、应急指挥调度管控等业务需要。

Figure 5. Road section precise positioning video monitoring

图5. 路段精准定位视频监测

➢ 路网全里程一张图视频监测

该模块支持输入路线编号、里程桩号范围，通过预置位与里程桩号匹配关系，调度范围内的摄像机，顺序调度预置位拍摄对应的图片，如图6所示，并按照里程桩号变化规律组合一张带有里程桩号的区域路网视频监测一张图。

Figure 6. Parallel collection and splicing of images

图6. 图片并行采集及拼接

3) 示范应用

基于路网监测设施的公路精准定位巡查系统目前在G204国道南通段试点应用，经过一年多的不断优化，目前经由该系统方法设置的预置位准确率达到87%，节约时间成本5倍以上。

从公路巡查时间成本上看，人工视频轮巡50路视频，按照轮巡事件0.5分钟/路计算，共计花费约25分钟，采用本文系统可在四路并发情况下轮巡50路视频，按照自动轮巡时间1分钟/路计算，共计花费约13分钟，节约时间50%以上。

从公路巡查经济成本上看，按照100公里50路视频计算，传统被动式视频人工轮巡模式成本一年约60至100万元，而采用本文中系统的自动精准定位巡查，包括设备采购运维费用的成本一年约10万至20万元左右，由于设备采购只需一次，相比之下平均节约经济成本80%以上。

基于路网监测设施的公路精准定位巡查系统具备以下优势，可大幅降低公路巡查人工视频轮巡的工作负担：

· 能够与南通市公路协同巡查系统无缝协作，实现事件信息的共享；

· 能够及时推送交通事件的告警信息，包括事件类型、桩号以及相关现场图片；

· 能够以短信形式向巡查人员发送事件检测信息，提高一线巡查人员的处置效率。

通过这些功能，该系统不仅提高了巡查效率，还减轻了人工视频轮巡的负担，并能够更加高效地处理交通事件。

5. 总结

本文提出了一种基于路网监测设施的公路精准定位巡查系统，基于主动时空控制策略，建立了摄像机预置位与路线桩号的匹配关系，实现了输入路线桩号范围即可自动调度PTZ摄像机精准定位到该路段进行拍摄，并能按照里程桩号变化规律拼接组合一张带有里程桩号的区域路网视频监测一张图，有效提升了路网管理、养护巡查视频监测精准化、数字化、智能化水平，适合大规模采用，可为交通运输部门公路巡查向非现场化、信息化、智能化方向发展和完善提供参考，符合探索先进装备在公路行业应用的相关国家行业规划政策要求。