1. 引言
截至2019年末，我国公路总里程501.25万公里，其中高速公路里程已达到14.96万公里 [1]，视频监控是对公路监管的有效手段，视频监测直观、明细，实现了公路的可视化管理 [2]，然而通常位于12米高度的摄像机每两公里布设一对，清晰的观察范围200~300 m，粗糙的为500~600 m，存在监控死角 [3]，难以监查整个路段的交通状况；且其应急事件处置困难，违规车辆的跟踪要靠多个摄像机之间联动。与之相比，无人机完美地克服了传统摄像头自身的这些缺点，其具有受地形影响小 [4]、灵活性强、监控范围大等优点，既可以高飞进行路段信息统计，又可以低飞对交通事件、违规车辆进行持续跟拍。当紧急事件发生时，无人机云管理平台可以根据北斗卫星导航定位事件地点，实现现场的可视化应急管理，利用携带的电子喇叭梳理交通。无人机与固定监控摄像头互为补充，可以从陆空两方面建立起公路全方位立体监护体系。
完善的无人机公路巡检系统应当能在其巡检时，对无人机传回的视频进行实时处理，分析交通态势，对交通事件、事故等进行准确检测，以保证公路通常运行；同时无人机应能对违反交通规则的车辆及危化品车辆进行长时间持续跟拍，并对其违规行为进行拍照留存；对于交通事故的处理，处理人员无法及时到达现场，因此无人机需具备一定的应急事件处理能力；在巡检过程中，应能通过无人机拍摄的视频对路面裂痕、突起等病害进行检测。
因此，结合5G技术与深度学习，将无人机用于公路巡检变成了可能。无人机应用于交通，需要做到不受距离限制进行巡航，将4K高清视频传回数据中心，5G带宽高达100 MHZ，峰值速度可以达到20 Gbps [5]，使得无人机可以通过基站进行组网，传输高清视频；无人机需要能够实时接收操作指令，灵活飞行，5G时延低至1 ms [5]，控制命令实时传递给无人机；无人机需要携带电子喇叭实时喊话处理交通事件，5G为电子喇叭提供了实时移动信道。通过深度学习的算法，无人机交通态势、交通事件、路面病害等视频处理准确率和实时性都得到了极大的提高，可以应用于实际。
2. 研究现状
20世纪90年代以来，无人机逐渐应用于民用领域，此后，交通领域也逐渐出现无人机的身影。以色列于2017年将无人机应用于道路监控中 [6]，美国于2018年将无人机应用于道路交通 [7]，他们使用配备摄像头和无线通信功能无人机有效地记录交通违章事件的视频，提供汽车和驾驶员的身份并向警方通知违规事件。由于通信技术的限制，无人机只能应用于小范围的道路监控，无法应用于远距离的公路巡检。随着5G技术的发展，无人机行业迎来了一次大的革新。2021年，江苏省交通工程建设局将5G网络与无人机相结合，以镇江五峰山为实验点，实现了对特定高速公路路段及跨江大桥交通状况的4K实时超清视频回传和远程自动化巡检作业 [8]。
虽然5G无人机解决了传输距离、速度及延时的问题，但其进行公路巡检，仍然存在一些难点需要解决，如：高距离时获取小目标，对小目标深度学习神经网络需做优化，否则无法识别；无人机在跟踪车辆时，既要保证跟踪的准确性，又要做到跟踪的实时性；此外，交通参数中关于距离的信息如速度，需要获取标定，而公路上没有固定的标定参照物等。
3. 系统架构
无人机 + 5G公路巡检系统，是公路立体监控的重要一环，是公路天地一体化协同交通管理的重要组成部分。因此需通过完备的信息化建设来完善无人机巡检体系统，构建完善的无人机巡检系统。本次研究旨在对无人机+5G的理解、对无人机巡检系统的架构设计，对视频深度学习处理的研究，为无人机 + 5G公路巡检系统提供研究基础。
文章设计的无人机 + 5G总体架构图如图1所示：
Figure 1. Overall structure of UAV + 5G
图1. 无人机 + 5G总体架构
该架构分为4个层次，自底向上分别是硬件层、传输层、分析层及应用层。在硬件层，无人机配备机载高清摄像头、电子喇叭、收发机等设备，分别进行视频拍摄，应急事件处理，信号接收和视频传输；信息的传输主要依靠5G网络，同时应用北斗卫星对无人机进行定位导航，云管理平台则通过光纤网接入运营商网络与无人机进行通信；最终系统应能实现逆行检测、火情检测、抛洒物检测、车速计算等一系列功能。
该系统拓扑架构如图2所示。
云管理平台通过5G向无人机发送控制指令，无人机接受指令进行巡航，通过5G将监控视频传递给云处理中心，经深度学习视频处理识别逆行、异常停车等交通事件，统计流量、占有率等交通信息后传递给无人机管控服务云平台操作无人机跟拍、巡检或处理事件。
Figure 2. Topological structure of UAV + 5G highway inspection system
图2. 无人机 + 5G公路巡检系统拓扑结构
4. 系统算法
如图3所示，该系统视频处理流程中，交通事件主要涵盖逆行、火情、抛洒物、非机动车等，交通参数主要包括车流量、车速、道路占有率等。对于火情、抛洒物等基于检测类的事件以及车流量、道路占有率等关于车辆计数的参数，使用深度学习检测算法对其进行相应的分类处理；对于车速、异常停车等需要得到车辆运行轨迹以及实际距离的事件及交通参数，在车辆检测得到坐标后，利用多目标跟踪算法以及自动标定算法进行处理。
Figure 3. UAV video processing flow of deep learning
图3. 无人机深度学习视频处理流程
4.1. 目标检测算法
YOLOv5 (You Only Look Once (version 5)) [9] 是2020年6月发布的YOLO系列检测算法，其中YOLOv5s的大小仅有27 MB，不仅体积小，而且准确度高、检测速度快：使用V100 GPU对5000张COCO数据进行测试，AP50为53.3，FPS达到303，其网络结构图如图4所示：
Figure 4. Network structure of YOLOv5s
图4. YOLOv5s网络结构
相较于YOLOv3算法，YOLOv5做了许多改进：
1) Mosaic数据增强 [10]：每次读取4张训练图片，对其进行随机缩放、随机裁剪，并将裁剪后的图片进行随机排布拼接，对于小目标的检测效果有了一定的提升。
2) 自适应锚框计算：每次训练时自适应的计算不同训练集中的最佳锚框值。
3) 自适应图片缩放：对于尺寸不同的图片，YOLOv5对原始图像自适应的添加最少的黑边，防止填充太多冗余信息，影响检测效果。
4) CSP结构 [11]：YOLOv5在骨干网络中加入了CSP结构，可以增加网络的学习能力，既可以保持检测准确性又可以降低网络复杂度。
5) FPN [12] + PAN [13] 结构：FPN是自顶向下特征金字塔，可以得到富含语义信息的特征图。PAN是一个自底向上的特征金字塔，可以得到富有定位信息的特征图。二者相结合，从不同网络层得到的特征图进行参数聚合，进一步提高特征提取的能力。
无人机在公路巡航时一般飞行高度在40~50 m，在携带高清摄像头(分辨率为1920 × 1080)时，小汽车在图像中的分辨率大约为18 × 18。文章利用该场景下拍摄得到的视频序列，对小目标车辆进行标定得到的数据集约3000章图片，并使用YOLOv5s算法对其进行训练，可准确识别50 m高空拍摄的车辆。
4.2. 目标跟踪算法
DeepSORT (Simple Online and Realtime Tracking with a Deep Association Metric)算法 [14] 是2017年提出的多目标跟踪算法，其基于检测进行跟踪，根据检测得到的信息进行数据的关联，算法流程图如图5所示：
Figure 5. Algorithm flow of DeepSORT
图5. DeepSORT算法流程
其主要的算法思想如下：
1) 深度学习特征：
DeepSORT加入了一个深度学习CNN网络，用来进行图像特征的提取其输入为每个检测器检测对象的分割图，经过CNN网络提取特征后，输出128维的特征向量。根据特征向量间的相似度对跟踪器进行优先匹配。
2) 马氏距离与余弦距离：
马氏距离是针对运动信息的计算，是一种距离度量方式。当卡尔曼滤波对跟踪器进行位置预测后，计算预测位置与跟踪器之间的马氏距离。其计算公式如下式(1)所示：
(1)
其中，x，y为数据点，
为多维随机变量的协方差矩阵。
但是由于卡尔曼滤波的预测比较粗略，只依靠距离信息不足以进行跟踪器与检测器的匹配。余弦距离是针对外观信息的计算，是一种相似度度量方式。其计算公式如下式(2)所示：
(2)
在进行匹配时，既需要跟踪器与检测器之间的距离关系，同时也需要两者之间的相似度关系，于是将马氏距离与余弦距离加权组合在一起，可以为匹配提供合适的度量方式，进行差异化衡量。
3) 使用级联匹配算法：
当两个跟踪器竞争同一个检测器的匹配时，长时间未被匹配到的跟踪器位置信息长时间未被更新，对其预测的准确性会大大下降，即协方差会更大，而马氏距离通过协方差倒数进行计算，得到的马氏距离会变小，使其优先对检测器进行匹配，影响跟踪效果。因此该算法为每个跟踪器设定优先匹配权，当跟踪器完成匹配时，为该跟踪器分配最高优先匹配权，相反，若跟踪器未完成匹配，会逐步减小其优先匹配权，当超出设置的最大连续未匹配帧数时，则删除该跟踪器。
DeepSORT算法达不到实时跟踪的效果，主要是因为其特征提取网络速度较慢，因为文章对其进行了创新，将检测网络与该特征提取网络相融合，只需经过一次神经网络即获得检测结果及目标特征图，提高了跟踪速率。
5. 实验效果分析
5.1. 实验环境
为使得无人机视频检测兼具准确性和实时性，文章使用了目前检测效果排名前列的检测算法YOLOv5中体量最小的版本YOLOv5s，此外，5G无人机传回高清视频更有助于检测效果的提升。如图6所示是文章使用YOLOv5s算法对无人机在飞行高度约50 m传回分辨率为1920 × 1080视频进行的车辆、非机动车、行人等的检测。图中绿色框为检测到的对象坐标位置，同时对对象进行分类，分为Car、Truck等类别，并展示检测的置信度。实验中使用了GeForce GTX Titan X显卡以及Intel E5-2620 CPU，系统为Ubuntu 18.04。
5.2. 实验效果及分析
由图6可以看出，由于5G无人机回传视频清晰度高，且YOLOv5s检测算法对小目标检测效果很好，分类准确，满足了无人机对高空小目标检测精度的要求。同时其检测速率大于25 FPS，满足实时性的要求。
文章一开始使用DeepSORT算法对检测得到的车辆进行跟踪，这样得到的检测 + 跟踪效果低于25 FPS，不满足实时性的要求。文章使用改进DeepSORT算法，提高了跟踪的速率。
如图7是文章使用改进DeepSORT多目标跟踪算法进行的车辆跟踪，蓝色方框为检测框，左上的数字为车辆跟踪ID，使用跟踪算法取得车辆在上下帧间的联系。
Figure 6. UAV video detection of YOLOv5s
图6. YOLOv5s无人机视频检测
Figure 7. UAV video vehicle tracking of improved DeepSORT
图7. 改进DeepSORT无人机视频车辆跟踪
改进DeepSORT算法对车辆跟踪稳定，且检测 + 跟踪速率大于25 FPS满足无人机对车辆跟踪实时性的要求。
6. 总结
文章探讨的深度学习的无人机 + 5G公路巡检系统，将无人机与5G、深度学习等相结合，解决了无人机传输距离、时延的限制，同时利用YOLOv5及改进DeepSORT算法进行视频处理，保证了检测和跟踪的准确率和实时性。该系统可以使得公路监控建立起全方位立体监护体系，为公路的交通安全提供切实有力保障，从而达到智能化道路交通管理。对于无人机视频监控处理，文章仅从检测与跟踪两部分对其进行了实验分析，其本身的移动性，对车速计算、停车判别具有很大的挑战性，未来也会就该方面对其进行更加深入的研究。论文的研究工作得到了华设设计集团股份有限公司开放课题《5G及多种通信技术在智能交通领域的融合应用研究》的资助。