1. 概述
1.1. 背景
安全防护是保证水电站安全运行的基础。目前水电站安防系统中的工业电视系统只围绕水电站厂内主设备或部分重点部位进行集中监视，但由于水电站管辖区域面积大、库坝边坡陡峭、距离远、长度大、线缆架设困难等各种原因，还不能实现水库及边坡、下游尾水河道及近岸区域全覆盖。另外，日常人工巡视难度大、强度高、效率低下，紧急情况下无法快速响应，且存在一些人员无法到达的巡视观测盲区。
无人机具有高空俯瞰的视角、超大的监控范围、快速的响应能力，能够将传统的以地面作业为主的安防监控扩展到立体空间，在人、车无法到达的地方，实现快速、高效的安防部署 [1] [2] 。因此，无人机技术的应用完全契合水电站日常巡视工作的需求，能够实现水电站所辖区域(户外)设备实施及环境进行全覆盖、快速、高效的巡视，在提升人员作业安全水平的同时，大幅降低劳动成本。
1.2. 国内外研究现状和发展趋势
1) 人工巡检
人工巡检包括人工巡视和现场处置。人工巡视是一项经常性的工作，安排专职安全员坚持在泄洪前对泄洪区域进行巡视，对发现误入区域的人或车进行劝离，并在泄洪开始前撤离泄洪区域。人工巡检方式受人自身行动方式的影响效率偏低，且巡检人员也处于泄洪影响范围内有一定的安全风险。
2) 半自动无人机巡检方式
半自动无人机巡检方式是借助无人机飞行的距离以及自动航线的设定，使用无人机在既定范围内通过无人机飞行所能覆盖的面积以及图传、数传系统传输回地面站的数据/图像加上人工的判读识别既定飞行范围的危险特征，必要时通过喊话器等设施进行驱离。
泄洪区域巡检采用无人机半自动巡检方式，由专业操作人员携飞机及相关设备到达适当的起降点对需要巡检的区域(泄洪区域)实施可视图像及声音报警的巡检。该方式对操作人员专业性有较高要求，携带的飞行器及电源重量 > 20 kg，飞行器着陆后其飞行数据和日志需要将飞行器带回基地后再导出做保存。
由于水电站所处环境高程变化大，多数处于山区，冷热气流变化多端，对无人机的飞行安全有着严苛的考验，因此还需要有相当经验的无人机操作人员根据现场情况确定是否可以执行无人机巡检任务。
3) 无人机AI全自动巡检方式
半自动化的巡检系统对人的依赖性极大，所以有必要通过开展泄洪区域的自动化巡检研究，建立一套泄洪区域自动化巡检的运作和管理体系，实现泄洪区域下游人车的自动检测任务。
应用先进的无人机巡视技术，结合固定监控摄像机，全面提升水电站偏远、复杂区域的安全防护水平。将水电站日常安全巡视与无人机、AI识别、大数据分析等先进的技术手段融合，将安全巡视范围拓宽至固定式工业电视系统难以覆盖的区域，实现非法入侵、环境变化、设备损害等事件和现象的智能识别和告警，实现水电站泄洪时下游人车的全自动检测 [2] [3] 。
2. 无人机AI全自动人车检测系统设计
本系统通过借助无人机独特的空中视角，便携的无人化定时巡飞，AI引擎识别等，实现了水电站泄洪时下游人员和车辆的检测，并能做到及时将检测到的情况上报给有关调度部门相关人员处理，做到了早发现、早处理，节省人力成本，减少人员和财产的损失。
2.1. 系统结构和功能
无人机AI全自动人车检测系统中的软件系统框架包括无人机和机库调度模块、无人机即时通信模块、视频编解码模块、算法检测模块、事件上报模块、离线检测模块、数据处理和自动生成报告模块，如图1所示。
无人机调度模块执行无人机任务后，无人机后台与本软件进行通信，视频编解码模块开始实时拉取无人机第一视角视频流。同时算法开始逐帧检测视频流数据，同时执行事件上报和自动生成报告模块，离线检测模块监听通信模块的输入数据及时做出响应。
Figure 1. The frame diagram of UAV AI automatic man-vehicle detection system
图1. 无人机AI全自动人车检测系统框架图
1) 视频编解码模块
系统能解析无人机第一视角的视频流，并将检测过后的视频帧编码后上传至指定播放地址，供前端播放展示。
2) 无人机即时通信模块
系统通过物联网MQTT通信协议与无人机后端模块进行通信，控制算法检测模块的启停切换等操作。
3) 算法检测模块
算法检测模块采用了主流的目标检测神经网络，实时AI算法检测，然后将检测结果图像回传到推拉流模块进行编码，将检测数据回传到后端进行数据处理并自动生成检测报告。
4) 事件上报模块
当算法模块检测到人员和车辆后，系统将算法检测结果加以分析和组合，定时向无人机后端汇报检测情况。
5) 离线检测模块
系统支持用户通过已定义的接口上传多个离线视频或者图像，模块将各个离线任务放入任务队列中进行作业调度，并行检测视频并上传到云存储地址。
6) 数据处理和自动生成报告
系统将算法检测模块回传的图像和检测数据以文本的形式保存本地，并结合无人机后端的经纬度坐标查询无人机飞行地理位置，将以上数据自动生成检测报告回传给用户。
7) 远程喊话功能
系统通过无人机挂载喊话器，可实现远程喊话功能。
2.2. 业务作业流程
无人机AI全自动人车检测系统核心分为五个部分：视频推拉流、算法核心检测、信息上报回传、客户端显示和远程喊话。
1) 视频推拉流
视频编解码模块，保证拉流时帧率等参数与无人机第一视角的输入流保持匹配。
2) 后台中间件通信
将AI检测作为后端引擎服务，无人机后台收到前端页面的实时或离线任务请求后，通过MQTT通信与后端引擎交互数据，引擎开始解析无人机第一视角流地址，并进行实时检测，将检测结果发送给无人机后台。后台将检测数据存入数据库，定时上报检测结果事件。待飞行任务结束时自动生成检测报告。
3) 算法检测
算法检测使用BiSeNet v2语义分割模型进行实时推理，如图2、图3所示。
u BiSeNetv2算法在BiSeNetv1的基础上简化了原始结构，提出了一种高效的实时语义分割体系结构。去掉了原来版本中耗时的跨层连接，得到了更清晰，更简单的架构
u 重新定义了BiseNet的整体架构 [4] ，网络结构更加紧凑，组件设计更加合理。具体来说，深化细节路径来编码更多细节，设计了基于深度卷积的轻量级语义路径组件。同时，提出了一个更高效的汇聚层来增强这两条路径之间的相互连接
Figure 2. BiSeNet V 2 network architecture
图2. BiSeNet V2网络结构
Figure 3. BiSeNet network architecture
图3. BiSeNet网络结构
u 提出了一种有效的双通道结构，称为双边分割网络，用于实时语义分割，它分别处理空间细节和范畴语义
u 在语义分支上设计了一个新的基于深度卷积的轻量级网络来增强感受野和获取丰富的互文信息
u 在不增加推理代价的前提下，引入了增强训练策略，进一步提高了分割性能
u 在Cityscapes测试集上获得了72.6%的平均IOU，在一张NVIDIA GeForce GTX 1080Ti卡上获得了156 FPS的速度。
4) 数据处理和自动生成报告
算法检测模块向无人机后台返回检测结果图像和检测结果报文，带有下游区域的人员和车辆目标区域的点集、人员和车辆的位置等信息，由无人机后台将图像和数据信息分析处理后形成事件上报给客户端。同时，后台实时监控无人机飞行状态，获取发现目标时的经纬度信息，通过经纬度借助GPS定位等方式确定所检测到的人员和车辆所在的位置信息，将以上信息形成检测报告回传至客户端。
5) 远程喊话
无人机挂载前端喊话器，在水电站泄洪事前启动去人机飞行检测任务，并通过高空喊话告知下游区域人员泄洪事宜；水电站泄洪事中启动无人机飞行检测任务，并通过AI引擎识别下游区域是否存在人员和车辆，并将结果实时上传至后台，及时通知相关工作人员采取措施，减少安全事件的发生。
3. 总结
无人机AI全自动人车检测系统突破了传统的作业能力，通过无人机与人工智能相结合，不仅能加强对日常水电站对重点巡检区域的巡查力度，设置自动飞行路线，通过云端调度系统实现远程任务下发、自动化飞行、在关注点悬停、视频与网格共享，形成二级指挥层级，简化人力操作；还能在泄洪时执行专门的泄洪区域的人员和车辆检测，保证人员和车辆的安全，减少安全事故的发生 [5] 。
全自动人车检测系统突破了飞手的位置、能力、响应时间等限制，改变了传统的无人机作业难以高频持续的作业方式，极大地释放了无人机的作业能力。
参考文献