基于视频的海上运动目标入侵检测

Video Based Intrusion Detection for Moving Targets at Sea

摘要: 我国现有的海上安全防护设施存在观测、监控及警戒手段稍微落后的缺陷，其他国家侵犯我国海域的情况屡有发生。因此，本文在使用Faster R-CNN识别舰船种类的基础上，提出了一种无风流情况下海上运动目标入侵检测方法，并且分析了风流对该方法的影响。目前该方法可以将舰船识别为航母、其他军舰、民船三类，并且当目标进入警戒区域时可自动报警。

Abstract: Our country’s existing maritime security protection facilities are a little behind in terms of ob-servation, monitoring and vigilance measures. Therefore, on the basis of using Faster R-cnn to identify ship types, this paper proposes an intrusion detection method for moving targets at sea without air and flow, and analyzes the influence of air and flow on this method. At present, this method can identify the ship as an aircraft carrier, other warships and civilian ships, and auto-matically alarm when the target enters the warning area.

1. 引言

基于视频的海上运动目标入侵检测技术是一个非常重要的研究课题，如何解决海域监控中运动目标检测、识别和入侵告警的问题显得尤为突出 [1] [2] [3] [4]。无人艇作为一种新型的水面战争装备，可以快速、高效、低成本地以集群方式执行一些危险、枯燥以及不适合人为操作的海上任务。在无人艇的自主避碰过程中，同样需要解决海上目标检测与识别的问题 [5] [6] [7]。同时，利用摄像机来辅助舰船的导航避碰是一种有效的辅助手段，也需要目标检测与识别技术方面的突破。

2. 海上运动目标入侵检测方法的设计

所谓绊线检测，即预先在视频画面中画出警戒区域的边界，然后对视频中的运动目标进行检测并将运动目标所在区域用长方形标示出来，当运动目标的外边框和警戒区域的边界相交时则自动报警，提示已经有运动目标进入了警戒区域。

本文中的海上运动目标入侵检测方法主要可以分为以下四个步骤：

1) 绊线绘制

如图1所示，首先通过程序设计直接在视频画面中绘制出一条线段，根据视频图像的特点，每一帧视频图像都可以看成一个原点坐标位于图像左上角的坐标系。设置好P1 (X1,Y1)、P2 (X2,Y2)两个端点的位置，两个端点的连线即为所绘制的线段。

Figure 1. Schematic diagram of trip line drawing

图1. 绊线绘制示意图

2) 海上运动目标检测

使用Faster R-CNN对视频帧中的海上运动目标进行检测与识别，如果没有目标则返回第一步，如果有目标则进入下一步。

3) 入侵检测判定

假设下图中矩形ABCD为运动目标的外边框，线段P₁P₂为设定的警戒区域边界，要证明运动目标进入警戒区域，则只需要证明矩形的两条对角线AC、BD中任意一条对角线与警戒区域边界相交。如图2所示，当线段AC和线段P₁P₂相交时，和 $\stackrel{\to }{{\text{AP}}_2}$ 的向量积 $\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}$ 与 $\stackrel{\to }{{\text{CP}}_1}$ 和 $\stackrel{\to }{{\text{CP}}_2}$ 的向量积 $\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}$ 为相互平行且方向相反的两个向量。

Figure 2. Tripping line diagram

图2. 绊线情况示意图

因此， $\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}$ 与 $\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}$ 的数量积小于0，其推导过程如下：

$\begin{array}{c}\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\ast \left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)=\left|\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\right|\ast \left|\left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)\right|\ast \cos 180\\ =-\left|\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\right|\ast \left|\left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)\right|<0\end{array}$

反之，如图3所示，当线段AC和线段P1P2不相交时， $\stackrel{\to }{{\text{AP}}_1}$ 和 $\stackrel{\to }{{\text{AP}}_2}$ 的向量积 $\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}$ 与 $\stackrel{\to }{{\text{CP}}_1}$ 和 $\stackrel{\to }{{\text{CP}}_2}$ 的向量积 $\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}$ 为相互平行且方向相同的两个向量。

Figure 3. Schematic diagram of non-tripwire

图3. 非绊线情况示意图

因此， $\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}$ 与 $\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}$ 的数量积大于0，其推导过程如下：

$\begin{array}{c}\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\ast \left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)=\left|\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\right|\ast \left|\left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)\right|\ast \cos 0\\ =\left|\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\right|\ast \left|\left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)\right|>0\end{array}$

综上所述，本文提出的绊线检测算法首先通过判断 $\left(\stackrel{\to }{{\text{AP}}_1}\times \stackrel{\to }{{\text{AP}}_2}\right)\ast \left(\stackrel{\to }{{\text{CP}}_1}\times \stackrel{\to }{{\text{CP}}_2}\right)$ 和 $\left(\stackrel{\to }{{\text{BP}}_1}\times \stackrel{\to }{{\text{BP}}_2}\right)\ast \left(\stackrel{\to }{{\text{DP}}_1}\times \stackrel{\to }{{\text{DP}}_2}\right)$

是否大于0来分别判断两条对角线与所画直线是否相交，如果均不相交则返回第一步，如果有任意一条对角线和所画直线相交，则进入下一步。

4) 报警

在视频画面正上方显示“Object has entered the alert area”字符进行报警。

3. 风流对海上运动目标入侵检测的影响

当摄像机安装在船上时，由于船身会受到风流等因素的影响，可能会导致摄像机也处于运动状态，从而对入侵检测的判断产生影响。因此本文进一步分析了摄像机的横摇、纵摇、垂荡这三种运动可能会对海上运动目标绊线检测产生的影响。

1) 横摇

舰船横摇是舰船摇摆性的一种表现形式，是指舰船在外力作用下作周期性的左右横摇运动。图4为摄像机处于横摇运动状态下获取的视频序列，视频中的目标与背景始终处于相对静止状态。从视频序列中可以看出，当摄像机做横摇运动左右摇摆时，目标会在视频画面中大致沿着图中白线所示的圆弧进行往复的运动。假设图中红色线段下方和蓝色线段右侧为预先设置好的警戒区域，如图(a)所示，目标实际上并没有进入警戒区域。但是，如图(b)所示，当摄像机向右摇摆时，导致运动目标进入了红线的下方；如图(c)所示，当摄像机向左摇摆时，导致运动目标进入了蓝线的右侧，由此产生了绊线检测的误判。

由于图中的蓝色线段不存在斜率，红色线段存在斜率，因此通过对摄像机发生横摇运动情况下视频画面中目标的运动轨迹进行分析可以得出结论，无论设置的警戒区域边界是否存在斜率，横摇运动都可能会导致绊线检测误判。

(a) (b) (c)

Figure 4. Schematic diagram of the impact of rolling motion on intrusion detection

图4. 横摇运动对入侵检测影响的示意图

2) 纵摇

纵摇是船体绕横轴的回转振荡运动，图5为摄像机处于纵摇运动状态下获取的视频序列，视频中的目标与背景始终处于相对静止状态。从视频序列中可以看出，视频画面中的目标随着摄像机俯仰角的变化在视频画面中垂直地上下往复运动。假设图中红色线段下方和蓝色线段右侧为预先设置好的警戒区域，如图(a)所示，目标实际上并没有进入警戒区域。但是，如图(c)所示，当摄像机发生纵摇运动后导致运动目标进入了警戒区域，由此产生了绊线检测的误判。

因此可以得出结论，当设置的线段存在斜率时，如图中红色线段所示，纵摇运动可能会导致绊线检测的误判。由于纵摇只会使得目标在视频画面中进行垂直于水平面的上下往复运动，因此当所设置的线段无斜率时，如图中蓝色线段所示，纵摇运动则不会导致绊线检测的误判。

(a) (b) (c)

Figure 5. Schematic diagram of the impact of pitch motion on intrusion detection

图5. 纵摇运动对入侵检测影响的示意图

3) 垂荡

垂荡是舰船重心沿其垂向轴的往复运动，图6为摄像机在大约0.5米范围内进行垂荡运动情况下获取的视频序列，视频中的目标距离摄像机大约50米且始终处于静止状态。从视频序列中可以看出，在摄像机发生垂荡运动的过程中，视频画面中目标的位置几乎没有发生改变，而距离摄像机约0.5米的栏杆则会沿着垂直于水平面的方向上下往复运动。

因此可以得出结论，垂荡运动会使得目标在视频画面中进行垂直于水平面的上下往复运动，因此不会对无斜率边界绊线检测的判断产生影响，但是可能会对边界存在斜率的情况产生影响。并且在摄像机垂直移动距离大小相同的情况下，影响会随着目标与摄像机间距离的增大而减小。如图6所示的情况中，由于目标与摄像机间的距离较远，影响则可忽略不计。

(a) (b) (c)

Figure 6. Schematic diagram of the influence of heave motion on intrusion detection

图6. 垂荡运动对入侵检测影响的示意图

综上所述，风流对海上运动目标绊线检测的影响可以总结如表1所示。当警戒区域边界存在斜率时，横摇、纵摇、垂荡三种运动都可能会对绊线检测的判断产生影响。其中，在摄像机垂直移动距离大小相同的情况下，垂荡运动对绊线检测判断的影响会随着目标与摄像机间距离的增大而减小。当警戒区域边界不存在斜率时，只有横摇运动会对绊线检测的判断产生影响。

Table 1. Influence of air flow on intrusion detection of moving targets at sea

表1. 风流对海上运动目标入侵检测的影响

4. 实验结果及分析

在实现海上运动目标绊线检测算法的设计后，本文针对一些场景进行了模拟警戒实验，主要可以分为摄像机固定在陆地上监视近岸海域、无人艇或舰船监视远距离海域、无人艇或舰船的避碰三种应用场景，共四组视频序列，其检测结果可以统计如表2所示。

Table 2. Intrusion detection results of moving targets at sea

表2. 海上运动目标入侵检测结果

4.1. 摄像机固定在陆地上监视近岸海域

如图7所示，本实验假设将摄像机固定安装在岸上对近岸海域进行监视，直线以下为禁止舰船目标进入的海域。采用本文的海上运动目标绊线检测方法对进入禁区的舰船目标进行检测、识别与告警。从实验结果中可以看出，左上角的“min”表示算法识别该目标种类为民船，民船目标在视频画面中由左上角至右下角进入警戒区域。如图(d)、(e)、(f)所示，当民船目标的外边框和所设定警戒区域的边界线相交时，视频画面的正上方会出现“Object has entered the alert area”字符进行报警。

(a) 初始帧 (b) 第100帧 (c) 第200帧 (d) 第238帧 (e) 第258帧 (f) 第316帧

Figure 7. The camera fixed on land to monitor the offshore sea areas

图7. 模拟摄像机固定在陆地上监视近岸海域

4.2. 无人艇或舰船携带摄像机监视远距离海域

如图8和图9所示，由于在陆地上安装摄像机无法监视到离岸距离较远的海域，因此需要派遣无人艇或舰船携带摄像机在固定位置对离岸距离较远的海域进行监视。

(a) 初始帧 (b) 第50帧 (c) 第100帧 (d) 第133帧 (e) 第163帧 (f) 第183帧

Figure 8. The camera fixed on ships or unmanned ships to monitor remote sea areas

图8. 模拟舰船或无人艇携带摄像机监视远距离海域

(a) 初始帧 b) 第100帧 (c) 第200帧 (d) 第284帧 (e) 第484帧 (f) 第678帧

Figure 9. The camera fixed on ships or unmanned ships to monitor remote sea areas

图9. 模拟舰艇或无人艇携带摄像机监视远距离海域

由风流对海上绊线检测影响的分析可知，当所画直线无斜率时，即警戒区域的边界垂直于水平面时，只有横摇运动可能会对绊线检测的判断产生影响。因此，需要通过将舰船或无人艇上安装陀螺稳定平台等设备来尽量克服船身横摇运动对摄像机运动状态产生的影响，从而避免绊线检测误判现象的出现。

4.3. 无人艇或舰艇的避碰报警

在无人艇执行任务的过程中，可以在无人艇的周围根据一定的安全距离设置警戒区域，靠近无人艇一侧的区域即为禁止运动目标进入的区域。如图10所示，本实验模拟无人艇和舰船的自主避碰报警。

(a) 初始帧 (b) 第30帧 (c) 第60帧 (d) 第94帧 (e) 第124帧 (f) 第158帧

Figure 10. Collision avoidance alarm of unmanned craft or vessel

图10. 模拟无人艇或舰艇的避碰报警

由风流对海上运动目标入侵检测影响的分析可知，当所画直线存在斜率时，横摇、纵摇、垂荡三种运动都可能会对绊线检测的判断产生影响，并且在摄像机垂直移动距离大小相同的情况下，垂荡运动对入侵检测判断的影响会随着目标与摄像机间距离的增大而减小。因此本实验中需要同时克服横摇、纵摇、垂荡三种运动对摄像机运动状态产生的影响，当目标与摄像机距离足够远时可忽略垂荡运动的影响。

5. 结束语

首先，考虑海上运动目标检测存在的特殊性，本文在使用Faster R-CNN识别舰船的基础上完成了海上运动目标入侵检测算法的设计，进一步地分析了横摇、纵摇、垂荡这三种运动可能会对海上运动目标入侵检测产生的影响。并且在实验中模拟了摄像机固定在岸上对近岸海域进行监视、舰船或无人艇携带摄像机对远距离海域进行监视和无人艇的自主避碰报警这三种应用场景。在以后的研究中，为了更好地掌握海上入侵舰船目标的信息，还需要对训练集中“其他军舰”这一种类目标进一步地区分，使得算法可以识别出军舰的种类、国籍和型号等信息。并且可以通过在算法中对摄像机的运动进行补偿和在摄像机下加陀螺稳定平台等硬件设备这两种方式消除摄像机运动对绊线检测判断产生的影响。

基金项目

辽宁省自然科学基金(2015020086)；辽宁省博士启动基金(201501029)。