输电线路鸟巢识别中的无人机优化巡检研究

Research on Optimizing UAV Inspection for Transmission Line Bird-Nest Detection

摘要: 鸟害是威胁我国输电线路安全稳定运行的重要因素之一。近年来中国架空输电线路发生鸟害故障的次数呈逐年增加的趋势，据此本文提出了一种鸟巢识别中的无人机优化巡检准则。本文主要采用Hough算法提取无人机巡检图像特征以识别杆塔；在杆塔识别区，提取颜色纹理特征以识别鸟巢。本文针对无人机巡检鸟巢漏检问题，利用三维建模软件SolidWorks，建立伞型高压杆塔与鸟巢的三维仿真模型，从而提炼出鸟巢识别中的一种无人机优化拍摄准则。该准则能有效降低杆塔遮挡对鸟巢检测的干扰影响，从而达到提高鸟巢检测灵敏性的目的。

Abstract: Bird damage is one of the critical factors which threaten the stability of China’s electric transmission lines. Analyzing the increasing frequency of transmission malfunction owing to birds in recent years, this article is propounding an optimizing principle for UAV (unmanned aerial vehicles) inspection in bird nest detection. For identifying towers, Hough arithmetic is adopted to extract features from UAV images. In these tower-identified areas, through extracting color and texture features, bird nest is recognizable. Moreover, in allusion to inspection omission, SolidWorks contributes to constructing three-dimensional simulation models of umbrella-type high-tension towers and bird nests. Therefore, a type of UAV shooting rule is refined to detect nests, which is capable of effectively lowering towers’ disruption to test bird nests, and consequently, boosting detection sensitivity.

1. 引言

随着我国高压输电线路的不断增多，输电线路的安全性是保障电力系统正常运行的关键因素。然而随着生态环境的逐步改善，近年来鸟害事故呈上升趋势，对国民经济造成重大的损失。根据文献 [1] 对国家电网公司所属架空输电线鸟害故障进行的专题调查，由于鸟类活动引起的线路故障数量高居第三位，仅次于雷害和外力破环。

鸟类活动引起线路故障主要表现在：1) 鸟类窝巢材料的掉落易引起杆塔周围线路的短路；2) 鸟类的食物或粪便长期堆积在瓷瓶上，易引起输电线路短路；3) 鸟类是蛇等捕食类动物的捕食对象，从而招引更多动物攀爬杆塔，易引发闪络故障 [2] [3] [4]。据巢亚锋等学者的调研数据显示，在2010~2014年期间，110 KV及以上电压等级架空输电线路因鸟害造成供电中断高达1702次，且此发生鸟害数量随年份呈明显上升趋势 [5]。

因此，为了保障电力系统正常运行，必须对鸟类在输电线路杆塔上筑巢行为进行有效的监控和及时的预警。在20世纪80年代，各电力单位通过配备了一定数量的专职巡线员发现线路缺陷和威胁安全运行的情况，然而还发生本应避免的电力事故 [6]。在20世纪90年代，杨可等学者提出了评估超高压输电线路运行可靠性的方法 [7]。在理论层面上，揭示了机器巡检取代人工巡检的可行性。进入21世纪，在广东地区的输电线路，电力部门针对鸟害季节性和区域性特点进行集中时段和集中区域的重点防治 [8]。该巡检方式由先前的盲目巡检到有目的性的巡检，是机器巡检取代人工巡检的重要支撑。直到2016年，徐晶等学者提出了一种自动检测铁塔上鸟巢的方法，通过对无人机巡检采集的输电线路图像的测试，有效检测出铁塔上的鸟巢 [9]。该巡检方案是机器巡检的重要体现，无人机亦为机器巡检的有效载体 [10] [11]。

采用无人机图像进行信息提取是当前一大研究热点 [12]。输电线路的杆塔整体上是由钢材通过螺栓连接而成，根据钢材的光效应，钢材在不同光强及拍摄角度下，杆塔会呈现出明暗不一的情况 [9]，造成Sobel算法提取边缘时，存在较多断续的情况，进而导致杆塔整体轮廓提取难以实现。然而杆塔具有由板材构成镂空结构的特点，针对该特征，采用Hough算法可将长直线特征信息反馈给计算机，通过计算机对长直线特征的感知，以识别杆塔区域。

由于无人机图像缺少频谱信息，而具有丰富的颜色和纹理信息。通过颜色与纹理的特征能有效地在杆塔区域内检测鸟巢。颜色特征广泛应用于图像内容提取中，颜色对比的方法描述对象区域与其周围区域颜色特征相异的情况 [13] [14]。针对无人机的计算机视觉应用，适当的颜色模型可有效地提高颜色对比的真实性。HSV空间是RGB空间的非线性变换，是一种比较符合人类感知颜色特征的颜色空间 [15]。

在颜色特征对比的基础上，通过对无人机图像的分析，鸟巢的树枝和枯草聚集的密度较高。因此引入角二阶矩、熵、惯性矩和相关性等四个纹理特征指标构成灰度共生矩阵，比较确切地描述了鸟巢表面的纹理特征 [16] [17] [18] [19]。

根据无人机采集的图像数据，发现鸟巢是依附在杆塔上具有隐藏特点的小目标，采集图像上存在较多杆塔遮挡鸟巢的线段 [9]，该现象是造成鸟巢漏检的主要原因。为了降低该现象对鸟巢漏检的影响，本文提出了对输电线路鸟巢识别中无人机优化巡检方案。利用三维建模软件SolidWorks，建立高压杆塔与鸟巢的三维仿真模型，从而提炼出鸟巢识别中的一种无人机优化拍摄准则。通过对无人机对塔杆拍摄角度的约束，提高无人机巡检图像中鸟巢的识别率、降低漏检率。大大节省了人力物力，保证了电力系统安全可靠地运行，有着非常重要的现实意义。

2. 鸟巢识别策略

鸟巢识别策略如图1所示：

Figure 1. Flow chart of bird nest identification strategy

图1. 鸟巢识别策略流程图

2.1. Hough算法识别塔杆区域

基于无人机巡检图像自动检测输电线杆塔上鸟巢方案的提出，首先通过计算机感知无人机图像上杆塔结构的线交叉特征，以识别图像上杆塔区域，因此通过将无人机巡检图像分块，计算各个区域中不同方向的小线段的分布密度来感知图像中是否存在杆塔区域，进而在该区域上检测鸟巢 [9]。

为了实现对杆塔结构的线交叉特征的识别，本文首先通过最大类间方差法生成二值化图像，采用Hough算法提取二值化图像中的小线段，并统计线段的起点和终点的坐标。

Hough算法是一种经典的直线检测方法，该算法的核心思想是构造一种从图像空间到参数空间的映射关系。其映射关系公式如下：

$\left(x,y\right)\to \rho =x\cos \theta +y\sin \theta \left(0\le \theta <2\pi \right)$ (1)

其中， $\rho$ 是原点到直线的距离， $\theta$ 是直线法线与x轴的夹角。

Hough算法的实现步骤：

1) 参数空间离散化，对每个参数空间的单元赋予一个初始值为“0”的累加器；

2) 若某条正弦曲线恰好经过参数空间单元，则该单元累加器的值就加1；

3) 遍历直角坐标系中的所有点后，检验参数空间中每个累加器的值。

通过Hough算法对巡检图像的直线检测，可以获取图像中线段的起点和终点的坐标数据。在无人机巡检图像的分块区域内，统计起点和终点的数量。对于第i分块，起点和终点的数量为 $P_i$。对于杆塔区域的识别，须按照以下识别准则进行判断：

1) 若第i分块内坐标数量 $P_i$ 均大于等于6，则该分块是塔杆区域；

2) 若第i分块内坐标数量 $P_i$ 均小于6，则该分块是非塔杆区域。

3) 对所有分块进行分析，如果非塔杆区域数目大于总的分块数目的70%，则该巡检图像不符合检测条件；

4) 若巡检图像符合准则3)，则合并塔杆区域，并确定塔杆区域的位置。

2.2. 基于颜色与纹理特征的鸟巢检测

2.2.1. 颜色特征检测

20世纪末，Androutsos [20] [21] 等人通过实验对HSV颜色空间进行了大致划分，亮度大于75%并且饱和度大于20%为彩色区域，亮度小于25%为黑色区域，亮度大于75%且饱和度小于20%为白色区域，其他为彩色区域。文献 [13] 根据人的视觉分辨能力，把色调H空间分为8份，饱和度S分为4份，亮度V空间分为3份，故HSV颜色空间可以划分为：

$H:\{\begin{array}{l}0H\in \left[224,20\right]\\ 1H\in \left[20,28\right]\\ 2H\in \left[29,53\right]\\ 3H\in \left[54,110\right]\\ 4H\in \left[111,135\right]\\ 5H\in \left[136,192\right]\\ 6H\in \left[193,210\right]\\ 7H\in \left[211,223\right]\end{array}S:\{\begin{array}{l}0S\in \left[0.00,0.15\right]\\ 1S\in \left[0.16,0.35\right]\\ 2S\in \left[0.36,0.70\right]\\ 3S\in \left[0.71,1.00\right]\end{array}V:\{\begin{array}{l}0V\in \left[0,0.2\right]\\ 1V\in \left[0.2,0.7\right]\\ 2V\in \left[0.71,1\right]\end{array}$ (2)

根据文献 [9]，我们将HSV颜色分量合成一维特征矢量： $L=12H+3S+V$，L取值范围为0~95。通过对收集的标准鸟巢样本图像的分析：H分量集中落在及范围内，饱和度取值范围不限，亮度V取值小于0.7。通过上述约束条件对分块区域的限制，可以不遗漏地检测出所有可能包含鸟巢区域，并将该区域作为鸟巢的候选区域，为进一步做纹理特征检测缩小范围 [22] [23] [24]。

2.2.2. 纹理特征检测

对候选鸟巢区域内像素进行灰度变换，生成灰度共生矩阵，灰度共生矩阵是对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的，是一种通过研究灰度的空间相关特性来描述纹理特征的媒介 [25]。

为了描述物体表面纹理 [26]，引入角二阶矩( $Q_1$)、惯性矩( $Q_2$)、相关性( $Q_3$)和熵( $Q_4$)四个纹理特征的纹理特征指标。将上述四个描述纹理的特征量应用于具体的鸟巢纹理识别中，定义了四维纹理向量，即

$T_e={\left[Q_1,Q_2,Q_3,Q_4\right]}^{\text{T}}$ (3)

根据公式(3)，现对标准鸟巢图像定义标准纹理向量，即标准鸟巢图像的标准纹理向量：

$T_{e\text{\_Standard}}={\left[Q_{S1},Q_{S2},Q_{S3},Q_{S4}\right]}^{\text{T}}$ (4)

为了合理地描述图像间的匹配程度，将纹理向量和标准纹理向量整合为纹理值和标准纹理值 [23]，即

$T_{e\text{\_Price}}=W\times T_e$ (5)

$T_{e\text{\_Sta\_Price}}=W\times T_{e\text{\_Standard}}$ (6)

式中， $W=\left[w_1,w_2,w_3,w_4\right]$ 为权重向量； $w_1,w_2,w_3,w_4$ 分别代表 $Q_1,Q_2,Q_3,Q_4$ 所占的权重。

为了描述图像间的差异程度，检测在分块区域内有无鸟巢，故定义纹理差异性指标，即

$d_{if}=\left|\frac{T_{e\text{\_Price}}-T_{e\text{\_Sta\_Price}}}{T_{e\text{\_Price}}+T_{e\text{\_Sta\_Price}}}\right|$ (7)

由上式得 $d_{if}\in \left[0,1\right]$，趋向“0”表示纹理差异程度低，也就 $T_{e\text{\_Price}}$ 和 $T_{e\text{\_Standard}}$ 两者匹配度高； $d_{if}$ 趋向“1”表示纹理差异程度大，也就是 $T_{e\text{\_Price}}$ 和 $T_{e\text{\_Standard}}$ 两者匹配度低。设定阈值0.05，当某区域的 $d_{if}>0.05$，则认为该区域为有鸟巢的区域。

a. 标准纹理向量

通过数据采集和图像预处理，我们获得5幅标准鸟巢图像，如图2所示：

(a) (b) (c) (d) (e)

Figure 2. Standard nest image group

图2. 标准鸟巢图像组

图1幅标准鸟巢图像的纹理特征值如图3所示。

根据上述对标准纹理特征量的定义，可计算得到标准纹理向量为：

$T_{e\text{\_Standard}}={\left[0.0539,3.6528,1.3893,0.1527\right]}^{\text{T}}$

b. 权重向量

获取每组中的，共20个数据，定义纹理特征量占纹理值的权重为：

$w_j=\frac{1/Q_j}{{\displaystyle \underset{i=1}{\overset{4}{\sum }}1/Q_i}},j=1,2,3,4$ (8)

根据上式对权重的定义，可计算得到权重向量为：

$W=\left[0.5326,0.0384,00361,0.3829\right]$.

结合上述对标准纹理向量和权重向的计算，根据公式(6)可计算标准纹理值为

$T_{e\text{\_Sta\_Price}}=W\times T_{e\text{\_standard}}=0.2791$.

Figure 3. Texture feature value of standard bird’s nest image

图3. 标准鸟巢图像的纹理特征值

3. 拍摄角度的确定及平行准则

在徐晶等学者研究的基础上，发现存在遗漏检测的鸟巢区域，其主要原因是：拍摄角度的影响，鸟巢区域被杆塔结构所遮挡造成的，导致鸟巢的颜色和纹理特征不能完整地提取，从而造成鸟巢遗漏检测的结果 [9]。为了解决鸟巢遗漏检测的问题，本文采用三维建模软件SolidWorks，将铝合金1035作为杆塔的材料，建立了伞型高压电线杆与鸟巢的三维仿真模型，如图4所示。在杆塔存在鸟巢的前提下，确定鸟巢检测策略的识别盲区。所谓“识别盲区”，即为不能识别出鸟巢的空间视觉区域，也可理解为鸟巢识别率低的空间视觉区域。

(a) (b) (c)

Figure 4. Simulation diagram

图4. 仿真图

为了衡量无人机各个拍摄视角对巡检图像中鸟巢识别率的影响，根据式(7)，本文将差异系数作为评价无人机拍摄角度的指标。由差异系数的定义可知，差异系数越小，则鸟巢的识别率越高，即差异系数和鸟巢识别率之间存在负相关，即，

$\Phi =\frac{k}{d_{if}}$ (9)

式中， $\Phi$ 为无人机巡检图像的鸟巢识别率。

4. 实验验证与结果分析

4.1. 鸟巢识别率

以无人机巡检采集的实际图像为准，具体收集清远电力部门采用无人机对高压线路巡检采集的100张有鸟巢和无鸟巢的巡检图像作为测试的数据源，图像分辨率为： $3840\times 2160$ 像素的高分辨率RGB图像，杆塔上鸟巢检测的测试结果如表1所示，检测结果示意图如图5所示。

Table 1. Test results of transmission line tower bird’s nest

表1. 输电线路杆塔鸟巢检测结果

Figure 5. Schematic diagram of test results

图5. 检测结果示意图

4.2. 无人机拍摄角度的确定

为了获得空间中无人机的最佳拍摄角度，本文设计了如图6实验流程图。

Figure 6. Flow chart of determining shooting angle

图6. 确定拍摄角度流程图

水平面拍摄角度的确定

将三维模型的主视图作为在平面内旋转三维模型的水平零角度如图7所示。根据笛卡尔坐标系的定义，令垂直图8向外的方向为X轴正方向；令平行于输电线路的右方向为Y轴正方向，令垂直于地面向上的方向为Z轴正方向，建立空间直角坐标系。在空间直角坐标系内，将三维仿真模型绕Z轴做顺时针旋转运动，并每绕15˚截取一次当前旋转角度的图片，直到旋转角度为345˚。

Figure 7. Horizontal zero angle diagram

图7. 水平零角度示意图

Figure 8. Model rotation diagram

图8. 模型旋转示意图

通过基于颜色和纹理特征的鸟巢检测，获得最终的差异系数，各个角度下的最终差异系数如表2所示。

为了更加清晰地表达水平拍摄角度与最终差异系数之间的关系，我们将数据可视化，如图9所示。

根据式(10)对纹理差异性指标，可得差异系数越小表示检测区域与标准鸟巢纹理相似度越大。由图9可得， $\left[{240}^{\circ },{300}^{\circ }\right]$ 区间内及90˚附近，即与电线方向平行的角度的差异系数极低，而 $\left[{120}^{\circ },{165}^{\circ }\right]$、 $\left[{195}^{\circ },{210}^{\circ }\right]$、 $\left[{315}^{\circ },{345}^{\circ }\right]$ 等分布在与电线方向垂直的角度区间的差异系数明显较大。总而言之，识别盲区为与电线方向垂直的水平空间视角区域。相反，与电线方向平行的水平空间视觉区域则为最佳拍摄区域。

综上所述，输电线路杆塔拍摄的最佳水平角度的示意图如图10所示。

Table 2. Statistical table of horizontal shooting angle and final difference coefficient

表2. 水平拍摄角度与最终差异系数统计表

Figure 9. Statistical chart of shooting angle and difference coefficient

图9. 拍摄角度与差异系数统计图

(a) (b) (c)

Figure 10. Schematic diagram of bird’s nest horizontal shooting angle

图10. 鸟巢水平拍摄角度示意图

a. 竖直面拍摄角度的确定

通过水平面上拍摄角度的确定，我们可以得知在水平面内在270˚和90˚附近可以获得最小的纹理差异系数，即获得平面内识别鸟巢的最佳位置，为了获取最佳拍摄角度的空间位置，本文将其作为三维仿真模型绕X轴做旋转运动的竖直零角度，并旋转15˚截取一次当前旋转角度图片，直到旋转角度为165˚。

通过基于颜色和纹理特征的鸟巢检测，获得最终的差异系数，各个角度下的最终差异系数如表3所示。

为了更加清晰地表达竖直拍摄角度与最终差异系数之间的关系，我们将数据可视化，如图11所示。

Table 3. Statistical table of vertical shooting angle and final difference coefficient

表3. 竖直拍摄角度与最终差异系数统计表

Figure 11. Statistical chart of vertical shooting angle and difference coefficient

图11. 竖直拍摄角度与差异系数统计图

根据式(10)对纹理差异性指标，可得差异系数越小表示检测区域与标准鸟巢纹理相似度越大。由图13可得，在15˚和165˚附近，最终差异系数极低，然而，90˚附近的差异系数极大。总而言之，竖直拍摄角度的最佳区域为15˚和165˚。

综上所述，输电线路杆塔拍摄的最佳角度的示意图如图12所示，以及无人机与输电线路杆塔拍摄的位置关系示意图如图13所示。

Figure 12. Schematic diagram of bird’s nest vertical shooting angle

图12. 鸟巢竖直拍摄角度示意图

Figure 13. Schematic diagram of bird’s nest vertical shooting angle

图13. 鸟巢竖直拍摄角度示意图

4.3. 人工巡检和无人机巡检的对比

为了验证无人机巡检在效率上优于人工巡检 [27]，我们做了以下的简化：

1) 对于杆塔上的鸟巢而言，无人机的摄像头的识别能力和人的识别能力基本一致：

2) 人工巡检的视角为自下而上，故背景为蓝天，而无人机的视觉为由上而下，故背景大部分为绿色植被。

如图14所示，图(a)为人工巡检视角，图(b)是无人机拍摄的最佳视角。将图(a)进行鸟巢识别策略运算，得出最终的差异系数为0.7125，而无人机最佳拍摄视角的差异系数为0.0044，即人工巡检视角的差异系数是无人机最佳拍摄视角的161倍，可见无人机最佳拍摄视角的巡检效率远远大于人工巡检。

(a) (b)

Figure 14. Inspection comparison chart

图14. 巡检对比图

5. 结论

首先，本文基于铁塔线材近似交叉对称的特性，采用Hough算法识别塔杆区域，并在塔杆区域内部进行基于颜色和纹理特征的鸟巢检测方法，大大降低了环境背景对鸟巢检测的干扰，提高了算法的可靠性。在杆塔区域内，先采用基于颜色特征的鸟巢检测方法，通过对收集的标准鸟巢图像进行HSV颜色空间分析，构造出一维特征矢量，该检测方法有效地排除了环境背景的干扰，获得了候选的鸟巢区域。在鸟巢的候选区域内，本文采用了基于纹理特征的鸟巢检测方法，建立四个描述纹理特征的指标——角二阶矩、熵、惯性矩和相关性，根据指标对纹理特征的影响程度，对每个指标赋予权重，故将纹理特征归纳为纹理值。因此，本文的鸟巢识别策略能排除背景上大量相似符合鸟巢颜色或者纹理的区域，有效地检测杆塔上的鸟巢。

输电线路杆塔的鸟巢检测策略确定后，通过具体实验检测及其他研究成果的结论，仍存在鸟巢漏检测的问题。为了解决该问题，我们对无人机摄像头的拍摄角度提出要求。通过三维建模软件SolidWorks建立伞型高压电线杆与鸟巢的三维仿真模型，并在水平面和竖直面上对拍摄角度进行等角度间距的调整，最终获得了输电线路杆塔拍摄的最佳角度(平行于输电线路方向且与地面大致成15˚的拍摄角度)。

最后，为了验证无人机巡检的高效性，通过人工巡检和无人机巡检的巡检效率对比，得出结论是人工巡检视角的差异系数是无人机最佳拍摄视角的161倍。

该结论在视觉层面上验证了无人机巡检的高效率。

基金项目

广东省2020年科技创新战略专项资金(“攀登计划”专项资金)“基于优化深度卷积神经网络的图像组合识别智能控制系统”(项目编号：pdjh2020b0182)。

NOTES

^*通讯作者。