基于HSV-Edgeboxes航拍图像玻璃绝缘子候选区域定位

Locating Glass Insulator Region Proposals of Aerial Images Based on HSV-EdgeBoxes

摘要: 本文提出了HSV-EdgeBoxes可以用于定位航拍图像中玻璃绝缘子的位置。首先将航拍图像由RGB空间转化为HSV空间，根据每个窗口感兴趣颜色区域的面积，计算每个窗口的颜色得分。然后采用结构化的边缘检测和非最大值抑制算法，生成航拍图像的边缘图像。通过统计每个窗口总共包含的边缘数，计算每个窗口的边缘得分。最后，结合颜色得分和边缘得分获得每个窗口的最后得分，选择包含得分高的窗口作为候选区域。实验结果证明了该算法的有效性。

Abstract: HSV-EdgeBoxes is proposed in this paper to locate the glass insulators of aerial images. First, the aerial image is converted to the HSV pace from the RGB space, and the color score of a window is assessed by the area of region of color interest in the box. Then, the edge response map of the aerial image is computed using Structured Edge detector and Non-Maximal Suppression. The edge score of a box is computed by measuring the number of contours that are totally contained. The final score of a box is calculated by color score and edge score jointly. The windows with higher scores are chosen as insulator proposals. The experimental results verify the effectiveness of the proposed method.

1. 引言

玻璃绝缘子具有耐污耐弧性能好、零值自破和运行安全等特点，被广泛应用于高压和超高压交、直流输电线路中 [1]。然而，绝缘子在野外日晒雨淋，遭受环境腐蚀，且长期经受强电场力和强机械支撑力，时常发生损坏，如不能及时检测维修的话，将影响电力系统的安全运行 [2]。无人机巡检技术具有高效、快捷、成本低、不受地域限制等优点，在输电线路状态检测中获得了快速发展 [3]。由于航拍绝缘子图像具有大背景小目标的特点，复杂自然背景下绝缘子提取与识别是输电线路状态检测的亟待解决的问题 [4]。

传统的目标检测算法基于滑动窗口生成图像特征，由于窗口冗余，时间复杂度高，图像特征和分类器的设置受限，不适用于背景复杂的航拍图像 [5]。基于候选区域的检测算法，通过对更少的感兴趣区域进行判断，减少计算冗余，加快计算速度。窗口数量的减少，允许使用更为复杂的特征和分类器，可以提高检测质量。候选区域生成算法分为两类：分割块生成算法和窗口打分算法 [6]。分割块生成算法通常基于层次分割算法的输出。常见的分割块由超像素聚类生成 [7]，或通过使用不同初始值解决多重图割问题获得 [8]，或直接基于边缘生成 [9]。基于窗口打分的候选区域算法生成边界框，较分割块生成算法更为快速 [10]。通过计算每个滑动窗口包含物体的概率，选出包含物体概率大的窗口作为候选区域。文献 [6] 对已有的区域生成算法进行了深度分析，表明SelectiveSearch [11]，MCG [12]，Rigor [13] 和EdgeBoxes [14] 再和分类器结合时一致获得较好的检测结果。EdgeBoxes相对其他三种算法，消耗的时间最少，是一种检测速度和检测质量的折中方案。

由于EdgeBoxes只考虑了边缘信息，而玻璃绝缘子是透明的浅绿色，颜色的先验特征可以融入EdgeBoxes，用于生成玻璃绝缘子候选区域。本文提出了基于HSV-EdgeBoxes的玻璃绝缘子候选区域生成算法，通过边缘信息结合颜色先验来计算每个滑动窗口包含绝缘子的可能性。首先将航拍图像由RGB空间转化为HSV空间，通过绝缘子颜色阈值的设置，获得二值图像。基于感兴趣颜色的面积，计算每个窗口的颜色得分。然后采用结构化的边缘检测算法，生成航拍图像的边缘图像，通过非最大值抑制算法获得较为稀疏的边缘图像。基于每个窗口完整包括的边缘轮廓数目，计算每个窗口的边缘得分。最后，结合颜色得分和边缘得分，获得每个窗口的包含绝缘子的概率，选择包含绝缘子概率大的窗口作为候选区域。

2. 基于HSV-Edgeboxes航拍图像玻璃绝缘子定位

本文提出了基于HSV-EdgeBoxes的玻璃绝缘子候选区域生成算法，通过边缘信息结合颜色先验来计算每个滑动窗口包含绝缘子的可能性，每个窗口的得分， $l_b$，计算公式如下：

$l_b=l_c\cdot l_e$

其中， $l_c$ 和 $l_e$ 分别为每个窗口的颜色得分和边缘得分。

2.1. 颜色得分

RGB颜色空间是面向硬件的颜色空间，利用三个颜色分量的线性组合来表示颜色。HSV颜色空间从色调(H)，饱和度(S)和明度(V)的角度来对颜色进行描述，比RGB更接近人们对彩色的感知经验，是基于彩色描述图像处理算法的理想空间。色调是一种纯色的颜色属性，饱和度是纯色被白色稀释的度量，明度是种主观描述，实际上是不可度量的。对于航拍图像，HSV分量由下式得到：

$H=\{\begin{array}{ll}{0}^{\circ }\hfill & \text{if}\max =\min \hfill \\ {60}^{\circ }\times \frac{G-B}{\max -\min }+0^{\circ }\hfill & \text{if}\max =RandG\ge B\hfill \\ {60}^{\circ }\times \frac{G-B}{\max -\min }+{360}^{\circ }\hfill & \text{if}\max =RandG<B\hfill \\ {60}^{\circ }\times \frac{B-R}{\max -\min }+{120}^{\circ }\hfill & \text{if}\max =G\hfill \\ {60}^{\circ }\times \frac{R-G}{\max -\min }+{240}^{\circ }\hfill & \text{if}\max =B\hfill \end{array}$

$S=\{\begin{array}{l}0,\text{if}\max =0\\ 1-\frac{\min }{\max },\text{otherwise}\end{array}$

其中，R、G、B为红色、绿色、蓝色的分量值； $max=max\left(R,G,B\right)$， $\min =\min \left(R,G,B\right)$。

由于玻璃绝缘子是透明的浅绿色，绝缘子的颜色空间被定义为 ${60}^{\circ }\le H\le {240}^{\circ }$， $0\le S\le 0.5$， $0.5\le V\le 1$。位于绝缘子的颜色空间的像素点设置为1，其他的像素点设置为0，获得绝缘子的颜色腌膜图像，M。如果一个窗口只有一小部分像素位于绝缘子的颜色区域，绝缘子极不可能位于这个窗口。对于一个窗口，颜色得分 $l_c$ 的计算公式如下：

$l_c=\{\begin{array}{ll}0,\hfill & \frac{N}{N_b}<\sigma \hfill \\ 1,\hfill & \frac{N}{N_b}\ge \sigma \hfill \end{array}$

其中，N为这个窗口中位于绝缘子的颜色空间的像素点的个数； $N_b$ 是这个窗口包含像素点总数； $\sigma$ 为颜色阈值，用于判断这个窗口是否有可能包含绝缘子。如果这个窗口中感兴趣的像素数目大于 $\sigma$，则这个窗口有可能含有绝缘子， $l_c$ 设为1，否则为0。

2.2. 边缘得分

采用文献 [15] 提出的结构化边缘检测算法，快速生成航拍图像的边缘图像。边缘图像由每个像素p的边缘幅值 $m_p$ 和边缘方向构成。其中，取 $m_p>0.1$ 的像素点作为边缘点，获得较为稀疏的边缘图像。基于玻璃绝缘子的颜色先验，绝缘子的边缘图像被定义为：

$\hat{E}=E\times M$

通过贪心算法搜索边缘点的8连通区域，直至边缘点之间的方向角度和的差值大于 $\pi /2$，获得边缘线。每一个边缘线代表一个轮廓。采用以下公式计算相邻的边缘线 $s_i$ 和 $s_j$ 的相似度：

$a\left(s_i,s_j\right)={\left|\cos \left({\theta }_i-{\theta }_{ij}\right)\cos \left({\theta }_j-{\theta }_{ij}\right)\right|}^{\gamma }$

其中， ${\theta }_i$ 和 ${\theta }_j$ 分别表示边缘线 $s_i$ 和 $s_j$ 的方向均值； ${\theta }_{ij}$ 表示边缘线和中心位置的夹角； $\gamma$ 为相似度参数。相似度高的相邻边缘线构成一个轮廓。

对于给定的窗口，计算每个边缘线 $s_i$ 从属于这个窗口的概率。如果 $s_i$ 全部位于这个窗口，则 $w_b\left(s_i\right)=1$ ；如果 $s_i$ 在窗口之外，则 $w_b\left(s_i\right)=0$ ；如果 $s_i$ 部分位于窗口，则按照以下公式计算 $w_b\left(s_i\right)$ ：

其中，T是部分位于窗口的边缘线按顺序排列的组合。每个窗口的边缘得分 $l_e$ 的计算公式如下：

$l_e=\frac{{\displaystyle \underset{i}{\sum }{w}_b\left(s_i\right)m_i}}{2{\left(b_w+b_h\right)}^{\kappa }}$

其中， $b_w$ 和 $b_h$ 分别为窗口的宽和高， $\kappa$ 的取值为1.5。

2.3. 筛选候选框

对所有滑动窗口的得分进行排序，并采用非最大值抑制算法，即如果一个窗口与另一个得分更高的窗口的交叠比(intersection over union, IoU)大于 $\beta$，则删除这个得分较低的窗口。

3. 实验结果与分析

3.1. 数据集及评价指标

为证明本文算法的有效性，实验数据集为一组无人机航拍巡检图像。该数据集包含100张分辨率为 $1000\times 1500$ 的航拍图像，一共有245个被标注的玻璃绝缘子的边缘框。边界框的质量是通过与标注区域的IoU来评价的。本文使用召回率作为衡量算法的指标，召回率(recall)是与生成边界框的IoU大于设置阈值的标注区域与标注区域总数之比。

3.2. 参数设置

根据文献 [15]，相似度参数 $\gamma$ 设置为2，筛选候选区域参数 $\beta$ 设置为0.75。图1表明了，候选区域数目为5000时，颜色参数 $\sigma$ 与召回率之间的关系。当 $\sigma =0$ $l_c=1_{}$，则 $l_b=l_e$，HSV-EdgeBoxes忽略掉颜色先验，变为EdgeBoxes； $\sigma =0.15$，性能最好；随 $\sigma$ 增大，原本的绝缘子区域被忽略，算法性能变差。因此，本文最终选取 $\sigma =0.15$。

3.3. 实验结果分析

为了证明本文模型的有效性，从实际角度考虑，选取IoU取0.5，0.6和0.7时，候选区域数目分别为2000和5000时，计算EdgeBoxes和本文模型的召回率，如表1所示。相对于EdgeBoxes，本文模型的召回率都有明显的提升。图2显示了在候选区域数目为5000时，EdgeBoxes和HSV-EdgeBoxes与标注区域具有最高IoU的绝缘子候选区域。绿色为标注区域，红色为与标注区域具有最高IoU的绝缘子候选区域，IoU位于标注区域上方。从图2可以看出，对于给定的标注区域，本文模型所产生的候选区域具有更高的IoU。

Figure 1. Recall vs $\sigma$ at IoU = 0.5, using 5000 proposals

图1. 在IoU = 0.5，候选区域数为5000时， $\sigma$ 对召回率的影响

(a)(b)

Figure 2. Examples of insulator proposals that have a highest IoU with a ground truth box. (a) EdgeBoxes, (b) HSV-EdgeBoxes

图2. 与标注区域具有最高IoU的绝缘子候选区域示例图。(a) EdgeBoxes，(b) HSV-EdgeBoxes

Table 1. Comparison of the experimental results

表1. 实验结果对比

3.4. 运行时间效率比较

为了说明模型的运行速度，本文在实验环境为Intel(R) Core i7-4790，3.60 GHz，Windows 7，16 Gb RAM，64位操作系统，使用软件为MLTLAB R2015a进行测试。表2显示了SelectiveSearch，MCG，Rigor和EdgeBoxes和本文模型的运行时间，本文模型较EdgeBoxes运行慢了一些，但是相对于SelectiveSearch，MCG和Rigor，本文模型在提高EdgeBoxes的召回率的同时，保证了运行速度。

Table 2. Comparison of the execution time

表2. 运行时间比较

4. 结论

本文将颜色先验知识引入到EdgeBoxes，提出了HSV-EdgeBoxes用于生成玻璃绝缘子候选区域。该方法通过结合颜色先验和边缘信息，生成玻璃绝缘子候选区域。实验结果表明，本文模型可以在保持运行速度的同时，产生质量更高的候选区域。

基金项目

中国南方电网有限责任公司科技项目(GZHKJXM20180068)。