1. 引言
运行中的瓷绝缘子受电场、机械应力及环境因素等作用,可能形成零值、低值绝缘子 [1] ,降低绝缘子串电气强度,危害输电线路的运行安全 [2] [3] [4] 。红外成像技术可以有效检测绝缘子零值缺陷 [5] [6] [7] [8] ,人工处理这些绝缘子红外图像数据存在耗时长,准确率低等问题,基于红外图像的图像识别技术已成为绝缘子缺陷检测的重要手段 [9] [10] ,具有耗时短、效率高、成本低等优点,然而在复杂背景红外图像中进行绝缘子钢帽识别与定位仍有困难。
国内外研究者在基于红外图像的零值绝缘子检测方法上开展了诸多研究。付强等人根据绝缘子串区域列宽分布分割单片绝缘子,运用傅里叶描述子进行验证识别,完成绝缘子钢帽和盘面的分离 [11] ;刘正庭等人采用Floodfill算法在杆塔背景下提取绝缘子串区域,再采用分水岭算法实现绝缘子钢帽和盘面的提取,220 kV绝缘子分割成功率93% [12] ;以上方法均实现了绝缘子钢帽和盘面的提取,但均未在复杂背景如大地、建筑等环境下讨论的绝缘子钢帽提取。苑利等人采用边缘检测、椭圆检测的方法在红外图像中逐一提取绝缘子盘面,通过盘面温度特征参数筛选,利用支持向量机实现不同污秽程度、空气温湿度下的零值绝缘子自动检测 [13] ;Xiao等人采用霍夫变换、形态学处理方法提取红外图像中绝缘子串的钢帽和盘面,基于绝缘子温度分布规律,利用概率神经网络(PNN)建立了低零值绝缘子诊断模型 [14] ,使用的绝缘子红外图像背景比较简单干净;刘云鹏等人在实验室中拍摄了含有其他热源设备干扰的含零值绝缘子红外图像作为训练集,对基于FN-8s架构的全卷积神经网络(FCN)进行训练,训练后的模型对测试集数据集的分类准确率为89.23%,对不同污秽等级、环境温湿度条件均有响应 [15] 。现场绝缘子红外巡检图片背景丰富,随机性强,存在建筑、草木、杆塔等随机性干扰,目前鲜有学者针对现场绝缘子红外巡检图片进行零值检测方面的研究。
本文提出了一种基于可见光与红外图像融合的绝缘子钢帽温度提取方法,可在含建筑、杆塔、大地等复杂背景图像中实现绝缘子钢帽的准确定位与温度提取,再基于零值绝缘子温升判据实现零值检测。在可见光图像中采用Faster-RCNN检测绝缘子串,利用边缘检测、特征提取等方法在绝缘子串检测框中分割绝缘子钢帽,通过提取钢帽结构特征实现钢帽的提取与修正,通过坐标映射技术实现红外图像中绝缘子钢帽的提取,提取温度后根据零值判据实现复杂背景下绝缘子零值缺陷的智能检测。
2. 基于Faster-RCNN的绝缘子串检测
可见光图像相对红外图像具有高分率、大视场角的特点,可以提供更多的绝缘子细节与特征,但具有更多的背景区域以及更为复杂的背景,这些背景区域无论是从灰度值还是梯度值均与绝缘子区域有交集,经测试发现从可见光图像原图中直接通过图像处理技术检测单片绝缘子难度很大,准确率低下。文献 [16] 采用Faster-RCNN + Se-ResNet深度学习算法在可见光图像中实现绝缘子串的检测,检测准确率达到了95.8%,但是在可见光图像中直接检测每一片绝缘子的相关研究鲜有。为此,本文使用Faster-RCNN算法对可见光图像进行了预处理,完成可见光图像中整串绝缘子的检测。
2.1. Faster-RCNN结构
Faster-RCNN算法模型是RCNN系列 [17] [18] [19] [20] 经过不断改进而成较为完善的算法,它将目标特征提取、候选框生成、目标分类和回归集成到一个网络中,大大提高检测网络的效率。图1所示为Faster-RCNN算法结构图。Faster-RCNN网络可分为四个部分:第一部分为特征提取网络,主要用于提取图像中的特征,生成特征图并且将特征图共享于后续算法模块。第二部分为区域生成网络RPN,RPN网络会在可能含有目标的位置生成目标边界框并且给出是否为目标的置信度,生成较高质量的候选区域框供后续模块进一步处理。第三部分为ROI Pooling层,ROI代表候选框在特征图上的位置,它是一种针对候选区域的池化层,负责对输入大小不同的特征图和候选区域进行归一化处理,得到固定大小的特征图。第四部分为分类和回归,该部分利用ROI Pooling层输出的固定尺寸特征图进行目标类别判断和位置矫正。

Figure 1. Faster-RCNN structure diagram
图1. Faster-RCNN结构图
2.2. 数据集
Faster RCNN算法属于有监督类的深度学习分类算法,模型对人为标注的目标进行特征提取并学习,当有新的图像输入,便可对新的图像进行预测。采用Labelimg软件来对训练集图像进行标注,本文所使用的数据集包含本课题组从北京、江西等地现场收集的绝缘子图片共1152张,图片背景丰富。按绝缘子类型分类,包括563张悬垂绝缘子和589张耐张绝缘子;按背景环境分类,随机包括了纯天空、建筑、杆塔、大地等背景,拥有足够丰富的背景环境;按拍摄天气分类,阴天天气图像约占2/3,晴天天气图像约占1/3。随机抽取其中979张图片作为训练集,173张图片作为测试集。
以173张测试集图片进行测试,测试结果为170张图片绝缘子串检测成功,检测准确率为98.3%,实现了绝缘子串的精确定位,检测结果如图2所示。

Figure 2. Detection results of insulator strings in visible images
图2. 可见光图像中绝缘子串的检测结果
3. 基于边缘检测与特征识别的钢帽检测
在第1节的基础上,通过图像裁剪去除绝缘子串检测框以外的背景部分,得到绝缘子串外接矩形图,再使用sobel算子、OTSU法和特征识别等方法实现每片绝缘子钢帽的精准定位。
3.1. 基于sobel算子与OTSU法的钢帽分割
图像预处理。绝缘子串外接矩形图灰度化,采用高斯滤波进行去噪处理 [21] 。高斯滤波是一种线性滤波,是对整幅图像进行加权平均的过程,每个像素点的值都由其本身和邻域内的其它像素值经过加权平均后得到,可以有效去除高斯噪声。高斯滤波器是以服从正太分布的高斯函数为卷积核对图像进行卷积运算,二维高斯函数表达式如公式1所示。
(1)
其中(x, y)为点坐标。对高斯函数进行离散化后得到高斯滤波器模板,本文使用5 × 5高斯滤波模板,如图3所示。

Figure 3. 5 × 5 Gaussian filter template
图3. 5 × 5高斯滤波模板
绝缘子边缘检测。常用的边缘检测方法是利用梯度模极大值或二阶导数过零点提取边缘。对原始图像中像素的某个邻域来构造边缘检测算子,计算梯度,提取边缘。一阶算子如Roberts算子、Sobel算子、Prewitt算子,二阶算子如Laplacian算子,以及Canny边缘检测、小波变换等 [22] [23] [24] [25] 。一阶算子中Sobel算子加强了权重的概念,计算邻点灰度值加权差,相比Roberts算子和Prewitt算子具有更好的检测效果,Laplacian算子对噪声非常敏感,不适用于复杂背景下的绝缘子边缘检测。
对于绝缘子的边缘检测,希望能够准确的检测出绝缘子边缘,对绝缘子不同尺度的边缘都能有较好的响应,而对背景、噪声等边缘尽量不响应。本文在Sobel算子检测边缘的基础上进行改良,以解决复杂背景下绝缘子边缘不闭合及非必要边缘复杂的问题。
发现当图像中绝缘子周围背景为天空时,绝缘子边缘为强边缘,而当周围背景为大地、建筑等复杂背景时,部分绝缘子边缘有极大概率为弱边缘,而绝缘子作为一个较大的整体,其弱边缘总会与强边缘相连。通过增强图像中与强边缘相连的弱边缘,强化绝缘子边缘的同时而不改变非必要弱边缘。具体实现算法步骤如下。
1) 使用Sobel算子对绝缘子图像进行边缘检测,边缘检测结果记为矩阵P,按4邻域连通关系将P中不相连边缘划分为各自独立的连通域,记录于矩阵L。
2) 滤除像素点数少的连通域。对矩阵L设定一个连通域面积阈值s小,将面积小于s小的连通域置零,以提高运算速度。
3) 筛选含强边缘的连通域。使用OTSU法提取矩阵P的最佳分割阈值k,经过分析测试使用2k作为强边缘与弱边缘的分类阈值;计算矩阵P和矩阵L中每个重合连通域的最大边缘强度Emax,若Emax大于2k,则判定该连通域含强边缘,将该连通域记录于矩阵M。
4) 增强与强边缘相连的弱边缘。计算矩阵P中和矩阵M中每个重合连通域的平均边缘强度Eavg,将Eavg赋值给矩阵P中该重合连通域中边缘强度小于Eavg的点,得到矩阵
。矩阵
即为所求矩阵。
上述方法解决了边缘检测后部分绝缘子弱边缘漏检的问题,可以获得一个相对完整的绝缘子轮廓。分析发现背景边缘常常是毫无规则、不闭合的曲线,而绝缘子边缘通常是闭合曲线,若将整个边缘图像取反后,绝缘子区域可成为一个或多个独立的连通域,背景区域通常是没有完整边界,可以轻易去除。绝缘子内部由于光照不均、污秽以及锈蚀等原因会存在一些的边缘,这些边缘往往较弱,取反后表现为细小的空洞、狭缝,可以通过形态学闭运算进行滤除。
OTSU算法是由日本学者OTSU于1979年提出的一种对图像进行二值化的高效算法 [26] 。采用OTSU法将边缘矩阵
二值化,得到的矩阵设为
,将矩阵
取反,置零与图像边界接触的连通域以滤除大部分背景,使用形态学闭运算,取结构元素为15 × 15矩阵时可以填补绝缘子内部所有的空洞以及狭缝。此时即得绝缘子分割结果,记为矩阵F。
绝缘子钢帽分割。钢帽连通域有以下特点:钢帽表现为矩形形状,宽度波动范围很小;盘面边缘为波浪状,宽度变化范围大,且其宽度是钢帽宽度的1.5倍以上;通过统计每个连通域宽度的大小和频数,区分钢帽区域和盘面区域,实现钢帽分割,得到钢帽二值图G,分割结果如图4所示。
当某片绝缘子图像周围是复杂背景时,如建筑、大地、草木等,由于它们具有极大的不确定性,在钢帽二值图G中可能存在钢帽漏分割和背景误分割现象,这些误分割背景区域形状和面积大小与钢帽相似。本文提出了一种基于钢帽结构特征的钢帽定位方法,可以忽略误识别为钢帽的背景区域,以及准确定位漏分割的钢帽。
3.2. 基于结构特征的钢帽定位
绝缘子钢帽具有以下结构特征。钢帽总是以串的形式出现,所有钢帽的中心点连接起来是条直线;通过研究钢帽间距随钢帽位置的变化规律,计算出漏检钢帽的准确位置。
(a)
(b)
(c)
(d)
Figure 4. The steel cap segmentation process in the insulator external histogram. (a) Insulator external histogram; (b) Edge extraction; (c) Adaptive filtering and image filling; (d) Steel cap division
图4. 绝缘子外接矩形图中的钢帽分割过程。(a) 绝缘子外接矩形图;(b) 边缘提取;(c) 自适应滤波与图像填充;(d) 钢帽分割
识别钢帽二值图G中所有真钢帽连通域,实现步骤如下:
1) 计算G中所有连通域的中心点坐标,记录于N*2矩阵Z中,其中N为连通域数量,矩阵Z的第一列为行坐标,第二列为列坐标。
2) 按Z的第一列升序,计算相邻列的差值,即行坐标差值,记录于矩阵Lx,规定距离值20%以为都为等距离,以差值矩阵Lx的中位数作为钢帽行间距l,若Lx中有大于1.2l的值,意味着存在背景区域,进行以下判定:当连续两个行坐标差值大于1.2l,则判定中间行坐标所在的连通域是背景区域;当只有一个行坐标差值大于1.2l,则判定在端点侧的行坐标所在连通域是背景区域。
3) 按Z的第二列升序,计算列坐标差值,后续操作同步骤2)。
4) 将被判定为背景区域的连通域置零,获得真钢帽二值图像
。
钢帽二值图像
往往没有所有的钢帽区域,通过提取钢帽间距、位置特征量,计算获得漏分割钢帽的中心点坐标。待修正钢帽可分为两类,第一类为中间待修正钢帽,即矩阵
中第一片与最后一片之间缺漏的钢帽,第二类为两端待修正钢帽,即矩阵
中第一片与最后一片以外缺漏的钢帽。先进行第一类钢帽的修正,设矩阵
中相邻钢帽连通域间距中位数为钢帽间距d,计算矩阵
中相邻钢帽的间距,按[1.5d, 2.5d],[2.5d, 3.5d],[3.5d, 4.5d]个区间对间距进行分类,当间距在区间[1.5d, 2.5d]时,在该间距内按等间距补充一个钢帽,当间距在区间[2.5d, 3.5d]时,在该间距内按等间距补充两个钢帽,当间距在区间[3.5d, 4.5d]时,在该间距内按等间距补充三个钢帽。再进行第二类钢帽的修正,钢帽本身是按等间距排列的,但从图像视角钢帽间距不相等,这是因为存在钢帽被盘面遮挡的现象,当视线与钢帽的夹角越小时(90˚为平视)遮挡越严重,钢帽间距就越小,当出现连续4片以上的钢帽需要修正时,这种间距的变化就不能忽视。经研究分析,当摄像机以水平视角拍摄绝缘子时,低压端平均间距高于中间平均间距高于高压端平均间距。越往低压端间距越大,越往高压端间距越小,且这种间距的变化趋于线性变化。大量测试后,当间距变化系数取 ± 0.02n时可实现钢帽间距的准确预测。新间距ln表达式如公式2所示。
(2)
式中0.02为经验常数,n为第n个修正的钢帽,r为
中离补充钢帽距离最近的钢帽间距。当补充钢帽在低压端方向时取正号,在高压端方向时取负号。
图5所示为110 kV、220 kV线路绝缘子可见光图像中的钢帽定位结果,当绝缘子串中低压端钢帽、高压端钢帽、中间钢帽、低压端和高压端钢帽同时漏分割时,均能准确地定位出漏分割钢帽的中心位置,表现出了良好的稳定性与泛用性。
(a)
(b)
(c)
(d)
Figure 5. Positioning results of insulator steel caps. (a) Positioning results of steel caps with Missed segmentation at low voltage ends; (b) Positioning results of steel caps with Missed segmentation at high voltage ends; (c) Positioning results of steel caps with Missed segmentation at middle position; (d) Positioning results of steel caps with Missed segmentation at both high voltage ends and low voltage ends
图5. 绝缘子钢帽定位结果。(a) 低压端漏分割的钢帽定位结果;(b) 高压端漏分割的钢帽定位结果;(c) 中间漏分割的钢帽定位结果;(d) 高压、低压端均漏分割的钢帽定位结果
3.3. 红外图像中绝缘子钢帽定位
无人机同时搭载可见光相机与红外相机拍摄同场景绝缘子图像,两相机镜头相对位置固定且动作同步,即认为可见光图像与红外图像拍摄的视场中心始终是重合或者有固定小距离的。利用这一特征实现可见光与红外图像坐标的相互转换。
在距镜头水平距离D m的竖平面内,设平均单位像素占据的高度为h,其表达式如公式3所示,设p为可见光图像的hh与可见光图像的hk的比值,表达式如公式4所示。
(3)
(4)
式中θ为相机视场角,Y为图像矩阵的行数。
以视场中心点为原点,可见光图像坐标与红外图像坐标视为具有相同的坐标原点,只是单位长度的xy轴刻度值不同,根据公式4可将可见光图像坐标归一至红外图像坐标。可见光图像坐标到红外图像坐标的映射方程如公式5所示。
(5)
式中下标h指红外图像参数,下标k指可见光图像参数,xy为横纵坐标值。
目前市面所有的红外相机为定焦相机,而多数可见光相机具有自动变焦功能,意味着其视场角是可以变化的,为得到可见光图像的真实视场角,需要一个已知尺寸的参照物来标定真实视场角。绝缘子作为拍摄对象,其尺寸为已知量,因此选择绝缘子作为参照物。单位像素点占据的高度h与绝缘子外接矩形长度的乘积即为绝缘子真实长度。真实相机视场角
表达式如公式6所示。
(6)
式中m为绝缘子长度,N为绝缘子外接矩形图的像素点行数。
通过上述分析与运算,可实现可见光图像中绝缘子钢帽坐标到红外图像的映射。坐标映射结果如图6所示,准确地完成了红外图像中绝缘子钢帽的定位。
(a)
(b)
Figure 6. Positioning results of insulator steel cap in infrared image and its local enlargement. (a) 110 kV insulator steel cap positioning results; (b) 220 kV insulator steel cap positioning results
图6. 红外图像中绝缘子钢帽定位结果及其局部放大图。(a) 110 kV绝缘子钢帽定位结果;(b) 220 kV绝缘子钢帽定位结果
4. 绝缘子钢帽温度提取方法在绝缘子零值检测的应用
完成了红外图像中绝缘子钢帽定位后,提取绝缘子串中每片钢帽的平均温度,再采用零值绝缘子判据行业标准 [27] 进行绝缘子零值判别,绝缘子零值判据如公式7所示。当相对温差∆Tij ≤ −0.5 K为零值绝缘子,相对温差∆Tij ≥ 0.5 K为低值绝缘子。
式中Tij为绝缘子钢帽温度,Tij为i相绝缘子串第j片绝缘子的相对温差;其中i = A、B、C,分别代表绝缘子串的相别,
,代表绝缘子在串中的位置,导线侧绝缘子定义为首端绝缘子,位置编号为1,杆塔侧绝缘子定义为末端,位置编号为M。
人工手动框取绝缘子钢帽区域,提取钢帽区域平均温度,以手动获取的钢帽温度为基准,与本文提出的绝缘子钢帽温度提取方法进行对比,验证温度提取方法的实用性。
绝缘子钢帽温度提取方法。确定提取温度的钢帽区域。根据可见光图像中分割的钢帽区域的长a和宽b,乘上公式5中的可见光与红外缩放比例p得到红外图像中该片钢帽区域的长ah和宽bh,以映射后的钢帽坐标为中心,ah和bh为长和宽的矩形区域作为钢帽温度提取区域。去除钢帽温度提取区域中最大和最小温度值,消除噪声的影响;以该区域的平均温度值作为单片钢帽的平均温度值。
以某地区某线路一串110 kV绝缘子和一串220 kV绝缘子为研究对象,分别拍摄一组绝缘子可见光图片和红外图片,其红外图像如图7(a)和图7(c)所示。分别采用本文提出的钢帽温度提取法和人工读取钢帽温度方法提取绝缘子串钢帽温度,分别绘制温度分布曲线,如图7(b)、图7(d)所示。其中认为人工读取的钢帽温度为钢帽的准确温度。根据公式7进行零值缺陷判断,两种方法判断结果相同,均为110 kV绝缘子串无零值缺陷,220 kV绝缘子串中高压端第五片为零值绝缘子。表明本文提出的绝缘子钢帽温度提取方法可以应用于绝缘子零值检测,对于110 kV和220 kV线路均能准确检出零值绝缘子。
(a)
(b)
(c)
(d)
Figure 7. Temperature distribution curve of insulator string steel cap extracted by intelligent extraction and manual extraction. (a) Infrared picture of a 110 kV insulator string; (b) Temperature distribution curve of 110 kV insulator string; (c) Infrared picture of a 220 kV insulator string; (d) Temperature distribution curve of 220 kV insulator string
图7. 智能提取与人工提取的绝缘子串钢帽温度分布曲线。(a) 110 kV绝缘子串红外图片;(b) 110 kV绝缘子串温度分布曲线na;(c) 220 kV绝缘子串红外图片;(d) 220 kV绝缘子串温度分布曲线
另一方面,测试人工提取的温度和本文方法提取的温度的一致性程度。采用相关系数和温差的标准差来衡量两组数据的一致性程度。相关系数是研究变量之间相关程度的量,是协方差的标准化格式相关系数是一个介于−1和1之间的值,相关系数绝对值越靠近1,两组数据的相关性越强。标准差是方差的算术平方根,反映数据集的离散程度。本文统计了对同一片钢帽人工提取温度(T人)和智能提取方法提取温度(T智)的差值ΔT(T人 − T智),通过计算ΔT的标准差来反映两种方法的一致性。绝缘子钢帽的人工提取温度和智能提取方法提取温度的相关系数及其差值的标准差计算结果如表1所示。

Table 1. Calculation of the correlation coefficient and the standard deviation of ΔT
表1. 相关系数及ΔT的标准差计算结果
结果表明,人工提取的温度数据和智能提取方法提取的温度数据表现为强线性相关,表明两种方法获取的温度曲线趋势是一致的;根据零值绝缘子红外检测行业标准,绝缘子钢帽相对温差大于0.5℃时为零值绝缘子,两种方法获取的温度差的标准差极小(小于0.079℃),且远小于标准中零值判据的相对温差阈值(0.5℃),表明采用本文提出方法提取温度的误差几乎不会影响绝缘子零值缺陷的判定。
综上所述,采用本文提出的绝缘子钢帽温度提取方法可以有效应用于零值绝缘子检测,可以准确判别正常绝缘子和零值绝缘子,具有很好的实用性。
5. 结论
本文利用可见光图像对绝缘子钢帽进行精准定位,基于Faster-RCNN深度学习网络算法对绝缘子串的检测准确率为98.3%,效果显著。基于绝缘子强弱边缘相连特点对sobel算子边缘检测方法进行了改良,能够在复杂背景中检测出大部分钢帽边缘。提出了基于形状特征与间距特征的钢帽定位修正方法,在钢帽间距渐变、两端漏分割、中间漏分割的情况下均能准确修正。提出了同场景条件下绝缘子在可见光与红外图像中的像素点坐标转换方法,实现红外图像中绝缘子钢帽的提取。分别对110 kV和220 kV绝缘子进行零值缺陷检测,采用相关系数和标准差对本方法提取的钢帽温度和基准温度进行差异性分析,结果表明基于本方法的绝缘子零值缺陷检测方法能够准确提取钢帽温度,准确检出零值绝缘子。验证了所提出的绝缘子钢帽温度提取方法在零值绝缘子检测上具有较好的实用性与可靠性。
基金项目
国家自然科学基金项目(No. 51477072)。
NOTES
*通讯作者。