面向电力图像的混合特征配准算法

Hybrid Feature Alignment Method for Power System Imager

摘要: 电力设备长时间运行过程中，非正常的温升现象可能诱发电力设备失效，造成区域性供电中断，对工业生产、居民生活及社会经济运行带来重大损失。由于红外图像分辨率小，导致基于视觉的温度检测算法无法准确定位发热源位置，提出一种基于联合特征的多模态图像配准算法。首先，使用Canny算子对电力设备红外图像及可见光图像进行边缘轮廓提取增强其特征；然后，采用K-means聚类算法对红外图像进行目标分割，排除背景干扰，提升后续特征提取的有效性；最后，进行特征提取与特征匹配，基于匹配点对计算最优几何变换模型，实现电力设备异源图像配准。在Hpatches等数据集上的实验表明，本文算法相较于其他配准算法准确度和有效特征对均有较大提升，能结合测温算法对电力设备中异常温度源精准定位，辅助电力检修人员快速故障定位。

Abstract: During the long-term operation of power equipment, abnormal temperature rise may trigger equipment failure, causing regional power outages and significant losses to industrial production, residents’ lives, and socio-economic operations. Due to the low resolution of infrared images, vision based temperature detection algorithms cannot accurately locate the location of heat sources. A multi-modal image registration algorithm based on joint features is proposed. Firstly, the Canny operator is used to extract edge contours and enhance the features of infrared and visible light images of power equipment; Then, the K-means clustering algorithm is used to perform target segmentation on the infrared image, eliminate background interference, and improve the effectiveness of subsequent feature extraction; Finally, feature extraction and feature matching are performed, and the optimal geometric transformation model is calculated based on the matching point pairs to achieve heterogeneous image registration of power equipment. Experiments on datasets such as Hpatches have shown that our algorithm has significantly improved accuracy and effective feature pairs compared to other registration algorithms. It can be combined with temperature measurement algorithms to accurately locate abnormal temperature sources in power equipment and assist power maintenance personnel in quickly locating faults.

1. 引言

电力设备的建设对保障社会高速发展起到了不可或缺的作用，为了保证电力设备能够安全平稳的运行，需要对电力设备进行安全状态监测，在其发生故障时能够快速响应，降低电力故障带来的损失[1]。目前电力设备监测大多以人工巡检的方式为主，工作人员手持测温设备，对变电场内电力设备进行测温检查，这种方式费时费力，智能化程度低，也存在一定安全隐患。随着图像处理技术和应用机器人技术的发展，市场上出现了电力巡检机器人。电力巡检机器人同时搭载红外相机和可见光相机，能够同时采集并分析红外图像和可见光图像信息，结合了红外相机能够检测热源、抗干扰能力强以及可见光相机采集到的图像分辨率高、图像纹理清晰的优点[2]，便于对电力设备进行实时故障监测。

为了协同处理红外图像信息和可见光图像信息需要先进行图像配准处理，图像配准通过寻找最佳的空间变换模型，将不同拍摄角度、不同传感器或不同时段拍摄到的2幅或多幅图像进行空间对齐。不同于同源图像配准，可见光图像和红外图像在模态、对比度等方面有较大差异，配准难度更大。

目前，基于红外和可见光图像的异源图像配准大多为基于特征点的配准算法，文献[3]介绍了一种基于SIFT的红外可见光图像配准算法，该算法先对红外图像进行取负向处理后与可见光图像进行配准，该算法增强了传统SIFT算法配准精度，适用于温度分布均匀的待配准目标；文献[4]对FAST特征点提取进行了优化，增强了特征点提取的准确率，但是若目标和背景显著差异太小容易误检或漏检；文献[5]介绍了一种基于图像边缘轮廓的配准算法，该算法对边缘轮廓进行特征提取后引入了边缘轮廓的角度信息和曲率信息，提升了配准精度；文献[6]提出基于斜率一致性的特征点对匹配算法，提高了特征点匹配的准确率；文献[7]介绍了一个基于深度学习的图像配准算法，该算法分别提取红外和可见光图像特征，并通过共享权重约束两种模态的特征在语义空间中对齐，显著降低了模态差异对配准的影响。

本文提出基于联合特征的电力设备图像配准算法，首先对红外相机和可见光相机进行立体校正，将红外相机和可见光相机固定在同一高度上；然后对两幅异源图像进行边缘特征提取并与原图像进行融合，增加特征信息的相似性；再根据K-means算法进行目标区域提取，降低背景环境对目标配准精度的影响；最后进行特征提取和特征匹配并筛除错误匹配点对，计算坐标变换矩阵，完成异源图像的配准。

2. 算法实现

图像配准是一种将两幅或多幅在不同时间、视角或传感器下获取的同一场景的图像进行空间对齐的技术。将待配准的两张图像通过平移、旋转、缩放等方式消除其几何误差，使其对应的像素反应与同一物理位置的过程。

本文提出的基于联合特征的电力设备图像配准方法，算法流程图如图1所示。

Figure 1. Overall algorithm flowchart

图1. 整体算法流程框图

红外和可见光图像边缘特征提取。通过Canny边缘提取算法对红外图像和可见光图像进行边缘特征提取，并将提取到的边缘特征和原图像进行特征融合。

1) 通过K-means算法进行目标区域筛选。降低背景噪声对特征提取的影响。

2) 通过SuperPoint算法对两幅图像的目标区域进行特征提取，提取两幅图像特征点与特征描述子。

3) 通过SuperGlue算法对两幅图像特征点对进行特征匹配，并通过RANSAC算法提出错误特征点对。

4) 计算求得坐标变换模型，实现图像配准。

2.1. 图像边缘特征提取

红外图像和可见光图像之间相似性不高，且具有较大的灰度特征差异，直接进行特征提取工作提取到的特征点相关性低，间接增加了特征匹配的难度。考虑到红外图像和可见光图像都有着较为稳健的边缘特征，且这些特征不会因图像发生平移、旋转、缩放等形变产生实质性的变化，故在进行配准流程之前加入了边缘特征提取。

本文采用Canny边缘提取算法进行边缘特征提取，Canny算法通过多阶段处理能够准确的识别图像的真实边缘信息。该算法对原图进行高斯滤波处理，采用Sobel算子计算处理后图像的梯度幅值和方向，计算方式简要表示如式(1)，(2)：

$M\left(x,y\right)=\sqrt{G_x^2+G_y^2}$ (1)

$\theta \left(x,y\right)=\arctan \left(\frac{G_y}{G_x}\right)$ (2)

式中G_y，G_x表示图像在水平方向和垂直方向的梯度值，Gy，Gx分别由下式表示(3)：

$\{\begin{array}{l}{G}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]\ast I\\ G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\ast I\end{array}$ (3)

其中，∗表示卷积操作，I是输入图像。确定每个像素的梯度后需要继续进行非极大值抑制、双阈值检测与弱边缘连接处理，获取的边缘提取图效果如图2所示。

将边缘提取信息和原图信息进行特征融合，处理后图像如下图3所示。

Figure 2. Edge extraction effect image of infrared and visible light images

图2. 红外图像可见光图像边缘提取效果图

Figure 3. Fusion of infrared images and visible light images

图3. 红外图像和可见光图像融合

2.2. 特征区域提取

由于电厂环境较为复杂，且异源传感器采集到图像信息差异较大。基于特征信息的图像配准方法通过从两幅图像中提取整体特征信息，容易受到背景等因素的影响，仅通过上节中边缘提取仍存在较大误差。

电力系统在正常运行伴有发热，会产生较强的热源信息，相较于其他区域灰度值更高。本文将依据该特性对红外图像进行目标分割，提取待测目标区域，减少了背景环境对配准结果的影响。

K-means图像分割算法相较于其他算法对噪声和非均匀光照的图像表现更稳定[8]，且算法实现简单。因此本文采用K-means作为图像分割算法。该方法选取k个初始聚类中心，计算各像素到聚类中心的欧氏距离，并将其分配到最近的簇。本文选取k = 2，不同k值分割效果如图4所示。

Figure 4. Examples of image segmentation under different k values

图4. 不同k值下图像分割示例

由于可见光与红外相机组成的双目成像系统存在多视角差异，双模态图像在空间配准时易产生像素级坐标偏差。所以，在目标分割阶段需保留目标外围的上下文信息，采用最小外接矩形对目标区域进行框选，作为特征提取区域，尺寸为Wn × Hn。为了消除坐标偏差对特征提取的影响，将特征提取区域尺寸进行拓展，长度增加10像素，高度增加5像素，最终特征提取区域尺寸表示为式(4)。

$\{\begin{array}{l}Wn\text{'}=Wn+10\\ Hn\text{'}=Hn+5\end{array}$ (4)

算法示意图如下图5所示。

Figure 5. Schematic diagram of regional expansion

图5. 区域扩张示意图

在面对多目标任务时，多个目标距离近可能会导致特征提取区域重叠，距离较近。为简化特征图提取步骤，提高算法运行效率，此处加入了相邻区域合并处理，若相邻区域中心距离小于阈值l，将相邻区域进行区域合并，相邻区域中心距离Sn可由下式(5)表示：

$Sn=\frac{\sqrt{W_1{\text{'}}^2+H_1{\text{'}}^2}+\sqrt{W_2{\text{'}}^2+H_2{\text{'}}^2}}{2}$ (5)

合并算法示意图如下图6所示。

Figure 6. Schematic diagram of regional merger

图6. 区域合并示意图

2.3. 图像配准算法

本文图像配准算法采用SuperPoint网络和SuperGlue [9]网络相结合的方式，配准流程如下图7所示。

Figure 7. SuperPoint + SuperGlue registration process

图7. SuperPoint + SuperGlue配准流程

SuperPoint是一个端到端的特征提取网络模型[10]，该模型将语义分割的思想应用于特征点检测中。将一张完整的图片输入该模型，通过共享编码器提取基础特征并输入后级网络，后级网络包括两个解码器，能够并行输出图像特征点坐标位置和描述子信息，SuperPoint算法网络如图8所示。

自监督学习策略能够使该网络无需人工标注即可获得高泛化性能，首先构建由简单图形构成的合成数据集，通过合成数据的标注真值进行监督训练，得到MagicPoint网络，该网络能够识别一些简单角点特征。对于现实图片，该网络检测能力不佳，结合随机单应性变换(Homography)生成多视角图像对，使得该网络在不同视角和不同尺度下有一定的泛化能力。

SuperGlue网络能够实现两图像的特征信息匹配，该网路核心结构由特征增强模块和图神经网络匹配模块组成。输入的两组特征信息通过MLP进行特征增强并利用多注意力机制计算特征点之间的关联性，整合图像上下文线索，最后通过最优传输理论对相似度矩阵进行优化，实现高精度特征匹配，SuperGlue网络结构如图9所示。

SuperGlue能利用描述子相似度，还能结合几何一致性进行联合推理，显著提升特征匹配的准确性，能够更好的处理遮挡、重复纹理及视角变化的图像配准任务。

Figure 8. SuperPoint network structure

图8. SuperPoint网络结构

Figure 9. SuperGlue network structure

图9. SuperGlue网络结构

3. 实验结果分析

3.1. 评价指标

本文评价策略采用主客观评价相结合的评价方式，主观评价主要依靠人眼直接观察，观察叠加后图像之间的对齐程度，判断待配准的两图像存在明显误差。客观评价方法结合配准时间T、匹配点对数N以及特征匹配正确率RST，特征点匹配正确率RST=cm/Cm，上式中cm表示正确特征点对，Cm表示整体匹配点对数。

3.2. 不同配准算法配准效果对比

为了验证本文配准算法在异源图像间配准的有效性，选取了5类图像配准算法进行对比试验，分别选取FAST、SIFT、LGHD (Log-Gabor Histogram Descriptor)以及传统的SuperPoint算法。

使用上述算法对3组可见光和红外图像配准进行配准实验，每组数据集包含15对红外图像和可见光图像对，分别对应了不同的场景。第一组图像主要为人像为主，图像分辨率较低，细节纹理较为模糊，整体配准难度较高。第二组图像以街道场景为主题，图像纹理丰富，清晰度较高，相较于第一组配准的难度降低。第三组图像主要为电力系统，红外图像和可见光图像均为变电站真实采集的图像，背景环境较为复杂，但是主体结构大多为刚体。各配准方法配准实验结果如表1所示。

Table 1. Registration of experimental results with different methods

表1. 不同方法配准实验结果

实验组	方法	T (ms)	N	RST
组1	FAST	46.24	23.17	10.10%
	SUFT	223.42	25.30	24.24%
	本文	242.82	48.87	70.24%
	SuperPoint	234.28	50.52	62.60%
	LGHD	10,786.26	12.72	40.36%
组2	FAST	50.06	8.13	13.76%
	SUFT	250.82	11.31	16.78%
	本文	246.50	30.12	77.80%
	SuperPoint	223.40	47.52	67.12%
	LGHD	7382.18	10.88	21.03%
组3	FAST	57.08	20.12	16.05%
	SUFT	262.33	25.20	13.50%
	本文	266.82	52.89	77.89%
	SuperPoint	241.92	67.32	76.38%
	LGHD	12621.66	34.16	35.20%

FAST算法能够高速检测角点信息，通过比较中心像素与周围16个圆形邻域像素的亮度差异来快速定位特征点，当连续9个以上邻域像素同时比中心点更亮或更暗时即判定为角点。为提高检测质量，算法加入了非极大值抑制等措施，实验结果表明该算法速度最快，但是配准效果欠佳，仅能提取少量的有效特征点对。

SURF算法基于Hessian矩阵检测器来定位尺度空间中的特征点，使用积分图像来加速卷积运算。特征描述阶段通过计算关键点邻域内的Haar小波响应，生成64或128维的特征向量，能够保留了旋转和尺度不变性。该算法在处理红外图像和可见光图像配准时表现不佳，特征点对错误率较高，无法生成正确的变换矩阵。

LGHD算法通过局部梯度方向统计与多尺度分析捕捉边缘结构，构建归一化直方图描述子，利用互相关优化匹配复杂背景下的非刚性形变目标。该方法在进行异源图像配准时，能够保证较多的特征点对，并且正确率较高，部分图像能够完成配准任务。

SuperPoint算法通过自监督卷积网络联合检测关键点与生成256维描述子，利用深度学习模型实现高精度、高效率的端到端特征匹配，直接采用SuperPoint和SuperGlue算法进行异源图像配准，能够完成部分图像的配准任务，但是存在明显错误特征点对，配准精度较低。

下图10~12所示为各组图像特征点对匹配图，特征匹配对之间连线分布能够反应图像配准质量，当特征点对呈现均匀的空间分布且匹配连线方向一致时，表明配准效果尚可；若出现局部密集交叉连线或显著的空间分布偏差，则表明配准存在明显误差。

Figure 10. Feature matching results of each algorithm in Group 1

图10. 第1组各算法特征匹配结果

Figure 11. Feature matching results of each algorithm in Group 2

图11. 第2组各算法特征匹配结果

Figure 12. Feature matching results of each algorithm in Group 3

图12. 第3组各算法特征匹配结果

从上述实验结果可以看出，FAST与SURF算法生成的特征点对匹配连线存在明显的交叉，表明其正确匹配率较低，难以构建准确的坐标变换模型，导致配准失败率较高；LGHD算法虽能筛选出部分正确匹配点，对该方法特征点对正确率较之前两个算法有所提升，但算法平均耗时最长，实用性不佳；SuperPoint算法在多数实验中能生成密集匹配点对，但仍存在局部连线交叉现象，存在一定配准误差；相较而言，本文算法特征点对连线分布均匀，特征点连线交叉现象少，满足多模态图像配准的精度要求。

3.3. 红外可见光异源配准方法应用

目前市面上存在的电力监测软件功能相对单一，电力系统设备分布情况各异，数量众多，市场上传统的监测软件无法对电力设备实现精确定位，检修人员无法迅速对故障进行精确判断。针对该问题，本文将设计一款基于异源图像配准的电力监测软件。

本软件基于Ubuntu16.04操作系统，采用C++语言开发并搭配QT框架构建用户界面，在确保系统资源高效利用的同时，实现了整体架构的轻量化设计，兼具良好的跨平台移植能力，软件功能如下图13所示。

Figure 13. Software functional flowchart

图13. 软件功能流程图

如图14为本软件主界面，启动后首先自动检测红外相机和可见光相机等输入设备状态，完成自检后进入初始化界面，软件为用户提供实时监测和状态分析两种工作模式。在实时监测模式下，软件能够对目标进行实时图像采集、配准，并完成温度检测、异常区域识别及热状态记录等功能；状态分析模式支持用户导入自定义图像，用户选择配准模式，系统能够对指定图像进行配准处理。

Figure 14. Software interface

图14. 软件界面

如图15所示为本软件在实际场景中的测试应用效果。测试表明，该软件具有良好的工程适用性，可有效辅助检修人员快速定位异常发热设备并诊断热故障成因，显著提升电力设备维护效率。

Figure 15. Software testing scenarios

图15. 软件测试场景

4. 结语

本文提出了一种基于图像分割的红外可见光异源图像配准方法。由于可见光图像和红外图像成像机理不同，导致两者之间图像相似度较低，有较大的灰度差异。采用传统的图像配准算法并不能得到准确的配准结果。本文提出的算法利用Canny算法对红外图像和可见光图像进行边缘特征提取，在使用K-means算法对图像中个元素通过灰度信息进行目标提取，并将相邻区域进行区域融合，最后再通过SuperPoint + SuperGlue算法依据特征目标区域进行图像配准。通过不同场景下与其他算法进行对比试验，由对比实验结果可以看出，本文算法能够很好地适用于红外图像和可见光图像的配准任务，能够为电力巡检提供精度保证，便于后续电力设备故障识别与故障定位。