自监督表示学习算法的电力导线故障识别

Power Line Fault Identification Based on Self-Supervised Representation Learning Algorithm

摘要: 随着人工智能技术的发展和进步，我们日常生活的各个方面现在都发生了巨大的变革，尤其是卷积神经网络在输电线路中电力导线故障检测中的应用，极大程度上消除了输电安全隐患，保障了人民生活用电，但是常规卷积神经网络应用于视觉任务需要大量的训练数据，而输电线路中某些故障极为稀缺，收集与标记这些训练数据要消耗巨大的人力、物力。基于此本文提出利用自监督表示学习算法应用于输电线路中电力导线的故障分类识别任务，以缓解数据采集与标注困难的问题。自监督表示学习算法可从未标记样本中进行学习，不需要负采样，有更高的训练效率，在实验中，将自监督表示学习算法与其他基线方法进行比较，其表现优异，在电线损坏分类与识别任务中，能够达到0.87的平均精度，表明了该算法的有效性与实用性。

Abstract: With the development and progress of artificial intelligence technology, all aspects of our daily life have undergone tremendous changes, especially the application of convolutional neural networks in the fault detection of power conductors in power transmission lines, which has greatly eliminated power transmission. Potential safety hazards ensure people’s electricity consumption, but the application of conventional convolutional neural networks to visual tasks requires a lot of training data, and certain defects in the transmission line are extremely scarce. Collecting and marking these training data consumes huge manpower and material resources. Based on this, this paper proposes to apply self-supervised representation learning algorithm to the fault classification and recognition task of power conductors in transmission lines to alleviate the problem of data labeling difficulties. The self-supervised representation learning algorithm can learn from unlabeled samples and does not require negative sampling. It has higher training efficiency. In the experiment, the self-supervised representation learning algorithm is compared with other baseline methods and its performance is excellent. In the task of classification and identification of wire damage, the average accuracy can reach 0.87, which shows the effectiveness and practicability of the algorithm.

1. 引言

电力是工业化和经济社会的支柱。一个现代化的国家短暂的电力供应缺失就会造成巨大的损失。在部分国家缺乏对老化的输电基础设施进行保障监管，导致电力设施老化损坏，例如，停电会导致企业和其他关键基础设施的整体生产关闭。电力设施损坏造成的巨大经济损失下亟需要一种智能方式来定期监控输电线路和电网基础设施，以准确监控、管理和分析智能电网确保不间断的电力流动，防止输电线路设施损坏导致的停电。

近年来，各种基于机器学习的智能算法用于输电线路故障检测中，这些机器学习方法能够在故障发生时对电路进行检测。文献 [1] 提出了一种通过实施人工神经网络来检测导线受损部位的方法，利用收集的数据以及人工神经网络进行及时预测，在电力导线结构发生严重损坏之前采取预防措施将非常方便和有效。随着机器学习算法和智能方法的部署，所提出的系统可以自发减少造成电力导线损坏的因素，其文章中所提出的架构对于找出可能使电力导线变形的隐藏因素非常有效。文献 [2] 提出了一项基于机器学习检测电力导线损坏的研究，该研究对从事这些机器的维护和故障检测工作的人员非常有效，如逻辑回归和随机森林，实验结果表明，基于机器学习的随机森林算法非常有效，准确率达到了98.5%，精度达到了97.6%。文献 [3] 研究了多种基于人工智能的智能技术来检测电力电缆网络中的损坏，由于对学习和可靠性的数据要求较少，因此用于故障检测的离散小波变换的部署和使用非常有效，该方法对任何噪声都不敏感，因此可以有效地用于检测领域，该研究强调了无人机与基于人工智能算法的有效集成，综合应用于输电线路中的故障检测。文献 [4] 提出了一项创新机器学习算法研究，根据目标特征进行分类，通过对比不同的算法，如逻辑回归、随机森林、AdaBoost以及人工神经网络并进行试验，其实验结果表明随机森林是最有效的算法，可达到0.85的检测精度。

以上研究显示，深度神经网络在电力导线缺陷检测的视觉任务中表现出了显著的性能 [5] [6] [7] [8]，但是，不可否认深度神经网络亦存在着自身的缺陷 [9]，我们知道倘若没有足够的训练数据，即使神经网络足够深足够大也无法解决难题，深度神经网络目标检测正确率与训练样本数量息息相关，甚至在某个阶段会成正比。在实际作业中收集训练所需样本也是一个非常大的难题，尤其在输电线路中某些缺陷尤为稀缺，往往需要消耗巨大的人力、物力。因此，本文在深度神经网络中加入了自监督表示学习算法(BYOL, Bootstrap Your Own Latent)，旨在从未标记样本中进行学习，以缓解数据标注困难的问题。

2. 自监督表示学习算法

在深度神经网络中键入自监督学习的目标很简单，即训练一个模型使得相似的样本具有相似的表示，然而具体实现却困难重重。再经过谷歌等诸多先驱者若干年的研究，自监督学习如今已取得一系列的进步与发展。关于自监督学习，最早的方法是一些生成的方法，主要希望学习到的表示能够重构图像。但是这会强迫表示学到一些对于后续任务没用的信息，即浪费了计算精力到无用的事情上。相比之下，对比学习方法就很少面临这样的问题。通过对比方法，同一图像不同视图的表示更接近(正例)，不同图像视图的表示相距较远(负例)，通过这样的方式可以减少表示的生成成本。为了实现对比方法，必须将每个样本与其他许多负例样本进行比较。然而这样会使训练很不稳定，同时会增大数据集的系统偏差。例如，当消除图像增强中的颜色失真时，SimCLR [10] [11] 表现不佳，同一图像的不同裁切一般会共享颜色直方图，而不同图像的颜色直方图是不同的。因此，在对比任务中，可以通过关注颜色直方图，使用随机裁切方式实现图像增强，其结果表示几乎无法保留颜色直方图之外的信息。不仅仅是颜色失真，其他类型的数据转换也是如此。不过好在BYOL不依赖负采样，在训练中，每次遍历只需对每个样本采样一次，无需关注负样本，从而很好的避免了该问题。由于这样的设定使得自监督表示学习方法算法能显著改善模型训练效率和泛化能力。

自监督表示学习方法使用两个相互交互并相互学习的神经网络，称为在线网络和目标网络，二者相互作用，相互学习。BYOL从图像增强视角出发，训练在线网络预测同一图像在不同增强视角下的目标网络表示，如图1。

Figure 1. Self-supervised representation learning method network architecture

图1. 自监督表示学习方法网络架构

上图中自监督表示学习方法包含两个相同的编码器网络。第一个编码器网络的权重随着每一训练批次进行更新，而第二个网络(称为“目标”网络)使用第一个编码器权重均值进行更新。sg表示停止梯度。

从第一个增强视图 $\upsilon$ ，在线网络输出 $y_{\theta }\triangleq f_{\theta }$ 和投影 $z_{\theta }\triangleq g_{\theta }\left(y\right)$ 。从第二个增强视图 ${\upsilon }^{\prime }$ ，目标网络输出 ${y^{\prime }}_{\xi }\triangleq f_{\xi }\left({\upsilon }^{\prime }\right)$ 和目标投影 ${z^{\prime }}_{\xi }\triangleq g_{\xi }\left(y^{\prime }\right)$ 。然后输出 ${z^{\prime }}_{\xi }$ 的预测 $q_{\theta }\left(z_{\theta }\right)$ ，并将 ${\bar{q}}_{\theta }\left(z_{\theta }\right)$ 和 ${z^{\prime }}_{\xi }$ 归一化为 ${\bar{q}}_{\theta }\left(z_{\theta }\right)\triangleq q_{\theta }\left(z_{\theta }\right)/{\Vert q_{\theta }\left(z_{\theta }\right)\Vert }_2$ 和 ${\overline{z^{\prime }}}_{\xi }\triangleq {\Vert {z^{\prime }}_{\xi }\Vert }_2$ 。使得在线和目标网络管道之间的架构不对称。最后，定义了归一化预测和目标投影之间的以下均方误差：

$L_{\theta ,\xi }\triangleq {\Vert {\bar{q}}_{\theta }\left(z_{\theta }\right)-{\overline{z^{\prime }}}_{\xi }\Vert }_2^2=2-2\cdot \frac{\langle q_{\theta }\left(z_{\theta }\right),{z^{\prime }}_{\xi }\rangle }{{\Vert q_{\theta }\left(z_{\theta }\right)\Vert }_2\cdot {\Vert {z^{\prime }}_{\xi }\Vert }_2}$ (1)

上式中 $\theta$ 是训练的权重， $\xi$ 是 $\theta$ 的指数移动平均值，BYOL最小化 $q_{\theta }\left(z_{\theta }\right)$ 和 $\text{sg}\left({z^{\prime }}_{\xi }\right)$ 之间的相似性损失，在训练结束时， $y_{\theta }$ 被用作图像表示。我们将方程中的损失 $L_{\theta ,\xi }$ 对称化。方程(1)通过将 ${\upsilon }^{\prime }$ 和 $\upsilon$ 分别馈送到在线网络到目标网络来计算 ${\tilde{L}}_{\theta ,\xi }$ 。在每个训练步骤中，执行一个随机优化步骤以最小化损失：

$L_{\theta ,\xi }^{BYOL}=L_{\theta ,\xi }+{\tilde{L}}_{\theta ,\xi }$ (2)

目标网络的参数 $\xi$ 是以滑动平均模型(exponential moving average, EMA)的方式根据在线网络的参数 $\theta$ 和衰减率t来进行更新的，可概括为：

$\theta \leftarrow optimizer\left(\theta ,\nabla L_{\theta ,\xi }^{BYOL},\eta \right)$ (3)

$\xi \leftarrow t\xi +\left(1-t\right)\theta$ (4)

其中 $optimizer$ 是优化器， $\eta$ 是学习率。在训练过程中，目标网络接收原始批次训练数据，而另一个编码器则接收相应的转换数据。两个编码器网络会分别为相应数据生成低维表示。然后，使用多层感知器预测目标网络的输出，并最大化该预测与目标网络输出之间的相似性。最终经多层感知机结构层(Multilayer Perceptron, MLP)可以识别出数据转换并预测目标隐向量，训练结束后，舍弃目标网络编码器，只保留一个编码器，根据该编码器，所有训练数据可生成自洽表示。

通过这种方式对缺乏大规模数据标注的输电线路电力导线故障检测任务而言，模型能够通过在少量的标注数据的情况下极大程度上提升其精度，采用自监督表示学习使在线网络与目标网络互相学习进步，最终得到所有训练数据可生成自洽表示，最后结合任务需求对模型进行微调得到最优模型。

3. 实验分析

本文提出了一种基于机器学习的自监督表示学习方法，用于电力导线的准确分类。该算法由三个主要阶段组成：1) 少量电力导线故障分类及标注。2) 在相同的训练环境下，选取不同的算法例如Cascade R-CNN [12]、Grid R-CNN [13]、RetinaNet [14]、Faster-R-CNN [15] 等进行对比模型训练。3) 对比不同算法下的模型精度。这种整体方法和实验设置如图2所示。

其中骨干网络由深度卷积神经网络构成，主要使用残差网络(ResNet, Residual Network) [16] 将输入图像映射为深层特征图，该部分通常在ImageNet [17] 数据集上进行预训练。文中模型中的骨干网络部分采用ImageNet特征学习训练所得的特征提取网络参数进行初始化，为目标检测模型尽可能多地提取相关的先验知识，在自监督表示学习方法引入projector来摆脱上下游任务对于网络的影响，在更新网络时也采用了动量更新的方式防止模型的坍塌。

Figure 2. Self-supervised representation learning method

图2. 自监督表示学习方式

自监督表示学习方法的分类识别结果如下图3所示，图像中电力线的较高提取能力反映了所提出模型的适用性，仿真结果及其与为验证和性能评估目的而选择的其他基线模型的比较，可以得出结论，自监督表示学习方法所训练模型在目标区域的分类和识别方面都取得了显着的结果。

Figure 3. Self-supervised representation learning method classification results

图3. 自监督表示学习方法分类结果

此外，我们对不同的训练和测试集进行了模拟结果，从中积累了308幅图像，通过在30%的验证集上进行测试，在ResNet特征提取网络下，利用不同算法对导线故障检测进行精度对比，其中将将检测IoU阈值设为0.5的mAP (本文记为mAP@0.5" target="_self">mAP@0.5)表现以及处理帧数(Frames Per Second, FPS)如图4所示。图中r50对应ResNet-50，x101对应ResNeXt101，r101对应ResNet-101可以看出在同一模型下，随着r50到r101的变化，FPS在不断降低，而mAP@0.5" target="_self">mAP@0.5在不断增高，当ResNet-101结合自监督表示学习方法时精度表现最优。

Figure 4. Comparison of detection accuracy of wire faults by different algorithms

图4. 不同算法对导线故障的检测精度对比

表1中展示了同算法对导线故障检测中的具体精度指标，表中所示与其他目标检测方法进行比较后，可以发现在小样本的训练样本支撑下，大多数基于目标检测算法如Faster-rcnn、Cascade R-CNN、Grid R-CNN、RetinaNet网络无法通过小样本学习到目标的深层特征，因此精度普遍较低，而自监督表示学习方法则是在小样本下展现性能优越，在召回率方面高出Faster-rcnn方法32%，精准度方面高出Faster-rcnn方法39%，高识别率和分类率反映了自监督表示学习方法在小样本或无样本中的适用性。

Table 1. Comparison of training accuracy of different models

表1. 不同模型训练精度对比

4. 结论

本文介绍了一种自监督表征学习算法，解决了输电线路导线故障数据采集与标注困难的问题，实验结果表明，该方法在小样本情况下能够大幅度地提升输电线路导线故障识别精度，可得以下结论：

1) 从图像增强视角出发，使在线网络与目标网络互相学习进步，得到所有训练数据生成自洽表示，而后将学习到的特征用于输电线路电力导线故障目标识别任务，与常规Faster-rcnn目标检测算法相比本文方法在召回率方面提升了32%，精准度提升了39%，表明了自监督表示学习方法在小样本或无样本中的适用性。

2) 本文方法应用于输电线路电力导线故障识别领域，突破了基于深度学习的智能输电线路感知研究中对大规模有标注电力导线故障目标数据集需求的限制。

3) 满足了智能电网识别发展的新需求，能够应对多种环境变化，具有较强的实用价值。

致谢

感谢御航智能有限公司相关人员提供的技术支持。