基于改进迁移学习的电能质量扰动分类方法

Power Quality Disturbance Classification Method Based on Improved Transfer Learning

摘要: 针对电能质量扰动信号的分类问题，本文提出一种基于格拉姆角场与多重迁移学习的电能质量扰动分类方法。首先利用格拉姆角场将一维电能质量扰动信号转化为GAF编码图像，然后构造三个ResNet子模型网络，选用具有代表性的信噪比为0 dB、20 dB、40 dB的扰动信号作为子模型的输入分别训练三个子模型，期间采用多重迁移学习的方法，将子模型的训练权重依次传递迁移，使得后一个模型的预训练权重继承自上一个模型的训练权重，并采用部分冻结与部分微调的权重处理方式保证模型具有最优的训练效果。最后将三个子模型的特征进行融合后训练全连接层分类器，最后获得完整的电能质量扰动分类模型。仿真验证该方法具有良好的分类准确度与抗噪性能，所提模型具有良好的鲁棒性与泛化性。

Abstract: Aiming at the classification of power quality disturbance signals, a power quality disturbance classification method based on gram angle field and multiple transfer learning is proposed in this paper. Firstly, the one-dimensional power quality disturbance signal is transformed into GAF coded image by using gram angle field, and then three RESNET sub model networks are constructed. The disturbance signals with representative signal-to-noise ratios of 0 dB, 20 dB and 40 dB are selected as the input of the sub model to train the three sub models respectively. During this period, the training weights of the sub models are transferred in turn by using the method of multiple transfer learning. The pre training weight of the latter model is inherited from the training weight of the previous model, and the weight processing methods of partial freezing and partial fine-tuning are adopted to ensure the optimal training effect of the model. Finally, the features of the three sub models are used to train the full connection layer classifier, and finally a complete power quality disturbance classification model is obtained. Simulation results show that the method has good classification accuracy and anti noise performance, and the proposed model has good robustness and generalization.

1. 引言

近年来，随着国家工业化水平的提高以及科学技术水平的发展，居民的生活水平以及制造生产部门的自动化水平日益提高，人们对用电质量的要求相应地逐年增加。向用户提供有质量和稳定性保证的电能对于维护电力系统的安全稳定运行以及保障居民的正常用电有着重要的意义 [1] 。但是，大量新型电力电子设备的使用以及各种分布式电源的并网使得电力系统中的电能质量问题日益严重，严重威胁到电力系统的安全稳定运行 [2] 。为了改善电能质量，需在对电能质量扰动充分认识的前提下对电能质量问题可能造成的危害进行评估并制定相应的应对措施 [3] ，因此，对电能质量扰动信号进行准确快速的识别以及分类具有十分重要的研究意义。

目前，国内外研究学者对电能质量扰动信号的识别分类的探究主要以扰动特征的提取与扰动信号的分类器分类相结合的形式。文献 [4] 采用离散平稳小波分解获取电能质量扰动信号的小波分解系数，并利用能量熵的统计参数来提取扰动特征，最后运用多标签决策树构造随机森林分类器实现扰动分类。该方法充分考虑多标签数据的特性，对于复合扰动的识别分类具有较好的泛化性，但其提取特征的算法过程中容易产生特征冗余，且经仿真验证该方法的抗噪性能还有待进一步加强。文献 [5] 采用将扩展Prony算法、聚类经验模态分解法(EEMD)、TK能量算子以及希尔伯特–黄变换(HHT)相结合的方法对电能质量扰动信号进行多特征量提取，选用设计决策树分类器进行快速的扰动识别与分类，并通过仿真验证了该方法的可行性与准确性，但是该方法的特征提取模块太过复杂，且其对于复合扰动的分类准确度还有待提高。文献 [6] 运用固有时间尺度分解(ITD)算法对电能质量扰动信号进行分解，并从尺度分量中提取扰动信号的特征向量，然后采用K-均值聚类算法构建分类器对扰动信号进行分类。该方法经仿真验证达到了较高的准确率并具有良好的抗噪声性能，但其也仅仅考虑了单一扰动的情况。这些方法都是基于传统的机器学习的方法，都需要先对电能质量扰动信号进行特征提取，然后再设计分类器实现扰动的识别与分类。但是现有的特征提取方法皆没有的统一的标准，容易在提取时产生特征冗余 [7] [8] [9] [10] [11] 。无效的分类项会干扰主要特征的提取，进而影响整个扰动识别分类系统的分类准确率、泛化性以及抗噪能力 [12] [13] 。

深度学习(Deep Learning, DL)是类属于机器学习与人工智能领域的一种新型的数据处理与分析方法 [14] ，并在过去的十几年中迅速发展，如今已经在多个领域发挥重要作用 [15] [16] [17] [18] [22] 。在用于扰动数据的分类时，整个深度学习模型能将扰动数据的特征提取和扰动的识别分类合二为一，成功减少了人为单独提取扰动特征的麻烦与弊端。但神经网络的迭代速度慢的问题始终没能得到好的解决办法，而迁移学习能够大大减少样本训练的时间，提升效率 [19] [20] [21] [22] ，因此，为了将迁移学习应用到电能质量扰动的分类中去，本文提出利用格拉姆角场(Gramian Angular Field, GAF)将原始一维扰动序列转化为保留所有信息的二维图像，然后利用经RAdam优化器优化的卷积神经网络，并采用多重迁移学习(Multiple Transfer Learning, MTL)的方法对图像进行特征提取以及扰动的分类识别，并通过仿真验证了所提方法的有效性。

2. 格拉姆角场

本格拉姆角场(GAF)是基于格拉姆矩阵(Gramian Matrix, GM)改进获得的一种反映信号序列各向量间相似性的编码图像 [23] 。格拉姆矩阵的表达式为：

$G=\left(\begin{array}{cccc}\langle a_1,b_1\rangle & \langle a_1,b_2\rangle & \cdots & \langle a_1,b_n\rangle \\ \langle a_2,b_1\rangle & \langle a_2,b_2\rangle & \cdots & \langle a_2,b_n\rangle \\ ⋮& ⋮& \ddots & ⋮\\ \langle a_n,b_1\rangle & \langle a_n,b_2\rangle & \cdots & \langle a_n,b_n\rangle \end{array}\right)$ (1)

式中 $\langle a_i,b_j\rangle$ 表示 $a_i$ 与 $b_j$ 两向量间的内积。

利用经归一化处理后的时间序列，计算对应格拉姆矩阵并进行编码可以获得该时间序列的格拉姆场编码图像。但是由此获得的图像是模糊且没有辨识度的。这是因为时间序列是一维的，尽管对应的格拉姆矩阵保留了对时间的依赖性，但矩阵中各元素的值呈现高斯分布，即点积无法将时间序列中具有显著特征的信息与高斯噪声区分开来，导致矩阵的稀疏性不够，这对于善于处理稀疏性数据的CNN是不利的。为了在转换图像时保留原始数据信号中的全部信息，需要对一维序列进行扩维 [24] 。

将时间序列转化为用极坐标系表示，基于极坐标系下的时间序列，定义格拉姆角场为：

$G_S=\left(\begin{array}{ccc}\cos \left({\theta }_1+{\theta }_1\right)& \cdots & \cos \left({\theta }_1+{\theta }_n\right)\\ \cos \left({\theta }_2+{\theta }_1\right)& \cdots & \cos \left({\theta }_2+{\theta }_n\right)\\ ⋮& \ddots & ⋮\\ \cos \left({\theta }_n+{\theta }_1\right)& \cdots & \cos \left({\theta }_n+{\theta }_n\right)\end{array}\right)={\tilde{X}}^T\tilde{X}-{\sqrt{I-{\tilde{X}}^2}}^T\sqrt{I-{\tilde{X}}^2}$ (2)

$G_D=\left(\begin{array}{ccc}\sin \left({\theta }_1-{\theta }_1\right)& \cdots & \sin \left({\theta }_1-{\theta }_n\right)\\ \sin \left({\theta }_2-{\theta }_1\right)& \cdots & \sin \left({\theta }_2-{\theta }_n\right)\\ ⋮& \ddots & ⋮\\ \sin \left({\theta }_n-{\theta }_1\right)& \cdots & \sin \left({\theta }_n-{\theta }_n\right)\end{array}\right)={\sqrt{I-{\tilde{X}}^2}}^T\cdot \tilde{X}-{\tilde{X}}^T\cdot \sqrt{I-{\tilde{X}}^2}$ (3)

式中 $I=[1,1,\cdots \cdots 1]$ 为单位向量， $\tilde{X}$ 表示经过缩放后时间序列， ${\tilde{X}}^T$ 表示 $\tilde{X}$ 的转置。

$G_S$ 与 $G_D$ 分别表示格拉姆角和场(Gramian Summation Angular Field, GASF)与格拉姆角差场(Gramian Difference Angular Field, GADF)。 $G_S$ 与 $G_D$ 的差异主要体现在内积的定义上面。为了利用极坐标系下的角度来反映各点自身以及相互之间连接的关系，无论是 $G_S$ 还是 $G_D$ 都对内积进行了重新定义：

${\langle x_i,x_j\rangle }_S=\cos \left({\theta }_1+{\theta }_2\right)=x_i\cdot x{}_j-\sqrt{1-x_i{}^2}\cdot \sqrt{1-x_j{}^2}$ (4)

${\langle x_i,x_j\rangle }_D=\sin \left({\theta }_1-{\theta }_2\right)=\sqrt{1-x_i{}^2}\cdot x_j-x_i\sqrt{1-x_j{}^2}$ (5)

相比较于式(1)的内积表达式，式(4)与式(5)都添加了额外的惩罚项，用于将有价值的数据信息与高斯噪声区分开来，这也是格拉姆角场具有高稀疏性的关键所在。而由于内积定义的不一致，针对不同的时间序列， $G_S$ 与 $G_D$ 的稀疏性以及表现原数据信号特征的能力有所不同，具体选用哪一种方式进行图像编码需要根据实际情况来确定。

对格拉姆角场进行图像编码可以获得最终所需要的反映原时间序列完整信息的清晰的二维编码图像。

通过上述方法获得的二维编码图像自左上角往右下角依次保留了对时间的依赖性，并且由于双射映射的转换关系，图像保留了原始时间序列的所有信息，此外，高稀疏性的特性对于卷积神经网络实现分类十分有利。

3. 改进的迁移学习

随着机器学习领域与科技的高速发展，神经网络的设计愈发复杂，网络的层数不断加深，面对不断出现的复杂的目标任务，从头对神经网络进行训练、学习势必会花费巨大的时间，并且还可能无法达到预期的训练结果，而迁移学习则很好地解决了这一问题。为了获得更好的训练效果，本文对迁移学习进了改进。

3.1. 迁移学习的概念

随着机器学习领域与科技的高速发展，神经网络的设计愈发复杂，网络的层数不断加深，面对不断出现的复杂的目标任务，从头对神经网络进行训练、学习势必会花费巨大的时间，并且还可能无法达到预期的训练结果，而迁移学习则很好地解决了这一问题。

给定源域 $D_s$ 、源任务 $T_s$ 以及目标域 $D_t$ 、目标任务 $T_t$ ，迁移学习就是一种将源域中某一源学习任务训练所获得的知识迁移到目标域中的某一目标任务的训练与学习过程的机器学习方法 [25] 。迁移学习的基本示意图如图1所示。迁移学习要求目标任务与源任务之间存在相关联性，否则迁移学习反而会使得网络的训练效果变差。

Figure 1. Process of transfer learning

图1. 迁移学习过程

迁移学习可以基本分为四类：基于实例的迁移学习、基于特征的迁移学习、基于权重的迁移学习以及基于关系知识的迁移学习 [26] 。本文后续使用的是基于权重的迁移学习，即将经过训练的模型的权重参数迁移到新目标任务下模型的训练学习中去，这也是迁移学习中最为常用的一种学习方式。

3.2. 多重迁移学习

在基于权重的迁移学习的基础上，多重迁移学习就是在源任务与目标任务中间穿插一个或者多个相似任务，以对源任务模型训练所获得的权重参数为基础，逐层进行权重迁移，直到最后在目标域下利用前一层中间任务中模型的训练权重对目标任务下的模型进行学习与训练，最终获得期望的目标模型。多重迁移学习的示意图如图2所示。

Figure 2. Process of multiple transfer learning

图2. 多重迁移学习过程

其中，靠近目标任务的中间任务相较于前面的各个任务需与目标任务有着更大的相似性。通过多重迁移学习可以逐层获取相似任务的权重参数，逐层提升目标模型的准确度的同时，可以保证目标模型的可靠性以及稳定性。此外，在目标域数据集过小的情况下，可以用少量的数据获取到不错的训练精度，提升模型的泛用性。

4. 基于改进迁移学习的电能质量扰动分类方法与仿真验证

本文以改进的ResNet网络为子模型，分别选取信噪比为0 dB、20 dB、40 dB的电能质量扰动信号作为子模型的输入，并将输入信号转化为GAF图片后送入子模型进行模型的训练，期间利用多重迁移学习

Figure 3. Flow chart of power quality disturbance classification

图3. 电能质量扰动分类流程图

Table 1. Classification and recognition results of power quality disturbance signals with different SNRs

表1. 不同信噪比下电能质量扰动信号的分类识别结果

进行模型权重的优化，然后利用训练好的子模型进行扰动特征提取，将提取到的特征进行特征融合后送入全连接层分类器训练全连接层，最终获得具有良好抗噪性能以及识别精度的电能质量扰动分类模型。所提方法的具体流程图如图2所示。

为验证所提分类方法的有效性和分类准确度，在Pytorch框架下搭建改进后的ResNet152网络，并按照图2所示的流程对电能质量扰动信号进行分类识别。本文选择与文献 [27] 中所提方法进行比较，最终的分类识别以及比较结果如表1所示。

从表1中可以看出，本文所提方法相较于文献 [27] 所提方法，在整体的分类识别的准确率上有明显的提高，可以证明本文的分类模型在具有良好的抗噪性能的同时，对电能质量的二重扰动甚至三重扰动这些复合扰动都有较好的识别效果。

5. 结论

本文提出了一种改进迁移学习的电能质量扰动分类方法。针对一维扰动信号作为输入无法发挥卷积神经网络完整性能的问题，提出利用格拉姆角场将一维电能质量扰动信号转化为GAF编码图像，GAF编码图像在不损失原信号任何信息的前提下能够有效凸显出不同扰动类型的特点，图片具有良好的稀疏性，有助于卷积神经网络的分类。

为了提升模型的训练速度并进一步提升子模型的分类准确度和鲁棒性，提出采用多重迁移学习的方法，将子模型的训练权重依次传递迁移，使得后一个模型的预训练权重继承自上一个模型的训练权重，并采用部分冻结与部分微调的权重处理方式保证模型具有最优的训练效果。

经仿真验证，本文所提方法在具有较高的分类准确率与抗噪性能的同时还具有良好的稳定性与泛化性。