基于改进Attention-RPN的焊缝缺陷检测

Improvement of Attention-RPN for Weld De-fect Detection

摘要: 针对新能源电池组外壳焊缝缺陷检测时存在的缺陷样本少、缺陷目标尺度不一致而导致检测准确率较低问题，提出了一种改进Attention-RPN的小样本焊缝缺陷检测模型。该模型引入了FPN多尺度检测网络和深度布朗距离协方差模块来改善类间相似度的划分，以提高检测精度。结果表明，该模型具有良好的鲁棒性，能够提高检测速度，检测精度可以达到94%。基于真实样本测试表明，本模型可用于新能源锂电池焊缝缺陷检测中。

Abstract: Aiming at the problems of low detection accuracy caused by few defect samples and inconsistent defect target scale, an improved Attention-RPN small sample weld defect detection model was pro-posed for the new energy battery pack shell. In this model, FPN multi-scale detection network and deep Brownian distance covariance module are introduced to improve the classification of in-ter-class similarity and improve the detection accuracy. The results show that the model has good robustness and can improve the detection speed, and the detection accuracy can reach 94%. Based on the real sample test, the model can be used in the detection of weld defects of new energy lithi-um batteries.

1. 引言

动力电池系统是为新能源汽车提供驱动电能的核心能量源，是新能源汽车最关键的零部件之一，目前新能源汽车的动力电池大多为锂电池组，通过若干个锂电池块连接到一起，在连接过程中，有多个工序采用激光焊接工艺，包括极柱焊接、侧板焊接、汇流拍焊接。激光焊接的好坏直接关系到电池的质量和使用寿命，因此每批次电池组出厂前都需要对电池组上的焊缝进行质量检测工序。

焊缝缺陷检测主要有目视检测、超声波检测、图像检测三种。激光焊接的焊缝宽度在mm量级，目视检测效率低下且易遗漏。超声波检测速度较慢，且其探头需要定期检测并根据情况选择不同的尺寸，提高了检测成本并延长了检测时间，图像检测在效率、成本等方面具有显著的优势。而使用传统二维机器视觉方法检测焊缝质量 [1] [2] [3]，检测稳定性不尽人意。目前深度学习技术的很多模型都被应用在焊缝缺陷检测中，其中应用比较广泛的包括卷积神经网络CNN和Faster R-CNN两种网络模型。基于卷积神经网络的方法主要是增加卷积神经网络的层数 [4] 以及与其他模型进行融合 [5]，从而克服原来网络结构简单、特征类别单一的缺点，增强网络对焊缝特征的提取能力，使模型达到更高的识别准确率。但是也增加了模型的参数量，导致了模型训练视觉增加。基于Faster R-CNN的方法 [6] 虽然可以框出缺陷位置，但只对某类缺陷识别率高，整体的识别率不高。另外基于以上两种网络模型训练，所需求得缺陷数据量很大，对于焊缝缺陷数据量偏少的情况而言，无法取得很好的效果。总之上述用深度学习方法对焊缝缺陷检测仍面对精度低下、样本获取困难等问题。

本文针对上述问题提出改进Attention-RPN小样本检测模型，引入FPN多尺度检测增强空间信息与强语义信息，引入深度布朗距离协方差模块替代原有池化层进行分类细化，提升了模型检测精度。实验对比验证了模型的有效性。

2. Attention-RPN算法

Attention-RPN [7] 主要由Faster R-CNN算法改进而来，该网络由深度互相关注意力区域候选网络和多关系检测器两大部分组成。支持图像和查询图像经过共享权重网络生成特征图，然后通过深度卷积互相关模块，将支持特征图作为卷积核，在查询特征图上进行卷积操作，这样得到的特征图上与支持特征图相关部分会被放大，不相关部分会被削弱。之后经过RPN网络生成proposal。多关系检测器部分会将包含真值标签的支持特征图与查询特征图进行匹配，计算出相似度，这样可以得到最终的检测结果。图1所示为Attention-RPN的网络结构图。

Attention-RPN是一种注意力网络，可以用于检测新的目标，无需重新训练和微调，但是由于一些焊缝缺陷过小或尺度变化大导致其对于目标缺陷的特征表达能力仍存在不足，因此本文提出一种基于多尺度特征融合的焊缝缺陷检测算法，同时在检测器部分利用深度布朗距离协方差模块来代替池化层和全连接层，实现对查询集和支持集之间更加精确的相似性度量。

Figure 1. Network structure diagram

图1. 网络结构图

3. Attention-RPN算法改进策略

3.1. 多尺度检测网络

由于焊缝图像上焊缝缺陷与焊缝焊道之间不易区分，且划分缺陷大小尺度多变，原有的网络对一些尺度特别小的缺陷经常会误检，在权值共享网络中生成的三个阶段特征图，位于浅层的特征图包含更多图像特征，而深层网络包含更多语义特征，而多尺度特征金字塔网络(FPN) [8] 的引用可以有效的融合权值共享网络中不同阶段的特征图，使得输出的特征图在保证尺度不变的情况下，包含更多的信息。

图2所示为特征金字塔网络结构图，特征金字塔网络主要包含两个部分，第一个部分是图像经过多个卷积层输出不同尺度的特征图，特征图的尺度会不断变大。第二个部分是从大尺度特征图反向卷积过程，通过由顶层到底层的反向卷积传播可以把更抽象、语义更强的高层特征图进行上采样，然后将该特征横向连接至前一层特征。因此，高层特征得到了增强，每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征，可以完成对应分辨率大小的物体进行检测，保证每一层都有合适的分辨率以及强语义特征。

Figure 2. Multi-scale feature pyramid network diagram

图2. 多尺度特征金字塔网络图

3.2. 深度布朗距离协方差模块

驱动点机械阻抗与驱动点有关，描述手臂振动整体情况，其表达式如下：

布朗距离协方差理论 [9] [10] 是根据特征函数建立的。随机向量的特征函数等价于它的概率密度函数(PDF)，因此它们形成了傅里叶变换对。

设 $X\in R^p$ 、 $y\in r^q$ 分别为p维、q维的随机向量，设 $f_{xy}\left(x,y\right)$ 为它们的联合概率密度函数。X、Y的联合特征函数定义如公式(1)所示 [11]：

${\varphi }_{XY}\left(t,s\right)={\displaystyle \underset{R^p}{\int }{\displaystyle \underset{R^q}{\int }\exp \left(i\left(t^{\text{T}}x+s^{\text{T}}y\right)\right)f_{XY}\left(x,y\right)\text{d}x\text{d}y}}$ (1)

其中I为虚单位。显然X和Y的边际分布分别是 ${\varphi }_X\left(t\right)={\varphi }_{XY}\left(t,0\right)$ 和 ${\varphi }_Y\left(s\right)={\varphi }_{XY}\left(0,s\right)$ 其中0是一个向量，其元素为所有的零。根据概率论知识，X和Y是独立的当且仅当 ${\varphi }_{XY}\left(t,s\right)={\varphi }_X\left(t\right){\varphi }_Y\left(s\right)$。假设X和Y有有限的一阶矩，则BDC度量定义为公式(2)所示 [11]：

$\rho \left(X,Y\right)={\displaystyle \underset{R^p}{\int }{\displaystyle \underset{R^q}{\int }\frac{{\left|{\varphi }_{XY}\left(t,s\right)-{\varphi }_X\left(t\right){\varphi }_Y\left(s\right)\right|}^2}{c_p{c}_q{\Vert t\Vert }^{1+p}{\Vert s\Vert }^{1+q}}\text{d}t\text{d}s}}$ (2)

其中 $\Vert •\Vert$ 表示欧几里得范数， $c_p=\pi \left(1+p\right)/2/\Gamma \left(\left(1+p\right)/2\right)$， $\Gamma$ 为完备伽马函数。

对于m个观测值的集合 $\left\{\left(x_1{y}_1\right),\cdots ,\left(x_m{y}_m\right)\right\}$，它们是独立同分布的(i.i.d.)，一个自然的方法是根据经验特征函数定义BDC度量 [11]：

${\varphi }_{XY}\left(t,s\right)=\frac{1}{m}{\displaystyle \underset{k=1}{\overset{m}{\sum }}\exp \left(i\left(t^{\text{T}}{x}_k+s^{\text{T}}{y}_k\right)\right)}$ (3)

虽然公式(2)看起来很复杂，但是BDC指标对于离散观测有一个闭合形式的表达式。让 $\hat{A}=\left({\hat{a}}_{kl}\right)\in R^{m\times m}$，其中 ${\hat{a}}_{kl}=\Vert x_k-x_l\Vert$ 是在x的成对观测值之间计算的欧式距离矩阵。类似的，计算欧式距离矩阵 $\hat{B}=\left({\hat{b}}_{kl}\right)\in R^{m\times m}$，其中 ${\hat{b}}_{kl}=\Vert y_k-y_l\Vert$。

则BDC指标的形式为 [11]：

$\rho \left(X,Y\right)=\text{tr}\left(A^{\text{T}}B\right)$ (4)

其中 $\text{tr}(\cdot )$ 表示矩阵迹，T表示矩阵转置， $A=\left(a_{kl}\right)$ 称为BDC矩阵。此处

$a_{kl}={\hat{a}}_{kl}-\frac{1}{m}{\displaystyle {\sum }_{k=1}^m{\hat{a}}_{kl}}-\frac{1}{m}{\displaystyle {\sum }_{l=1}^m{\hat{a}}_{kl}}-\frac{1}{m^2}{\displaystyle {\sum }_{k=1}^m{\displaystyle {\sum }_{l=1}^m{\hat{a}}_{kl}}}$ 其中最后三个术语分别表示第l列、第k行和所有元素

的平均值。矩阵B可以从 $\hat{B}$ 以类似的方式计算。由于BDC矩阵是对称的， $\rho \left(X,Y\right)$ 也可以写成两个BDC向量a和b的内积，如公式(5)所示 [11]：

$\rho \left(X,Y\right)=\langle a,b\rangle =a^{\text{T}}b$ (5)

其中，a(resp., b)是通过提取A(resp., B)的上三角部分，然后执行矢量化来获得的。

度量 $\rho \left(X,Y\right)$ 具有一些理想的性质：

它是非负的，当且仅当X和Y独立时，它才等于0；

它可以刻画X和Y之间的线性和非线性依赖关系；

它对X和Y的单个平移和正交变换是不变的，对它们各自的比例因子是等变的。也就是说，对于任何向量 $c_1\in R^p$， $c_2\in R^q$ 、标量 $s_1$ 、 $s_2$ 和正交矩阵 $R_1\in R^{p\times p}$， $R_2\in R^{q\times q}$， $\rho \left(c_1+s_1{R}_{1}X,c_2+s_2{R}_{2}Y\right)=\left|s_1{s}_2\right|\rho \left(X,Y\right)$。

根据公式(4)和公式(5)可知BDC度量在某种意义上是解耦的，也就是说可以独立计算每个输入图像的BDC矩阵。具体而言，就是适用于卷积网络的两层模块，分别执行降维和BDC矩阵计算。由于BDC矩阵的大小与网络中的通道数(特征映射)成二次方增长，在网络主干的最后一个卷积层之后插入一个1 × 1卷积层进行降维。

在公式(6)中 [11]，以 ${\chi }_k$ 为例进行随机观察。总共有三个公式，它们依次计算平方欧几里德距离矩阵 $\hat{A}=\left({\hat{a}}_{kl}\right)$，其中 ${\hat{a}}_{kl}$ 是X的第k列和第l列之间的平方欧几里德距离，欧几里德距离矩阵 $\hat{A}=\left(\sqrt{{\hat{a}}_{kl}}\right)$，以及BDC矩阵A，通过从 $\hat{A}$ 中减去其所有元素的行平均值、列平均值和平均值得到。也就是说：

$\begin{array}{l}\tilde{A}=2{\left(1\left(X^{\text{T}}X\circ I\right)\right)}_{sym}-2X^{\text{T}}X\\ \hat{A}=\left(\sqrt{{\tilde{a}}_{kl}}\right)\\ A=\hat{A}-\frac{2}{d}{\left(1\hat{A}\right)}_{sym}+\frac{1}{d^2}1\hat{A}1\end{array}$ (6)

此处 $1\in R^{d\times d}$ 是一个矩阵，其中每个元素为1，I是单位矩阵，并且 $\circ$ 表示Hadamard product。我们表

示 ${\left(U\right)}_{sym}=\frac{1}{2}\left(U+U^{\text{T}}\right)$。此后，使用 $A_{\theta }\left(z\right)$ 表示BDC矩阵是根据θ参数化的网络和输入图像z计算的。

BDC矩阵通过欧式距离对通道之间的非线性关系进行建模，在文献 [11] 中，被设计成一个单独的模块，即DeepBDC模块，这是一个适用于卷积网络的两层模块，分别执行降维和BDC矩阵的计算。 可以用来度量小样本中不同类别之间的相似性。

4. 侧板焊缝检测与实验

4.1. 实验环境

本文实验运行环境如下GPU:GeForce RTX 2080Ti,16G内存；采用了Linux操作系统，搭建了Pytorch深度学习框架，采用Python作为编程语言。

4.2. 焊缝数据集与参数设置

本文研究的焊缝数据均采集自国内某新能源汽车电池。由于工业制造技术成熟，激光焊由机器取代了人工，焊接的工艺更加精湛，所采集的样本数据量较少。如图3为锂电池组外壳焊接处的焊缝图片：

Figure 3. Side plate weld

图3. 侧板焊缝图

焊缝数据由KEYENCE线扫相机采集得到，线扫相机采集的数据分为RGB图片和深度图，而焊缝点云数据可由RGB图和深度图转换得到，本文的焊缝数据集图片由点云数据在深度方向的投影得到，这样获得的数据不仅避免了传统相机采集数据时表面反光对成像的影响，而且能够更加清晰的反映焊缝的纹理特征。对焊缝缺陷数据进行分析研究，焊缝缺陷主要发生在三个部分(如图4)，分别是焊缝起头不良、焊缝收尾不良和发生在焊缝中间的轨迹偏离以及焊缝凹坑。针对焊缝表面缺陷问题可通过建立卷积神经网络模型解决此类问题，为了验证本文提出基于改进的AttentionRPN网络的检测性能，将焊缝缺陷数据划分为4类，每一类别的缺陷图像数据为10张，图像大小为5400 × 3600。

Figure 4. Weld surface defect types (from left to right, defect types are Bad weld ending, bad weld starting, weld trajectory deviation and weld pit)

图4. 焊缝表面缺陷类型(从左到右，缺陷类型依次为焊缝收尾不良、焊缝起头不良、焊缝轨迹偏离和焊缝凹坑)

训练优化策略采用随机梯度下降(SGD)进行，采用ResNet50作为主干网络，通过注意力网络优化查询集特征图的相关性，实验各参数设置如表1所示。

Table 1. Model parameter setting

表1. 模型参数设置

4.3. 检测效果分析

为了验证模型检测的准确性，将焊缝中的四种缺陷样本作为输入，利用训练后得到的模型文件进行测试。检测结果如图5和表2所示，从检测结果可知，加入特征金字塔网络和DeepBDC模块后，模型的正检率平均可以达到95.5%，对于焊偏、凹坑的缺陷可以准确检测出，对于起头不良和收尾不良识别率也很准确。

Table 2. Model parameter setting

表2. 模型参数设置

Figure 5. Detection result

图5. 检测结果图

4.4. 对比实验

为了验证改进后的小样本目标检测模型的检测能力，将引入FPN多尺度检测网络和DeepBDC分类模块与原网络作对比，实验数据集采用miniImageNet，评价指标包括精确度、mAP值以及每张图片的检测时间。其中精确度是指在全部预测某种缺陷的结果中预测正确结果所占的比例，mAP值是指检测算法对多个类别检测平均精度的均值。对比结果如表3所示。

Table 3. Compare the results of different algorithms

表3. 不同算法对比结果

5. 结论

本文分析了基于Attention-RPN小样本目标检测网络的检测方法，在权值共享网络ResNet50结构的基础上，添加了多尺度特征网络，对生成的特征图进行底层信息与顶层信息融合，融合后的特征图相比于之前包含更加丰富的语义信息，引入DeepBDC模块。通过实验可以看出，改进后的小样本目标检测网络对分类进行了细化，对于多尺度缺陷识别能力得到了增强，提升了检测精度与速度。