一种基于阈值的射线焊接缺陷图像特征提取算法

A Threshold Based Feature Extraction Algorithm for X-Ray Welding Defects

摘要: 本文对来源不同的两部分射线图片数据进行灰度处理，同时去除图片中的标记信息；通过滤波处理，去除绝大多数噪音信号；接着对图像进行Otsu阈值分割算法进行初次特征提取，结果发现靠近边缘的缺陷特征出现了部分丢失，针对这一问题，本文采用闭操作，膨胀处理对图像进行修复。针对焊接缺陷图像背景区域占比远大于特征区域且图像尺寸较大的特征，本文提出了一种基于特征阈值的焊接缺陷特征提取的方法。该方法进一步对焊接缺陷进行特征提取，并构建数据集。通过实验发现，该方法能够很好地提取焊缝缺陷特征，达到预期效果，能够满足后期模型训练的要求。

Abstract: In this paper, two parts of ray image data from different sources were processed in gray scale, and the marking information in the image was removed. Most noise signals are removed by filtering. Then the Otsu threshold segmentation algorithm was used for the initial feature extraction of the image, and it was found that the defect features close to the edge were partially lost. In view of this problem, the paper used the closed operation and expansion processing to repair the image. In view of the fact that the proportion of background area in welding defect image is much larger than that of feature area and the image size is large, a method of welding defect feature extraction based on feature threshold is proposed in this paper. The method is used to extract the features of welding defects and construct a data set. Experiments show that this method can extract the weld defect characteristics well, achieve the expected results, and meet the requirements of later model training.

1. 引言

在焊接加工中，缺陷是不可避免的。缺陷不仅会影响目标主体的使用性能，而且会缩短使用寿命，导致发生灾难性事件。因此，无损检测在焊接缺陷检测中起着至关重要的作用。在传统的无损检测过程中，检测人员通过观察X光扫描焊接图像来识别焊缝的缺陷，由于射线图片质量差、焊缝过厚、对比度差、噪声信号较大、缺陷尺寸小等问题，导致人工检测困难；且人工检测往往缺乏客观性和一致性；其次，由于现代工业生产效率提高，工人每天需要分析大量的射线图片，致使人工检测的劳动强度大；最后，人工视觉检查的效率至多为80%，而这种效率只有在实施严格的程序化检测流程时才能实现 [1]。近年来，随着科学技术的进步、数字图像技术成熟以及计算机视觉在工业领域的广泛应用，使缺陷检测技术得到快速发展。

2. 相关研究

射线图像的焊缝缺陷检测是无损检测的一个重要的研究课题。焊缝缺陷分类是基于工业焊接数据集并在其之上使用传统方法作研究。其中，焊缝图像处理是焊缝缺陷检测的重要前提，针对图像处理，Zscherpel等人 [2] 采用面向行低通滤波器，设计了一种用于检测裂纹缺陷的一维fft滤波器，用于区分底切和裂缝。除了fft滤波器，中值滤波和自适应维纳滤波也被成功地应用于图像去噪。Wang和Liao等人 [3] 将其用于连续焊缝的射线图像处理，在实验中达到了良好的去噪效果。Zapata等人 [4] 提出一种自动检测系统描述缺陷的形状和方向，实验结果验证该方法的有效性。基于低阈值和高阈值图像归一化处理，El-Tokhy等人 [5] 使用对比度拉伸算法改善图像，为焊接缺陷图像的处理提供了新思路。zhou和gao等人 [6] 建立磁光成像传感的模糊灰度变换和滤波反投影(FGT-FBP)重构检测方法，有效突出焊接缺陷特征。chen和zhang等人 [7] 提出用于阴影去除的两阶段上下文网络CANet，以增强图像的对比度。在特征提取方面，zhang [8] 等人提出一种自适应双边滤波算法对图像噪声去除，该方法能够准确地提取出V型焊缝的特征角点坐标，精度上满足实际的焊接要。Hu [9] 等人采用被动视觉传感技术和激光视觉传感技术两种模式提取焊缝图像特征，识别率为96.94%。Tang等人 [10] 设计了一种基于一字激光视觉传感及改进Canny边缘算法的焊缝轮廓提取系统，该系统可简化图像处理，并精确提取焊缝特征点。Malarvel等人 [11] 采用多类支持向量机(MSVM)的焊缝缺陷自动检测和分类技术，实验结果表明该方法对射线图像中焊接缺陷检测和分类十分有效。为解决初始轮廓的选择问题，Abdelkader等人提出改进的Chan-Vese模型 [12]，该方法在GDxray [13] 焊接数据集上得到验证。Wang等人 [14] 使用多方向的各向异性边缘检测算法，与传统方法对比具有较好的边缘提取性。Lu和Zhang等人 [15] 利用区域标记法分割出有效分析区域，减少背景对缺陷检测的影响，降低误判率。Hou等人 [16] 采用滑动窗口的特征提取方法，经过模型训练，达到特征提取的目的。

纵观上述研究，诸多学者针对焊缝图像的降噪处理和缺陷特征提取做了系统的研究，但针对焊接缺陷图像背景区域占比远大于特征区域且图像尺寸较大的问题，提出解决的方案较少。针对上述问题，本文尝试提出一种基于迭代阈值的缺陷特征提取算法。

3. 图像预处理

本文数据分为两部分(包括气孔、裂纹、未焊透三类焊接缺陷特征和少数无缺陷图像数据)且两部分数据均为板料焊接缺陷射线图像。如表1所示，一部分数据来自GDxray中焊接数据集，GDxray [12] 不仅标注了缺陷类型、缺陷位置和缺陷尺寸，还按照焊接缺陷一元分割的要求来进行标注，对焊接缺陷的研究具有较大的意义；另一部分数据来自某工业检测机构，补充部分企业数据不仅扩充了数据集，且增强数据集的说服力。

Table 1. Basic information of the original data

表1. 原始数据基本情况展示

将TIF格式的射线图片转换为PNG格式的数字图像并进行灰度变换操作，提取其中焊缝区域，同时除去图像中的标记信息(胶片编号、缺陷编号、缺陷尺寸等)，结果如图1所示。

由于射线图像受成像环境的影响，存在图像噪音复杂、对比度较低，且焊缝缺陷图像背景区域占比远大于目标区域的问题。为了提取高质量的焊缝缺陷特征，实验中对图1中所获得的焊缝区域依次进行滤波处理，以消除绝大多数噪音信号；接着对滤波降噪后的图像进行阈值分割，初步进行焊接缺陷特征提取。经过阈值处理后，发现部分图像中靠近边缘的缺陷特征出现部分缺失，如图2(a)，针对这一现象，采用形态学操作对图像进行处理，结果见图2(b)。

(a) 气孔缺陷处理前后 (b) 裂纹缺陷处理前后(c) 未焊透缺陷处理前后

Figure 1. Original X-ray image and weld feature image

图1. 原始射线图像与焊缝特征图像

(a) 经过阈值处理后图像缺陷特征出现了部分缺失，可见红色部分(b) 经过腐蚀处理和闭操作后，缺失部分得以修复，可见红色标记部分

Figure 2. Morphological treatment

图2. 形态学处理前后对比

4. 算法介绍

上文所述，实验中所收集的焊接缺陷图像尺寸较大，而且在部分图片中背景区域占比远大于缺陷特征区域。在已有论文中，研究人员为解决这一问题，一般采用滑动窗口裁剪算法，但部分经过裁剪的图像丢失了缺陷特征，需要进一步排查，当需要处理的数据量较大时，增加了大量的工作量。为了解决这一问题，使后续的模型训练能更快的收敛，本文提出了一种基于特征阈值的分割算法进行特征提取。具体步骤如下见图3：

Figure 3. Feature extraction algorithm flow

图3. 特征提取算法流程

1) 设置裁剪图片的尺寸h、w以及一张图片需要裁剪的次数c，并找出图像缺陷特征的阈值v，本文采用迭代算法寻找最适阈值：

a) 找出图像的最大灰度值p_max和最小灰度值p_min，令初始阈值：

v₀ = p_max + p_min；

b) 根据阈值v₀将图像分割为前景和背景，分别求出两者的平均灰度值Z_b和Z_g；

c) 求出新阈值：

$v=\left(Z_b+Z_g\right)/2$ ；

d) 若v₀ = v，则所得即为阈值；否则转步骤(b)，迭代计算；

2) 找出图片中大于阈值v的像素点p_i；

3) 判断该像素点周围八邻域的像素值是否大于阈值v，如果满足条件，则以p_i为裁剪中心，以w、h为宽高进行裁剪；

4) 判断当前裁剪次数c₀与预设裁剪次数c的关系；若c₀ < c，则转到步骤2)，否则保存所获特征图片并结束程序具体算法如下，该算法在GDxray [13] 焊接数据集验证部分数据见图4，并将处理后的图片数据构建数据集，结果见表2。

(a) 气孔缺陷 (b) 裂纹缺陷 (c) 本文算法所提取的气孔特征 (d) 本文算法所提取的裂纹特征

Figure 4. Partial data display after feature extraction

图4. 特征提取后部分图片数据展示

图4通过比较原始焊透图片和运用本文所提出的算法提取的特征图片，可以看出，本文提出基于阈值的特征提取算法很好的解决了焊缝图像背景区域远大于特征区域问题；由于该算法是基于特征阈值来提取特征区域，故能够很好的避免滑动窗口提取特征时，由于步长选择不合理所导致的部分图片丢失特征的现象，具体对比见表3。

Table 2. Data display after pretreatment

表2. 预处理后数据展示

Table 3. Comparison of the two feature extraction methods

表3. 两种特征提取方法对比

5. 实验分析

本文以传统的数字图像处理技术为基础，针对滤波算子和阈值处理的选择进行了两次对比实验。

5.1. 滤波算子的选择

第一次实验是选取去除编号信息后的灰度图像(气孔、裂纹、未焊透三类焊接缺陷图像)，每类缺陷图片选用10张样本图片，采用常用的四种滤波算子(方框滤波、均值滤波、中值滤波、高斯滤波)进行对比实验，实验结果取均值。

滤波效果的好坏无法用肉眼鉴别，需要引入评价指标进行评价。评价指标主要为SSIM (结构相似性)、PSNR (峰值信噪比)以及MES (均方差)。这三个指标通过衡量降噪前和降噪后图像之间的相似性来确定降噪效果，相似性越高表明人眼的可视误差越小。PSNR和SNR的计算都基于MSE，MES代表真实图像和噪声图像之间的差值，即噪声信号的能量大小。如公式下所示。

$\text{MSE}=\frac{1}{NM}{\displaystyle {\sum }_{x=0}^{M-1}{\displaystyle {\sum }_{y=0}^{N-1}{\Vert g\left(x,y\right)-f\left(x,y\right)\Vert }^2}}$ (1)

式中，N——图像的宽，

M——图像的高，

$f\left(x,y\right)$ ——原图，

$g\left(x,y\right)$ ——降噪后的图像。

$\text{SNR}\left(\text{dB}\right)=10\cdot {\log }_{10}\left[\frac{{\displaystyle {\sum }_{x=0}^{M-1}{\displaystyle {\sum }_{y=0}^{N-1}{\left(f\left(x,y\right)\right)}^2}}}{\text{MSE}}\right]$ (2)

$\text{PSNR}\left(\text{dB}\right)=10\cdot {\log }_{10}\left[\frac{{\displaystyle {\sum }_{x=0}^{M-1}{\displaystyle {\sum }_{y=0}^{N-1}{\left(255\right)}^2}}}{\text{MSE}}\right]$ (3)

PSNR是峰值信号的能量与噪声的平均能量的比值，SNR是原图信号的能量与噪声的平均能量的比值。PSNR和SNR的值越大，可视误差越小，图片与原图的相似度越高。业内广泛使用PSNR对图像质量差异部分进行客观评价，但PSNR仅进行像素点之间的误差计算。而可视误差是以人眼观察作为主要标准，相较于色度的变化人眼对亮度的变化更加敏感。SSIM考虑到对比度相似性、结构相似性、亮度相似性三个方面对图像的相似性进行评价，SSIM的形式如公式(4)所示。

$\text{SSIM}\left(f,g\right)=\frac{\left(2u_f{u}_g+C_1\right)\left(2{\sigma }_{f,g}+C_2\right)}{\left(u_f^2+u_g^2+C_1\right)\left({\sigma }_f^2+{\sigma }_g^2+C_2\right)}$ (4)

式中，f——原图像信号，

$g$ ——降噪后图像信号，

$u_f$ ——图像f的均值，

${\sigma }_f$ ——图像f的方差，

${\sigma }_{f,g}$ ——图像f和图像g之间的协方差。

通过对比实验，结果见图5，图5中三个子图都表明中值滤波降噪效果远优于其他几种滤波算子，最后选取中值滤波，对图像进行滤波处理，以消除绝大多数噪音。

Figure 5. Comparison of several filtering operators

图5. 几种滤波算子对比

5.2. 阈值处理顺序的确定

针对阈值处理的顺序，进行第二次对比实验，实验分别为：第一组，灰度图像进行二值化阈值处理；第二组，灰度图像进行大津阈值处理(实验组一、二中的灰度图像未进行滤波处理)；第三组，对中值滤波后的灰度图像进行大津阈值处理。

大津阈值(OTSU)法，阈值选择合理，且分割效果良好。其理论基础：按照图像的灰度值，将图像分为背景和特征区域两部分，经计算得到一个阈值，其满足：使背景和特征区域像素值差异最大，即类间方差最大。假设一副尺寸为M * N图像的像素分为1个灰度级 $\left\{0,1,2,\cdots ,L-1\right\}$ ，n_i为灰度级为i的像素个数，则像素总数公式为：

$MN=n_0+n_1+n_2+\cdots +n_{L-1}$ (5)

灰度级的概率为：

$P_i=\frac{n_i}{MN}$ (6)

其中，概率满足 ${\displaystyle {\sum }_{i=1}^{L-1}{P}_i}=1$ 且 $P_i\ge 0$ 。若目标阈值为k，将所有像素分为灰度值为[0, k]的背景类C₁和 $\left[k+1,L-1\right]$ 的对象类C₂。 $P_1\left(k\right)$ 和 $P_2\left(k\right)$ 为C₁和C₂中的概率，可由式(7)和(8)计算得到：

(7)

$P_2\left(k\right)={\displaystyle {\sum }_{i=k+1}^{L-1}{P}_i}=1-P_1\left(k\right)$ (8)

其中 $m_1\left(k\right)$ 和 $m_2\left(k\right)$ 分别为C₁和C₂像素的灰度平均值，可由式(9)和式(10)计算得到：

$m_1\left(k\right)={\displaystyle {\sum }_{i=1}^{k}iP\left(i|C_1\right)}=\frac{1}{P_1\left(k\right)}{\displaystyle {\sum }_{i=0}^{k}i{P}_i}$ (9)

$m_2\left(k\right)={\displaystyle {\sum }_{i=k+1}^{L-1}iP\left(i|C_2\right)}=\frac{1}{P_2\left(k\right)}{\displaystyle {\sum }_{i=k+1}^{L-1}i{P}_i}$ (10)

m_G为图像平均灰度值，θ为类间平方差，可由公式(11)计算得到：

$\begin{array}{c}\theta =P_1\left(k\right){\left(m_1\left(k\right)-m_G\right)}^2+P_2\left(k\right){\left(m_2\left(k\right)-m_G\right)}^2\\ =P_1\left(k\right)P_2\left(k\right){\left(m_1\left(k\right)-m_2\left(k\right)\right)}^2\end{array}$ (11)

由公式(11)可得公式(12)：

(12)

其中，T即为目标阈值，输出图像分割就可以按照阈值T进行分割，公式：

$f\left(x,y\right)=\{\begin{array}{l}255,f\left(x,y\right)>T\\ 0,f\left(x,y\right)\le T\end{array}$ (13)

结果见图6，实验结果表明经过中值滤波后再进行Otsu阈值处理的结果远优于前两种处理方式。因此，选用在中值滤波后加入Otsu阈值分割的方案对图像进行初步特征提取。

(a) 灰度图像 + Otsu阈值法处理(b) 中值滤波 + Otsu阈值处理

Figure 6. Binarization processing and Otsu threshold processing contrast

图6. 二值化处理和大津阈值处理对比

6. 结果总结

本文提出的基于阈值特征提取算法，对预处理后的图像通过迭代算法寻找缺陷区域的阈值，并对其定位、提取特征区域，最后将处理后的图片数据构建数据集。数据预处理方法不仅提高图像的质量，而且调整了图片的尺寸、格式等属性，使两部分数据能够更好地融合，为后续模型训练做充分准备。同时提出的基于阈值的特征提取方法，克服了滑动窗口提取特征工作中部分所获图片丢失缺陷特征的问题，避免后期手动排查的工作，大幅减少数据处理的工作量。因此，该方法所获数据集达到预期效果，满足后续模型训练的要求。

NOTES

^*通讯作者。