基于机器视觉的电磁阀表面缺陷检测技术研究

Study on Surface Defect Inspection of an Electromagnetic Valve Based on Machine Vision

摘要: 传统的瑕疵检测多是依靠人力来完成，经由操作人员对成品的检查来判断是否为瑕疵产品，并且记录缺陷种类。本文以机器视觉为基础，设计环境光源并使用CCD取像，针对电磁阀上不同的缺陷，分别于空间域以及频率域，进行电磁阀的缺陷检测。在空间域中使用的图像形态学检测方法，可以快速的检测图像中的轮廓缺陷，但是对于具有方向性、细长的表面刮痕缺陷判断的准确性较低。因此，本文将空间域中较难判定的表面缺陷，利用傅立叶变换将图像从二维的空间域转换到频率域，利用傅立叶频谱突显电磁阀检测表面上的方向性纹路，进行表面缺陷检测。本文的实验结果发现表面有缺陷的图像会在傅立叶频谱中产生较明显的差异，因此利用二值化图像处理将此差异变大，并利用傅立叶逆变换将傅立叶频谱转换成空间域的图像，并比较差异。本文中结合蓝色和白色LED条型灯的照明系统，分别于空间域和频域中进行电磁阀的缺陷检查。

Abstract: Defect detection is mostly done by manpower. In the past, products were inspected to determine whether they were defective products by manual means, and the types of defects were recorded. A machine vision based solenoid valve defects inspection system was proposed in this work. This system is based on capturing images according to the different defects in the specimens, as well as inspection defects and frequency domains by using a CCD camera along with a machine vision algorithm and designs a lighting system. The inspection method first used an erosion and dilation algorithms of image morphology in the spatial domain. Mathematical logic operation was employed to retain the features of the image obtained by different algorithms. Although morphological image detection methods can quickly inspect defect contours, they have difficulty to inspect directional features i.e., thin scratches on specimen surfaces. Therefore, Fourier transform was applied to convert images from two-dimensional spatial domains as the frequency domain to inspect the defects that could not be inspected by the morphological method in the spatial domain. In the frequency domain, standard deviation was used. Therefore, defects were difficult to determine in the spatial domain, this paper uses Fourier transform to transform the image from the two-dimensional space domain to the frequency domain, and uses the Fourier spectrum to highlight the directional grain on the detection surface of the solenoid valve for surface defect detection. The experimental results show that defective images produce more noticeable differences in the Fourier spectrum. This difference is magnified using binary image processing, in which inverse Fourier transform transforms the Fourier spectrum into images in the spatial domain, and these images are compared. In this paper, the lighting system combining blue and white LED strip lights is used to inspect the defect of the solenoid valve in the space and frequency domains respectively.

1. 引言

在传统工业生产中，由于科学技术的限制仍然主要采用人工检测的方法去检测产品表面的缺陷，这种方法由于人工的限制和技术的落后，不仅检测产品的速度慢、效率低下，而且在检测的过程中容易出错，从而导致了检测结果的不精确。而随着计算机技术，人工智能等科学技术的出现和发展，以及研究的深入，出现了基于机器视觉的表面缺陷检测技术。这种技术的出现，大大提高了生产作业的效率，避免了因作业条件，主观判断等影响检测结果的准确性，能更好更精确地进行表面缺陷检测，更加快速的识别产品表面瑕疵缺陷。产品表面缺陷检测属于机器视觉技术的一种，就是利用计算机视觉模拟人类视觉的功能，从具体的实物进行图像的采集处理、计算、最终进行实际检测、控制和应用。机器视觉检测技术应用表面缺陷检测系统，有效提高了检测的准确度和效率，有利于企业大规模生产。产品的表面缺陷检测是机器视觉检测的一个重要部分，其检测的准确程度直接会影响产品最终的质量优劣。由于使用人工检测的方法早已不能满足生产和现代工艺生产制造的需求，而利用机器视觉检测很好地克服了这一点，表面缺陷检测系统的广泛应用促进了企业工厂产品高质量的生产与制造业智能自动化的发展。本文采用两种方法来完成图像缺陷的检测，分别是在空间域使用形态学中的侵蚀、膨胀算法，及在频率域使用傅立叶变换做频谱分析。藉由将图像在空间域及频率域中的分析，可以于生产机台上直接进行检测，减少人力消耗且统一缺陷标准。文献 [1] 利用傅立叶变换能够突显一致性纹路的特性，进行方向性纹路的检测与分析；文献 [2] 将傅立叶频谱应用在纺织布料缺陷的检测上；文献 [3] 利用傅立叶图像转换及图像还原的技术，去除具规律性的随机纹路的特征；文献 [4] 提出了一种基于小波变换的改进图像融合方法。对小波分解后的高频分量使用图像区域内像素的最大绝对值作为该区域中心像素的活性测度以得到融合图像的高频分量，对分解后的低频分量通过度量其图像块的质量来确定融合图像的低频分量。实验结果表明，该方法得到的融合图像清晰度和对比度都较好，是一种有效的图像融合算法；文献 [5] 利用小波转换能够保留原始图像一致性的特性，将其应用在磁砖生产线的缺陷检测上，判断生产线上有裂痕或破损的瓷砖；文献 [6] 将金属表面缺陷图像，经过两次二维小波转换之后，在二级分辨率中，使用纵向的低频与横向的低频的图像，并经图像二值化之后，使用霍夫直线转换找出边缘的变化方向，最后由数量与角度折线图，找出判断缺陷的条件。

2. 图像处理

机器视觉 [7] - [12] 是一种无接触、无损伤的自动检测技术，是实现设备自动化、智能化和精密控制的有效手段，具有安全可靠、光谱响应范围宽、可在恶劣环境下长时间工作和生产效率高等突出优点。机器视觉检测系统通过适当的光源和图像传感器(CCD摄像机)获取产品的表面图像，利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别、分级等判别和统计、存储、查询等操作。视觉表面缺陷检测系统基本组成主要包括图像获取模块、图像处理模块、图像分析模块、数据管理及人机接口模块。

图像获取模块由电荷耦合器件(Charge Coupled Device, CCD)摄像机、光学镜头、光源及其夹持装置等组成，其功能是完成产品表面图像的采集。在光源的照明下，通过光学镜头将产品表面成像于相机传感器上，光信号先转换成电信号，进而转换成计算机能处理的数字信号。目前工业用相机主要基于CCD或CMOS (complementary metal oxide semiconductor)芯片的相机。CCD是目前机器视觉最为常用的图像传感器。

光源直接影响到图像的质量，其作用是克服环境光干扰，保证图像的稳定性，获得对比度尽可能高的图像。目前常用的光源有卤素灯、荧光灯和发光二级管(LED)。LED光源以体积小、功耗低、响应速度快、发光单色性好、可靠性高、光均匀稳定、易集成等优点获得了广泛的应用 [13] [14] [15] [16] [17]。

由光源构成的照明系统按其照射方法可分为明场照明与暗场照明、结构光照明与频闪光照明。明场与暗场主要描述相机与光源的位置关系，明场照明指相机直接接收光源在目标上的反射光，一般相机与光源异侧分布，这种方式便于安装；暗场照明指相机间接接收光源在目标上的散射光，一般相机与光源同侧分布，它的优点是能获得高对比度的图像。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的3维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。

图像处理模块主要涉及图像去噪、图像增强与复原、缺陷的检测和目标分割 [18] [19] [20] [21] [22]。

3. 检测系统架构

模组缺陷检测系统主要由工控机、运动控制系统、光学成像系统和光源控制器等构成。运动控制系统包括多轴运动机械平台、运动控制卡、伺服电机、驱动器和缓存仓等，可实现模组的上下料、运动定位和缓存。光学成像系统主要包括CCD面阵相机、环形光和同轴光组、镜头和光源控制器，其中图像传感器的晶圆Particle (灰尘颗粒)检测采用5120 × 3840 pixel分辨率的黑白相机，考虑到灰尘颗粒的凹凸变化以及图像传感器的特殊材质，光源采用低角度环形光暗场照明；为了将金球、金线和其他部分区分开，金线缺陷检测采用3856 × 2764 pixel分辨率的彩色相机，光源采用同轴光明场照明。相机接口通讯均采用千兆网GigE Vision，镜头均采用12 mm的变焦镜头。

本文针对检测物上不同的缺陷，将缺陷检测的方法，分为空间域及频率域两种。在空间域上，使用白色面向光源，利用卡榫的斜面改变光源反射角的角度，进行电磁阀的上盖卡榫检测。在频率域上，则是使用蓝色面向光源突显表面的纹路，进行电磁阀表面的缺陷检测。图1(a)为本文使用的LED面向光源的系统组成，在空间域使用白色LED以及频率域上使用蓝色光源。本文使用摄影机撷取图像，如图1(b)所示，并利用架构于开放式图像处理链接库(Open Source Computer Vision, Open CV)的算法，针对电磁阀线圈上不同的缺陷，在空间域及频率域上进行缺陷的检测。

(a) 面向光源系统组成 (b) 实际系统架构

Figure 1. LED light source oriented system

图1. LED面向光源的系统

4. 缺陷检测

4.1. 电磁阀的上盖卡榫检测方法

在空间域进行电磁阀的上盖卡榫缺陷检测方法，图像处理可以分为四个步骤，藉由此检测流程可以从原始图像中保留四个卡榫位置进行检测，并且依据面积大小作为缺陷判定的依据。第一步是将相机取得的灰阶原始图像，进行图像二值化处理(阀值T = 50)，得到二值化图像。图2所示为电磁阀的上盖卡榫原始灰阶图像，虚线圈选处为电磁阀的卡榫位置。经过二值化图像处理 [23] 如图3所示。

Figure 2. Cogged defect detection of the original

图2. 卡榫缺陷检测原始图

Figure 3. Binarization image

图3. 二值化图像

第二步将二值化图像处理得到的二元图像，进行图像互补色互换图像处理，将卡榫以白色像素表示。图4为互补色互换图像处理的结果。

Figure 4. Complementary color swap image processing

图4. 互补色互换图像处理结果

第三步是进行感兴趣范围的选取。由于放置电磁阀的旋转平台上具有凹槽，可以放置电磁阀的时候，进行电磁阀的定位，因此本文将卡榫位置设定为感兴趣范围，如图5所示。

Figure 5. Area of interest

图5. 范围选取

第四步则是利用数学的逻辑运算，将图5所示的互补色互换图像处理结果，与图4感兴趣范围的图像，进行逻辑AND运算，即可保留图像中卡榫位置的像素，如图7所示。图6(a)为检测出缺陷的结果，只出现二个卡榫；图6(b)为检测结果正常，出现四个卡榫。

(a) 缺陷结果：二个卡榫 (b) 正常结果：四个卡榫

Figure 6. Logic operation results

图6. 逻辑运算结果

Figure 7. Results of solenoid valve defect detection

图7. 电磁阀卡榫缺陷检测结果

4.2. 电磁阀的表面缺陷检测结果分析

检测结果如图7所示，图像形态学的检测方法，虽然可以正确、快速的检测图像中的轮廓缺陷，但是对于细长、具有方向性的表面刮痕，却容易因为二值化的阀值选择不当，及侵蚀算法的影响，降低其判断的准确性。

因此，为了要分辨空间域较难判定的表面刮痕缺陷，本文利用傅立叶变换，将空间域的原始图像转换到频率域 [24]。图8所示为电磁阀缺陷表面的原始灰阶图像，以及利用傅立叶逆变换得到的傅立叶频谱。藉由傅立叶变换可以突显一致性纹路的特性，本文将图7所示的傅立叶频谱，以图像中心点互相对称的区域做划分，区分的结果如图9所示。

Figure 8. Electromagnetic valve cogged defect detection results

图8. 电磁阀卡榫缺陷检测结果图

Figure 9. Fourier spectrum partition map F~J

图9. 傅立叶频谱分区示意图F~J

利用统计学中的标准偏差计算方法，计算不同频谱区间的灰度值标准偏差，并将灰度值较高的区域利用傅立叶逆转换，从频率域转换到空间域，观察原始图像的频谱中，灰度值较高的频谱是否能够突显表面的特征。

本文利用统计学中的标准偏差，作为判断区间内灰度值分布情况的依据，若区间内的灰度值变化较大，标准偏差就会越大，若区间内的灰度值变化较小，标准偏差则会越小。标准偏 $\sigma$ 为：

$\sigma =\sqrt{\frac{1}{N}{{\displaystyle \underset{\theta ={\theta }_1}{\overset{{\theta }_2}{\sum }}\left(x_{\theta }-\mu \right)}}^2}$ (1)

标准偏差计算公式中，样本数N为区间范围内的角度总数，本文以15度为单位做区分，因此N = 15。变量 $x_{\theta }$ 为样本数N中，从半径范围R₁到R₂，图10为傅立叶频谱分区示意图，所包含的所有像素点的灰度值，与空心圆灰度平均值 $T_{\mu }$ 的差的总和，如式(2)所示。

$x_{\theta }\text{=}{\displaystyle \underset{R=R_1}{\overset{R_2}{\sum }}\left\{G\left(r\cos \theta ,r\sin \theta \right)-T_{\mu }\right\}}$ (2)

公式(2)中， $G\left(r\cos \theta ,r\sin \theta \right)$ 为傅立叶频谱上，在坐标位置 $\left(r\cos \theta ,r\sin \theta \right)$ 的灰度值；空心圆灰度平均值 $T_{\mu }$ 如式(3)所示。

$T_{\mu }=\frac{1}{A}{\displaystyle \underset{0}{\overset{359}{\sum }}{\displaystyle \underset{r=R_1}{\overset{R_2}{\sum }}G\left(r\cos \theta ,r\sin \theta \right)}}$ (3)

平均值μ计算则如式(4)所示：

$\mu =\frac{1}{N}{\displaystyle \underset{\theta ={\theta }_1}{\overset{{\theta }_2}{\sum }}{x}_{\theta }}$ (4)

Figure 10. Fourier spectrum partition map

图10. 傅立叶频谱分区示意图

本文用来计算灰度值变化的标准偏差，主要分为4个步骤，第1个步骤计算空心圆面积内的灰度平均值 $T_{\mu }$，如式(3)所示。第2步骤计算半径范围从R₁到R₂，包含的每一点灰度值与平均值 $T_{\mu }$ 的差的总和 $x_{\theta }$，如式(2)所示。第3步骤计算 $x_{\theta }$ 从角度 ${\theta }_1$ 到 ${\theta }_2$ 的平均值，如式(4)所示。第4步骤利用变量 $x_{\theta }$ 及平均值计算标准偏差，如式(1)所示。经过上述4个步骤所计算出来的标准偏差若是越大，则代表区间内的灰度值变化较大，相反的若是数值越小，则代表灰度值分布较为一致。图11为标准偏差计算结果。可以从图中

(a) 频谱区间A~E (b) 频谱区间F~J

Figure 11. Standard deviation of spectrum interval grey value

图11. 频谱区间的灰度值标准偏差

发现，区间C所计算出来的灰度值标准偏差远高于其他区间，而图11(b)的区间H相较于其他区间所计算出的标准偏差也较高，因此将区间C、区间H的频谱保留，如图12所示。将图12所保留的傅立叶频谱，经由傅立叶逆变换，可以将图像从频率域转换回空间域，保留频谱中对应的区域，结果如图13所示。从图13中可以发现，利用本文所设计的光源系统取得的灰阶原始图像，藉由傅立叶变换所得到的频谱中，灰度值标准偏差计算结果较大的区间。

Figure 12. Standard deviation higher C, interval H of keeping grey value

图12. 保留灰度值标准偏差较高的区间C、区间H

Figure 13. Fourier reversal of interval C and H

图13. 区间C、区间H进行傅立叶逆转换结果

在进行傅立叶逆变换之后，可以保留原始图像中的表面缺陷，因此，本文将直接对原始傅立叶频谱进行二值化图像处理，保留频谱中灰度值较高的频谱(阀值T = 140)，图像处理结果如图14所示。将图14的原始傅立叶频谱与二元图像进行数学逻辑AND运算，可以从原始傅立叶频谱中，保留原始频谱之灰度值，而非二元图像的白色像素。将AND运算的结果进行傅立叶逆变换之后，便可将图像从频率域转

Figure 14. Fourier spectrum for binary image processing results

图14. 傅立叶频谱进行二值化图像处理结果

换回空间域，如图15所示。当蓝色LED面向光源架设于相机上方时，原始图像的上边缘会产生较严重的反光，使得本文使用傅立叶频谱进行二值化图像处理时，上边缘所产生的反光被判断成缺陷保留下来。为了消除反光造成的缺陷误判，本文根据统计结果，将图16(左)距离图像上边缘30 pixel内的缺陷去除，去除缺陷后的检测结果如图16(右)。

Figure 15. Image is converted from frequency domain to space domain

图15. 图像从频率域转换到空域

Figure 16. Edge image processing results by noise elimination

图16. 边缘噪声消除后图像处理结果

5. 实验分析

本文在电磁阀线圈的缺陷检测项目包含：上盖卡榫是否存在以及表面是否损坏；在电磁阀的上盖卡榫缺陷检测上，本文设计的环境光源利用卡榫斜面改变反光的角度，在图像中突显卡榫的缺陷，并且在空间域上选择适当的感兴趣范围，依据感兴趣范围内保留的卡榫面积，作为判断卡榫缺陷的依据。图17为电磁阀的上盖卡榫缺陷于空间域的检测结果，图17(左)为检测出四个正常的上盖卡榫数，图17(右)为检测出只含二个上盖卡榫数的缺陷品。

Figure 17. Test results of solenoid valve defected

图17. 缺陷电磁阀检测结果

6. 结论

本文在空间域及频率域的检测方法，使用蓝色白色LED环境光源，分别从空间域行电磁阀的表面缺陷检测。最后在电磁阀卡榫缺陷检测总时间为0.05 s，当中感兴趣范围选取花费约0.022 s，二值化图像处理约为0.014 s，而在电磁阀表面缺陷检测总时间为0.82 s，当中傅立叶逆变换花费约0.35 s，傅立叶变换则为约0.23 s，由于需检测两个电磁阀表面，所以需花费1.65 s，比较电磁阀生产速率，每一分钟生产一个，可以发现整体花费时间远远小于其生产速率，因而可以有效的应用于产线之中。过去在使用人工进行缺陷检测时，电磁阀的上盖卡榫检测以及电磁阀的表面缺陷检测，皆无法有效的量化缺陷标准，其原因在于上述的检测项目进行人工缺陷检测时，尺寸的量测位置无明确的规定，造成不同的检测人员所量测出来的缺陷大小皆不相同，使缺陷的判断过于主观。因此，本文在进行缺陷判断时，将样本依照本文所提出的方法进行检测，并且以检测结果的缺陷面积为依据，将面积平均值设定为判断缺陷的阀值，进行缺陷的自动化分类。

致谢

衷心地感谢本文所引用的这些优秀文章的作者，他们的文章提供很大的帮助；同时也感谢衢州职业技术学院提供了一个研究创作的卓越平台。感谢机电工程学院的支持，使本计划得以顺利进行，特此致上感谢之意。

基金项目

诚挚地感谢2018年度高校访问工程师“校企合作项目”(No: FG2018160)和衢州科技计划项目(No: 2019k19)赞助该项课题。