基于机器视觉的软包装缺陷检测系统设计

Design of Flexible Packaging Defect Detection System Based on Machine Vision

摘要: 传统软包装缺陷检测方法采用人工检测耗时耗力，常出现漏检等问题且对检测者不友好。现提出基于机器视觉的软包装缺陷检测方案，提高检测效率。本方案包括硬件设备与算法设计，着重算法设计，包括图像灰度处理、图像分割、特征提取等，最终形成完整算法方案。图像分割采用基于阈值的图像分割，用户自设阈值进行分割，此外还采用了基于区域的图像分割以及基于边缘的图像分割。提取的特征主要为纹理特征，主要包括角二阶矩、相关性、对比度等特征，将提取的特征值存Excel表格中供回溯查证或其它处理。经过实验验证，此算法检测效率相较于人工大大提高，且正确率也得到保证，为应用于相关生产工厂奠定一定的基础。

Abstract: The traditional defect detection method of flexible packaging is time-consuming and labor-consuming by manual detection, which often presents problems such as missed detection and is not friendly to the tester. A defect detection scheme for flexible packaging based on machine vision is proposed to improve the detection efficiency. This scheme includes hardware equipment and algorithm design, focusing on algorithm design, including image grayscale processing, image segmentation, feature extraction and so on, and finally form a complete algorithm scheme. Image segmentation is based on the threshold of the image segmentation, user-set threshold segmentation, in addition to the region based on the image segmentation and image segmentation based on the edge. The extracted features are mainly texture features, including angular second moment, correlation, contrast and other features. The extracted feature values are stored in Excel for retrospective verification or other processing. Through experimental verification, the detection efficiency of this algorithm is greatly improved compared with that of manual, and the accuracy is also guaranteed, which lays a certain foundation for its application in related production factories.

1. 引言

在食品软包装工厂，依靠人工进行出厂前的缺陷检测是主要手段。人工检测主要实施者为工人，长期使用眼睛观察大量相似类型的包装并寻找缺陷容易产生漏检等问题，且随着工作时间增加，检测率逐渐降低，对工人也不友好。随着工业4.0的提出和中国制造2025等相关政策实施，顺应无人工厂的发展趋势，采用机器视觉检测软包装缺陷是制造行业发展的必然方向。曾小波等人基于视觉检测的注塑品缺陷检测系统设计 [1] 在注塑品的缺陷识别方面提供了参考方案，对启动器表面(塑胶外壳和铁片)进行缺陷检测。具体对塑胶外壳表面突出棱角是否破损；塑胶外壳表面激光打印字符是否在指定区域；启动器三个铁片是否插错、漏插、变形；塑胶壳底部透孔是否堵塞，进行检测。基于机器视觉的药品包装生产线自动检测系统 [2] 的提出是针对药品包装缺陷检测进行了研究，对图像去噪并设计了一种图像分割算法能够很好地检测缺陷包装。基于机器视觉的密封圈图像处理关键设计技术研究 [3] 是对密封圈缺陷检测提供了方案，通过对密封圈图像滤波、增强、分割和边缘检测获得较好的处理效果。现对榨菜包装进行基于机器视觉的划痕检测技术设计，从根本上解决效率低下、漏检等问题，同时降低检测成本，为无人工厂的建立奠定基础。

2. 项目需求

2.1. 检测目标

主要对榨菜的包装进行划痕缺陷检测。划痕种类较多，从出现位置分为边缘和中心；从划痕的形态角度可以分为：横向和纵向划痕、两个方向的斜向划痕。从划痕的大小角度分类：长划痕和短划痕甚至是点状划痕。从划痕的数量上分为：单条划痕以及多条划痕。

2.2. 缺陷检测技术指标

对划痕有无进行判断，如果有划痕则提取纹理以及颜色等特征；

最大误检率 < 10%；

检测合格率 > 90%。

3. 硬件设计

硬件搭建如图1所示，包括榨菜包装放置于专业摄影棚环境，周围设置全黑吸光材质背景板。在双LED灯条补光条件下，工业相机AVT MANTA G-419垂直向下拍摄榨菜包装，采用计算机进行控制拍摄。AVT MANTA G-419工业相机具有可调节焦距和透光度功能，采用IEEE 802.3 1000 base T数据接口，传感器为1CMOSIS CMV4000，调整好相关参数后进行拍摄并将数据传入图像传感器进行下一步操作。

Figure 1. Hardware construction flow chart

图1. 硬件搭建流程图

Figure 2. Flow chart of defect detection

图2. 缺陷检测流程图

4. 软件设计

本系统图片数据采用工业相机拍摄，使用MATLAB软件控制其拍照并存储在本地为后续图像处理做准备。本系统采用模块化设计，各部分操作用户可视，包括：图像采集模块、算法分析模块、用户显示模块。

4.1. 算法实现

算法部分是此方案的核心，应用大量知识，结合实际获得效率较高的算法。流程如图2所示。

首先获取拍摄图片，向用户展示并将图片存入本地，通过编写程序实现图片的载入和存储。先用uigetfile函数选择图像，图像可以为jpg，png，bmp等格式，接着用imread函数读取图像，image函数将图像显示出来，并获取图像的文件名和彩色图像数据信息。下一步进行灰度化处理，将本地图片读取经灰度化处理效果如图3所示，传递上一步骤保存在imgdate的数据，再用rgb2gray函数将图片转化为灰度图像并保存在变量imgoutput数据信息中。在axes2中显示出灰度图像。经过灰度化处理后进行图像分割，包括基于阈值的图像分割、基于区域的图像分割以及基于边缘的图像分割。基于阈值的图像分割是绘制灰度直方图，在图片灰度处理后使用imhist绘制灰度直方图，用户可以利用直方图进行分析，观察直方图的波峰和波谷之间的关系，在弹出框中输入一个较好的阈值来规定图像里每个像素点应属于目标区域或是背景区域，点击确认后会生成对应的二值图像。双峰阈值分割方法适用于目标与背景灰度有较强差异的情况下，黑色背景或榨菜包装的灰度较为单一，而且总是可以获得封闭且连通区域的边界。程序效果如图4所示，此时选择阈值为120可获得较为理想的分割效果，如图5所示。

Figure 3. Image loading and graying processing

图3. 图像载入与灰度化处理

Figure 4. Image segmentation based on threshold

图4. 基于阈值的图像分割

基于区域的图像分割具体操作为：给出若干种子点，将这些种子点存入矩阵Y中，存储符合生长区域条件的点的灰度值的总和以及总个数，判断种子点八邻域的像素点是否和种子点相似，如果相似则将该点加入种子点集合，否则不作处理。用函数double将图片的数据转化为双精度，再用size函数将数据保存在矩阵[M,N]得到原图像的行列数，并用[y,x] = getpts获得区域生长起始点，用区域生长法判断并保存符合生长条件的点，用suit = suit + count来表示目前所符合生长条件的总个数。并用sum = sum + s表示目前区域所有符合生长条件的点的总灰度值，最后用seed = sum/suit计算新的灰度平均值。

基于边缘的图像分割则用函数im2bw将灰度化图像转化为二值图像保存在I中，接着用函数BW1 = edge (I,'canny')进行canny算子进行边缘检测。canny算子的优点是图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。

经过图像分割后依据缺陷样式进行特征提取。采用灰度共生矩阵进行图像纹理分割并且采用灰度差分统计法：描述纹理图像各个像素及相邻像素之间的灰度变化情况。它是根据灰度差分绘制灰度差分统计直方图，利用直方图得到的每一灰度差分值的概率为p(i)。由此定义以下物理量

$\text{mean}=\frac{1}{m}{\displaystyle \underset{i=0}{\overset{m}{\sum }}i\cdot p(\; i\; )}$

$\text{con}=\frac{1}{m}{\displaystyle \underset{i=0}{\overset{m}{\sum }}{i}^2\cdot p(\; i\; )}$

采用灰度共生矩阵的方法：设 $P_{x,y}$ 为灰度共生矩阵，灰度值的级数为L，利用灰度共生矩阵定义

矩阵均值mean公式为

$\text{mean}=\frac{1}{m}{\displaystyle \underset{i=0}{\overset{m}{\sum }}{\displaystyle \underset{j=0}{\overset{m}{\sum }}{p}_{ij}}}$

角二阶矩asm (反应图像灰度分布均匀程度和纹理粗细度)公式为

$\text{asm}={\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}{p}_{ij}^2}}$

相关性cor (描述空间灰度共生矩阵元素在行列的方向上的相似度)公式为

$\text{cor}=\frac{1}{{\sigma }_x{\sigma }_y}{\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}\left(i-u_x\right)\left(j-u_y\right)p_{ij}}}$

$u_x=\frac{1}{L^2}{\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}i\cdot p_{ij}}}$

$u_y=\frac{1}{L^2}{\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}j\cdot p_{ij}}}$

${\sigma }_x^2=\frac{1}{L^2}{\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}{\left(i-u_x\right)}^2{p}_{ij}}}$

${\sigma }_y^2=\frac{1}{L^2}{\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}{\left(j-u_y\right)}^2{p}_{ij}}}$

对比度con (灰度共生矩阵主对角线附近的惯性矩，体现矩阵价值如何分布，反映了图像的清晰度和纹理沟纹的深浅)公式为

$\text{con}={\displaystyle \underset{i=0}{\overset{L-1}{\sum }}{\displaystyle \underset{j=0}{\overset{L-1}{\sum }}{\left(i-j\right)}^2{p}_{ij}}}$

主要包括角二阶矩、相关性、对比度等特征，将提取的特征值存Excel表格中，每个包装的特征占一行，用户可以观察所有图像的特征也可以将特征进行后续处理，效果如图6所示。成功存入Excel或导入出错会有弹窗显示，方便用户使用，效果如图7所示。

4.2. 检测流程

先将榨菜包装按一定的顺序进行编号后，搭建硬件设备。相机放置于三脚架上，摄像头垂直向下，调整物距寻找最优值为250 mm，固定焦距、透光度等参数。给相机通电并使用千兆网线将相机和计算机连接。对所有包装进行拍摄并将数据输入到计算机内，运行自建的程序依次对输入图像数据进行灰度化处理和图像分割，其具体包括基于阈值的图像分割、基于区域的图像分割和基于边缘的图像分割；然后进行纹理特征提取和颜色特征提取。最终将缺陷图像的特征值存入Excel表格中。每行数据对应一包榨菜的缺陷特征。

Figure 5. The result of image segmentation when the threshold is 120

图5. 阈值为120时图像分割结果

Figure 6. Texture feature extraction and color feature extraction are carried out on the image

图6. 对图像进行纹理特征提取和颜色特征提取

Figure 7. The extracted texture features and color features are stored in Excel

图7. 将提取的纹理特征和颜色特征存入Excel表格中

5. 实验结果

拍摄环境全封闭不透光，内设LED灯源补光，在本套实验装置条件下进行图像采集，要求榨菜包装边缘与图像边缘尽量重合。设定好传输通道以及相机焦距等相关参数，检测效果可观，提取的特征类别清晰，易于处理。应注意拍摄时应避免强反光点出现于包装表面，且图像分割环节阈值选取需合理。

6. 结论

利用机器视觉检测技术，对食品工厂质检环节提供帮助。榨菜表面划痕检测关键环节为图像分割，本次所采用硬件设备以及拍摄环节效果较好，得到原始数据干扰较小，可以省去图像预处理工作，但是对于复杂的拍摄环境需加入图像预处理环节，其处理后再进行本方案各环节。硬件搭建过程中需要着重考虑光源与相机的选型，需要固定物距、焦距等。此外，相机控制软件也有较多选择，本方案选择MATLAB调用相机并控制拍照以方便后续图像处理环节，还可以选择halcon等专业图像处理软件。

基金项目

本文章由2020年大学生创新创业训练项目重庆市级“基于智能机器视觉的食品软包装质量检测技术设计”资助，项目编号为S202010618018。感谢重庆交通大学机电与车辆工程学院陈里里副教授大力支持，为技术的建立提供帮助。