基于NI Vision Assistant的樱桃缺陷检测方法

Detection of Cherry Defects Based on NI Vision Assistant

摘要: 为了改善我国樱桃分选仍然主要由人工作业的现状，实现樱桃缺陷果自动筛选，提高樱桃生产效率。本实验结合现有的图像处理方法，设计了一套基于视觉处理软件NI Vision Assistant的樱桃缺陷检测装置。实验中首先利用图像采集系统获取樱桃图像，然后利用算法提取樱桃缺陷部分，最后将缺陷果位置信息发送给筛选机构，从而完成樱桃的缺陷检测与筛选。最后的实验结果表明，此筛选方法速度快，实验器械和方法较为简单，综合检测正确率也比较高，基本满足实际生产中缺陷樱桃的检测要求。

Abstract: In order to improve the status of cherry sorting in China, the automatic screening of cherry fruit defects and the improvement of cherry production efficiency were mainly carried out. Combined with the existing image processing methods, this paper designed a set of cherry defect detection device based on visual processing software NI Vision Assistant. In this experiment, using image acquisition system to obtain the image and then the algorithm to extract the cherry fruit defect part; finally the defect location information is sent to the screening mechanism, so as to complete the detection and screening of defects of cherry. Finally, the experimental results show that the screening method is fast; the experimental instruments and methods are relatively simple; and the comprehensive detection accuracy is relatively high, which basically meets the requirements of the detection of defective cherries in actual production.

文章引用：王昭, 程朋乐, 皇甫宜龙, 古宏涛, 张京善. 基于NI Vision Assistant的樱桃缺陷检测方法[J]. 计算机科学与应用, 2017, 7(12): 1163-1173. https://doi.org/10.12677/CSA.2017.712131

1. 引言

根据中商产业研究院发布的《2016/17年度全球樱桃行业研究报告》数据显示，2015年全球樱桃总产量为303万吨，其中我国樱桃产量为24.2万吨，约占全球总产量的8%。我国樱桃进口量占世界进口总量的24.3%，已经取代俄罗斯成为世界第一大樱桃进口国，然而出口量却不足全球总出口量的不足3%。究其原因不难发现造成我国樱桃出口量低的主要原因便是在樱桃采摘后的产后处理环节不足及产后处理技术偏低。当前樱桃出口大国如智利，美国等，其樱桃产后商品化处理比例已达80%~90%，而我国还不到总产量的5%。按照国际标准，只有经过筛选筛选的高档樱桃才能参与国际竞争，而我国很多优质樱桃由于没有经过严格品质检测与筛选，良莠不齐，只能以低等级樱桃出售。因此如何充分利用先进技术手段和方法将樱桃进行筛选筛选是提高我国樱桃国际竞争力的关键。随着无损检测技术和图像处理技术的飞速发展，已有许多国内外学者在水果缺陷检测上做过研究，国外如Tao Y (1995) [1] 等做了基于机器视觉的苹果和土豆的颜色检测，实验结果表明该方法对苹果和土豆的分级效果显著，但是对运动图像处理效果较差。国内如早期的应义斌等(1999) [2] 做过基于傅立叶变换结合神经网络算法来实现黄花梨的果形识别的研究，能识别水果外形但是无法识别缺陷，近年来有刘佳男(2012) [3] 研究了基于BP神经网络来对水果缺陷种类进行分类，该方法对各种缺陷的识别效果较好；王福杰(2016) [4] 则设计了一种新的运动状态下多相机水果检测系统，该方法有较好的背景分割效果但是识别准确率较低，且速度较慢无法满足工业需求。

但是针对樱桃的精准检测方法与设备暂时还未出现。因此本文参照已有的水果检测方法，设计了一种全新的基于NI Vision Assistant的樱桃缺陷自动检测及筛选系统。利用机器视觉原理去检测缺陷，不仅可以提高筛选精度与准确性，而大大节约了人工成本，提高了生产效率。

2. 缺陷检测视觉系统方案概述

2.1. 实验材料

实验材料为市面所售红灯樱桃，此品种属中大型果，果皮色泽鲜红成熟时深紫，果肉肥厚多汁，成熟期较早，但肉质较软，果皮较薄，不耐贮运且容易腐烂，采收前如遇雨天还会出现轻微裂果。并且会出现自然腐果、鸟啄以及疤痕等情况，还会出现异型果体征。由于条件所限，实验所用樱桃包含正常果与部分缺陷果。

2.2. 视觉系统示意图

视觉系统示意图如图1，主要包括光照箱，光源，摄像机，遮光板，镜头及计算机等，然后在传送带后部加装气吸筛选装置。其中光照箱与光源组成光照系统，其在机器视觉中光照系统影响着所得图像的品质并为视觉系统提供图像采集环境。摄像机主要作用是将光强信号转化为电信号。遮光板的作用是使得摄像头视野内光照为漫反射，防止发生镜面反射影响实验结果。镜头的作用是保证摄像机获取的图像清晰大小合适。计算机主要作用是将视觉系统获得的图像进行处理并整合其他的硬件设施使整个系统能够正常工作。

2.3. 视觉系统硬件选择

饶秀勤、应义斌等人经过实验得出在视觉系统中，增大相机到被测物体之间的距离可以减小图像畸变 [5] 。因而为了保证相机到水果的距离足够，满足光源安装条件，方便调节光源和相机位置，将光照箱设计为450 mm × 450 mm × 300 mm的长方体纸板箱，光照箱内表面贴漫反射层防止产生镜面反射干扰摄像机。由于樱桃体积较小且颜色较为鲜亮，因此选用像素较高的控汇eip300 CMOS彩色工业相机，该相机像素达到300 w，满足拍摄要求。镜头靶面尺寸应与摄像机相同，根据摄像机到樱桃的距离选取焦距为16 mm的ComputarM1614-MP2镜头。机器视觉常用光源主要有荧光灯及LED灯，此处选择性价比较高的LED白色光源，由于樱桃表面很光滑，易发生镜面反射影响测试结果，还需在光源前加装遮光板。

2.4. 系统工作过程

本系统主要分为两个部分，第一部分为图像识别及处理部分，在视觉系统接收到樱桃图像后经过计算机处理将缺陷樱桃检测出来，第二部分为接受缺陷樱桃位置信息并将其吸出的筛选机构。工作流程如图2所示，当放置在传送带上的樱桃经过图像采集区域时，摄像机采集樱桃图像，之后将所得图像传递给计算机，令计算机对该图像进行处理和检测，判断樱桃是否有缺陷，若有缺陷则将樱桃在系统中的位置信息传递给下机位的气吸筛选装置，最后由气吸装置经由输送管道将缺陷果送至指定位置，实现樱桃的缺陷果筛选。

Figure 1. Sketch map of visual system

图1. 视觉系统示意图

Figure 2. System work flow chart

图2. 系统工作流程图

3. 图像特征提取及缺陷检测算法

3.1. 去背景及图像分割

在水果分拣线上，经由传送带运送到摄像机视野的水果基本都是多个出现的如图3所示。而缺陷检测和识别却是针对单个水果个体而言的。因此必须对多个水果的图像进行分割，从而得到适用于接下来检测工作的不相连图像。

得到去背景图像的流程如图4所示，分析樱桃图像的颜色分量，发现其正常部分较黑而缺陷部分及背景较白，因此为了将樱桃从背景中分离出来，选择分离其R分量并进行反转操作。

在实际图像处理中，NI VISION中含有很多的图像颜色模型，例如RGB，HIS，HSL，HSV等。不同的颜色模型即指不同的三维颜色空间的可见光子集，例如RGB颜色模型就是在单位立方体空间内的颜色合集，RGB分别表示红绿蓝三原色；HSI颜色模型则是用圆锥来描述，HIS分别表示色调、饱和度、亮度。不同的颜色模型之间可以互相转化。本次实验中摄像机获取的图像是RGB格式的，所以在提取R分量时只需要将其余两个分量的值设为0即可。

反转操作可生成所得相片的底片，加强樱桃正常部分与缺陷部分的对比。处理后由于图像色彩的缺失，图像内特征将变得不明显，因此需要进行线性对比度增强，之后即可进行阈值分割获得较为粗糙的去背景图像，但是在二值化后，图像边缘会产生毛边，对其进行中值滤波模糊处理并对处理后图像提取边缘，此时得到的图像可能出现连接，从而影响到后续实验，因此需要进行分水岭分割以获取不相连单果图像。最后所得图像如图5所示。

3.2. 涉及算法或函数

3.2.1. 阈值分割算法

视觉系统在工作时，得到的图像不仅包含樱桃而且含有背景，因此需要进行背景分割来获得去除背景后的樱桃图像，去背景最常用的方法便是阈值分割。阈值分割的原理是根据一个“数值”来定义图像

中不同目标的区域归属，这个值便称之为阈值，经过阈值分割的两部分分别属于不同的图像部分 [6] 。背景分割中阈值分割算法已经发展的十分成熟，阈值的获取方法也有很多种，NI Vision Assistant中主要方法有自适应阈值、统计最优阈值、极小点阈值和Otsu法阈值。

自适应阈值的原理是根据每个像素的邻域计算阈值，之后将每个像素的值与邻域的平均值进行比较。如果某像素的值与它的局部平均值差别很大，就会被当做异常值在阈值化过程中被分离。统计最优阈值的原理是基于统计学算法，得到能使分割失误最小的阈值。极小点阈值的原理是求取直方图峰值函数的极小值(导数为0且二阶导数大于0的点)，该点对应的灰度值就是极小点阈值。Otus法阈值又名大津法，具体原理为：

Figure 3. A color chart of several cherries

图3. 彩色多果图

Figure 4. Flow chart of individual fruit image

图4. 摄取单果图像流程图

Figure 5. Removing background segmentation

图5. 去背景分割图

设所求Otus阈值为T，樱桃与背景像素数分别占整个图像像素数的比例各为 ${\rho }_1$ ， ${\rho }_2$ 。平均灰度分别为 $N_1$ ， $N_2$ ，总平均灰度记为N，类间方差记为P。设樱桃图像为暗的部分，且总的图像大小为 $A\times B$ ，将灰度值小于阈值T的像素个数记作 $A_1$ ，大于阈值T的像素个数记作 $A_2$ ，则：

${\rho }_1=\frac{A_1}{A\times B}$ (1)

${\rho }_2=\frac{A_2}{A\times B}$ (2)

$A_1+A_2=A\times B$ (3)

${\rho }_1\times {\rho }_2=1$ (4)

$N=N_1\times P_1+N_2\times P_2$ (5)

$P={\rho }_1\times {\left(N-N_1\right)}^2+{\rho }_2\times {\left(N-N_2\right)}^2$ (6)

将式(5)代入式(6)可得

$P={\rho }_1\times {\rho }_2\times {\left(N_1\times N_2\right)}^2$ (7)

比对所得到的所有的P，则使得P取得最大值的T即为所求阈值。

3.2.2. 边缘检测算子

在樱桃图像和背景分离后，还需提取樱桃图像的边缘轮廓用作后续处理。通过灰度直方图可看出灰度变化明显的部分即为边缘轮廓。灰度的突变及不连续可以利用导数来检测。NI Vision Assistant中常见的边缘检测算子有Laplacian算子、Diff算子、Prewitt算子、Sobel算子、Roberts算子、Canny算子六种，每一种都有不同的算法。下面主要介绍本次实验中用到的Laplacian算子、Sobel算子及Candy算子。

Laplacian算子

Laplacian算子原理是对于大部分图像而言，其边缘会出现阶跃，则其二阶导数在边缘点两侧异号。其定义式为：

${\nabla }^{2}f\left(x,y\right)=\frac{{\partial }^2}{\partial x^2}f\left(x,y\right)+\frac{{\partial }^2}{\partial y^2}f\left(x,y\right)$ (8)

如果用差分代替二阶偏导，则式(8)变为：

${\Delta }^{2}f\left(x,y\right)=f\left(x+1,y\right)+f\left(x-1,y\right)+f\left(x,y+1\right)+f\left(x,y-1\right)-4f\left(x,y\right)$ (9)

$\begin{array}{c}{\Delta }^{2}f\left(x,y\right)=f\left(x-1,y-1\right)+f\left(x,y-1\right)+f\left(x+1,y-1\right)+f\left(x-1,y\right)+f\left(x+1,y\right)\\ +f\left(x-1,y+1\right)+f\left(x,y+1\right)+f\left(x+1,y+1\right)-8f\left(x,y\right)\end{array}$ (10)

Laplacian算子模版如图6所示，基本特点为中心位置系数为正其余系数为负或零，且正负和为0。Laplacian算子对边缘端点及孤立点识别效果显著，这也使得其对噪声非常敏感，所以很少用直接用Laplacian算子进行检测。

Sobel算子

Sobel算子是基于函数卷积来进行图像分析的，具体运算过程就是将原图像函数先进行加权平均而后求其微分，其定义式为：

$s_{\left(x,y\right)}=MAX\left[{\displaystyle {\sum }_{m=1}^M{\displaystyle {\sum }_{n=1}^{N}f\left(m,n\right)g_{1,2}\left(i-m,j-n\right)}}\right]$ (11)

如果将差分替换为二阶偏导，则式(11)变为：

$\begin{array}{c}{\Delta }_x{f}_{\left(x,y\right)}=\left[f\left(x-1,y+1\right)+2f\left(x,y+1\right)+f\left(x+1,y+1\right)\right]\\ -\left[f\left(x-1,y-1\right)+2\left(x,y-1\right)+f\left(x+1,y-1\right)\right]\end{array}$ (12)

$\begin{array}{c}{\Delta }_y{f}_{\left(x,y\right)}=\left[f\left(x-1,y-1\right)+2f\left(x-1,y\right)+f\left(x-1,y+1\right)\right]\\ -\left[f\left(x+1,y-1\right)+2\left(x+1,y\right)+f\left(x+1,y+1\right)\right]\end{array}$ (13)

Sobel算子模版如图7所示，左边表格用于检测水平方向边缘，右边表格用于检测垂直方向的边缘。

Candy算子

Candy算子不同于前面2种算子，其为了避免噪声干扰，选取高斯函数的一阶导函数作为边边缘检测算子。

设二维高斯函数为：

$G\left(x,y\right)=\frac{1}{2\text{π}{\sigma }^2}\exp \left(-\frac{x^2+y^2}{2{\sigma }^2}\right)$ (14)

由数学知识可知，高斯函数可以分解。因此可将卷积 $\nabla G$ 分解为两个一维的行列滤波器：

$\frac{\partial G\left(x,y\right)}{\partial x}=kx\exp \left(-\frac{x^2}{2{\sigma }^2}\right)\exp \left(-\frac{y^2}{2{\sigma }^2}\right)=h_1\left(x\right)h_2\left(y\right)$ (15)

$\frac{\partial G\left(x,y\right)}{\partial y}=ky\exp \left(-\frac{y^2}{2{\sigma }^2}\right)\exp \left(-\frac{x^2}{2{\sigma }^2}\right)=h_1\left(y\right)h_2\left(x\right)$ (16)

其中 $h_1\left(x\right)=x{h}_2\left(x\right)$ ， $h_1\left(y\right)=y{h}_2\left(y\right)$ ，k为常数。

然后分别求其与式(15)；(16)与 的卷积，得

$E_x=\frac{\partial G\left(x,y\right)}{\partial x}\ast f;E_y=\frac{\partial G\left(x,y\right)}{\partial y}\ast f$ (17)

则可得边缘强度A，方向 $\alpha$ 如式(18)所示

$A\left(i,j\right)=\sqrt{E_x^2+E_y^2};a\left(i,j\right)=\arctan \frac{E_y\left(i\cdot j\right)}{E_x\left(i\cdot j\right)}$ (18)

Figure 6. Laplacian operator template

图6. Laplacian算子模版

Figure 7. Sobel operator template

图7. Sobel算子模版

比较三种边缘算子，可以发现Candy算子在噪声去除效果上要好于其余2种算子，而Laplacian算子由于对噪声较为敏感，使得其结果虽然对边缘定位校准，但是会加强噪声。

3.2.3. 滤波处理

滤波是一种能有效抑制噪声的图像处理方法，NI Vision Assistant 中主要有低通滤波、局部均值滤波、高斯滤波、中值滤波等四种。

低通滤波的原理是使得图像低频信号通过而高频信号截至，其主要作用是消除细节模糊边缘并平滑图像。局部均值滤波与低通滤波效果类似，主要用来过滤高频噪声。高斯滤波可以有效减弱像素领域的光强变化，效果较前两种滤波较弱。中值滤波的原理是用像素点领域灰度值的中值来替代该像素点的灰度值，该方法可以有效消除椒盐噪声、脉冲噪声。比较四种滤波器可得在消除噪声时中值滤波效果较好，在平滑边缘时其余三种滤波效果较好。

3.3. 水果缺陷提取

本课题主要研究樱桃表面的缺陷，故准确高效分割出樱桃图像中的缺陷区域是处理的首要任务。在提取缺陷时，首先需要明确衡量樱桃缺陷的参数，由实际工业生产可知，樱桃缺陷主要有腐烂、鸟啄、划痕、畸形果这四种，其中腐烂在机器视觉所获取的图像中表现为二值图出现大量的斑点；鸟啄和划痕表现为在图像边缘内部出现黑色不规则线条。而裂果及畸形果则表现为图像边缘不是近似圆形或者椭圆形。所以只要获取的图像出现非边缘部分出现斑点或者不规则线条或者边缘不符合要求即可认为是缺陷果。

缺陷提取流程如图8所示。分析图像可知由于樱桃为近球型水果，其拍摄所得图像会存在边缘亮度较低的问题，不便于进行下一步处理，因此为达到缺陷分割的目的，需要首先对得到的去背景图进行边缘亮度补偿，之后再进行一次自适应阈值分割从而得到包含边缘部分及缺陷的二值图，对边缘进行类似于上一流程的处理(高斯平滑并均值滤波)后得到包含樱桃边缘和缺陷的二值图像如图9所示，将其和上一步时已储存的边缘轮廓相加，消去其外部轮廓，即可得到最后的缺陷图。

Figure 8. Flow chart of defect segmentation

图8. 缺陷分割流程图

Figure 9. Edge compensation and threshold segmentation

图9. 边缘亮度补偿及阈值分割

在进行高斯平滑并均值滤波后，还需进行闭操作筛选，而上一步的轮廓也需要进一步做膨胀处理。这样做的主要目的仍然是为了过滤噪声及加强图像以获得更准确的图像。其中闭操作筛选是用于去除图像中的暗的细节部分并保持亮的部分不受影响，防止将图像的暗点误判为缺陷。膨胀操作的目的则是为了加强轮廓效果，消除轮廓获取时存在的间断点，不相连小区域等。

最终缺陷如图10所示。

3.4. 缺陷樱桃筛选

在上一步得到包含樱桃边缘及缺陷的图像后，需要记录此时的各樱桃轮廓信息并计算每个樱桃的近

Figure 10. Final defect picture

图10. 最终缺陷图

Table 1. Experimental data

表1. 实验数据

似形心以便于此处进行筛选时对缺陷樱桃的定位。在定位结束后将位置信息传递给下机位的气吸筛选机构，由筛选机构将有问题樱桃吸出。

经测试，该气吸筛选机构工作效率较高筛选速度快，基本能够满足实时检测筛选的工业需求。

4. 实验数据

将所有樱桃共计100个均进行同样的处理，统计样品的检测正确率得到数据如表1所示。

由实验数据可知本次试验综合正确率为86.8%，分析可知，造成正确率低于预期的主要原因有以下几种：

· 樱桃在进入光照箱前，若不进行清洗，则有可能存在泥土鸟粪等污垢，而在检测时依然会将它们识别为缺陷，但是如果进行水洗又会降低樱桃的贮藏期限。

· 有些樱桃在采摘过程中果梗会脱落从而露出一个圆形的“缺口”，如果该“缺口”恰好在正上方时，也会被错误的认定为缺陷。

· 虽然设置了自定义阈值，但是由于樱桃缺陷种类众多，且不同种缺陷的表现形式如颜色、亮度、对比度等会有较大差别，因此不存在能将所有缺陷一次性检测出来的方法。

5. 总结

本次实验主要是利用机器视觉技术及图像处理软件NI VISION对樱桃表面缺陷进行检测，获得的实验数据及研究成果为后续的缺陷樱桃自动分拣流水线的构建奠定了基础。本次实验主要有以下两点创新:一是由于国内有关樱桃缺陷检测方面的论文及实验方案还较少，本实验根据已有的水果缺陷检测方法自行设计了一种全新的缺陷检测算法及筛选机构，这种机构处理速度快，能实时处理并筛选缺陷果，极大的提高了生产效率，改进了以往人工筛选速度慢、效率低、主观影响严重等缺点。二是在实际工业生产中，图像处理不仅要满足准确率要求，也需要控制算法复杂程度，降低单个樱桃检测耗时，从而提高检测效率。本次实验选用了计算量少，响应速度快的算法，加快了图像处理速度，从而保证在生产线上经过一个樱桃的时间内能够完成这个樱桃的检测。

但是本方案仍然存在一些问题，例如本方案仅检测了樱桃缺陷的有无，对具体的缺陷类型并未做详细的探讨研究。因为在樱桃的等级划分中，缺陷虽然是一项重要指标，但只需要将有无缺陷的樱桃分开即可，对缺陷的大小及类型不做要求。而且分类缺陷检测对算法的需求过于复杂，会大大降低检测速度，因此此方案不探讨具体缺陷类型。而且在樱桃随传送带进入图像采集区域时，樱桃本身并不动，这就使得在获得图像时总有很小一部分与传送带接触从而无法检测。关于这些问题，还有待进一步研究和讨论。

基金项目

通州区西集镇沙古堆大樱桃专业合作社特色农产品物流系统研究与示范应用项目编号：KJ2017CX016。

参考文献

[1]	Tao, Y., Heinemann, P.H., et al. (1995) Machine Vision for Color Inspection of Potatoes and Apples. Transactions of the ASAE, 38, 1555-1561. https://doi.org/10.13031/2013.27982
[2]	应义斌, 景寒松. 黄花梨果形的机器视觉识别方法研究[J]. 农业工程学报, 1999, 15(1): 192-196.
[3]	刘佳男. 基于机器视觉的水果表面缺陷识别方法的研究[D]: [硕士学位论文]. 无锡: 江南大学, 2012.
[4]	王福杰. 运动水果的形状描述方法与在线检测技术[D]: [博士学位论文]. 杭州: 浙江大学, 2013.
[5]	饶秀勤, 应义斌. 基于机器视觉的水果尺寸检测误差分析[J]. 农业工程学报, 2003, 19(1): 121-123.
[6]	白菲. 基于机器视觉的柑橘水果外形识别方法研究[D]: [硕士学位论文]. 北京: 中国农业大学, 2005.

1. 引言

根据中商产业研究院发布的《2016/17年度全球樱桃行业研究报告》数据显示，2015年全球樱桃总产量为303万吨，其中我国樱桃产量为24.2万吨，约占全球总产量的8%。我国樱桃进口量占世界进口总量的24.3%，已经取代俄罗斯成为世界第一大樱桃进口国，然而出口量却不足全球总出口量的不足3%。究其原因不难发现造成我国樱桃出口量低的主要原因便是在樱桃采摘后的产后处理环节不足及产后处理技术偏低。当前樱桃出口大国如智利，美国等，其樱桃产后商品化处理比例已达80%~90%，而我国还不到总产量的5%。按照国际标准，只有经过筛选筛选的高档樱桃才能参与国际竞争，而我国很多优质樱桃由于没有经过严格品质检测与筛选，良莠不齐，只能以低等级樱桃出售。因此如何充分利用先进技术手段和方法将樱桃进行筛选筛选是提高我国樱桃国际竞争力的关键。随着无损检测技术和图像处理技术的飞速发展，已有许多国内外学者在水果缺陷检测上做过研究，国外如Tao Y (1995) [1] 等做了基于机器视觉的苹果和土豆的颜色检测，实验结果表明该方法对苹果和土豆的分级效果显著，但是对运动图像处理效果较差。国内如早期的应义斌等(1999) [2] 做过基于傅立叶变换结合神经网络算法来实现黄花梨的果形识别的研究，能识别水果外形但是无法识别缺陷，近年来有刘佳男(2012) [3] 研究了基于BP神经网络来对水果缺陷种类进行分类，该方法对各种缺陷的识别效果较好；王福杰(2016) [4] 则设计了一种新的运动状态下多相机水果检测系统，该方法有较好的背景分割效果但是识别准确率较低，且速度较慢无法满足工业需求。

但是针对樱桃的精准检测方法与设备暂时还未出现。因此本文参照已有的水果检测方法，设计了一种全新的基于NI Vision Assistant的樱桃缺陷自动检测及筛选系统。利用机器视觉原理去检测缺陷，不仅可以提高筛选精度与准确性，而大大节约了人工成本，提高了生产效率。

2. 缺陷检测视觉系统方案概述

2.1. 实验材料

实验材料为市面所售红灯樱桃，此品种属中大型果，果皮色泽鲜红成熟时深紫，果肉肥厚多汁，成熟期较早，但肉质较软，果皮较薄，不耐贮运且容易腐烂，采收前如遇雨天还会出现轻微裂果。并且会出现自然腐果、鸟啄以及疤痕等情况，还会出现异型果体征。由于条件所限，实验所用樱桃包含正常果与部分缺陷果。

2.2. 视觉系统示意图

视觉系统示意图如图1，主要包括光照箱，光源，摄像机，遮光板，镜头及计算机等，然后在传送带后部加装气吸筛选装置。其中光照箱与光源组成光照系统，其在机器视觉中光照系统影响着所得图像的品质并为视觉系统提供图像采集环境。摄像机主要作用是将光强信号转化为电信号。遮光板的作用是使得摄像头视野内光照为漫反射，防止发生镜面反射影响实验结果。镜头的作用是保证摄像机获取的图像清晰大小合适。计算机主要作用是将视觉系统获得的图像进行处理并整合其他的硬件设施使整个系统能够正常工作。

2.3. 视觉系统硬件选择

饶秀勤、应义斌等人经过实验得出在视觉系统中，增大相机到被测物体之间的距离可以减小图像畸变 [5] 。因而为了保证相机到水果的距离足够，满足光源安装条件，方便调节光源和相机位置，将光照箱设计为450 mm × 450 mm × 300 mm的长方体纸板箱，光照箱内表面贴漫反射层防止产生镜面反射干扰摄像机。由于樱桃体积较小且颜色较为鲜亮，因此选用像素较高的控汇eip300 CMOS彩色工业相机，该相机像素达到300 w，满足拍摄要求。镜头靶面尺寸应与摄像机相同，根据摄像机到樱桃的距离选取焦距为16 mm的ComputarM1614-MP2镜头。机器视觉常用光源主要有荧光灯及LED灯，此处选择性价比较高的LED白色光源，由于樱桃表面很光滑，易发生镜面反射影响测试结果，还需在光源前加装遮光板。

2.4. 系统工作过程

本系统主要分为两个部分，第一部分为图像识别及处理部分，在视觉系统接收到樱桃图像后经过计算机处理将缺陷樱桃检测出来，第二部分为接受缺陷樱桃位置信息并将其吸出的筛选机构。工作流程如图2所示，当放置在传送带上的樱桃经过图像采集区域时，摄像机采集樱桃图像，之后将所得图像传递给计算机，令计算机对该图像进行处理和检测，判断樱桃是否有缺陷，若有缺陷则将樱桃在系统中的位置信息传递给下机位的气吸筛选装置，最后由气吸装置经由输送管道将缺陷果送至指定位置，实现樱桃的缺陷果筛选。

Figure 1. Sketch map of visual system

图1. 视觉系统示意图

Figure 2. System work flow chart

图2. 系统工作流程图

3. 图像特征提取及缺陷检测算法

3.1. 去背景及图像分割

在水果分拣线上，经由传送带运送到摄像机视野的水果基本都是多个出现的如图3所示。而缺陷检测和识别却是针对单个水果个体而言的。因此必须对多个水果的图像进行分割，从而得到适用于接下来检测工作的不相连图像。

得到去背景图像的流程如图4所示，分析樱桃图像的颜色分量，发现其正常部分较黑而缺陷部分及背景较白，因此为了将樱桃从背景中分离出来，选择分离其R分量并进行反转操作。

在实际图像处理中，NI VISION中含有很多的图像颜色模型，例如RGB，HIS，HSL，HSV等。不同的颜色模型即指不同的三维颜色空间的可见光子集，例如RGB颜色模型就是在单位立方体空间内的颜色合集，RGB分别表示红绿蓝三原色；HSI颜色模型则是用圆锥来描述，HIS分别表示色调、饱和度、亮度。不同的颜色模型之间可以互相转化。本次实验中摄像机获取的图像是RGB格式的，所以在提取R分量时只需要将其余两个分量的值设为0即可。

反转操作可生成所得相片的底片，加强樱桃正常部分与缺陷部分的对比。处理后由于图像色彩的缺失，图像内特征将变得不明显，因此需要进行线性对比度增强，之后即可进行阈值分割获得较为粗糙的去背景图像，但是在二值化后，图像边缘会产生毛边，对其进行中值滤波模糊处理并对处理后图像提取边缘，此时得到的图像可能出现连接，从而影响到后续实验，因此需要进行分水岭分割以获取不相连单果图像。最后所得图像如图5所示。

3.2. 涉及算法或函数

3.2.1. 阈值分割算法

视觉系统在工作时，得到的图像不仅包含樱桃而且含有背景，因此需要进行背景分割来获得去除背景后的樱桃图像，去背景最常用的方法便是阈值分割。阈值分割的原理是根据一个“数值”来定义图像

中不同目标的区域归属，这个值便称之为阈值，经过阈值分割的两部分分别属于不同的图像部分 [6] 。背景分割中阈值分割算法已经发展的十分成熟，阈值的获取方法也有很多种，NI Vision Assistant中主要方法有自适应阈值、统计最优阈值、极小点阈值和Otsu法阈值。

自适应阈值的原理是根据每个像素的邻域计算阈值，之后将每个像素的值与邻域的平均值进行比较。如果某像素的值与它的局部平均值差别很大，就会被当做异常值在阈值化过程中被分离。统计最优阈值的原理是基于统计学算法，得到能使分割失误最小的阈值。极小点阈值的原理是求取直方图峰值函数的极小值(导数为0且二阶导数大于0的点)，该点对应的灰度值就是极小点阈值。Otus法阈值又名大津法，具体原理为：

Figure 3. A color chart of several cherries

图3. 彩色多果图

Figure 4. Flow chart of individual fruit image

图4. 摄取单果图像流程图

Figure 5. Removing background segmentation

图5. 去背景分割图

设所求Otus阈值为T，樱桃与背景像素数分别占整个图像像素数的比例各为 ${\rho }_1$ ， ${\rho }_2$ 。平均灰度分别为 $N_1$ ， $N_2$ ，总平均灰度记为N，类间方差记为P。设樱桃图像为暗的部分，且总的图像大小为 $A\times B$ ，将灰度值小于阈值T的像素个数记作 $A_1$ ，大于阈值T的像素个数记作 $A_2$ ，则：

${\rho }_1=\frac{A_1}{A\times B}$ (1)

${\rho }_2=\frac{A_2}{A\times B}$ (2)

$A_1+A_2=A\times B$ (3)

${\rho }_1\times {\rho }_2=1$ (4)

$N=N_1\times P_1+N_2\times P_2$ (5)

$P={\rho }_1\times {\left(N-N_1\right)}^2+{\rho }_2\times {\left(N-N_2\right)}^2$ (6)

将式(5)代入式(6)可得

$P={\rho }_1\times {\rho }_2\times {\left(N_1\times N_2\right)}^2$ (7)

比对所得到的所有的P，则使得P取得最大值的T即为所求阈值。

3.2.2. 边缘检测算子

在樱桃图像和背景分离后，还需提取樱桃图像的边缘轮廓用作后续处理。通过灰度直方图可看出灰度变化明显的部分即为边缘轮廓。灰度的突变及不连续可以利用导数来检测。NI Vision Assistant中常见的边缘检测算子有Laplacian算子、Diff算子、Prewitt算子、Sobel算子、Roberts算子、Canny算子六种，每一种都有不同的算法。下面主要介绍本次实验中用到的Laplacian算子、Sobel算子及Candy算子。

Laplacian算子

Laplacian算子原理是对于大部分图像而言，其边缘会出现阶跃，则其二阶导数在边缘点两侧异号。其定义式为：

${\nabla }^{2}f\left(x,y\right)=\frac{{\partial }^2}{\partial x^2}f\left(x,y\right)+\frac{{\partial }^2}{\partial y^2}f\left(x,y\right)$ (8)

如果用差分代替二阶偏导，则式(8)变为：

${\Delta }^{2}f\left(x,y\right)=f\left(x+1,y\right)+f\left(x-1,y\right)+f\left(x,y+1\right)+f\left(x,y-1\right)-4f\left(x,y\right)$ (9)

$\begin{array}{c}{\Delta }^{2}f\left(x,y\right)=f\left(x-1,y-1\right)+f\left(x,y-1\right)+f\left(x+1,y-1\right)+f\left(x-1,y\right)+f\left(x+1,y\right)\\ +f\left(x-1,y+1\right)+f\left(x,y+1\right)+f\left(x+1,y+1\right)-8f\left(x,y\right)\end{array}$ (10)

Laplacian算子模版如图6所示，基本特点为中心位置系数为正其余系数为负或零，且正负和为0。Laplacian算子对边缘端点及孤立点识别效果显著，这也使得其对噪声非常敏感，所以很少用直接用Laplacian算子进行检测。

Sobel算子

Sobel算子是基于函数卷积来进行图像分析的，具体运算过程就是将原图像函数先进行加权平均而后求其微分，其定义式为：

$s_{\left(x,y\right)}=MAX\left[{\displaystyle {\sum }_{m=1}^M{\displaystyle {\sum }_{n=1}^{N}f\left(m,n\right)g_{1,2}\left(i-m,j-n\right)}}\right]$ (11)

如果将差分替换为二阶偏导，则式(11)变为：

$\begin{array}{c}{\Delta }_x{f}_{\left(x,y\right)}=\left[f\left(x-1,y+1\right)+2f\left(x,y+1\right)+f\left(x+1,y+1\right)\right]\\ -\left[f\left(x-1,y-1\right)+2\left(x,y-1\right)+f\left(x+1,y-1\right)\right]\end{array}$ (12)

$\begin{array}{c}{\Delta }_y{f}_{\left(x,y\right)}=\left[f\left(x-1,y-1\right)+2f\left(x-1,y\right)+f\left(x-1,y+1\right)\right]\\ -\left[f\left(x+1,y-1\right)+2\left(x+1,y\right)+f\left(x+1,y+1\right)\right]\end{array}$ (13)

Sobel算子模版如图7所示，左边表格用于检测水平方向边缘，右边表格用于检测垂直方向的边缘。

Candy算子

Candy算子不同于前面2种算子，其为了避免噪声干扰，选取高斯函数的一阶导函数作为边边缘检测算子。

设二维高斯函数为：

$G\left(x,y\right)=\frac{1}{2\text{π}{\sigma }^2}\exp \left(-\frac{x^2+y^2}{2{\sigma }^2}\right)$ (14)

由数学知识可知，高斯函数可以分解。因此可将卷积 $\nabla G$ 分解为两个一维的行列滤波器：

$\frac{\partial G\left(x,y\right)}{\partial x}=kx\exp \left(-\frac{x^2}{2{\sigma }^2}\right)\exp \left(-\frac{y^2}{2{\sigma }^2}\right)=h_1\left(x\right)h_2\left(y\right)$ (15)

$\frac{\partial G\left(x,y\right)}{\partial y}=ky\exp \left(-\frac{y^2}{2{\sigma }^2}\right)\exp \left(-\frac{x^2}{2{\sigma }^2}\right)=h_1\left(y\right)h_2\left(x\right)$ (16)

其中 $h_1\left(x\right)=x{h}_2\left(x\right)$ ， $h_1\left(y\right)=y{h}_2\left(y\right)$ ，k为常数。

然后分别求其与式(15)；(16)与 的卷积，得

$E_x=\frac{\partial G\left(x,y\right)}{\partial x}\ast f;E_y=\frac{\partial G\left(x,y\right)}{\partial y}\ast f$ (17)

则可得边缘强度A，方向 $\alpha$ 如式(18)所示

$A\left(i,j\right)=\sqrt{E_x^2+E_y^2};a\left(i,j\right)=\arctan \frac{E_y\left(i\cdot j\right)}{E_x\left(i\cdot j\right)}$ (18)

Figure 6. Laplacian operator template

图6. Laplacian算子模版

Figure 7. Sobel operator template

图7. Sobel算子模版

比较三种边缘算子，可以发现Candy算子在噪声去除效果上要好于其余2种算子，而Laplacian算子由于对噪声较为敏感，使得其结果虽然对边缘定位校准，但是会加强噪声。

3.2.3. 滤波处理

滤波是一种能有效抑制噪声的图像处理方法，NI Vision Assistant 中主要有低通滤波、局部均值滤波、高斯滤波、中值滤波等四种。

低通滤波的原理是使得图像低频信号通过而高频信号截至，其主要作用是消除细节模糊边缘并平滑图像。局部均值滤波与低通滤波效果类似，主要用来过滤高频噪声。高斯滤波可以有效减弱像素领域的光强变化，效果较前两种滤波较弱。中值滤波的原理是用像素点领域灰度值的中值来替代该像素点的灰度值，该方法可以有效消除椒盐噪声、脉冲噪声。比较四种滤波器可得在消除噪声时中值滤波效果较好，在平滑边缘时其余三种滤波效果较好。

3.3. 水果缺陷提取

本课题主要研究樱桃表面的缺陷，故准确高效分割出樱桃图像中的缺陷区域是处理的首要任务。在提取缺陷时，首先需要明确衡量樱桃缺陷的参数，由实际工业生产可知，樱桃缺陷主要有腐烂、鸟啄、划痕、畸形果这四种，其中腐烂在机器视觉所获取的图像中表现为二值图出现大量的斑点；鸟啄和划痕表现为在图像边缘内部出现黑色不规则线条。而裂果及畸形果则表现为图像边缘不是近似圆形或者椭圆形。所以只要获取的图像出现非边缘部分出现斑点或者不规则线条或者边缘不符合要求即可认为是缺陷果。

缺陷提取流程如图8所示。分析图像可知由于樱桃为近球型水果，其拍摄所得图像会存在边缘亮度较低的问题，不便于进行下一步处理，因此为达到缺陷分割的目的，需要首先对得到的去背景图进行边缘亮度补偿，之后再进行一次自适应阈值分割从而得到包含边缘部分及缺陷的二值图，对边缘进行类似于上一流程的处理(高斯平滑并均值滤波)后得到包含樱桃边缘和缺陷的二值图像如图9所示，将其和上一步时已储存的边缘轮廓相加，消去其外部轮廓，即可得到最后的缺陷图。

Figure 8. Flow chart of defect segmentation

图8. 缺陷分割流程图

Figure 9. Edge compensation and threshold segmentation

图9. 边缘亮度补偿及阈值分割

在进行高斯平滑并均值滤波后，还需进行闭操作筛选，而上一步的轮廓也需要进一步做膨胀处理。这样做的主要目的仍然是为了过滤噪声及加强图像以获得更准确的图像。其中闭操作筛选是用于去除图像中的暗的细节部分并保持亮的部分不受影响，防止将图像的暗点误判为缺陷。膨胀操作的目的则是为了加强轮廓效果，消除轮廓获取时存在的间断点，不相连小区域等。

最终缺陷如图10所示。

3.4. 缺陷樱桃筛选

在上一步得到包含樱桃边缘及缺陷的图像后，需要记录此时的各樱桃轮廓信息并计算每个樱桃的近

Figure 10. Final defect picture

图10. 最终缺陷图

Table 1. Experimental data

表1. 实验数据

似形心以便于此处进行筛选时对缺陷樱桃的定位。在定位结束后将位置信息传递给下机位的气吸筛选机构，由筛选机构将有问题樱桃吸出。

经测试，该气吸筛选机构工作效率较高筛选速度快，基本能够满足实时检测筛选的工业需求。

4. 实验数据

将所有樱桃共计100个均进行同样的处理，统计样品的检测正确率得到数据如表1所示。

由实验数据可知本次试验综合正确率为86.8%，分析可知，造成正确率低于预期的主要原因有以下几种：

· 樱桃在进入光照箱前，若不进行清洗，则有可能存在泥土鸟粪等污垢，而在检测时依然会将它们识别为缺陷，但是如果进行水洗又会降低樱桃的贮藏期限。

· 有些樱桃在采摘过程中果梗会脱落从而露出一个圆形的“缺口”，如果该“缺口”恰好在正上方时，也会被错误的认定为缺陷。

· 虽然设置了自定义阈值，但是由于樱桃缺陷种类众多，且不同种缺陷的表现形式如颜色、亮度、对比度等会有较大差别，因此不存在能将所有缺陷一次性检测出来的方法。

5. 总结

本次实验主要是利用机器视觉技术及图像处理软件NI VISION对樱桃表面缺陷进行检测，获得的实验数据及研究成果为后续的缺陷樱桃自动分拣流水线的构建奠定了基础。本次实验主要有以下两点创新:一是由于国内有关樱桃缺陷检测方面的论文及实验方案还较少，本实验根据已有的水果缺陷检测方法自行设计了一种全新的缺陷检测算法及筛选机构，这种机构处理速度快，能实时处理并筛选缺陷果，极大的提高了生产效率，改进了以往人工筛选速度慢、效率低、主观影响严重等缺点。二是在实际工业生产中，图像处理不仅要满足准确率要求，也需要控制算法复杂程度，降低单个樱桃检测耗时，从而提高检测效率。本次实验选用了计算量少，响应速度快的算法，加快了图像处理速度，从而保证在生产线上经过一个樱桃的时间内能够完成这个樱桃的检测。

但是本方案仍然存在一些问题，例如本方案仅检测了樱桃缺陷的有无，对具体的缺陷类型并未做详细的探讨研究。因为在樱桃的等级划分中，缺陷虽然是一项重要指标，但只需要将有无缺陷的樱桃分开即可，对缺陷的大小及类型不做要求。而且分类缺陷检测对算法的需求过于复杂，会大大降低检测速度，因此此方案不探讨具体缺陷类型。而且在樱桃随传送带进入图像采集区域时，樱桃本身并不动，这就使得在获得图像时总有很小一部分与传送带接触从而无法检测。关于这些问题，还有待进一步研究和讨论。

基金项目

通州区西集镇沙古堆大樱桃专业合作社特色农产品物流系统研究与示范应用项目编号：KJ2017CX016。