1. 引言
食品包装技术作为食品保鲜的重要手段,是食品商业化的重要组成部分。恰当的食品包装能够在运输流通过程中保护食品免受外部污染,保障其安全与质量[1]。然而,在包装密封过程中,因操作不规范、机械振动或异物残留等因素,可能导致封口出现褶皱、热压不足或含有异物等缺陷,从而造成食品安全隐患。为防止不合格食品流入市场,影响消费者体验与企业声誉,目前大部分食品企业对包装封口缺陷仍主要依赖人工抽查进行质量控制。这种方式不仅增加了管理难度,高强度的工作还易导致视觉疲劳,进而提高产品的误检率和漏检率。
目前,机器视觉技术已相当成熟,作为一种无损检测技术在工业产品检测中得到了广泛应用[2]。然而,针对某些工业产品,其不合格品数量稀少,样本不具有代表性,因此常需采用异常检测方法[3]进行目标物检测。例如,樊鑫江等人[4]提出了一种基于深度学习支持向量数据描述(Deep SVDD)与改进视觉几何组网络(VGG16)的纽扣表面缺陷检测模型,其AUC值高于96%;牛茂东等人[5]则采用Deep SVDD进行行星滚柱丝杠的故障检测,AUC值可达99.6%。但传统机器视觉技术受光源类型、光照条件及被检测物材质等因素影响,难以有效提取缺陷的形变与纹理特征。而激光散斑技术能够凸显物体表面纹理信息,为解决这一问题提供了有效途径。
由于激光具有高相干性,当其照射到粗糙表面时,会与表面的微小结构相互作用,产生相互干涉的散射光,进而在表面形成随机分布的散斑图案[6]。激光散斑技术凭借其抗干扰性强、所获取图像对比度高且质量好的优势,已被应用于物体表面粗糙纹理与缺陷检测的研究中[7]。然而,当前食品包装检测领域的研究大多集中于喷码、外包装整体缺陷以及漏装等方面[8]-[10]。针对包装封口纹理缺陷的研究较少,张宝胜等人[11]虽采用背光照明的方式照射透明包装袋封口来分析包装缺陷,检测准确率高达97.5%。但普通光源无法穿透铝箔包装,方法存在局限性。
基于上述研究方法,本研究采用激光散斑成像系统采集食品包装封口纹理图像,对图像进行预处理与CPCA特征提取[12],并通过OCSVM算法构建判别模型,为食品包装检测领域的研究与实践提供参考。
2. 材料与方法
2.1. 材料与仪器
即食小鱼干:浙江瑞松食品有限公司提供,外包装材质为铝箔。
激光散斑成像系统:ace 2 R相机,德国Basler公司,分辨率230万像素;FM12036MP5变焦工业镜头,焦距12~36 mm,分辨率500万像素;LX光纤耦合激光器,美国OBIS公司,波长660 nm,功率75 mW;机械革命承影X17,同方股份有限公司。
激光散斑成像系统如图1所示。系统采用暗场照明凸显样本封口表面纹理特征、减少铝箔产生的镜面反光。并且为保证照射均匀性,系统采用匀光片使激光均匀分布在样本区域。
Figure 1. Laser speckle imaging system
图1. 激光散斑成像系统
2.2. 图像采集和预处理
本实验通过激光成像系统总共采集了285个包装封口完好的包装样本作为正常样本,73个包装封口存在缺陷的样本作为异常样本,合计358个实验样本。该食品外包装采用铝箔材料。铝箔包装虽具有密封性好、抽真空效果佳、透气率低等优点,但其不透明性导致不能直接观察内容物状态,无法判断食品的质量。此外,铝箔在自然光下易反光的特性,导致工业相机难以拍摄到清晰的包装封口图像。图2给出了激光散斑成像系统拍摄的包装封口图像,图3给出了自然光下拍摄的包装封口图像。可以看出在自然光下包装封口纹理特征被大面积反光遮盖,而激光散斑成像系统拍摄的封口纹理特征清晰可见。
Figure 2. Images captured by a laser speckle imaging system. (a) Normal sample; (b) Abnormal sample
图2. 激光散斑成像系统拍摄的图像。(a) 正常样本;(b) 异常样本
Figure 3. Images taken in natural light. (a) Normal sample; (b) Abnormal sample
图3. 自然光下拍摄的图像。(a) 正常样本;(b) 异常样本
通过工业相机获取的激光散斑图像包含背景及与封口无关的冗余信息,这可能增加模型复杂度,干扰后续图像处理,最终降低识别准确率。鉴于包装外轮廓呈白色,且背景与封口颜色相近,可先采用最大类间方差法(Otsu’s Thresholding Method, OTSU)对图像进行二值化,定位最大外包装轮廓;再基于该轮廓裁剪目标区域;最后通过OTSU对裁剪后的图像进行反二值化,提取封口轮廓。上述分割过程如图4和图5所示。
Figure 4. Packaging outer contour segmentation process. (a) Original image; (b) Binary image; (c) Maximum contour image; (d) Cropped image
图4. 包装外轮廓分割过程。(a) 原图像;(b) 二值图像;(c) 最大轮廓图像;(d) 裁剪图像
Figure 5. Sealing contour separation process. (a) Original image; (b) Inverse binary image; (c) Maximum contour image; (d) Cropped image
图5. 封口轮廓分割过程。(a) 原图像;(b) 反二值图像;(c) 最大轮廓图像;(d) 裁剪图像
激光散斑成像系统在图像采集过程中受背景光、探测器以及环境中粉尘的影响而产生噪声,导致图像信息被掩盖,而噪声类型主要属于高斯噪声[13]。考虑到噪声类型,本研究采用高斯滤波,该算法基于高斯函数,通过加权平均图像的像素值来抑制噪声,平滑图像的同时还能保留图像细节特征。对采集图像进行高斯滤波时,设置高斯核为3 × 3,标准差为0,去噪效果如图6所示。经过高斯滤波后的图像噪点更少、更加平滑,并且极大程度地保留了图像的纹理细节与边缘信息。
Figure 6. Abnormal sealing image after Gaussian filtering. (a) Original image; (b) Local features of the original image; (c) Gaussian filtered image; (d) Noise reduction of local features in images
图6. 高斯滤波后的异常封口图像。(a) 原图像;(b) 原图像局部特征;(c) 高斯滤波图像;(d) 去噪图像局部特征
由于食品软包装的特性,无论正常样本还是异常样本,其封口区域均存在轻微形变,导致照射区域亮度不均;同时激光器长时间工作会导致功率波动,致使部分图像整体亮度过低。为优化图像对比度并改善成像质量,本研究采用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization, CLAHE)。该算法是自适应直方图均衡化(Adaptive Histogram Equalization, AHE)的改进版本,不仅克服了标准直方图均衡(Histogram Equalization, HE)丢失细节的缺点,还通过阈值限制有效抑制了AHE在均匀区域引入的噪声。CLAHE具有计算简单、复杂度低的优势,是图像对比度增强中最常用且实用的方法之一,其增强效果如图7所示。
Figure 7. Sealing image after CLAHE. (a) Original image; (b) CLAHE enhanced image
图7. CLAHE后的封口图像。(a) 原图像;(b) CLAHE增强后的图像
2.3. CPCA特征降维
为降低模型训练代价,还需对图像进行缩放并实施特征降维,将样本集从高维特征空间映射至低维特征空间,并且需确保映射后的样本集仍保持良好的可分性。将图像分辨率缩放至200 × 20,特征降维则采用CPCA。
目标样本经过主成分分析(Principal Component Analysis, PCA)得到的主空间,往往无法完全表征异常样本与目标样本之间的特征差异。剩余的特征信息常会泄漏到补集空间,从而削弱异常样本的识别效果。与传统的PCA相比,CPCA首先得到PCA降维后的主空间,主空间能够衡量异常样本与目标样本之间的相似性,描述两者的特征分布。然后,将剩余的空间构造为与主空间相互正交的补空间,补空间中每个样本的强度差异可以进一步反映出异常样本与目标样本的差异,提高异常样本的识别率,首先需要得到正常样本的协方差矩阵,可以描述为
(1)
式中:m为训练的正常样本个数;X为正常样本数据矩阵;XΤ为X的转置;W为协方差矩阵。根据需要的主成分数得到主成分空间,得到未知样本投影在主成分空间上的降维矩阵,可以描述为
(2)
式中:xn×p为n个样本数,p为未知样本的特征数;Wp×l为l个主成分数的主成分空间;S为降维到l个主成分数的未知样本数据。根据主成分空间得到对应的补空间,可以描述为
(3)
式中:S⊥为S的补空间;I为单位矩阵;WΤ为W的转置矩阵;WΤ+为WT的伪逆矩阵。得到未知样本在补空间上的投影矩阵,可以描述为
(4)
式中:x⊥为未知样本在补空间上的投影矩阵。最后,将为未知样本在主成分空间上的投影矩阵和在补空间上的投影矩阵范数进行拼接,得到最后的特征矩阵,可以描述为
(5)
式中:N为最终特征矩阵;||x⊥||为x⊥的L1范数。CPCA基本思想的可视化图如图8所示。圆形为正常样本,三角形,正方形,五边形为异常样本。补空间和主空间可以互相识别到对方识别不到的异常样本。
Figure 8. CPCA schematic diagram
图8. CPCA原理图
2.4. OCSVM模型
OCSVM与支持向量机(Support Vector Machine, SVM)不同。OCSVM为无监督的学习算法,常应对于样本不均衡的情况,用于区分正常样本与异常样本。OCSVM的思想在于训练的数据集从低维空间映射到高维空间,然后找到一个远离原点,并且能够分隔尽可能多的数据点的超平面。目标在于解决该优化问题,得到决策函数。最优化问题可以描述为
(6)
式中:
为超平面的法向量;
为超平面的截距;
为松弛变量;
为平滑度;N为数据个数;xi为第i个样本;
为xi在高维空间的映射函数。应用拉格朗日法求解,得到对偶问题,可以描述为
(7)
式中:
为xi的拉格朗日乘子;
为xj的拉格朗日乘子;k(xi xj)为核函数。此外
和
可以描述为
(8)
解出
后,得到决策函数,可以描述为
(9)
2.5. 评价指标
本研究使用精确率(Accuracy),特异性(Specificity),灵敏度(Sensitivity),AUC来评价模型的性能。使用最小平方误差(Mean Squared Error, MSE),峰值信噪比(Peak Signal-to-Noise Ratio, PSNR),结构相似性(Structural Similarity Index Measure, SSIM)评价滤波效果。
3. 结果与分析
3.1. 最佳OCSVM模型的参数调优与检测效果
将采集到的285个正常样本和73个异常样本随机打乱,其中37个正常样本和37个异常样本共同构成测试集,其余248个正常样本采用8折交叉验证,每折31个正常样本和36个异常样本作为验证集,217个正常样本作为训练集。OCSVM的实现基于南加州大学助理教授赵玥开发的Pyod库[14],模型参数通过网格搜索优化:gamma的取值范围为1 × 10−4,2 × 10−4,……,1 × 10−2,负样本比例nu的取值范围为0.1,0.2,……,0.9。如图9所示,经8折交叉验证参数优化后,各核函数的性能表现如下:在最佳参数下,Polynomial核函数性能较差,其最高准确率仅为85.08%;Sigmoid核函数表现良好,准确率达95.90%,
Figure 9. Optimization of different kernel function parameters. (a) Optimization of RBF kernel function parameters; (b) Optimization of Sigmoid kernel function parameters; (c) Optimization of Polynomial kernel function parameters
图9. 不同核函数参数优化。(a) RBF核函数参数优化;(b) Sigmoid核函数参数优化;(c) Polynomial和函数优化
但存在显著的参数敏感性,微小参数变动即导致检测准确率大幅波动。相比之下,RBF核函数在参数范围内展现出更平滑的性能变化,鲁棒性更优,同时以96.09%的准确率位居最高,结果如图10所示。测试结果如表1所示,各核函数在最佳参数下的测试集检测结果表明:RBF核函数在Accuracy、Specificity、Sensitivity和AUC四个指标上均优于其他核函数,当参数gamma为0.0040,nu为0.6,提取主成分数为153 (累计方差贡献率大于95%)时,OCSVM模型效果最佳:正常样本识别率达到94.59%,异常样本识别率达到97.30%,整体识别率达到95.95%,AUC达到98.24%。
Table 1. Detection performance under different kernel functions
表1. 不同核函数下的检测效果
核函数 |
评价指标/% |
Accuracy |
Sensitivity |
Specificity |
AUC |
RBF |
95.95 |
94.59 |
97.30 |
98.24 |
Polynomial |
86.49 |
75.68 |
97.30 |
86.85 |
Sigmoid |
89.19 |
83.78 |
94.59 |
94.67 |
3.2. 最佳参数模型的误判与分析
由于软包装易形变的特性,部分正常样本封口存在轻微形变,且内部填充物过于靠近封口区域,导致其形变特征与异常样本相似,造成模型误判,如图10(a)所示,针对这类问题后续需要进行研究,找到更好的图像处理方法能够区分两者的差别。而部分异常样本因热压不足导致封口密封不完全,虽存在封口纹理缺失,但无显著形变特征,被模型识别为正常样本,如图10(b)所示。
Figure 10. Misjudged images. (a) Identify incorrect normal samples; (b) Identify incorrect abnormal samples
图10. 误判图像。(a) 识别错误的正常样本;(b) 识别错误的异常样本
3.3. 预处理效果分析
为了消除图像中的噪声,需要进行滤波处理。由于各个滤波算法处理后主观评价无法看出明显差别,给出了各滤波算法的滤波评价指标,各滤波算法的滑动窗口均为3 × 3,结果如表2所示。结果表明,高斯滤波算法的PSNR和SSIM值均高于其他滤波算法,表明其能更有效地抑制图像失真、保持与原图的结构相似性并保留边缘细节特征。因此,本研究采用高斯滤波作为图像处理算法。
Table 2. Detection performance under different kernel functions
表2. 不同核函数下的检测效果
滤波算法 |
评价指标 |
PSNR |
SSIM |
高斯滤波 |
33.65 |
0.90 |
均值滤波 |
31.76 |
0.86 |
中值滤波 |
33.48 |
0.85 |
包装形变特性导致成像出现对比度过低的现象。为改善图像质量并提升对比度,需采用图像增强技术进行处理。传统增强方法(如线性变换、伽马变换等)均需根据具体图像调节参数,但实际应用中成像效果易受外界因素干扰,逐图调整并不现实。相较之下,直方图均衡化能基于输入图像的灰度直方图进行自适应调整,使灰度分布更趋均匀。这种自适应特性使其更具实用价值。本文对比了HE算法与CLAHE算法的处理结果,如图11所示。可以看出,经过CLAHE后的图像对比度更高,经过HE后的图像存在过多噪点并且发生失真现象。
Figure 11. Images processed using different histogram equalization algorithms. (a) Original image; (b) Image after HE; (c) Image after CLAHE
图11. 不同直方图均衡化算法处理后的图像。(a) 原始图像;(b) HE后的图像;(c) CLAHE后的图像
3.4. CPCA对识别率的影响
为提高异常样本的识别效果,本文使用了在PCA基础上改进的CPCA。为直观地展示补空间所提取的特征向量所带来的效果区分,将PCA提取出的主成分通过OCSVM计算出的异常得分为横坐标,补空间提取的特征值为纵坐标,构造出高维空间在低维空间上的可视化效果如图12所示,在主空间中异常样本和正常样本存在不可分的样本,而在补空间中更容易被区分。
Figure 12. Feature extraction performance of CPCA complementary space
图12. CPCA补空间的特征提取效果
最后,给出不同方差累计贡献率下,CPCA提取的补空间特征值对AUC值的影响。如图13所示。随着主成分数的减少,主空间泄露的信息越多,提取的补空间特征带来的提升越大,CPCA提取的特征可以一定程度上弥补特征压缩时带来的信息缺失。
Figure 13. ROC curves under different cumulative contribution rates of variance. (a) 60% cumulative variance contribution rate; (b) 75% cumulative variance contribution rate; (c) 85% cumulative variance contribution rate; (d) 95% cumulative variance contribution rate
图13. 不同方差累计贡献率下的ROC曲线。(a) 60%方差累计贡献率;(b) 75%方差累计贡献率;(c) 85%方差累计贡献率;(d) 95%方差累计贡献率
3.5. CPCA补空间对缺陷敏感度分析
为验证CPCA补空间对缺陷的敏感程度,分别基于CPCA主空间与补空间完成图像重构(如图14所示);
Figure 14. Image reconstruction based on the CPCA principal space and complementary space. (a) Abnormal image; (b) Principal space reconstruction of abnormal image; (c) Complementary space reconstruction of abnormal image; (d) Normal image; (e) Principal space reconstruction of normal image; (f) Complementary space reconstruction of normal image
图14. 基于CPCA主空间与补空间的图像重构。(a) 异常图像;(b) 主空间重构异常图像;(c) 补空间重构异常图像;(d) 正常图像;(e) 主空间重构正常图像;(f) 补空间重构正常图像
同时采用灰度共生矩阵提取图像的能量特征(能量特征越大纹理越规则),并计算各特征均值开展定量分析。特征提取过程中,将图像灰度级统一量化为16级,像素步长设为5,选取0˚、45˚、90˚和135˚四个方向的特征均值作为分析依据,结果表3所示。可以看出补空间中异常图像和正常图像能量差值更大,这说明补空间放大了两者纹理差异,对缺陷更加敏感。
Table 3. Reconstructing the textural energy characteristics of images
表3. 重构图像的纹理能量特征
重构图像 |
特征参数 |
能量 |
PCA重构的异常图像 |
0.33 |
PCA重构的正常图像 |
0.43 |
补空间重构的异常图像 |
0.31 |
补空间重构的正常图像 |
0.48 |
3.6. 模型检测实时性
为了验证本文研究内容是否满足实际工业场景的实时检测需求,计算了单张图像在预处理、特征降维和模型推理各阶段的耗时,该工作如表4所示。总耗时为16.42 ms,每秒可检测约60张图像,满足工业实时检测需求。本实验运行环境基于Windows 11操作系统,硬件采用Intel Core i7-10875h处理器,编译环境为Python3.11。
Table 4. Time consumption statistics for each stage of a single image
表4. 单张图像各阶段耗时统计
Processing stage |
Time spent/ms |
Image preprocessing |
7.20 |
Feature reduction |
8.81 |
Model inference |
0.61 |
Total |
16.42 |
4. 结论
本文提出了一种基于激光散斑成像系统的食品包装袋封口异常检测方法,该方法利用激光散斑的特性实现非接触式检测。通过系统对比实验,深入探究了激光散斑与自然光条件下食品包装袋的成像质量差异,评估了多种预处理方法的处理效果。实验结果表明:相较于自然光,激光散斑能显著抑制表面反光干扰,凸显封口纹理特征,提升图像质量;同时,该检测过程不损坏样本,满足实时在线监测需求。因此,基于激光散斑的食品包装封口异常检测技术具有显著的工程应用价值,为食品包装自动化检测领域提供了创新性的技术路线与解决方案。
本文对包装进行异常检测时,软包装本身易形变的特性导致模型发生误判。后续研究应设计合理的机械设备,使用先进的自动化系统,以提高检测效率和减小误差。
致 谢
首先,衷心感谢国家自然科学基金青年科学基金(62305253)与温州市重大科技创新攻关项目:柔性智能化高速给袋式真空包装产线研发及产业化(ZG2024049)对本研究的慷慨资助。
感谢张宝胜等人的工作为本实验带来启发,这对本工作的推进至关重要。
最后,向所有在研究中以不同形式给予我启发、关心与支持的师长、亲友和家人,表示深深的感谢。
基金项目
国家自然科学基金青年科学基金(62305253)。温州市重大科技创新攻关项目:柔性智能化高速给袋式真空包装产线研发及产业化(ZG2024049)。
NOTES
*通讯作者。