1. 引言
皮带输送机是在冶金、矿山、化工、石油、电厂、港口、建材等多个行业中广泛应用的重要设备。尤其是在长距离、高功率、大运量、高速输送的要求下,皮带输送机已成为带式输送机发展的主要趋势。
皮带作为运输机的重要组成部分,主要起到连接驱动装置和运输物料的作用,其成本约占整个输送机成本的40%~60%。由于输送皮带具有巨大的经济价值,近年来,我国也逐渐加大了对于输送带的生产力度,连续多年居全球输送带生产的榜首。在实际生产过程中,会发生输送带被利物刺穿或者输送带跑偏的情况,当检查人员不能及时发现,因输送带大面积撕裂,导致货物倾泻,使得整个输送机陷入瘫痪,严重时还会造成巡查人员伤亡,给企业带来巨大的经济损失。本次综述的主要目的是,通过概述近年来机器视觉在皮带撕裂检测领域的发展,表明机器视觉在该领域的使用情况,并突出部分应用中遇到的问题。
该综述的其余部分结构如下:在第二部分中,将介绍一般皮带撕裂的形式与现有的检测方法;在第三部分中,将讨论基于机器视觉技术的皮带撕裂检测方法现状;在第四部分中,进行了总结,并展望了未来的研究方向。
2. 皮带撕裂的形式与检测方法
输送皮带撕裂通常分为纵向皮带撕裂和横向皮带撕裂两种形式,据现场调研发现,纵向撕裂占皮带撕裂统计数的95%以上。纵向撕裂主要是皮带跑偏撕裂、纵向划伤撕裂和皮带抽芯撕裂,如图1所示。
皮带跑偏撕裂是由于导向装置不当或外力干扰等原因,导致输送皮带偏移,摩擦产生磨损和撕裂。据统计分析,皮带跑偏所导致的撕裂占纵向撕裂统计数的40%。纵向划伤撕裂是输送过程中,异物或尖锐物体造成的划伤导致输送皮带表面的撕裂。纵向划伤撕裂在统计中占纵向撕裂的30%。皮带抽芯撕裂是由于张力过大或皮带老化导致的拉伸和撕裂。统计结果显示,皮带抽芯撕裂在纵向撕裂中占比约为25%。
针对输送皮带撕裂进行在线检测技术方法研究,国内外自上世纪70年代开始从检测单一化向智能化发展,检测方法集中在接触式和非接触式两大形式。接触式检测方法主要有托辊式、金属线圈型检测式、金属导线式、漏料检测式、棒型检测式、弦线式、压敏传感式等;非接触式检测方法主要基于超声波、X光、光电传感技术、机器视觉、原子物理方法等,其中基于机器视觉的检测技术是目前国内外均认可的一种先进的输送带纵向撕裂检测方法。
3. 机器视觉皮带撕裂检测技术现状
机器视觉是一门研究如何使计算机具备视觉能力的学科。它涉及使用数字图像处理和模式识别等技术,让计算机能够从图像或视频数据中获取、分析和理解视觉信息。机器视觉的目标是让计算机能够像人一样通过视觉感知、识别和理解世界,从而实现自动化、智能化和人机交互的应用。
目前机器视觉的应用非常广泛。在工业领域,机器视觉可以用于自动化生产线上的质量检测、产品排序和识别等任务;在医学领域,机器视觉可以用于医学影像的分析和诊断 [1] [2] [3] ;在安防领域,机器视觉可以用于人脸识别 [4] [5] 和目标追踪 [6] [7] 等;在无人驾驶领域,机器视觉可以用于实现车辆的自动驾驶和环境感知 [8] [9] [10] [11] 等。而利用机器视觉技术检测皮带撕裂的优势在于不需要更改原有皮带设备,不接触运行皮带,设备稳定性高、造价低等。
在皮带撕裂领域,按照机器视觉的发展进程顺序与方法类别,可分为基于传统机器视觉方法的皮带撕裂检测技术与基于深度学习的皮带撕裂检测技术。
3.1. 基于传统机器视觉方法的皮带撕裂检测技术
传统的机器视觉技术的发展可以追溯到20世纪50年代,经历了从二维图像统计模式识别到全球范围内的研究热潮的历程,在80年代开始得到了广泛的应用。90年代以来,机器视觉技术在工业领域得到了进一步的发展,并在品质控制、自动检测和机器人导航等方面发挥重要作用。
传统的机器视觉技术的步骤首先是人工分析图像目标的特征,再通过图像算法提取目标特征,最后通过特征的数值来区分目标图像。其优势在于分析的时候不需要大量的图像,只需要几种分类的典型图像,和类别之间的临界图像。其中人工分析在整个过程当中起到了主导的作用。
基于传统机器视觉方法的皮带撕裂检测技术中基础算法是使用算子对皮带撕裂部位进行特征提取与分类。2015年,武喜艳 [12] 对输送带灰度图像进行滤波增强、阈值分割、形态学操作和轮廓特征提取等算法实现了煤矿输送带的纵向撕裂检测。2019年,贾焕 [13] 提出基于小波融合的边缘检测算法。根据小波多尺度分解特性,使用多尺度多方向的形态学处理低频区,改进的Canny算子处理高频区,并分别提取裂纹纹理信息,实验证明其在抗噪、提取信息量等方面较优。2020年,张敏 [14] 同样使用Canny算子对图像特征进行提取,再使用SVM分类器对有撕裂现象的图像进行识别。为了实现更准确的皮带撕裂检测,同年,刘晓阳等人 [15] 提出了一种方法。首先,他们使用Gabor滤波来突出撕裂区域的纹理特征,增强撕裂纹理的对比度。接着,利用Sobel算子提取水平和垂直方向上的纹理特征梯度图,并通过像素加权平均法融合两个方向上的纹理信息,提高撕裂区域的可见度。然后,使用自适应阈值二值化将融合图像分割为二值图,其中白色表示撕裂区域。最后,利用形态学技术对图像进行处理,平滑撕裂区域边缘并去除噪声干扰,得到清晰的撕裂区域轮廓特征。这个方法能够提供准确和清晰的皮带撕裂检测结果,并提高检测可靠性。2023年,曾飞 [16] 等人将HOG和GLCM特征进行融合来提取撕裂,在小样本的情况下识别平均准确率为95.37%,检测速度为38.6 ms。
由于工业现场环境恶劣,单纯的可见光图像成像效果不佳,为了加强图像上皮带撕裂的显示效果,提高检测精度,大量学者引入了线激光进行辅助识别。2011年,李海滨等人 [17] 提出了一种基于线激光的视觉检测方法。该方法利用CCD相机来拍摄激光器投射在物体表面形成的光条纹,并通过对光条纹中心的畸变特征进行分析,来判断皮带表面是否出现了撕裂现象。2016年,付胜等人 [18] 在带式输送机上方安装CCD相机与线激光,线激光条纹会随着表面物料形状因纵向撕裂导致漏料而变化随之发生变化,通过对图像进行处理、拟合及故障特征提取,实现了纵向撕裂的检测。2017年,卢金龙 [19] 首先将激光条纹进行Ostu分割,然后利用基于Hessian和脊线跟踪的提取算法进行激光条纹中心线提取,最后提取中心线畸变信息,进而表征皮带的撕裂状况,该算法检测速度较快。2021年,徐辉等人 [20] 提出了一种基于多道线性激光的带式输送机纵向撕裂检测方法,多道线性激光不仅可以提高检测精度与速度,同时还可准确判断纵向撕裂发展趋势。
为了更进一步体现皮带撕裂处的物理结构变化,不少学者使用其他形式的图像组合进行处理:王晓超 [21] 为提高皮带撕裂检测准确性,使用红外相机和光学CCD图像联合分析。红外相机通过捕捉皮带热量分布图像检测异常摩擦,光学CCD图像观察皮带颜色和纹理,比对两图像特征判断撕裂或异常情况。该方案准确判断皮带异常,早发现摩擦问题,避免设备故障和生产中断,并具有重要应用价值。王志星 [22] 通过双目摄像头拼接的实时图像,结合FAST角点检测、Hough变换直线检测和圆检测算法,可以合成全景图像并实现纵向撕裂的检测与定位。具体步骤包括深度匹配、深度校正和拼接以及角点、直线和圆的检测。这种方法能够快速准确地检测纵向撕裂。康彬 [23] 通过对比输送带发生纵撕故障和非纵撕故障时所采集的三维点云数据结构的不同,提出了一种聚类算法和阈值分割算法进行撕裂特征的聚类和筛选,通过此算法能够成功把撕裂特征提取出来。
上述几种基于传统的机器视觉皮带撕裂检测技术均有其各自的特点,其相似之处就在于需要人工界定被检测目标的图像属性,包括其二维图像的灰度值、特定算子、激光线条的曲率与通断、结构光图像的阈值等。但是人工设计特征和选择合适的分类器算法是传统机器视觉面临的两个难点。人工设计特征需要丰富的经验和对领域和数据的深入了解,同时还需要进行大量的调试工作。而选择合适的分类器算法则需要在设计特征的基础上进行,同时需要考虑如何将两者相互结合以达到最优的效果。这是一项非常困难的任务。
3.2. 基于深度学习的皮带撕裂检测技术
由于传统的机器视觉技术具有一定弊端,学术界开始研究开发不需手动设计特征、不挑选分类器的机器视觉系统,期望机器视觉系统能够实现端到端的学习,即输入图片,在一个模型中同时进行特征提取和分类器训练,并直接输出对应的标签。随着深度学习迅猛发展,基于神经网络的计算机视觉研究也随之迅速发展。
2018年,程月等人 [24] 为了对皮带裂纹进行视觉识别,基于BP神经网络在更新权值及阈值过程中加入了附加动量项。经过训练,其改进的BP网络在皮带裂纹识别方面表现出了显著的能力。
2020年,张晓卫 [25] 设计了一套皮带纵向撕裂检测装置系统,使用深度学习的语义分割网络对皮带的纵向撕裂进行检测,并先后测试了FCN网络与U-net网络性能,实验证明U-net网络相比FCN网络在检测皮带撕裂时具有更好的精度与速度,同时也验证了比目标检测更为精准的语义分割在该领域应用的可行性。
2021年,孟晓娟等人 [26] 设计了一种改进的DCGAN网络,用于检测多种皮带破损类型,该网络精简了批量归一化操作,利用DCGAN网络确定破损部位的位置和类别,结合了双时间尺度概念提高模型的收敛速度。实验结果在其自建的皮带撕裂检测数据集上的平均检测精确率高达96.9%。
同年,Wang等人 [27] 提出了一种基于深度学习的视觉检测方法YOLOv4-BELT。其团队首先制作了多条件皮带撕裂图像数据集(MBTID)。然后,通过改进的Cutmix算法对MBTID进行数据增强预处理,以丰富图像背景,减少过拟合。其次,采用深度卷积神经网络CSPDarknet-53进行多尺度撕裂特征提取与融合,有效提高了对复杂样本的识别能力。此外,通过设计合理的多阶段迁移训练策略,训练绩效显著提高。最后,前面的深层撕裂特征被进一步用于分类和定位任务。实验结果表明,其算法的精确率、准确率、召回率和F1值分别为96.6%、99.1%、98.1%和97.4%。可达到21.1 FPS的检测速度,和其他方法相比显著提高了检测精度和鲁棒性。
2023年,生鹏飞等人 [28] 提出了一种改进的方法。使用MoblieNetV2降低模型的参数并提高速度和效率,引入特征金字塔结构来融合不同层次的特征信息,优化对微小破损的识别效果,结合注意力机制来调整特征权重,以突出破损目标的特征信息。实验证明,平均检测精度提高了2.78%,检测速度提高了22.9%,具有良好的实时检测效果。
3.3. 国内皮带撕裂视觉检测技术应用情况
目前,国内已有不少行业领域将皮带撕裂视觉检测技术应用到实际生产中。其中,山西霍尔辛赫煤业有限责任公司 [29] 、同煤集团 [30] 、国网高密供电公司 [31] 、国能常州发电有限公司 [32] 、准能选煤厂 [33] 、湘潭钢铁集团有限公司 [34] 等采用的基于传统机器视觉方法的皮带撕裂检测技术;而中煤科工集团常州研究院有限公司 [35] 、安世亚太科技股份有限公司 [36] 、内蒙古煤炭科学研究院有限责任公司 [37] 、中煤科工集团重庆研究院有限公司 [38] 等采用的是基于深度学习的皮带撕裂检测技术。可以看出近三年内,基于传统机器视觉方法的检测技术产业化应用情况比基于深度学习的检测技术多,这也是因为后者技术发展较晚、门槛较高。不过以上企业利用机器视觉对皮带撕裂进行检测均有一定成效,但这些技术具有商业属性,从而我们无法综合判断目前哪种技术最为先进。
4. 总结与展望
本文通过对机器视觉在皮带撕裂检测中的研究进展和方法进行综述,根据其技术原理进行了分类总结,基于传统的机器视觉皮带撕裂检测技术,但大多需要人工界定被检测目标的图像属性;基于深度学习的皮带撕裂检测技术能够实现端到端的学习,但其学习训练过程较为复杂。我们可以看到机器视觉技术在皮带撕裂检测方面具有广阔的应用前景。然而,仍然存在一些挑战需要克服。其中包括算法设计层面、统一评价层面等。
以下几点是算法设计层面需要解决的重要问题:
(1) 复杂环境下的影响:皮带撕裂检测通常发生在工业生产线上,环境复杂、光线不均匀等因素会对图像质量和算法的稳定性造成影响。
(2) 实时性要求:工业生产线上的皮带撕裂检测需要快速准确地响应,因此对算法的处理速度和实时性要求较高。
(3) 多样性的皮带材质和撕裂形式:不同工业场景下的皮带材质和撕裂形式各不相同,因此需要针对不同情况进行算法的优化和适应性调整。
同时我们也发现机器视觉在皮带撕裂检测论文中应用时的一些评价缺陷:
(1) 缺少公用测试数据集:目前该领域没有公开的大型数据集对算法进行统一测评,使得各自算法只能在私有非公开数据集上进行测试,因此制作一个大型公开的皮带撕裂检测数据集是非常有必要的。
(2) 缺少公开代码:目前绝大多数文献中涉及的算法系统具有商业属性,这也导致其他学者无法获取其源码进行测评或优化改进。
(3) 缺少实用统一的评价指标:目前的文献中沿用的都是目标检测领域的评价指标且各异。但根据大量调研,对于该技术的使用方其论文中的学术指标并不实用。如何将学术科研成果与工业场景应用进行有机结合也是一项重要的研究内容。
随着计算机视觉和机器学习算法的不断发展,机器视觉技术在皮带撕裂检测中的应用还有很大的潜力和发展空间。以上提出的几个问题均是未来的研究方向,将深度学习的目标检测算法利用到皮带撕裂检测中是能够极大提高检测精度的,我们希望出现更智能化的皮带撕裂检测系统以满足实际生产的需求,同时也引领学术进步。
基金项目
国家重点研发计划:面向“双碳”目标绿色生产的矿产加工工艺决策与控制一体化优化软件(2022YFB3304700)。