基于3D卷积神经网络的金属滚轮叶片转动计数算法设计与实现

Design and Implementation of Metal Roller Blade Rotation Counting Algorithm Based on 3D Convolution Neural Network

摘要: 近年来，基于计算机视觉的金属滚轮叶片缺陷检测算法应用越来越广泛，由于周期性检测的原因，需要有一种与之配套的滚轮叶片计数算法，由于检测过程中孔探仪的辅助光源对叶片表面镜面反射的原因，传统的基于边缘的检测算法难以实现有效的计数，因此需要设计一种与光照无关的算法。基于此，本文设计了一种基于3D卷积神经网络的金属滚轮叶片转动计数算法。本算法首先将单个金属叶片转动过程标注上相位标签，将单个金属叶片的转动过程映射为相位的周期变换过程，为了满足利普希茨条件，将相位标签转换为该相位对应的三角函数值标签。其次利用LK光流法将标注好的数据进行预处理，将叶片的转动方向归一化到水平方向。最后再将预处理好的数据送入3D卷积神经网络中回归出相位信息，通过相位信息完成对叶片的转动计数。本文算法使用滚轮叶片在实际场景种采集到的数据进行验证，验证结果表明，该算法在真实现场数据上的计数准确率满足要求。

Abstract: In recent years, the metal roller blade defect detection algorithm based on computer vision is more and more widely used. Due to periodic detection, a matching roller blade counting algorithm is needed. Due to the mirror reflection of the auxiliary light source of the borescope on the blade surface during the detection process, the traditional edge based detection algorithm is difficult to achieve effective counting, so it is necessary to design an algorithm independent of light. Based on this, this paper designs a metal roller blade rotation counting algorithm based on 3D convolution neural network. In this algorithm, the rotation process of a single metal blade is first marked with a phase tag, and the rotation process of a single metal blade is mapped to a periodic transformation process of phase. In order to meet Lipschitz conditions, the phase tag is converted into a trigonometric function value tag corresponding to the phase. Secondly, the marked data are preprocessed by LK optical flow method, and the rotation direction of the blade is normalized to the horizontal direction. Finally, the preprocessed data are sent into the 3D convolution neural network to regress the phase information, and the rotation of the blade is counted through the phase information. The algorithm in this paper is verified by the data collected by the roller blade in the actual scene. The verification results show that the counting accuracy of the algorithm in the real field data meets the requirements.

1. 引言

近年来，计算机视觉得到了快速发展，基于视觉的金属滚轮叶片缺陷检测算法 [1] [2] [3] [4] [5]，由于其高效便捷的特点 [6] [7] [8] [9] [10]，在工业界得到了广泛的应用。在具体应用这种检测算法时，需要检测人员将孔探设备插入到机械设备外壳上预留的孔洞中，利用孔探设备自带的光源对金属滚轮叶片进行拍摄。由于滚轮叶片是周期性转动的，使用检测算法对其缺陷进行检测时，需要确定整个转动周期的开始叶片和结束叶片，以此来最终确定一个周期的结束。另外，对于金属滚轮叶片缺陷的检测不仅需要检测出当前叶片上有无缺陷以及缺陷的种类，还需要定位当前叶片的编号，这样才能让工作人员精准地获取缺陷信息，准确地将缺陷定位到具体叶片上。基于这两点，设计出一种与缺陷检测算法相匹配的、准确度高、鲁棒性强的叶片转动计数算法显得尤为重要。

传统的周期性部件的计数主要可以使用两种方式来实现。第一种是基于硬件的方式，通过在设备上安装一些机械装置来解决 [11] [12]，在周期性部件的转动过程中通过安装的机械装置产生一些脉冲信号，利用这些信号来完成对周期性部件的转动计数。但是利用这种方式对金属滚轮叶片进行计数时，需要滚轮叶片留有足够的空间去安装相应的设备，而滚轮叶片的空间相对密闭且狭小，无法安装这类装置，所以难以应用硬件的方式对金属滚轮叶片进行计数。第二种是基于软件的方式，这种方式需要获取周期性部件的图像，再通过边缘检测方法提取出周期性部件的边缘 [13] [14]，观察边缘的运动来完成对周期性部件的计数。但是利用这种方式对金属滚轮叶片进行计数时，由于叶片处于较为封闭的空间中，需要孔探仪的辅助光源进行拍摄来获取图像，而辅助光源会对金属叶片产生强烈的镜面反射，导致采集到的图像获取边缘信息较为困难，使得计数的精度大大下降，所以也难以应用这种方式对金属滚轮叶片进行计数。

基于此，本文研究了一种基于3D卷积神经网络的金属滚轮叶片转动计数算法，该算法首先通过将单个金属叶片的转动过程映射为相位的周期变换过程，再利用3D卷积神经网络回归出输入视频数据各帧的相位信息，最后通过观察相位的周期变换情况完成对叶片的计数。该算法使用深度学习的方式完成对叶片的计数，无需在叶片上安装脉冲装置，解决了基于硬件方式的问题，并且通过训练神经网络适配真实任务，利用神经网络回归出相位值来完成对叶片的计数，无需获取叶片的边缘，避免了光照的影响，解决了基于软件方式的问题。

本文分为四章。第一章是本文的引言部分，主要介绍了目前金属叶片转动计数算法的研究现状，然后阐述本文的研究内容。第二章是本文算法的流程和具体组成部分。第三章是实验部分，使用检测过程中的真实数据进行实验。第四章是总结与展望。

2. 基于3D卷积的叶片计数算法

针对叶片计数问题，本文采用基于3D卷积神经网络的算法来解决，下面将从算法框架与流程以及各个算法模块的具体功能来详细介绍本文所设计的算法。

2.1. 算法框架与流程

基于3D卷积的金属滚轮叶片转动计数算法分为输入数据标注、数据预处理和3D卷积回归计数三个模块，其算法框架流程图如图1所示。

Figure 1. Algorithm flow chart

图1. 算法流程图

本文算法第一个模块是输入数据标注模块，该模块的功能是完成对整个输入数据标签的标注，为整个算法的有监督学习提供前置条件。该模块分为两个步骤，第一个步骤是对输入周期视频标注相位标签，定义金属叶片第一次出现在孔探仪摄像范围内，到下一个叶片第一次出现在孔探仪摄像范围内，为一个叶片的转动周期，一旦一个叶片完成了一次周期转动，便可将计数值加一，该步骤将一个叶片的转动周期上的所有帧均匀地标注上0到2π相位。第二个步骤是将相位标签转换为三角函数值标签，为了满足利普希茨条件 [15]，该步骤将每一帧图像的相位标签转换为该相位对应的三角函数值标签。本文算法第二个模块是数据预处理模块，该模块的功能是将金属叶片的转动方向归一化到水平方向，消除输入数据之间的差异性，充分利用神经网络的表示能力。该模块分为两个步骤，第一个步骤是将矩形金属叶片图像二值化归一成圆形区域。第二个步骤是LK光流法转正，该步骤首先提取金属叶片圆形图像的特征点，再利用LK光流法寻找转动方向，根据此方向旋转一定角度使运动方向处于水平方向，完成归一化。本文算法第三个模块是3D卷积回归计数模块，该模块的功能是将预处理好的数据送入3D卷积神经网络完成对叶片的计数。该模块分为四个步骤，第一个步骤是滑动窗口提取一组叶片图片，该步骤将预处理好后的视频数据送入滑动窗口，滑动窗口会以一定的窗宽和步长提取出一组图像。第二个步骤将第一个步骤中提取出的一组图像送入3D卷积神经网络中。第三个步骤是利用神经网络回归出该组图像中间帧的相位标签所对应的三角函数值。第四个步骤是观察三角函数值标签的周期变换情况，一旦该标签完成一次周期变换，便可将计数值加一。

2.2. 输入数据标注

输入数据标注的第一步是对金属滚轮叶片中的每一个叶片标注上开始帧和结束帧。定义一个金属叶片第一次出现在孔探仪摄像范围内的某帧为开始帧，定义该叶片的下一个叶片第一次出现在孔探仪摄像范围内的某帧为结束帧。如图2所示。

(a) 第40帧(开始帧) (b) 第45帧 (c) 第50帧 (d) 第55帧 (e) 第59帧 (f) 第63帧 (g) 第67帧 (h) 第71帧 (i) 第75帧 (j) 第80帧 (k) 第84帧 (l) 第90帧(结束帧) (m) 第90帧(开始帧) (n) 第95帧 (o) 第101帧 (p) 第107帧 (q) 第113帧 (r) 第120帧 (s) 第124帧 (t) 第128帧 (u) 第133帧 (v) 第137帧 (w) 第141帧 (x) 第145帧(结束帧)

Figure 2. Start frame and end frame