基于3D点云的列车零部件异常检测技术研究

Anomaly Detection of Train Components Based on 3D Point Cloud

摘要: 随着铁路技术的飞速发展，列车安全问题也备受瞩目。为解决铁路系统快速增加的吞吐量与日益增长的检修压力之间的矛盾，本文提出了一种基于3D点云的列车零部件异常检测方法。首先，建立列车标准点云模板；然后，截取待检部件与相应模板部件进行全局ICP点云配准，利用差异点筛选出异常区域；最后，通过零部件局部检测算法消除误检测区域，得到最终结果。该方法以某地铁车辆段采集数据作为测试集进行了实验，结果表明，算法检测精度高，检测项点覆盖范围较广，具有良好的工业应用价值。

Abstract: Railway traffic safety has attracted much attention with the rapid development of railway technology. An automatic abnormal railway underbody detection technology based 3D cloud point is proposed to solve the contradiction between the rapidly increasing throughput and the increasing maintenance pressure. Firstly, establishe the train standard point cloud template. Then, the parts to be inspected are intercepted and matched with the corresponding template parts for global ICP point cloud registration, and the abnormal areas are filtered out by using the difference points. Finally, remove the false detection areas by the part local detection algorithm, and the final results are obtained. This method is tested on the dataset collected from a subway depot as a test set. The results show that the algorithm has high detection accuracy, wide coverage of detection items, and good industrial application value.

1. 引言

地铁已成为城市交通及其重要的一环，安全保障至关重要，关乎人民出行安全，检修已成为铁路系统不可或缺的一部分。由于长时间的运行，列车底部零部件会出现各种异常情况，影响列车行车安全，如零件丢失、错位、漏油等问题，如图1所示，因此，对于车底关键部件的检测显得尤为重要。通常情况下，地铁需要停放在车辆段，并由工作人员现场人工检修，如图2所示，但是，人工检修时长久强度大易疏忽等弊端，容易形成潜在的安全隐患。

(a) (b) (c) (d)

Figure 1. Abnormal components of train bottom. (a) Nameplate loss; (b) technology plug loss; (c) oil plug misalignment; (d) oil leakage

图1. 车底零部件异常。(a) 铭牌丢失；(b) 工艺堵丢失；(c) 油堵错位；(d) 漏油

列车车底零部件复杂多样，对于关键零部件的检测技术涉及学科和领域较广，目前许多学者基于光电检测 [1] [2] 、机器视觉等方法相继开展了对列车关键部件故障自动化检测的研究。冯泽阳等 [3] 通过小波变换提取了列车故障转向架的特征向量，基于SVM实现了对转向架故障的自动检测。彭丹等 [4] 提取了螺栓、盖板等部件的SURF特征，针对该类部件的丢失问题进行故障诊断。路绳方等 [5] 基于螺栓图像Sobel梯度边缘特征，利用二值分类器完成螺栓丢失的自动检测。孙国栋等 [6] 提出一种基于多特征融合和BP-AdaBoost的自动故障识别算法，用于安全链锁紧固螺栓和集尘器的故障检测。广州地铁公司陆其波等 [7] 利用车底、车侧、车顶列车项点的正负样本建立模型，开发了地铁360˚检测系统。Li [8] 等提出了一种基于凸包操作的边缘细化算法对列车车底齿轮表面缺陷进行检测。Zhang等 [9] 针对高铁CRH列车零部件特征，采用基于轮廓的模板匹配算法检测列车零件的丢失与松动。P.L.Mazzeo等 [10] 提出了一种应用于铁路轨道维修领域的六角螺栓自动检测系统，该系统提取了螺栓Haar与Daubechies两种特征，采用两种不同神经网络作为分类器，实现了螺栓松动、丢失的故障自动识别。F.Marino等 [11] 基于MLP实现了准确性与实时性较高的螺栓故障判别实时检测系统。李萍等 [12] 基于卷积神经网络，提出一种多尺度故障检测网络来进行列车故障区域分类和精确检测，实现了基于图像的列车关键零部件自动检测。

Figure 2. Maintenance worker inspects key components of train bottom

图2. 检修工人现场检修车底关键部件

在列车关键部件检测方面，基于二维图像的检测方法已经比较成熟，但仍然存在一些需要解决的问题。首先，在复杂的车底环境中，二维相机图像成像质量较差，易受光照、车底箱体表面光滑程度、拍摄角度等因素的影响，且列车新旧程度不同导致相同型号列车车底图像差异极大，图像处理层面技术难度较大；其次，现有研究大都针对某一具体部件进行处理，难以覆盖繁杂的列车关键部件，且基于图像的方法需要大量真实数据，在工业环境中难以获得各类部件的海量异常图像数据，因此，如何利用有限数据支撑适用性较广的车底异常检测算法成为了业界亟待解决的难题。本文提出了一种基于3D点云的车底异常检测算法，针对车底箱体多种异常情况展开了测试实验，具有较好的工业价值。

2. 列车零部件异常全局检测

2.1. 异常数据扫描系统

本文数据采集系统由图3所示的机器人扫描系统及3D线阵相机构成。在现场设备进行图像采集的过程中，列车及列车零部件位置是固定的，除去环境因素的影响，相机的触发时刻只和机器人小车的速度相关，只要合理设定机器人小车的行进速率，则系统采集得到的每幅车底图像在平面上与实际车底长宽比例一致，具有相似性。系统采用Ranger3工业相机作为图像采集设备，相机通过采集照射在被测物体上的激光线，提取高度信息，进而生成3D点云图像。

图3. 异常数据扫描系统

(a) (b) (c) (d)

Figure 4. Simulated abnormal components data. (a) Simulated item loss 2D figure; (b) simulated item loss point cloud figure; (c) simulated foreign object 2D figure; (d) simulated foreign object point cloud figure

图4. 模拟故障数据。(a) 模拟丢失2D图；(b) 模拟丢失点云图；(c) 模拟异物2D图；(d) 模拟异物点云图

通过上述数据采集系统，项目组在某地铁车辆段进行了数据采集工作，在箱体、车钩等处人为设置了异物故障；使用黑胶带改变了检测目标表面点云信息，模拟了箱体螺栓丢失、线管松脱时的点云特征，模拟丢失、异物故障如图4所示。

2.2. 基于ICP配准的零部件全局检测算法

本文方法仅用点云图像进行零部件异常检测，首先通过数据扫描系统获取目标待检列车的标准底部构造图，通过标注获取列车部件的标准3D图模板；然后通过模板图部件位置的先验信息在待检点云上截取待检部件区域，通过比对模板与待检点云数据差异信息进而获取待检点云上的异常数据信息，通过后续异常数据筛选确定列车异常零部件位置。基于ICP配准的零部件全局检测算法针对列车的具体部件区域进行检测，算法每次循环截取列车某一具体部件(如辅助高压箱、制动电阻箱)进行独立检测，每个部件单独建立点云模板，具体流程如图5所示。

图5. 基于ICP配准的零部件全局检测算法

首先，通过人工标注取得列车标准点云模板各部件的标准位置信息作为先验信息，采用一组6维的坐标信息表示空间截取区间，再用相同的空间截取区间并加上扩充参数在待检点云上截取出对应部件，如某部件在列车标准点云模板上的截取区间为 $\left[x_0,y_0,z_0,\Delta x,\Delta y,\Delta z\right]$ ，则对应待检部件截取区间为 $\left[x_0-x_{\varphi },y_0-y_{\varphi },z_0-z_{\varphi },\Delta x+\Delta x_{\varphi },\Delta y+\Delta y_{\varphi },\Delta z+\Delta z_{\varphi }\right]$ 。其中， $\left(x_0,y_0,z_0\right)$ 为截取位置起始点的坐标， $\Delta x,\Delta y,\Delta z$ 为x, y, z方向的截取跨度， $x_{\varphi },y_{\varphi },z_{\varphi },\Delta x_{\varphi },\Delta y_{\varphi },\Delta z_{\varphi }$ 为扩充参数，能有效避免机械误差导致的待检部件截取不全的问题。

由于传感器采集的原始点云十分稠密，运算过程中十分耗时，且传感器在采集列车部件点云过程中的随机误差会产生部分噪声点，导致点云数据中存在大量离目标点云中心较远的离群点，因此截取点云后需对分离出的待检点云与模板点云进行预处理操作。通过点云下采样对点云进行了精简，精简后的点云数据保持了原来的形状，但是数据量大大的减小，降低了数据处理的复杂度，提高了效率；下采样后的点云数据经半径式离群点剔除去掉点云噪声后，将模板点云数据与目标部件点云数据进行配准。

本文采用迭代最近点(Iterative Closest Point, ICP)算法进行点云配准，其本质是基于最小二乘法原理，求解刚体变换参数，变换参数包括旋转矩阵和平移向量。给定两个对应的点集P (源点云)和Q (目标点云)。在进行点云配准时，假设目标点云的坐标系作为固定参考系，对源点集P做旋转和平移变换。

ICP算法的具体步骤为：

步骤1：确定P和Q中使欧氏距离p_i − q_i最小的点，将P和Q进行数据关联，确定对应点对。

步骤2：根据已经确定的对应点对关系利用奇异值分解法(Singular Value Decomposition, SVD)进行计算，来求解最优R和T：

$\begin{array}{c}R,T={\arg }_{R,t}\min E\left(R,T\right)\\ ={\arg }_{R,t}\min \frac{1}{N}{{\displaystyle \underset{i=1}{\overset{N}{\sum }}\Vert q_i-R{p}_i-T\Vert }}^2\end{array}$ (1)

其中，均方误差E作为目标函数，N表示对应点对的个数且N ≤ Np，N ≤ Nq，其中Np为源点云的点云数量，Nq为目标点云的点云数量。

步骤3：利用旋转参数R和平移参数T更新源点云P的坐标信息，然后判断是否收敛。常用迭代终止条件有：E (R, T)足够小、ΔR_k，Δt_k足够小或者达到最大迭代次数。如果不收敛，则重新执行步骤1~3。

通过ICP方法将模板与待检部件进行配准，设定适配阈值，若适配度低于适配阈值，直接记录为部件异常，区域为整个待检部件小区域，ICP配准示意图如图6所示：

(a) (b)

Figure 6. ICP registration diagram. (a) Before point cloud registration; (b) after point cloud registration

图6. ICP配准示意图。(a) 点云配准前；(b) 点云配准后

若ICP配准适配度高于适配阈值，则进入后续处理。首先，通过重叠区域距离阈值，得出差异点，截取出配准后模板部件范围内的差异点作为有效异常点；然后，将有效差异点进行聚类得到异常区域，并通过异常区域几何特征对异常区域进行筛选，剔除错分区域；最后，判断异常区域与当前部件中各个零件的关系，将异常区域分类，结合分类结果，对异常区域进一步处理，记录最终有效的异常区域。

3. 列车零部件异常局部误检测消除

本文第二章方法在列车底部零部件取得了较好效果，但存在部分误检测的问题，误检主要集中在部件点云边缘或棱角分明的部件局部区域，通过针对性的优化能有效减少全局检测算法在局部区域误识别问题。

3.1. 边缘区域误报消除

运动中的机器人受传感器精度、机械抖动等影响，线扫相机的成像精度难以达到预期精度。线扫深度图较低的质量导致待检部件与模板部件在结构边缘处存在较多差异点，但结构边缘上的差异点大都因相机拍摄误差导致，如图7(a)所示；这部分点经聚类、筛选后再进行逻辑判断，最终在全局检测中被误判为故障区域，如图7(b)所示。这些边缘差异点聚类后，在部件边缘呈“薄壁”状，几何特征表现为边缘差异点的法向量近似平行于车底平面(垂直于点云世界坐标系ZOY平面)。本章设计了一种基于法向量方向的边缘判别法对上述误报区域进行筛选，将其与全局检测中的故障区域进行甄别，通过对目标点云簇各点法向量方向进行统计归类确定该目标区域是否属于结构边缘，进而判断是否为边缘点缺失导致的误报。

(a) (b)

Figure 7. Edge difference point clustering results. (a) ICP registration result; (b) edge region misreport

图7. 边缘差异点聚类结果。(a) ICP配准结果；(b) 边缘区域误报

通过基于局部表面拟合的方法估计处目标点云簇各点的法向量：对于点云中的每个扫描点p，搜索到与其最近邻的K个相邻点，然后计算这些点最小二乘意义上的局部平面P，此平面可以表示为：

$P\left(\stackrel{\to }{n},d\right)=\underset{(\stackrel{\to }{n},d)}{\arg \min }{\displaystyle \underset{i=1}{\overset{k}{\sum }}{(\stackrel{\to }{n}\cdot p_i-d)}^2}$ (2)

其中， $\stackrel{\to }{n}$ 为平面P的法向量，d为P到坐标原点的距离。

$M=\frac{1}{k}{\displaystyle \underset{i=1}{\overset{k}{\sum }}\left(p_i-p_0\right){\left(p_i-p_0\right)}^T}$ (3)

由k个最近点拟合出的平面P的法向量即当前扫描点的法向量。平面P的法向量可以由主成分分析(PCA)得到，由运算知P经过其k个邻域点的质心P₀，且法向量元满足 $$ =1，因此求点云中单个扫描点的法向量可以转化为对式(3)中协方差矩阵M进行特征值分解，对于M最小特征值的特征向量可以被当做扫描点p的法向量。通过局部表面拟合估计出点云簇各点单位法向量 $\left(p_x,p_y,p_z\right)$ ，则扫描点法向量与世界坐标系XOY平面的夹角为：

${\theta }_p=\left|\arcsin \left(p_z\right)\right|$ (4)

如果扫描点法向量与XOY平面的夹角较大，则可以看做法向量近似垂直XOY平面，反之，法向量近似平行XOY平面；当点云簇中具有大量法向量垂直XOY平面的点时，该点云簇判断为正常差异点聚类簇，当点云簇中法向量平行于XOY平面的点较多时，该点云簇为边缘区域，会导致误报，如图8所示。

Figure 8. Normal direction discrimination method

图8. 法向量方向判别法

通过计算点云中“垂直点”或“平行点”的数量占比即可判断目标点云是否属于边缘区域，记录满足θ_p < Th_vectical的点数，其中，Th_vectical为设定的垂直阈值。θ_p小于该阈值可推定对应点的法向量近似平行于XOY平面；反之，对应点的法向量近似垂直于XOY平面。当目标点云中法向量近似平行于XOY平面的点数N大于设定的边缘阈值Th_edge时，判断该差异点聚类点云簇为点云质量较差配准不佳导致，不进行后续筛选，从而减少误报。

3.2. 风缸误报消除

对于具有较为平整光滑平面且平面上装配棱角分明的配件的车底部件，配准过程中常出现模板点云与待检点云在平面处配准契合，满足适配条件提前结束了ICP配准的迭代流程，但配件部分仍未配准的情况，这种情况导致全局检测中配件区域差异点较多从而误报。同时，由于配件在车底部件上的装配具有一定的随机性，配件的方向、装配位置与标准模板可能存在较大差异，这将会导致模板点云图与待检样本存在较多差异点，最终误报。本节以风缸为例，针对存在上述配准问题的车底部件进行了算法优化。

(a) (b)

Figure 9. Misreport of small components caused by air cylinder registration deviation. (a) ICP registration results; (b) differences points

图9. 风缸配准偏差导致的小部件误报问题。(a) ICP配准结果；(b) 差异点

(a) (b)

Figure 10. Misreport caused by registration deviation of the air cylinder cover plate. (a) ICP registration results; (b) differences points

图10. 风缸盖板配准偏差导致的误报问题。(a) ICP配准结果；(b) 差异点

如图9、图10所示，基于大部件的配准导致风缸卡环区域配准结果不理想，模板与待测样本差异点较多，在箍带卡环与盖板处产生误报。针对上述小部件配准不佳的问题，采用局部检测方法：利用先验信息得到小部件(如风缸箍带卡环)的具体位置，同时在模板点云与待检点云截取目标部件，基于高程值去除小部件底面，通过单独配准判断部件异常与否，如果适配度低于适配阈值，直接记录为部件异常，将小部件整个区域记录并最终在整体结果上标注该区域为异常区域，否则，该部件区域正常。

(a) (b)

Figure 11. Misreport caused by snap ring direction of the air cylinder. (a) ICP registration results; (b) differences points

图11. 风缸箍带卡环方向导致的误报问题。(a) ICP配准结果；(b) 差异点

风缸箍带卡环的安装方向具有随机性，待测样本卡环方向与模板卡环方向可能出现相反的情况，如图11所示。解决方法为将箍带卡环方向调整一致后，再进行小部件单独配准。首先，基于高程值去除箍带卡环底面影响，如图12(a)所示；然后，统计箍带卡环在y方向十个区间数量分布，绘制y方向点数直方图，箍带卡环不同方向导致y方向点数直方图分布不同，如图12(b)所示，如果x[0] > x[9]，则卡环方向正向，反之，卡环倒置；最后，通过箍带卡环y方向点数分布直方图判断目标部件方向是否与模板部件方向相同，如果同向则直接进行ICP配准，方向相反则通过旋转矩阵将目标点云旋转180°后进行配准，如图12(c)所示。

(a) (b) (c)

Figure 12. Registration of air cylinder snap ring. (a) Problem of Snap ring inversion; (b) registration after rotating snap ring; (c) histogram of Y-direction distribution of snap ring

图12. 风缸箍带卡环配准。(a) 卡环倒置问题；(b) 卡环旋转配准；(c) 卡环y方向分布直方图

风缸盖板区域存在棱角多、配准难的问题，导致全局检测在该处误报较多，但风缸盖板区域在实际检测中存在丢失、异物等异常情况，因此需单独检测。本章将盖板区域近似看做一个平面，利用RANSAC随机参数估计方法估计出盖板平面点，具体流程如下：

步骤1：首先从盖板点云数据中随机的选取不共线的三个点拟合一个平面方程：

$Ax+By+Cz+D=0$ (5)

步骤2：计算点云中各个点到平面的代数距离d_i = |Ax + By + Cz + D|，选取阈值d_threshold，若d_i < d_threshold，则该点被认为是模型内样本点(内点)，否则为模型外样本点(外点)，记录当前点的个数。

步骤3：重复以上步骤，选取最佳拟合参数，即内点数量最多对应的平面模型参数，每次迭代会根据期望的误差率、最佳内点个数、总样本个数、当前迭代次数计算一个迭代结束评判因子，据此判断是否停止迭代。

步骤4：迭代结束后，最佳模型参数就是最终的参数估计值。

(a) (b)

Figure 13. Registration of air cylinder cover plate. (a) Registration deviation of cover plate region; (b) plane registration after bottom surface filtration

图13. 风缸盖板区域配准。(a) 盖板区域配准偏差；(b) 底面滤除平面配准

风缸盖板区域配准差异如图13(a)所示，其中黄色平面为模板盖板平面，蓝色为待检盖板平面；设定距离阈值筛选出与盖板平面距离较近点集作为目标平面，通过对两点云平面的配准回避盖板棱角配准难的问题，最终配准结果如图13(b)所示。

4. 实验与结果分析

4.1. 评价指标

为了评估检测方法的效果，本章采用1.1中模拟故障与真实故障对本文提出的方法进行了实验测试。采用的评估指标为检出率具体定义如下：

$检出率=\frac{正确检出个数}{总故障数}\times 100\%$ (6)

正确检出指的是部件存在故障时，能够将点云上对应的异常区域检出(不涉及故障定性)；相应的，误报指的部件正常时，点云上检出了异常区域。

4.2. 全局检测算法实验分析

列车零部件异常全局检测算法结果如图14所示，(a)为丢失检测结果图，其中，第一张与第二张图为真实故障，第三张与第四张图为模拟故障；(b)为异物检测结果，人为设置的模拟异物侵入与真实情况相差较小，可视作真实故障，算法在车底模拟的零部件缺失、表面异物等异常情况表现良好。表1为全局检测算法在某地铁数据集上的检测准确率与误报率，未检出部分主要为贴纸异物，在点云图中无明显特征；误报部分主要由配准偏差引起，整体误报较高。

(a)(b)

Figure 14. Results of global detection algorithm for abnormal components. (a) Item loss detection results; (b) Foreign object detection results

图14. 列车零部件异常全局检测算法结果图。(a) 丢失检测结果；(b) 异物检测结果

Table 1. Global detection algorithm accuracy and error rate

表1. 全局检测算法检测率与误报率

4.3. 误报消除实验分析

Table 2. Edge region misreport elimination results

表2. 边缘误报消除结果

Table 3. Air cylinder misreport elimination results

表3. 风缸误报消除结果

表2为边缘误报消除结果，法向量边缘判别法对模板、待检点云边缘配准差异点的识别率较高，能有效减少配准偏差导致的误检测问题；表3为风缸部件上的小部件误报消除结果，基本消除了测试集的所有误报。

Table 4. Accuracy and error rate after optimization

表4. 优化后列检算法检测率与误报率

表4为优化后列检算法检测率与误报率，结果表明，本文提出的局部配准方法能有效降低配准偏差，算法整体检测率较高，基本达到工业运用需求。通过本章方法能有效消除整体部件上的局部误报，且不影响正确检出的零部件异常，该方法可适用于其他整体已配准但装配件差异点较多的情况，本章仅以风缸为例实验说明。

5. 总结与展望

本文针对列车车底结构性异常的故障，提出了一种基于ICP配准的零部件全局检测算法，该方法仅利用3D点云数据即可完成零部件的异常检测，在确保较高检出率和较广检测覆盖面的前提下，降低了系统复杂度和硬件成本；针对部分零部件配准差异点较多所产生较多误报的问题，本文提出了局部误报消除方法，有效的消除了局部配准效果不佳引起的误报问题，进一步提高了全局检测的准确率。需要指出的是，本文方法采用ICP进行配准，无需提取点云特征但容易陷入局部最优，后续可采用精度更高计算量更大的点云配准算法提高配准精度，降低后处理运算量。

基金项目

本文由科技创新2030重大项目(2021ZD0109800)资助。

参考文献