1. 引言
汽车作为现代生活中不可或缺的交通工具，随着经济和科技的不断发展，它得到了越来越广泛的应用，成为了每家每户出行的必备工具。在这种巨大的需求量下，汽车制造业得到了空前的发展。与此同时，汽车的各种性能特点也越来越受到人们的重视，其中，汽车的安全性是汽车最重要的性能之一。根据国家统计局在公布的《2022年国民经济和社会发展统计公报》可知，我国民用汽车保有量已经达到了26,150万辆，增长了8.83%，随之增长的还有交通事故的发生数，每年都会有超过几万人的伤亡，由于轮胎的质量问题造成的交通事故率达到了46% [1] ，故汽车轮胎的质量好坏在汽车安全驾驶中起到极其重要的作用。轮胎作为汽车极其重要的组成部分之一，它的质量直接影响着汽车的多种性能。而轮胎花纹的质量会直接影响到轮胎的抓地力，操控性，轮胎花纹的不合格会导致轮胎失去排污、排水等功能。轮胎花纹主要是通过模具加压固化而成的，由一块一块胎面花纹拼接成整个轮胎的，在此过程中如果因为人工拼接或者模具的不规范导致轮胎花纹出现与标准样本不一致，那么生产出来的轮胎会被视为不合格，在后期的量产中出现大量的废胎，造成无法挽回的损失。所以，我们必须对硫化生产出来的第一条轮胎首胎进行验证。目前在国内，对于首胎胎纹的识别验证，普遍还是采用人工的方式，这种方式存在效率低，精度低，容易遗漏等问题。因此，对于轮胎制造商来说，实现更高效更节约成本的轮胎胎纹检测是非常有必要的。
2. 基于3D视觉的汽车轮胎胎面花纹缺陷检测系统
2.1. 系统平台搭建
如图1所示为汽车轮胎胎纹缺陷识别系统平台，该平台主要由工作台、Gocator3D相机、相机支撑架、轮胎、轮胎夹持旋转装置以及上位机等设备构成。Gocator 3D相机采用的是Gocator2440线激光轮廓传感器来扫描轮胎的表面花纹。轮胎的夹持旋转装置主要是为了固定轮胎并使其匀速旋转，方便采集整个轮胎的胎纹图像。上位机主要是用来搭建软件系统平台，进行轮胎胎纹图像的预处理以及后续的胎纹缺陷识别检测。
2.2. 系统检测流程
该系统主要是设计用来识别分割出汽车轮胎胎面花纹处是否会存在鼓泡、划痕及花纹错位等缺陷。如图2所示为该系统的主要检测流程。首先，通过Gocator2440传感器扫描轮胎胎面花纹得到胎纹的点云图，将轮胎胎面花纹的点云图经过半径滤波后转换成二维深度图，对这些深度图通过Labelme软件进行缺陷区域标注，然后划分好数据集，设计合适的模型对其进行训练优化，用训练好的模型来检测识别轮胎胎面花纹存在的缺陷。
Figure1. A physical picture of the identification system for automobile tire tread defects
图1. 汽车轮胎胎纹缺陷识别系统实物图
Figure 2. Flow chart of tire defect detection system
图2. 胎纹缺陷检测系统流程图
2.3. 汽车轮胎胎面花纹点云数据预处理
本文选择了半径滤波与统计滤波在自建的数据集Tread_Pattern2上进行实验，实验采用的编程语言为python，编程平台是pycharm，点云库采用open3D，采用了time库对点云滤波去噪所耗费的时间进行记录对比。
1) 采用半径滤波器进行去噪的实验结果如图3所示。
其中，半径滤波器的半径设定为1，阈值设定为20，原始点云一共有9,676,912个点，在经过半径滤波器的处理后，共滤除了3643个点，滤波后的点云由9,673,269个点。其中，图3(a)为原始点云图，图3(b)中的红色的点表示被滤去的噪点，图3(c)显示为经过半径滤波后滤除噪点的细节图。每张点云图执行半径滤波的时间约为46 s。
2) 采用统计滤波器进行去噪的实验结果图如图4所示。
(a) (b) (c)
Figure 4. Statistical filtering
图4. 统计滤波
统计滤波器的K邻域点个数设定为20，标准差乘数设定为2，原始点云一共有9,676,912个点，执行统计滤波后，共滤除了479,826个点，统计滤波后的点还有9,197,086个点。图4(a)为原始点云图，图4(b)中的红色的点表示被滤去的噪点，图4(c)显示为经过统计滤波后滤除噪点的细节图。每张点云图执行统计滤波的时间约为7 s。
通过上述半径滤波与统计滤波均可对点云的离群点进行滤除，从图4中的图(c)可以看出，虽然统计滤波可以有效地去除大量噪声，但是由于靠近主体的离群点过近，导致其产生错误的判断，造成了主体点云的缺失，反而会影响到了精度，而图3中的图(c)可以看出，半径滤波在去除主体附近噪声点的效果较好，故本文最终选择了半径滤波的方法对胎纹点云数据进行了去噪。
3) 点云转深度图
轮胎胎面花纹3D点云数据转深度图，深度图的原理其实就是用深度值z值来表示像素值，首先读取点云文件，然后给传感器的位姿赋值，也就是获取点云传感器的平移和旋转向量，设置好参数，可视化点云，获取从实际坐标系统转换为深度图的坐标系统的转换矩阵，最后，得到可视化深度图。转化结果如图5所示。
Figure 6. Enhanced and expanded graph of tread data
图6. 胎纹数据增强扩充图
4) 深度图数据增强
由于一张胎纹点云数据非常大，由其转换过来的深度图的分辨率也非常大，平均每张深度图数据的像素值大概在3000 × 4000左右，考虑到计算机的GPU是有限的，且深度学习网络的输入有一定的限制，所以，需要对深度图数据进行适当的压缩，使用了两种方法，第一种是将图像Resize到600 KB以内，图像大小不一，数据集命名为Tread_Pattern1，第二种是采用线性插值的Resize方式将图像分辨率降到600 × 800，保持图像大小一致，数据集命名为Tread_Pattern2。深度学习网络的训练需要大量的数据进行学习，而能够采集到的有缺陷的胎纹点云数据量非常少，转成深度图后，大概450张左右。由于胎纹缺陷数据量的不足，所以需要将胎纹缺陷数据进行扩充。胎纹数据增强扩充操作如图6所示。
3. 基于深度学习的胎纹缺陷检测方法
2015年，Ross Girshick等人 [2] [3] 在R-CNN、Fast R-CNN的基础上提出了Faster-RCNN网络，主要是利用网络训练的方式来提取目标特征，这种方式对比于传统的提取特征的方法，极大地提高了检测和分类的速度和精度。语义分割主要是进行像素级别的图像分类，实现对图像中的每一个像素点所属类别进行区域划分，图像中不同类别的像素点用不同的颜色进行区分。现有的基于深度学习的全监督的语义分割网络大部分都是编–解码结构，编码部分主要是用于特征图的提取与多尺度特征的融合，解码部分主要是用于对特征图进行上采样来得到与输入特征图分辨率一致的输出结果，典型的深度学习语义分割网络有：FCN、DeepLab系列等。实例分割其实可以看成目标检测与语义分割的结合，它既能够对物体
Table 1. Results of three classical network experiments
表1. 三种经典网络实验结果
Figure 7. Comparison of the results of different algorithms
图7. 各类算法结果对比图
进行目标检测，也能够将其进行分割，目前，基于深度学习的实力分割网络与目标检测类似，可分为单阶段网络和双阶段网络。典型的自上而下的实例分割网络有：SGN、SSAP等，典型的单阶段的实例分割网络有：YOLACT和SOLO系列等。2017年，何凯明等人 [4] 为将目标检测与语义分割结合起来，在Faster-RCNN的基础上添加了FCN，并且将Faster-RCNN中的RoI Pooling替换成了RoI Align，从而得到了功能强大的Mask-RCNN，Mask-RCNN不仅可以实现目标的分类定位，还能在此基础上对目标进行像素级的分割。
分别选取目标检测、语义分割与实例分割这三个任务中非常经典的三个网络进行训练比较，三种经典网络的实验结果见表1，图7为各网络部分测试结果。
根据表格中的数据可知，在训练轮次同为100时，语义分割网络DeepLabv3p的准确率达到了最高，为85.92%，FPS为5.85；而目标检测网络Faster R-CNN的准确率只有74.5%，FPS为20.04；实例分割网络Mask-RCNN的准确率为75.1%，FPS为16.40。考虑到在工业质检领域，检出准确率为最重要的指标之一，故在接下来的研究中重点研究语义分割网络DeepLabv3p在胎纹缺陷检测任务中的表现，并对其进行改进以进一步提升准确率。
根据深度学习目标检测、实例分割和语义分割方法的结果对比分析，选择了准确度较高的语义分割网络DeepLabv3p作为基础网络来对胎纹进行检测识别。针对该网络在检测汽车轮胎胎纹图像上呈现的边缘分割模糊、模型参数量大、训练速度慢等不足，对其进行了优化改进，融合了双重十字交叉注意力模块(URCCA)并将特征提取网络Resnet50替换成STDC2。
基于URCCA-ASPP的多尺度特征融合模块
基于CCNet [5] 网络的思想，在DeepLabv3p网络中融合了URCCA模块。图8所示为URCCA-ASPP网络结构图。
Figure 8. URCCA-ASPP network structure
图8. URCCA-ASPP网络结构
URCCA-ASPP模块主要是将URCCA模块与ASPP模块并联，首先，骨干网络最后一层输出的特征图，同时进入URCCA模块与ASPP模块，假设特征图X进入URCCA模块，先进行Reduction的操作得到特征图H，然后输送至第一个CCA模块得到特征图H'，然后进入第二个CCA模块得到特征图H''，需要进行一个通道降维的操作，将特征图H''的通道保持与ASPP输出的特征图通道一致，以便于两者进行相加融合得到最终的特征图X'。将并联方式融合URCCA-ASPP模块的DeepLabv3p网络命名为DeepNLb [6] 。图9所示为CCA网络结构图。
CCA模块是基于Non-local模块 [7] 进行改进的，改进的方向是为了解决Non-local模块计算复杂度过高的问题，该模块在每个像素位置上获取十字方向上的远程上下文信息。假设输入特征图的空间大小为C × W × H，首先，通过两个1 × 1的卷积分别降维形成Q和K，空间大小分别变为了C' × W × H，然后，
将Q和K通过Affinity操作得到D，D的空间大小为(H + W − 1) × W × H，接着对D的维度进行softmax操作生成注意力图A，空间大小为(H + W − 1) × W × H，接下来，再将输入特征图进行降维得到V，然后，对注意力图与V进行Aggregation的操作，最后，再与原输入特征图进行相加融合，得到输出特征图。
4. 实验与分析
4.1. 实验设置
本文以及其他进行对比实验的网络模型在训练阶段的超参数设定为：初始学习率为0.01，单次批处理量大小为2，优化器类型设置为SGD，总迭代次数设置为60,000。
4.2. 实验结果分析对比
本文将DeepNLb网络与其他经典的语义分割网络在数据集Tread_Pattern1上进行了实验对比，采用的评价指标有平均交并比、平均像素精度、模型大小以及单张图像分割耗时，该实验是在AI Studio平台上进行的，batch_size设置为2，iters设置为60,000，初始学习率设置为0.01。实验的对比结果如表2所示。
Table 2. Comparative experimental results 1
表2. 对比实验结果1
从表2中，可以看出，在同一数据集、环境和参数配置下，实验对比了语义分割较经典的网络如：DeepLabv3p、DAnet、FCN、Unet、PSPnet、CCnet、PP_Liteseg、Bisenet、GCnet以及改进后的DeepStDa与DeepNLb，根据实验结果可以发现改进后的DeepNLb网络的mIou达到了85.83%，在这些经典的网络中精度最高，mIou比基础DeepLabv3p网络提升了2.02%，DeepNLb网络的模型体积也是最小的，且测试速度最快。
为了进一步验证改进模型的泛化性，将DeepLabv3p网络与改进后的模型在语义分割公用数据集Cityscapes上进行了实验，实验结果如表3所示。
Table 3. Comparative experimental results 2
表3. 对比实验结果2
从表3中可以看出，在公共数据集Cityscapes上，DeepNLb网络精度达到了最高，mIou为71.88%，且体积最小，为46.6 MB，测试的速度最快，单张图像分割耗时为191 ms，证明了模型改进后的有效性。
Figure 10. Display of segmentation results of automotive tire tread pattern defects
图10. 汽车轮胎胎面花纹缺陷分割结果显示图
5. 可视化界面设计
如图10所示为汽车轮胎胎面花纹缺陷分割结果显示图，该检测界面是采用了pyqt5 Designer设计了汽车轮胎胎面花纹缺陷分割结果的显示界面。界面包含了上传图片、选择模型、开始预测等功能，通过上传采集到的待测汽车轮胎胎面花纹图像，选择检测的模型，点击开始预测，启动模型开始预测，显示出胎面花纹缺陷分割的结果，从界面中可以很明显地看出该图像存在两个鼓泡缺陷，以及鼓泡的形状大小，非常方便用户的操作使用。
6. 结论
本文设计了基于3D视觉技术的汽车轮胎胎纹识别系统，包括胎纹识别系统硬件平台的搭建、软件平台的环境以及软件系统地搭建。最后，基于pyqt5设计了相应的汽车轮胎胎纹识别系统的人机友好交互界面，工作人员可以通过该界面来实现点云数据预处理、深度图数据增强、选择训练好的模型对采集到的胎纹图像进行识别检测，能够直观地观察到轮胎胎纹处所存在的缺陷，并保存检测结果等功能。