1. 引言
高速铁路基础设施的服役检测对确保高铁的安全运行具有不可替代的作用。其中，钢轨病害作为检测的核心内容，发展先进的钢轨病害检测技术，提升轨道病害检测水平，已然成为当前高速铁路发展亟需满足的需求。
钢轨表面的损伤可能是由多种原因引起的，如车轮与轨道之间的摩擦会产生高温，使钢轨的金属结构发生形变，典型的钢轨病害包括波磨、压陷、扣件损伤或丢失等 [1] ，这些轨道病害会对列车的正常运行产生严重影响。近年来，随着深度学习领域的迅速发展，并伴随着数据采集量的增加，对于更短的检测时间和更高的检测准确率提出了更为迫切的需求。相对于传统基于机器视觉的钢轨病害检测方法，深度神经网络结构具有显著优势 [8] [9] ，它能够学习到更高层次、更抽象的特征表示，处理大规模数据，并实现端到端的学习。本文将围绕基于深度学习的钢轨病害视觉检测任务，对单模态与多模态融合的典型钢轨病害检测模型进行介绍与分析。
2. 基于深度学习的钢轨病害检测网络
Figure 1. Deep convolutional neural networks for detection of rail surface defects
图1. 基于深度卷积神经网络的钢轨表面缺陷检测模型
2016年，Faghih-Roohi等学者提出了一项基于深度卷积神经网络的钢轨表面缺陷检测模型 [2] ，该模型采用了改进的深度卷积神经网络(DCNN)来进行钢轨缺陷的检测。该DCNN检测模型的结构包括三个卷积层、三个最大池化层以及三个全连接层，并使用Tanh和ReLU作为激活函数。此模型的基本结构示意图见图1。研究首先对采集到的铁路轨道图像进行手动标记，分为6类，即正常、焊接缺陷、轻度隐伤、中度隐伤、重度隐伤、接合损伤。接下来，将像素的灰度图像输入到DCNN分类网络中，然后采用小批量梯度下降方法对网络进行优化。最终，该模型成功地对钢轨缺陷进行分类，其准确率达到92%。
针对异常钢轨扣件与正常钢轨扣件在外观上相似且只有少数轨道图像包含异常扣件的问题，2019年，Dong等学者提出基于数据合成的异常钢轨扣件端到端检测模型 [3] ，整体的框架结构如图2所示。一方面，该检测模型采用轻量级骨干网络ShuffleNet-v2进行特征提取，并设计了阈值剪枝算法，从而减少了钢轨扣件异常检测的推理时间，降低了误报率；另一方面，针对小样本问题，提出了两种基于模板匹配 [4] 的钢轨扣件图像数据合成方法即FIT和FIB并设计了加权中心损失函数。此模型的输入数据是钢轨图像，经过特征提取主干网络，钢轨扣件定位网络以及对候选区域分类网络，最终输出扣件的状态，所在位置与对应尺寸。
Figure 2. An end-to-end abnormal fastener detection method based on data synthesis
图2. 基于数据综合的端到端扣件异常检测方法
3. 钢轨病害检测方法
目前，国内的钢轨病害数据包括轮轨加速度信号、图像以及结构光点云。在基于深度学习的单一模态钢轨病害检测研究方面，已经取得了重要的成果。为了提高钢轨病害检测的准确性，充分利用多元异构数据进行检测分析成为提高性能的重要方向。因此，针对多模态融合的钢轨病害检测研究逐渐成为解决这一问题的有效途径。
3.1. 单模态检测模型
3.1.1. 轮轨加速度信号
Figure 3. Wave milling section time domain signal [5]
图3. 波磨段时域信号 [5]
如图3所示，在钢轨波磨检测方面，若钢轨表面出现波磨现象，高铁与轨道之间的作用力变大，加速度增加，其轴箱振动的加速度信号较无波磨时刻变化明显。
2020年，孙秀秀等人提出基于深度卷积残差网络的钢轨波磨检测模型 [5] ，主体结构包括数据增强阶段，空间金字塔池化层，以及残差层，如图4所示。模型利用密度聚类与样本加权相结合的数据增强方法合成新的数据集，在进行钢轨波磨分类与识别时，由于所使用的数据集中原始时间序列信号是按照里程进行划分，所以不同数据段长度不同，使用空间金字塔池化 [6] 解决在波磨检测中全连接层前数据长度不一致问题。实验结果表明，所提出的模型不仅精准率和准确率得到大幅度提升，且此算法的泛化能力增强。
Figure 4. Rail corrugation detection model based on deep convolutional residual network
图4. 基于深度卷积残差网络的钢轨波磨检测模型
同年，Liang等学者提出通过经验模态分解，提取出包含故障函数模型的能量和峭度，将其多尺度特征输入神经网络进行波磨识别 [7] 。谢清林等研究者在2021年通过在空间域内对铁路钢轨波磨振动信号进行分割，进而输入一维卷积神经网络中对钢轨波磨进行识别与分类 [8] 。2022年，谢烨等学者提出基于一维深度卷积生成对抗网络的钢轨波磨识别方法 [9] ，通过采用一维生成对抗网络生成与实际振动信号相匹配的伪样本数据，以扩充样本信号的数据集，其次提取波磨振动信号的时域统计指标作为波磨数据的特征，最终利用支持向量机算法对具有不同特征的振动信号数据分类。由实际测量的振动信号数据进行实验验证，其平均分类准确率较高，另外在样本数据不充足时，可以使用1D-DCGAN生成伪样本数据。2023年，Qinglin等人提出了RCNet模型 [10] ，用于轨道波磨粗糙度的定量检测。模型以轮轨加速度信号作为输入，通过基于数据驱动的卷积回归模型RCNet，将钢轨波磨粗糙度严重程度的定量输出。RCNet不仅在定量检测钢轨波磨粗糙度方面拟合度高、损耗低、时效性好，而且其定量检测结果是连续的，这对于全面评估钢轨波磨严重程度至关重要，如图5所示，
3.1.2. 图像
目前在视觉识别领域广泛使用的深度学习模型有DBN [11] ，CNN [12] ，其中基于CNN的目标检测网络主要分为两大类：基于回归的网络模型，如YOLO系列 [13] [14] ，基于生成候选区域的网络模型，如Fast R-CNN [15] 、Faster R-CNN [16] 。
Figure 6. Improved YOLOv4 network structure diagram
图6. 改进的YOLOv4网络结构
2019年，魏秀琨等学者提出基于改进YOLOv3网络模型的轨道线路病害辨识方法 [17] ，在已建立的单尺度YOLOv3网络上，引入跨层特征融合连接通道，形成轨道线路多目标病害检测网络，同时，对该轨道线路多目标病害检测网络进行轻量化处理。如图6所示，2023年，Zengzhen等研究者使用改进YOLOv4网络对钢轨表面缺陷进行检测 [18] 。为解决钢轨缺陷边缘不明显、尺寸小、背景纹理干扰等问题，首先提取缺陷区域，接着使用改进的Retinex算法进行图像增强、背景建模差分和阈值分割方法，以获取缺陷分割图，其次在缺陷分类阶段，引入了Res2Net和注意力机制，以提升感受野和对小目标位置的权重处理。Chunguang等人提出基于图像增强和改进YOLOX的钢轨表面缺陷检测算法 [19] ，首先，在HSV空间中应用融合图像增强算法处理钢轨表面图像，以突出缺陷并增强与背景的对比度，其次在YOLOX结构中，采用了BiFPN机制进行特征融合以提高特征表示。经过增强的模型在定位精度和检测精度方面表现出色，能够满足对缺陷进行实时检测的需求。如图7所示，2023年，Hui等学者提出基于改进的YOLOv5s的钢轨表面缺陷检测模型 [20] ，首先针对钢轨缺陷图背景对比度低以及训练样本不足的问题，使用随机裁剪，翻转等一系列操作进行数据增强，然后，在主干网络中加入CDConv，减少网络参数数量和计算量，同时提高检测速度和精度，再将原来的卷积预测头替换为注意力预测头，使得改进的模型更专注于对损伤密集区域进行特征提取。
Figure 7. Improved YOLOv5s network structure diagram
图7. 改进的YOLOv5s网络结构
2020年，Jin等人提出多模型融合的钢轨缺陷检测系统 [21] ，把图片像素的空间信息输入基于马尔可夫随机场的改进高斯混合模型中，从而实现对缺陷边缘的精准分割，进一步将分割的初始结果输入Faster R-CNN进行目标定位。Wang等人在2022年提出一种基于改进Mask R-CNN的钢轨表面缺陷检测算法 [22] ，此检测模型利用特征金字塔结构进行多尺度特征融合，并使用完全交并集作为评价指标。此外在训练阶段，使用迁移学习和数据增强来解决小样本数据集的问题。与其它钢轨病害不同的是，钢轨波磨仅在其表面产生轻微的纹理变化，为提高检测精度Yang等学者在2023年提出基于改进ShuffleNet-V2的钢轨波磨实时检测方法 [23] 。与自适应阈值分割算法和边缘检测分割算法相比，该结构中提出的基于滑动窗口灰度最大值的钢轨表面分割方法能够较完整保留钢轨表面的特征信息，且轻量级卷积神经网络ShuffleNet-V2作为特征提取模型，具有更好的实时性。
3.1.3. 结构光点云
双目立体视觉模仿人类的双眼原理，通过双目相机观察同一物体在左右相机位置的差异，计算出深度信息，然后根据三角测量原理进行三维重建 [24] 。对钢轨图片进行双目立体匹配算法得到三维点云数据，如下图8所示。
Figure 8. Rail point cloud data [18]
图8. 钢轨点云数据 [18]
2019年，李文虎等人提出基于3D标签的自适应双目匹配算法 [25] ，此模型首先使用卷积神经网络计算匹配代价值，其次使用Potts模型算法计算能量函数的平滑项，最终通过不断迭代能量函数求解出像素位置精确的3D标签值。为实现对波磨的准确检测，需要进行点云滤波处理，从而去除噪声点以及离群点。通过选择三个截面的点云信息，绘制出钢轨波磨曲线图，实现对钢轨波磨的有效检测。2022年，崔文凯等学者提出基于虚实结合的钢轨表面缺陷检测研究 [26] ，该方法包括两个模块：图像对齐和特征对齐。图像对齐通过风格迁移和纹理叠加在图像级别上，使虚拟数据和真实数据在视觉特征上更加相似，而特征对齐则是通过优化特征提取器，使其提取到的虚拟和真实数据的特征在分布上趋于一致，最终将两个模块的信息输入到YOLOv3基底网络中，从而构建出DA-YOLO检测网络，如图9所示。作者通过虚拟数据生成系统自动化地生成大量的病害钢轨3D模型，利用图像采集软件，生成其表面图像，这些图像可作为神经网络训练的数据集。
利用激光扫描或其他传感器收集的三维点云数据来分析和识别钢轨的状况，并对钢轨病害进行检测。这种方法有一定优点，点云数据提供了对整个钢轨表面的高分辨率三维信息，使得能够全面检测和分析表面的任何病害或变形且可用于不同类型和形状的钢轨，因此具有一定的通用性和适应性。同时点云数据的质量可能受到环境因素的影响，如天气条件、光照等，且相比于信号数据与图像数据而言，点云数据处理和分析较复杂。
Figure 9. DA-YOLO network architecture
图9. DA-YOLO网络架构
3.2. 多模态检测模型
通过采用多种模态的数据融合策略对钢轨病害进行检测，可以实现数据之间的相互补充，提高数据的利用率，从而进一步提高检测的实时性和准确性。
2022年，Zhengxing等人提出一种用于钢轨缺陷检测的相机和超声数据融合检测模型 [27] ，利用基于视觉的图像数据和超声数据来确定钢轨表面缺陷，充分利用了两类数据之间的互补信息，从而进一步提高了钢轨表面缺陷的检测精度。本文能够同时采集双轨综合检测车的摄像机图像和超声扫描图像数据集，构建一个相机与超声数据融合模型(CUFuse)，CUFuse能够输出三种轨道表面缺陷程度(轻、中、重度)和两种正常轨道表面状态(正常和连接)。CUFuse模型主要由两部分组成：多源数据特征提取和多尺度特征融合。在多源数据特征提取网络中，采用两个BoTNet 50网络作为特征提取器，分别从摄像头图像和超声扫描图像中提取五个阶段的特征。而在多尺度特征融合网络中，包含了五个特征融合模块，用于融合多源数据特征提取网络输出的特征信息。这样的设计使得CUFuse模型能够充分利用摄像头和超声数据的互补信息，提高对轨道表面缺陷的检测率，如图10所示。
通常，在基于信号的钢轨缺陷检测中，信号传感器易于安装，这使得振动信号获取相对容易。然而，由于振动信号受到外部环境条件和列车负载量等因素的影响，可能导致检测结果存在一定的偏差。相比之下，在基于图像的钢轨缺陷检测中，检测结果可以直观显示，便于观测。然而，这种方法的检测结果更容易受到图像质量的影响，因而可能存在较大的差异性。2023年，Tiantian等学者提出基于一维振动信号与二维图像融合的铁路表面缺陷检测算法 [28] ，如图11所示。该算法将图像与振动型号相结合，二者可以相互补充并能更有效的检测钢轨缺陷。首先通过使用改进的稀疏自编码器提取振动信号的特征信息，接着使用线性判别分析–支持向量分类器对钢轨表面缺陷进行特征降维和诊断。同时结合YOLOv5基于二维图像的方法对缺陷进行定位和检测。最后，在决策层面将这两种模型的结果进行融合。这种综合的方法利用了两种不同的技术手段，既包括了基于传统特征的诊断方法，也融合了基于深度学习的目标检测方法，以更全面、准确地评估和诊断钢轨表面的缺陷情况。实验表明多元异构数据融合能有效的提高检测精度。
Figure 11. Data fusion rail surface defect detection algorithm
图11. 数据融合的钢轨表面缺陷检测算法
4. 研究展望
本文专注于轨道病害检测技术，通过基于数据的分类逻辑，系统阐述了轨道病害检测的研究现状，并分析了各类模型的特点。基于深度学习的轨道病害检测算法在取得显著成就的同时，也面临一些挑战。本文认为在迁移学习，小样本学习，多模态数据融合等方向仍可深入探索，同时密切关注实际应用中的需求，以提高神经网络轨道病害检测系统的可靠性和实用性。
(1) 迁移学习。通过在大规模数据集上进行预训练，模型可以学到通用的特征，从而减少对轨道病害标注数据的需求。如果源领域和目标领域之间存在一些差异(比如不同的天气条件、铁路类型等)，迁移学习可以帮助模型更好地适应这些领域之间的数据偏移。
(2) 小样本学习。在传统的深度学习任务中，通常需要大量的标注样本来训练模型，以确保模型能够学到足够的特征表示来泛化到新数据。然而，在实际钢轨病害检测中，获取到的钢轨数据中带有病害的数据较少，而小样本学习则可以通过对有限数量的样本进行学习，使模型能够在面对新类别或任务时表现良好。
(3) 多模态数据融合。由于数据规模庞大且类型多样，目前大多数检测系统主要针对单一模态的数据进行分析，导致综合利用率较低。因此，多模态数据融合被认为是解决这一问题的有效途径。考虑将结构光点云数据与其他模态数据融合，充分利用数据之间的互补性和差异性，以提高钢轨病害检测系统的泛化能力。