基于图像处理的桥梁裂缝识别及特征匹配研究

Study on Bridge Crack Detection and Feature Matching Based on Image Processing

摘要: 裂缝作为混凝土桥梁最常见的病害之一，可以体现混凝土结构的损伤状况。针对混凝土裂缝图像采集过程中干扰因素较多、采用单一的固定参数进行图像降噪处理时存在着无法满足众多场景等问题，该文基于连通域原理，提出自适应阈值的裂缝降噪处理方法，通过利用裂缝的特征信息进行自适应调节图像降噪过程中的参数设定。此外，为了更好地评估桥梁的病害状况，本文提出基于Hu不变矩的裂缝特征图像匹配研究，进而可以实现对裂缝病害发展状态的跟踪及预测。通过实验验证表明，基于该方法的裂缝特征匹配具有可行性。

Abstract: As one of the most common diseases of concrete bridges, cracks can reflect the damaged condition of concrete structures. To address the problem that there are many interference factors in the process of concrete crack image acquisition, and a single fixed parameter for image noise reduction processing cannot meet many situations, based on the principle of connected domain, an adaptive threshold crack noise reduction processing method is proposed in this paper, which adaptively adjusts the parameter settings in the image noise reduction process by using the feature information of cracks. In addition, in order to better assess the condition of the bridge, a crack image matching study based on Hu-invariant moments is proposed in this paper, which in turn enables the tracking and prediction of the crack disease development status. The experimental verification shows that the crack feature matching based on this method is feasible.

1. 引言

近年来，随着经济社会的快速发展，公路桥梁的建设规模也在不断地扩大，但是由于自然环境、材料劣化、施工缺陷、超载等因素，导致桥梁结构产生了不同程度的损伤和病害，进而对桥梁结构的稳定性和安全性产生一定的影响 [1]。因此，及时地对桥梁进行检测、评估及加固有着举足轻重的作用。目前，对于桥梁表观病害的检测主要依靠检测人员通过在船上搭建脚手架或利用桥检车进行近距离观测和损伤评定，但是以上方法具有成本高、危险性大等弊端，而且检测精度受检测人员专业能力影响较大 [2]。因此，基于图像处理技术辅助的智能化桥梁检测是未来的发展趋势。

Zhou等人 [3] 提出了开发以智能化为特征的第三代桥梁项目的设想，而智能化的桥梁检测技术则是其中的重要一环 [4]。目前，关于桥梁检测智能化发展方向的研究大多集中于利用无人机或桥梁检测机器人等设备实现桥梁表观病害的信息采集 [5] - [8]，而后通过图像预处理、病害信息提取、病害参数识别等步骤实现基于图像的桥梁病害检测。部分学者对病害信息图像的特征提取、分割与识别展开了研究，文献 [9] 采用2D-APES方法获取了裂缝的高精度二维频谱估计，并通过重构频域图像增强了裂缝的边缘信息。为了提高病害检测的速度与精度，文献 [10] 通过对原有的YOLOv4的参数与模型进行简化，提出了一种实时的裂缝检测方法。文献 [11] 基于C-V模型进行改进，实现了图像中裂缝信息的分割与提取。

对于混凝土桥梁的裂缝观测，除了需要检测裂缝的参数信息，如：长度、宽度、深度、面积等，还需要关注裂缝在一定周期范围内的发展变化。因此，本文提出基于Hu不变矩进行图像裂缝的特征匹配，寻找不同图像中相同的裂缝信息。

2. 基于连通域原理的裂缝病害图像降噪处理方法

在进行裂缝图像病害信息前需要对图像进行预处理，通常的图像预处理流程包括：图像灰度化处理、图像增强、二值化处理以及降噪处理等步骤。但是由于采集的裂缝病害图像通常存在着光照不均、阴影、混凝土表面污渍等因素的干扰，导致采用固定参数设定的病害图像处理具有一定的局限性。因此，本节提出一种基于连通域原理的自适应阈值调节的桥梁病害图像处理方法，其处理流程如图1所示。

2.1. 图像预处理

1) 图像灰度化

原始采集到的图像信息为R、G、B三通道的彩色图像，但由于对于裂缝病害进行识别时主要关注的是图像的特征及亮度信息，因此，通常需要将采集的彩色图像转化为灰度图像，将原有的一个像素点 $256\times 256\times 256=16777216$ 种取值结果简化为 $\left[0,255\right]$ 取值范围内的256种可能结果，大大地简化了运算，提高了计算的效率。

Figure 1. The process of crack disease detection and recognition based on image processing

图1. 基于图像处理的裂缝病害检测识别流程

2) 直方图均衡化

灰度直方图是指利用直方图统计图像的灰度值的分布情况。由于一般图像的灰度信息大多集中于一个较小区间内，而此时目标图像的灰度值与背景的灰度值较近，从而导致增加利用灰度值进行阈值分割图像的难度。

通过采用直方图均衡化，可以实现将图像的灰度值均匀地分布在0~255区间内，从而实现图像的整体对比度增强的效果。

3) 中值滤波处理

由于图像在采集过程中会受到各种噪声的干扰，因此为了提高图像的质量，需要对图像进行滤波处理，本文采用中值滤波处理，该方法属于非线性滤波，既能很好地滤除脉冲噪音，而且还可以较好地保留图像的边缘信息。

4) 对比度非线性修正

本文采用伽马变换对灰度图像进行非线性修正，增强目标区域与背景之间的对比度。伽马变换的计算公式如(1)所示：

$V_{out}=A{V}_{in}^{\gamma }$ (1)

式中：V_out——输出图像；

A——灰度缩放系数，通常取[1, 0]；

V_in——输入图像，取值为[0, 1]；

γ——gamma因子。

由于伽马变换中输入图像的像素值范围要求处于0~1之间，因此需要对输入图像进行归一化处理，如式(2)所示，其中0代表黑色，1代表白色，数值越大对应的图像区域越亮，反之越暗。

$I_{out}=I_{in}/255.0$ (2)

式中：I_out——输出图像，取值范围为[0, 255]；

I_in——输入图像，取值为[0, 1]。

伽马变换的效果如图2所示，当γ < 1.0时，图像整体变亮，图像较暗部分被拉伸，当γ > 1.0时，图像整体变暗，压缩图像中较暗部分，对较亮部分进行拉伸。

Figure 2. Gamma transformation

图2. 伽马变换

根据裂缝病害信息部位的亮度值相对偏低，因此，为了增强裂缝与背景区域的对比度，采用γ < 1.0进行图像对比度的非线性修正。采用不同系数进行修正的结果如图3所示，分别为γ = 1.0、γ = 0.3、γ = 0.5和γ = 0.7。

2.2. 基于连通域的图像降噪

由图3所示，通过图像预处理后的图像仍然存在许多细小噪音点，因此本文根据裂缝一般有着较好的连续性的特征，体现在图像中即是像素之间有着较好的连通性。因此，本文提出基于连通域原理的自适应阈值降噪处理方法。

Figure 3. Effect of contrast enhancement with different coefficients

图3. 不同系数的对比度增强效果

如图4所示，为模拟的裂缝图像，其中认定红色区域内的图像为裂缝信息，其他图像中的黑色像素点则是需要剔除的“孤立”噪声点。

Figure 4. Simulation diagram of noise reduction processing of crack images

图4. 裂缝图像降噪处理模拟示意图

图中左侧所示为以1 × 1中心窗口的模板，则围绕中心窗口加之四周连通区域，形成3 × 3的模板，将此模板从初始位置进行依次移动，当中心区域中含有目标像素信息时，判断四周的连通域是否有对应的相关点，如左上方的3 × 3方格，右下角存在与中心相同像素，则判定其存在连通域，而左侧下方的3 × 3方格则判定中心为孤立的像素点。而当采用中心窗格为2 × 2时，左侧上方的两个黑色像素区域均处于中心窗格，而四周无连通域，则判定其也为孤立的像素点。同理，通过依次扩大中心窗格的大小，即可扩大以3 × 3、4 × 4区域为中心窗格的连通域判定。

最后设定判定准则，通过计算初始图像的轮廓数量，判定当轮廓数量小于10或者小于初始图像数量的20%时，停止中心窗格的进一步扩大。

如图5所示，当中心窗格从1 × 1达到5 × 5大小时，满足设定的终止条件，停止进一步扩大范围的图像降噪处理。

Figure 5. Noise reduction of isolated points based on the principle of connected domain

图5. 基于连通域原理的孤立点消除

通过图5可知，采用该方法可以较好的实现裂缝图像的降噪处理。

2.3. 裂缝病害信息获取

通过连通域降噪处理后可以较好地剔除大部分的微小噪音，而后可以根据裂缝的细长特征，利用圆形度以及轮廓的尺度筛选实现裂缝图像的进一步降噪。

其中，圆形度的计算如式(3)所示：

$F_{circle}=\frac{4\cdot C_{count}}{\pi \cdot C_{\max }^2}$ (3)

式中：F_circle——圆形相似度；

C_count——区域面积；

C_max——区域中最长对角线距离。

根据对角线与周长的关系： $L=\pi \cdot C_{\max }$ ，可以得到换算后的圆形度计算公式如式(4)所示：

$F_{circle}=\frac{4\cdot \pi \cdot C_{count}}{L^2}$ (4)

式中：L——区域周长。

通过该方法筛选后，得到裂缝图像的识别结果如图6所示。

Figure 6. The results of crack disease recognition

图6. 裂缝病害识别结果

如图6所示，采用上述的预处理、基于连通域自适应降噪，结合圆形度判定，可以较好地实现裂缝的特征识别。

3. 基于Hu不变矩的裂缝特征匹配

为了更好地评估桥梁结构的技术状况，除了需要分析单次检测过程中的桥梁病害参数信息，还需要病害的发展状况与发展趋势。本文为了研究裂缝发展状态的跟踪，提出基于Hu不变矩进行裂缝的特征匹配。

3.1. Hu不变矩

矩是指通过用一组简单的数据对图像进行描述，以实现图像的特征提取。其中，不变矩是指可以体现图像具有的平移、灰度、尺度以及旋转等仿射变换的具有固定的特征信息。而Hu不变矩则是由空间矩、中心矩以及归一化中心矩结合而构造的7组不变矩。

1) 空间矩

空间矩会伴随着图像的改变而变化，其计算公式如(5)所示：

$m_{ij}={\displaystyle {\sum }_{x,y}(Array(x,y)\cdot x^i\cdot y^i)}$ (5)

2) 中心矩

中心矩可以在图像发生平移变换时保持不变，其计算公式如(6)所示：

$\begin{array}{l}{\mu }_{ij}={\displaystyle {\sum }_{x,y}\left(Array\left(x,y\right)\cdot {\left(x-\bar{x}\right)}^i\cdot {\left(y-\bar{y}\right)}^j\right)}\\ \bar{x}=\frac{m_{10}}{m_{00}},\bar{y}=\frac{m_{01}}{m_{00}}\end{array}$ (6)

3) 归一化中心矩

归一化中心矩具有平移不变性以及缩放不变性，其计算公式如(7)所示：

${\eta }_{ij}=\frac{{\mu }_{ij}}{{\mu }_{00}^{\gamma }}\left(\gamma =\frac{i+j}{2}+1,i+j=1,2,3,\cdots \right)$ (7)

根据二阶、三阶的归一化中心矩构造出可以保证图像在平移、旋转以及缩放时保持不变的7个不变矩，如公式(8)~(14)所示：

$h{u}_0={\eta }_{20}+{\eta }_{02}$ (8)

$h{u}_1={\left({\eta }_{20}-{\eta }_{02}\right)}^2+4{\eta }_{11}^2$ (9)

$h{u}_2={\left({\eta }_{30}-3{\eta }_{12}\right)}^2+{\left(3{\eta }_{21}-{\eta }_{03}\right)}^2$ (10)

$h{u}_3={\left({\eta }_{30}+{\eta }_{12}\right)}^2+{\left({\eta }_{21}+{\eta }_{03}\right)}^2$ (11)

$\begin{array}{l}h{u}_4=\left({\eta }_{30}-3{\eta }_{12}\right)\left({\eta }_{30}+{\eta }_{12}\right)\left[{\left({\eta }_{30}+{\eta }_{12}\right)}^2-3{\left({\eta }_{21}-{\eta }_{03}\right)}^2\right]\\ +\left(3{\eta }_{21}-{\eta }_{03}\right)\left({\eta }_{21}+{\eta }_{03}\right)\left[3{\left({\eta }_{30}+{\eta }_{12}\right)}^2-{\left({\eta }_{21}+{\eta }_{03}\right)}^2\right]\end{array}$ (12)

$h{u}_5=\left({\eta }_{20}-{\eta }_{02}\right)\left[{\left({\eta }_{30}+{\eta }_{12}\right)}^2-{\left({\eta }_{21}+{\eta }_{03}\right)}^2\right]+4{\eta }_{11}\left({\eta }_{30}+{\eta }_{12}\right)\left({\eta }_{21}+{\eta }_{03}\right)$ (13)

$\begin{array}{l}h{u}_6=\left(3{\eta }_{21}-{\eta }_{03}\right)\left({\eta }_{30}+{\eta }_{12}\right)\left[{\left({\eta }_{30}+{\eta }_{12}\right)}^2-3{\left({\eta }_{21}+{\eta }_{03}\right)}^2\right]\\ -\left({\eta }_{30}-3{\eta }_{12}\right)\left({\eta }_{21}+{\eta }_{03}\right)\left[3{\left({\eta }_{30}+{\eta }_{12}\right)}^2-{\left({\eta }_{21}+{\eta }_{03}\right)}^2\right]\end{array}$ (14)

3.2. 裂缝特征匹配

基于Hu不变矩对于图像旋转、缩放、平移等仿射变换过程具有不变性，而裂缝图像在采集的时候由于拍摄的远近、角度等差异会导致不同时期采集的相同部位的图像具有仿射变换的转换关系，而对于发展后的裂缝则等效于既有裂缝为新采集裂缝图像裁剪后的局部信息。

因此，本文分别对采集并预处理后的裂缝二值图像分别进行旋转、缩放、裁剪等操作，并观察Hu矩值的变化。

形成的裂缝特征匹配的实验图像如图7所示。

根据公式(8)~(14)，分别计算原始图像以及不同变换后图像的Hu不变矩的矩值，以及相对于初始图像各个矩值的误差，计算结果如图8所示。

Figure 7. Experiment diagram of Crack feature matching

图7. 裂缝特征匹配实验图像

Figure 8. Changes of Hu-invariant moments with transformation of rotation, scaling and clipping

图8. 经过旋转、缩放及裁剪后的Hu不变矩的变化

由图8所示，经过旋转与缩放后的图像相比较原图，7个Hu不变矩的变化均处于±10%以内，而经过裁剪后的矩值变化率相对较大，最大值Hu3的变化率达到了25.86%，但Hu0、Hu1和Hu2仍处于10%的误差范围内。

由于裂缝的发展状态类似于图像的裁剪，加之不同时间节点采集的图像信息仍然会存在旋转与缩放变换。在实验结果中，Hu0、Hu1和Hu2的矩值随着图像的变换而产生的变化较少，结合Hu0和Hu1均由二阶矩组成，表示图像的大小与方向信息，更能体现图像的特征信息。

因此，基于本文的实验研究，提出当Hu0和Hu1变化率小于10%且其他5个不变矩的变化率小于25%时，则认为两张图像特征匹配成功。

4. 结论

本文基于连通域原理，提出自适应的裂缝降噪处理方法，并分析7个Hu不变矩对于不同时期采集相同部位的裂缝病害信息图像时涉及图像的缩放、旋转以及裁剪过程中的变化量。

通过实验验证表明：

1) 本文提出的图像预处理和图像降噪处理算法对于裂缝图像的裂缝特征提取具有良好的效果；

2) 用仿射变换后的图像模拟不同时期采集的同一部位的裂缝图像信息，经过对比发现，7个Hu不变矩的矩值变化较小，因此，基于Hu不变矩进行裂缝的特征匹配具有可行性，为后续裂缝病害发展跟踪的研究提供了思路。

NOTES

^*通讯作者。