基于MSR多尺度细节增强与双阈值约束的隧道裂缝提取方法

Tunnel Crack Extraction Method Based on MSR Multi-Scale Detail Enhancement and Dual-Threshold Constraint

摘要: 由于传统图像处理算法难以处理在地铁隧道复杂照明环境下的裂缝缺陷图像，提出一种基于多尺度细节增强与双阈值约束的隧道裂缝提取方法。首先，对图像进行预处理，依据Retinex理论得到图像的反射分量的同时获得图像高频成分并进行融合，以突出图像中的裂缝信息。然后通过一种在全局大津阈值约束下的改进局部阈值法将图像分割成背景成分与伪裂缝成分。最后，通过裂缝结构特征分析设置形状滤波完成裂缝信息的提取。实验结果表明，该方法相比于其他方法在裂纹检测中表现出更好的性能。

Abstract: Due to the difficulty of traditional image processing algorithms in handling crack defect images in complex lighting environments in subway tunnels, a tunnel crack extraction method based on mul-ti-scale detail enhancement and double-threshold constraints is proposed. Firstly, the image is pre-processed, and the reflection component of the image is obtained based on the Retinex theory, while the high-frequency components of the image are fused to highlight the crack information in the image. Then, the image is segmented into background components and pseudo crack compo-nents using an improved local threshold method under a global Otsu threshold constraint. Finally, the crack information is extracted by setting a shape filter through crack structure feature analysis. Experimental results show that compared with other methods, this method performs better in crack detection.

1. 引言

地铁是城市轨道交通的重要组成部分 [1] 。随着大量城市轨交基础设施逐渐进入运营维护期 [2] ，隧道作为地铁线路的重要设施且处于地下，其日常维护尤为重要。裂缝是隧道诸多种类病害中最常见的一种，若不及时发现并控制，将缩短隧道服役时间 [3] ，因此其经常被当作隧道安全的关键指标。近年来，基于计算机视觉的裂缝检测方法已广泛运用于基础设施运营维护中，目前已有许多研究团队为提高裂缝识别算法的准确性、高效性做了相关工作 [4] 。余天堂等提出计算子窗口中各个像素点的CTA值，通过迭代获得阈值依据CTA值对像素点进行分割，最后将每个子块的裂缝连接起来 [5] 。Dapeng Qi等提出以各像素点各自分割代替全局分割，每个像素点的分割阈值由该像素点邻窗灰度平均值与预设阈值作差获得，并给出两种方法消除斑点噪声 [6] 。但由于隧道环境复杂使得图像存在对比度低和光照不均匀等问题，传统图像处理方法难以有效处理隧道裂缝图像。基于上述问题，本文提出了一种基于改进的Retinex与多尺度细节融合的昏暗图像增强和双阈值约束分割的隧道裂缝提取算法。

2. 裂缝提取算法设计

裂缝提取算法主要分为三个步骤，如图1所示。首先对图像进行预处理，完成光照均衡与细节增强进而突出裂缝信息。之后对预处理之后的图像进行二值化，依据裂缝和背景之间存在灰度值差异来用将目标像素从背景中分离出来，通过两个滑窗历遍整张图像，设立两个阈值对图像像素点进行分割。对于分割后的图像中存在的不规则噪声，依据裂缝结构特征通过连通域过滤掉非裂缝成分信息。通过上述方法输出裂缝提取结果。

3. 裂缝提取

由于隧道环境复杂或拍摄时光照条件不好等因素，隧道裂缝图像可能存在对比度低、光照不均匀等问题。传统光照均衡算法有灰度拉伸、伽马变换、CLAHE等，但效果并不是很好。本文通过MSR算法完成图像增亮，对多尺度高频信息进行融合完成细节增强，提高图像质量，以便于后续的裂缝信息提取。

Figure 1. Flowchart of crack extraction algorithm

图1. 裂纹提取算法流程图

3.1. MSR多尺度细节增强(MSR-D)

Retinex理论认为一张图像 $f\left(x,y\right)$ 由反射分量 $r\left(x,y\right)$ 与照射分量 $i\left(x,y\right)$ 两部分组成，可由式(1)表达。照射分量对应图像中的平缓分量，反射分量对应图像中的剧变分量，由物体自身属性决定，因此获得反射分量便可还原物体本身信息，从而完成图像增强。

$f\left(x,y\right)=r\left(x,y\right)\times i\left(x,y\right)$ (1)

多尺度Retinex算法(MSR) [7] 是Retinex算法其中的一种，其先构造三个不同尺度 ${\sigma }_k$ 的低通高斯滤波器 $B_k\left(x,y\right)$ 与图像 $f\left(x,y\right)$ 与做卷积运算近似得到照射分量 $i_k\left(x,y\right)$ ，在log域 [8] 内将原图与照射分量 $i_k$ 进行作差获得反射分量 $R_k\left(x,y\right)$ ，对反射分量 $R_k\left(x,y\right)$ 分别按系数 $w_k$ 进行加权求和获得反射分量 $R\left(x,y\right)$ ，计算过程如下：

$R\left(x,y\right)=\underset{k=1}{\overset{\text{n}}{{\displaystyle \sum }}}{w}_k{R}_k\left(x,y\right),$ (2)

$R_i\left(x,y\right)=\log f\left(x,y\right)-\log i_k\left(x,y\right)$ (3)

$i_k\left(x,y\right)=B_k\left(x,y\right)\times f\left(x,y\right)$ (4)

$B_k\left(x,y\right)=\frac{1}{\sqrt{2\pi }{\sigma }_k}\text{exp}\left(-\frac{\left(x^2+y^2\right)}{2{\sigma }_k{}^2}\right)$ (5)

其中权重系数 $w_k$ 满足 ${\displaystyle {\sum }_{k=1}^n{w}_k=1}$ ，本文取 $w_k$ 皆为 $\frac{1}{3}$ ； ${\sigma }_k$ 为低通高斯滤波器的展开度，本文设置 ${\sigma }_k$ 分别为30、45、60。

MSR算法在全局范围增强整个图像，有效解决了亮度不均匀现象。在图像增强的过程中，难免会有细节信息丢失。裂缝其灰度值要比背景要低，表现为高频信号。本文通过利用MSR算法计算过程中的低频信息来提取高频分量以增强裂缝与背景的对比度，进一步突出裂缝信息，如图2所示。

图像细节 $d_k$ 由式(6)给出，它们给出了原图在三个尺度下特有的细节。完整细节信息 $d\left(x,y\right)$ 由图像细节 $d_k$ 加权求和获得，之后将 $d\left(x,y\right)$ 与照射分量 $r\left(x,y\right)$ 相加从而完成图像细节增强，输出增强图像 $f^{\ast }\left(x,y\right)$ ，计算过程如式(7)、(8)，其中细节权重系数 $w_4$ 、 $w_5$ 、 $w_6$ 分别设定为1、0.5、0.25。

Figure 2. Flowchart of MSR multiscale detail enhancement algorithm

图2. MSR多尺度细节增强算法流程图

$d_1=f-i_1,d_2=i_1-i_2,d_3=i_2-i_3$ (6)

$d\left(x,y\right)=w_4\times d_1+w_5\times d_2+w_6\times d_3$ (7)

$f^{\ast }\left(x,y\right)=d\left(x,y\right)+r\left(x,y\right)$ (8)

3.2. 双阈值约束下的裂缝分割

图像分割即将裂缝与背景分离开，常用分割方法有Otsu法、最大熵阈值分割法、自适应阈值分割法等，不过难以对隧道裂缝这类属于小特征目标且带有复杂纹理的图像起到良好的分割效果 [9] 。本文方法结合局部信息与全局信息，提出双阈值约束来将裂缝与背景区域区分割开，如图3所示，具体步骤如下：

Figure 3. Flowchart of crack segmentation algorithm

图3. 裂缝分割算法流程图

a) 确定滑窗

滑窗 $B_v$ 为滑窗 $B_d$ 提供视野并随滑窗 $B_d$ 滑动，两个滑窗为 心点相同的正方形。本文设置滑窗 $B_v$ 为滑窗 $B_d$ 边长比为2:1，滑窗 $B_v$ 边长与输入图像的短边长之比比为1:8。

b) 局部阈值计算

确定滑窗 $B_v$ 内像素集的灰度均值 $mean\_\text{v}$ 和标准差 $std\_\text{v}$ ，然后依据式 计算出局部分割阈值 $T_w$ 参加滑窗 $B_d$ 的像素分割，其中k为经验系数，本文取−1.3。

$T_w=mean\_\text{v}+k\times std\_\text{v}$ (9)

c) 局部窗口二值化

设置两个阈值分割目标滑窗内像素集，分别为下限阈值 $T_1$ 与上限阈值 $T_2$ 。 $T_1$ 为 $\min \left\{T_w,T_s\right\}$ ， $T_2$ 为 $\max \left\{T_w,T_s\right\}$ ，其中 $T_s$ 由全局图像通过Otsu方法计算得到。滑窗 $B_d$ 内像素集被阈值 $T_1$ 与 $T_2$ 分成三个部分，即裂缝像素集 $S_1$ 、背景像素集 $S_2$ 与未定像素集 $S_3$ 。若未定像素集内的像素其邻域中存在裂缝像素集像素点则将其判定为裂缝像素，反之则将其判定为背景像素，如式(10)，其中，q为 $B_d$ 内的像素点， $I\left(q\right)$ 为q像素点的像素值。

$q{|}_{q\in B_d}\in \{\begin{array}{l}\begin{array}{cc}{S}_1,& I\left(q\right)\le T_1\end{array}\hfill \\ \begin{array}{cc}{S}_2,& I\left(q\right)\ge T_2\end{array}\hfill \\ \begin{array}{cc}{S}_3,& \text{others}\end{array}\hfill \end{array}$ (10)

d) 子窗口历遍

最后，滑窗 $B_d$ 历遍图像并将按顺序重建图像，完成整体图像二值化。

3.3. 不规则噪声过滤

图像在阈值分割后存在噪声，对裂缝信息的提取造成干扰。噪声主要可分为三种类型：散点噪声、内聚性块状噪声和延展性块状噪声，可针对性制定噪声过滤规则完成裂缝提取 [10] [11] 。

1) 散点噪声

散点噪声相对于裂缝在图像上表现为其所包含的像素点数少，以连通域的像素点数目为依据可对散点噪声完成过滤。散点噪声成分 $F_S$ 由式(11)定义，其中 $T_s$ 为设定的面积阈值， $C_k$ 为图像中的连通域区域， $S_k$ 为连通域 $C_k$ 的零阶矩， $N_1$ 为此时图像中所包含连通域的个数。

$F_S=\left\{C_k\left(x,y\right)|S_k<T_s,k=1,2,\cdots ,N_1\right\}$ (11)

2) 内聚性块状噪声

内聚性块状噪声其相对于裂缝，内部像素集中分布，表现出内聚度比裂缝大。内聚度 $R_k$ 由式(12)给出，其中 $M_k$ 为连通域 $C_k$ 外接最小矩形框的面积。由此，内聚性块状噪声成分 由式(13)定义， $T_R$ 为设定的内聚度阈值。

$R_k=\frac{S_k}{M_k}$ (12)

$F_R=\left\{C_k\left(x,y\right)|R_k>T_{R1},k=1,2,\cdots ,N_2\right\}$ (13)

3) 延展性块状噪声

在过滤上述两个噪声后，剩下的噪声表现为大面积、低内聚性。裂缝一般比较细长，其连通域最小外接矩形长宽比大且连通域具有一定的长度，由此可以跟延展性块状噪声区别开。延展性块状噪声成分 $F_a$ 由下式 定义，其中 $T_a$ 为设定的长宽比阈值， $T_L$ 为设定的长度比阈值， $H_k$ 为连通域 $C_k$ 外接最小矩形框的长宽比， $L_k$ 为连通域 $C_k$ 外接最小矩形框的长边长度。

$F_a=\left\{C_k\left(x,y\right)|H_k<T_a,L_k<T_L,k=1,2,\cdots ,N_3\right\}$ (14)

在第一次噪声过滤后，散点噪声基本去处，基本剩余块状噪声；在第二次噪声过滤后，大部分内聚性块状噪声基本去除，剩余具有延展性的块状噪声；在第三次噪声过滤后，噪声完全去除，只剩下裂缝信息，如图4所示。

Figure 4. Multistage filtering for noise reduction

图4. 多级滤波过滤噪声

4. 实验结果及分析

本文实验环境：基于Intel(R)Core(TM)i5-5200U CPU@2.20 GHz，内存为12.00 GB，操作系统为Windows 10中文版，试验环境为pycharm，开发语言为python。试验图像大小为448 × 448灰色图像。

4.1. 图像增强算法对比

典型的亮度均衡方法，如线性拉伸、伽马变换和CLAHE等，它们并不能有效改善图像中的照明不均匀情况。本文所提出的MSR多尺度细节增强算法实现了更好的增强效果和更均衡的照度，进一步提高了对详细裂纹特征的识别效果。图像增强结果如图5所示。

Figure 5. Comparison of Image Enhancement Algorithm Effects

图5. 图像增强算法效果对比

为了量化增强效果，用图像二维熵H与EME作为图像 $f\left(x,y\right)$ 增强评估的客观标准。图像二维熵用来衡量图像中的信息量，图像二维熵越大则图像质量越好。EME将图像划分成 $M\times N$ 个子块，通过子块的灰度变化来衡量图像边缘增强效果，其越大表示图像增强效果越好。

$H=-\underset{i=0}{\overset{255}{{\displaystyle \sum }}}\underset{j=0}{\overset{255}{{\displaystyle \sum }}}{p}_{ij}{\log }_2{p}_{ij}$ (15)

$p_{ij}=r_{ij}/\left(M\times N\right)$ (16)

$EME=\frac{1}{MN}\underset{i=1}{\overset{M}{{\displaystyle \sum }}}\underset{j=1}{\overset{N}{{\displaystyle \sum }}}20\ln \frac{I_{\max ;i,j}}{I_{\min ;i,j}}$ (17)

各图像增强算法的量化指标如表1所示。在灰度拉伸、CLAHE等方法下，图像较原图有更高的二维熵，但消除光照不均匀方面表现不强。伽马变换后的图像较原图有光照增强，但仍存在光照不均衡且丢失了部分信息，二维熵与EME相比原图反而变小。MSR算法基本消除光照不均匀，但与灰度拉伸、CLAHE等方法相比，二维熵增加不大，但EME增加较大，说明在均衡了光照后，图像的纹理像细节得以显现。本文算法得到的图像既基本消除光照不均匀又极大增强图像细节信息，由此体现了本文算法的优越性。

Table 1. Comparison of different image enhancement methods based on metrics

表1. 不同图像增强方法指标对比

4.2. 裂缝提取算法对比

不同阈值分割方法对图像的分割效果，如图6所示，其中A组为光照正常的裂缝图像，B组为光照不均匀的裂缝图像，C组为增强后的裂缝图像。Otsu法与最大熵阈值分割法在处理光照不好的图像时，由于亮度较低使得在此区域内的裂缝灰度信息与背景灰度信息不存在明显峰谷，从而导致只能提取到裂缝的部分信息，并且在光照不良的地方形成了大面积噪声，严重干扰裂缝提取。对于光照良好的图像，

Figure 6. Comparison of different segmentation algorithm effects

图6. 不同分割算法效果对比

Otsu法与最大熵阈值分割法可以将部分裂缝信息较完整地体现出来，但部分区域分割出的噪声过于聚集进而掩盖了部分裂缝信息。自适应阈值分割法虽然可分割出具有较完整形态的信息，但分割产生的噪声太多，加大后续处理难度。因此，单一的全局阈值法与局部阈值法不适用于隧道表面图像的分割。本文算法结合全局阈值与局部阈值能良好地分割这三类图像，所分割出的裂缝信息具有很高的完整度且所产生的噪声少，有利于下一步裂缝成分的提取。

5. 结语

针对昏暗环境下难以识别隧道裂缝图像的问题，本研究提出了有效的解决策略。通过应用MSR多尺度细节增强算法，有效消除了不均匀光照并提高了图像的细节信息，增强后的图像的二维熵和EME明显优于原图。相较于传统的阈值分割法，本文所提出的基于双阈值约束的分割算法更适合地铁裂缝图像的分割。对分割后的二值图之后采用连通域滤波去除干扰噪声，从而较好完成裂缝的提取，这为后续的隧道自动化裂缝病害巡检提供了新的图像处理思路。