1. 引言
道路交通标志识别是汽车辅助驾驶系统中的重要道路环境感知技术,给驾驶员提供道路标志信息感知和预警 [1] [2] [3] ,也可以应用于道路交通标志的维护管理,检查道路交通标志的当前状态情况 [4] [5] 。
交通标志识别可分为两个阶段:交通标志检测和交通标志识别。由于交通标志由特定的颜色和形状构成,在环境背景中有明显的可区分视觉效果。因此,通常利用交通标志的色彩和形状等先验特征检测图像中的交通标志候选区域(ROI) [6] [7] [8] ;然后采用机器学习方法对ROI区域进行交通标志的分类识别 [9] [10] 。
本文主要研究自然场景下的交通标志ROI检测提取方法。已有研究多侧重于交通标志检测识别的性能评估,但是,很少有利用公开交通标志数据集进行交通标志ROI检测算法的评估。目前,交通标志ROI检测方法可以分为3种:
1) 基于颜色信息的检测方法 [11] - [16] :一般采用基于颜色空间阈值过滤的方法根据标志的颜色特征提取标志ROI,标志颜色易受道路光照条件变化的影响;因此,在自然道路场景下,该方法的光照条件适应性较弱、检测率较低。
2) 基于形状信息的检测方法 [7] [17] [18] [19] [20] [21] :一般采用Canny边缘检测、Hough变换、对称性等方法根据标志轮廓特征检测标志ROI区域;在实际道路场景中,该方法的检测性能易受到交通标志的形变、旋转、遮挡等情况影响。
3) 基于颜色和形状信息的融合的检测方法 [6] [22] [23] [24] [25] [26] :利用了交通标志的颜色和形状特征检测标志ROI区域,该方法具有更好的环境适应性,但一般局限于检测特定标志类型,如 [6] [24] 仅检测红色圆形标志。
文献 [5] 提出了交通标志公开测试数据集GTSRB,提供了大量丰富的训练数据集和含注释的测试样本,其中包含三类交通:禁止标志类(圆形的外圈红色,内围白色的标志),指示标志类(圆形的底色为蓝色,象形图为白色标志)和危险标志类(上三角的外圈红色,内围白色标志)。
本文提出了基于相位对称性的交通标志检测方法,并在GTSDB数据集上进行了实验测试比较,其检测性能明显优于已有算法,特别是在光照条件变化、尺度变化、旋转等情况下,本文方法具有更好的检测效果。如图1,本文方法分为四个步骤: ① 根据交通标志的颜色特征,对图像进行红蓝标准化处理,减少光照条件造成的影响,同时区分交通标志和环境背景; ② 根据交通标志形状的对称性特征,通过对红蓝化图像的相位对称性检测计算,增强图像中具有局部对称性的交通标志区域像素的亮度; ③ 针对相位对称性检测后的图像,进行形态滤波操作,进一步增强图像中交通标志的轮廓形态; ④ 采用MSER特征检测并提取交通标志ROI区域。
本文的其余部分组织结构如下:第二节交通标志检测的相关工作;第三节描述本文提出的交通标志检测方法流程,即图像预处理(3.1节图像红蓝标准化预处理),相位对称性检测(3.2节),形态学滤波(3.3节),感兴趣区域提取为MSER (3.4节)。第四节在GTSDB和本文数据集对比检测实验结果进行比较,显示本文方法的检测性能。第五节是总结。
2. 相关工作
交通标志通常具有明显的形状(圆形,方形,三角形和八角形)和颜色(红,蓝,黄)特征。交通标志检测(TSD)方法主要可分为三大类:基于颜色信息的检测方法,基于形状信息的检测方法,以及颜色和形状信息融合的检测方法。
1) 基于颜色信息的检测方法 [11] - [16] :由于RGB颜色空间对光照变化很敏感,容易受到光照条件和天气条件的影响,所以一般会首先将图像由RGB颜色空间转换到其他的颜色空间,比如HIS [11] [12] [13] ,HSV [16] ,YcbCr [15] 等颜色空间。Y.-Y. Nguwi [11] 先是基于HIS颜色空间做阈值化预处理,然后以30 × 30 pixels大小的YcbCr图像块为特征训练出神经网络分类器,实现交通标志的检测。P. Wanitchai [16] 采用基于HSV颜色空间的Hue通道的阈值化方法分割红色交通标志。Gao [14] 利用CIECAM97颜色模型的Hue和Chroma值,使用四叉树直方图的方法来进行图像分割。I. Creusen [15] 则利用基于YcbCr空间的HOG特征训练出SVM分类器,实现交通标志的检测。然而,上述基于颜色信息的检测方法对道路环境的适应性都较弱 [26] 。论文 [27] 讨论了基于不同图像颜色空间对标志检测性能的影响问题,发现转换颜色空间对检测性能的提升效果并不明显。
2) 基于形状信息的检测方法 [7] [17] [18] [19] [20] [21] :F. Moutarde [17] 基于Canny边缘检测结果,通过Hough变换方法检测圆形和矩形交通标志。但是Hough变换计算代价高,对有实时性要求的方法系统并不适合。由于交通标志具有明显的形状信息——圆形,方形,三角形和八角形,它们均为正多边形,具有较强的双边对称性。文献 [28] 提出将径向对称检测方法应用到圆形交通标志检测,文献 [18] [19] 扩展到了常规多边形的检测。C. Keller [7] 首先采用径向对称性投票进行形状信息预处理,然后使用基于Harr小波特征的级联分类器进行交通标志检测。F. Larsson [21] 采用基于形状信息的傅里叶描述子进行形状匹配,实现交通标志的检测。虽然基于形状信息的检测方法对环境光照的适应性更好,但是图像中的交通标志发生形变、旋转、局部遮挡等情况对于该方法的性能影响较大。另外,如果仅考虑标志形状特征而不利用标志的颜色信息,将导致其误检率很高。
Figure 1. Workflow of traffic sign detection
图1. 交通标志检测处理流程
3) 基于颜色和形状信息的融合检测方法 [6] [22] [23] [24] [25] [29] :这类方法一般先利用颜色信息进行预处理,然后再分析其形状信息进行交通标志分割。F. Ren [12] 基于HSV颜色空间阈值化后得到边缘图像,然后通过Hough变换方法检测交通标志。S. Xu [23] 采用基于HSV颜色空间的Hue通道值对图像阈值化处理,然后用简化的标志形状的目标函数与模板目标函数的距离计算实现交通标志分割。X. Qingsong [25] 由基于HSI颜色空间阈值化后得到边缘图像,通过径向对称性投票检测交通标志。D. Deguchi [29] 针对七种类型的交通标志,使用基于局部等级模式特征的嵌套级联分类器对RGB像素值进行分类得到边缘图像,然后用RANSAC圆形拟合检测圆形交通标志。Y. Gu [6] 首先采用径向对称性投票进行形状的预筛选,然后根据像素值与预定义颜色值间的距离实现交通标志的分割。
基于颜色和形状信息融合的检测方法在复杂道路环境下有更好的鲁棒性,但是,现有方法大都局限在某一种或几种类型的交通标志检测,比如 [6] [24] [25] [29] 只检测红色圆形标志。另一方面,已有检测方法一般都采用作者自己的测试数据集进行测试实验,缺少在公开的交通标志数据集进行测试比较评估。
3. 交通标志检测方法流程
本文同时利用了交通标志的颜色和形状的先验信息检测提取交通标志候选区域(ROI)。首先,利用交通标志的颜色特征,采用红蓝化标准化方法对图像预处理,区分交通标志和环境背景;然后,利用交通标志形状的双边对称性,对预处理后的灰度图像进行相位对称性计算处理 [30] ,使图像中具有对称性的图像区域获得高亮突显效果,而这些区域很可能是交通标志候选区域;再其次,针对相位对称性检测后的图像,进行形态学滤波操作,进一步增强图像中交通标志的轮廓形态;最后,采用MSER [31] 算法和几何约束过滤检测出交通标志ROI候选区域。该方法对于道路交通环境光照变化,旋转和尺度变化均具有较好的适应性。
3.1. 图像红蓝标准化预处理
GTSDB交通标志数据库主要有三大类交通标志:禁止标志类,指示标志类和危险标志类。标志轮廓颜色多为红色或蓝色,因此,RGB图像中的红色和蓝色通道值是上述交通标志的重要颜色特征。基于交通标志的红蓝颜色信息,我们做以下预处理:首先,为了减少光照对图像造成的影响,对三通道RGB图像做线性对比度拉伸,如公式(1)所示。然后,对红、蓝两个通道的数值进行加权计算,对图像进行红蓝化处理 [32] ,如公式(2)所示。最后,对得到的单通道图像再做进一步的对比度增强处理。
(1)
(2)
将三通道的RGB图像红蓝标准化成单通道的灰度图像,能够有效地降低光照条件造成的影响,突出显示交通标志所在的区域,区分交通标志和环境背景,效果如图2所示。
3.2. 基于局部频率信息的相位对称性检测方法
GTSDB数据集中的交通标志的外围形状一般为正多边形,具有较强的双边对称性,如图3(a)所示。正多边形检测一直是定位图像中三角形,圆形和八角形交通标志的重要手段 [18] ,而对称性检测则是正多边形检测时需要考虑的一个重要因素。
目前,基于交通标志轮廓形状的对称性特征的检测方法中仅有且常用的方法是在 [28] 中被首次提出的径向对称检测子—对灰度图像梯度图阈值化后,根据梯度方向加权投票,得票最高者就是可能的图像中心。文献 [18] [19] [30] 将该算法应用到了交通标志检测方面,且扩展到了常规等角多边形的检测。
本文采用了一种新的基于局部频率信息分析的对称性检测方法—相位对称性检测 [30] ,使红蓝化灰度图像中具有对称性的图像区域获得高亮突显效果(如图3(b)所示),而这些区域很可能是交通标志候选区域。
基于局部频率信息分析的对称性检测方法采用小波变换的方式获得图像的局部频率信息,用一对小波正交对分别对原始信号作卷积:用I表示原始信号,分别用 和 表示尺度为n的偶对称小波和奇对称小波,则小波分析过程可用公式(3)表示。
(3)
其中,
和
小波分析结果的实数部分和虚数部分。
用尺度为n的小波分析后,该点的幅度值和相位值可分别用公式(4)和公式(5)表示。
(4)
(5)
实验测试效果如图3所示,(a) 从GTSDB数据集中选取的不同形状交通标志样本;(b) 与(a)对应的交通标志的相位对称性检测结果;(c) 选取的背景图像没有交通标志的样本;(d) 与(c)对应的背景图像的相位对称性检测结果。图3的对比实验结果证明,具有对称性的点在偶对称滤波器下输出值的绝对值较大,而在奇对称滤波器下输出值的绝对值则较小,该检测方法对交通标志的检测效果显著,可以减少了环境背景的干扰。
上述实验表明,具有对称性的点在偶对称滤波器下输出值的绝对值较大,而在奇对称滤波器下输出值的绝对值则较小。
本文将偶对称滤波器的输出值绝对值与奇对称滤波器的输出值绝对值的差,衡量某一点对称性。由于小波分析是多分辨率分析,所以为了将多尺度下的滤波器响应结果结合起来,我们采用公式(6)方法计算加权平均值作为最终衡量该点对称性的标准:
(6)
其中,
是该点在尺度为n的滤波器上响应的幅度值, 是常数值,以防信号均匀分布时产生除数为0的情况,T为噪声补偿项。
公式(6)给出了一维空间中某一点的对称性计算方法。我们可以通过在多个方向的1-D空间上分别使用公式(6)的分析方法,最后加权求和,扩展到二维图像空间。对红蓝化预处理后的单通道灰度图像做基于局部频率信息分析的对称性检测(如公式(6)所计算),使图像中具有对称性的局部区域具有较高的能量值,以高亮区域突显可能是交通标志的区域。该方法能有效减少噪声干扰,区分交通标志和环境背景,对局部对比度变化具有较好的鲁棒性。对称性检测处理效果如图4所示,其中:(a) 在环境背景中存在与标志颜色相似物体时的检测效果;(b) 在不同环境光照条件下的检测效果,即该方法对光照条件变化的鲁棒性。
3.3. 形态学滤波
为了进一步增强图像中交通标志的轮廓形态,有利于后续的标志检测,我们对相位对称性检测处理的图像做进一步的形态学滤波,使用顶帽变换和底帽变换两种形态滤波器进行处理。顶帽变换使较于局部环境具有高对比度的像素更加突出,比如相位对称性检测后的图像中交通标志的内部像素点。底帽变换使较于局部环境较暗的像素更加暗淡,比如对称性检测后的图像中交通标志的外围边缘像素点。通过这两个形态学操作,计算方法如公式(7),(8)所示,得到的结果图分别记为
和
.
(7)
(8)
其中,I为输入的相位对称性检测后的图像,
,
,
,
分别表示开运算,闭运算,膨胀和腐蚀运算操作。
最后,我们将顶帽变换和底帽变换联合起来处理交通标志图像,进一步增加对比度得到图像更本质的形态,区分交通标志和环境背景。形态学滤波的效果如下图5所示。
3.4. ROI区域检测提取
对经形态学滤波后的相位对称性检测结果图,我们用MSER特征检测出交通标志的候选区域。针对用MSER特征已检测到的连通部分区域,首先采用椭圆拟合的方式减少边界噪声点的干扰,然后根据椭圆拟合后的边界计算出候选区域的最小外围矩形框(并非一定是水平放置,以防形变过大对边界框约束造成干扰)。最后,通过交通标志的经验性约束信息筛选候选区域,包括交通标志的高度、宽度、宽高比等,如表1所示。
对经形态学滤波后的相位对称性检测结果图,采用MSER特征检测出交通标志的候选区域。该方法对视角变化,尺度变化,对比度和光照条件变化,以及旋转都具有较好的鲁棒性,检测效果如图6所示,左侧为源图像,右侧为MSER特征检测出的交通标志候选区域。其中,(a) 说明该检测方法对视角变化情况下的检测效果;(b) 远距离交通标志的检测效果,说明该检测方法对尺度变化的适应性;(c) 在逆光情况下交通标志光照较弱时的检测效果;(d) 说明交通标志旋转变化情况下的检测效果。
Figure 5. The morphological filtering processing results
图5. 形态滤波处理结果
Table 1. The traffic sign geometry constraints
表1. 交通标志的几何形状约束信息
4. 交通标志检测实验比较
4.1. 交通标志数据集
本文在两个交通标志数据集上的对比实验,验证了本文检测方法的有效性。
1) German Traffic Sign Detection Benchmark [5] :是针对交通标志检测的一个公开交通标志数据集。该数据集拥有900张1360 × 800 pixels大小的图像(其中600张为训练图像集,300张测试图像集)。数据集包含了光照条件的剧烈变化,相似的背景颜色干扰,运动模糊和局部遮挡等道路场景图片。
2) 本文采集的标志数据集:我们在不同的道路场景和光照条件下,采集了800 × 480 pixels的道路视频片段,共有3000帧图像。我们选取160张图像作为测试数据集,其中包含了交通标志的局部遮挡、运动模糊、阴影等场景。
4.2. 交通标志ROI检测性能比较
本文的交通标志检测方法与文献 [10] [32] 的检测算法进行了实验测试对比。Jack Greenhalgh [32] 采用MSER方法检测交通标志感兴趣候选区域,然后用HOG特征训练出来的级联SVM分类器进行分类识别。Fatin Zaklouta [10] 对自适应阈值预分割处理后的图像,使用HOG特征和SVM形状分类器检测交通标志的候选区域。这两种检测方法对光照和对比度都具有较好的适应性。
本文构建了自己的交通标志测试数据,同时也采用GTSDB数据集进行实验测试。交通标志候选区域(最小外接矩形框)的大小变化:从21 × 23 pixels到110 × 110 pixels。我们事先对标志区域进行人工标记,便于统计评估相应检测算法的性能。表2和表3分别统计了三种方法在数据集上的对比实验结果。
表2和表3的实验结果表明:本文提出的交通标志检测算法的检测性能明显优于 [10] [32] 中使用的检测方法。
图7给出了在GTSDB公开交通标志数据集上的测试结果:(a) 说明本文检测方法对光照条件变化的适应性;(b) 和(c)说明本文方法对尺度大小和几何旋转变化的适应性。说明我们的算法对光照条件变化、尺度变化、旋转等情况下都具有较好的检测效果。图8给出了本文方法和文献 [10] [32] 的方法的检测效果对比,在交通标志处于强光照背景、相似颜色背景等不利条件下,本文方法的检测效果优于 [10] [32] 中的方法。
5. 总结
本文提出了一种基于相位对称性的道路交通标志检测方法,首先根据交通标志的颜色特征,对图像进行红蓝化处理,区分交通标志和环境背景;接着对红蓝化图像做相位对称性计算处理,增强具有对称性特征的交通标志轮廓亮度;然后,通过形态学滤波和MSER特征检测,提取图像中的交通标志ROI候选区域。该方法对光照变化、尺度变化、旋转等情况下的交通标志检测都具有较好检测准确率。通过在德国交通标志数据集GTSDB和本文构建的中国交通标志数据集上的实验测试,检测率分别到达94%和92%,明显好于 [10] [32] 的检测效果。但是,本文方法的检测时间尚无法达到实时性的要求,我们将进一步改优化本文算法的时间性能。
Table 2. The traffic sign detection results on the GTSDB dataset
表2. 在GTSDB数据集上的交通标志检测结果
Table 3. Traffic sign detection results on our traffic sign data set
表3. 在本文的交通标志数据集上的检测结果
致 谢
本文受到国家自然科学基金(61370087),浙江省重点研发计划(2017C01022)资助。