图基导航的小型道路标线划线车无人驾驶系统设计与实现
Design and Implementation of a Driverless Road Marking System for a Small-Scale Vehicle Based on Vision-Guided Navigation
DOI: 10.12677/ojtt.2024.136046, PDF, HTML, XML,    科研立项经费支持
作者: 王 宁:山东交通学院信息科学与电气工程学院,山东 济南;潘为刚:山东交通学院轨道交通学院,山东 济南
关键词: 划线车图像处理MPCMarking Vehicle Image Processing MPC
摘要: 道路标线划线车是标记或划定道路边界、车道、停车线等交通标线的专业车辆,其作用是施划道路标线,确保道路标线整齐清晰,从而提高道路安全性和车辆行驶的有序性。针对使用传统手推划线车存在施工效率和施工精度偏低、人眼对齐施工道路引导水线(以下简称引导水线)难的问题,设计了小型划线车无人驾驶改造方案。该系统首先采用图像处理技术改进Haar-like模版进行引导水线特征识别;其次,结合GNSS定位信息将图像中引导水线特征中点转换到全局坐标系下,并根据图像所得到的全局定位信息进行模型预测控制器(MPC)轨迹跟踪设计;最后通过实车实验进行验证,本文所设计的小型无人驾驶划线车改造方案能够清晰识别引导水线特征,无人驾驶跟踪精度满足道路标线工艺要求。
Abstract: The road marking vehicle is a specialized apparatus for marking or delineating road boundaries, lanes, and parking lines, with the primary function of applying road markings to ensure clarity and neatness, thereby enhancing road safety and facilitating orderly vehicle movement. To address the issues of low construction efficiency and precision, as well as the difficulty for manual alignment of the guide waterline (hereafter referred to as the guide waterline) during traditional hand-push road marking operations, a solution for the driverless transformation of a small road marking vehicle has been designed. This system first utilizes image processing techniques to improve the Haar-like template for guide waterline feature recognition. Next, it integrates GNSS positioning information to transform the midpoint of the guide waterline features from the image into the global coordinate system. Based on the globally positioned information derived from the image, a model predictive controller (MPC) is designed for trajectory tracking. Finally, through real vehicle experiments, it is demonstrated that the intelligent modification solution for the small autonomous road marking vehicle can accurately recognize guide waterline features, and its unmanned tracking precision meets the requirements of road marking processes.
文章引用:王宁, 潘为刚. 图基导航的小型道路标线划线车无人驾驶系统设计与实现[J]. 交通技术, 2024, 13(6): 422-434. https://doi.org/10.12677/ojtt.2024.136046

1. 引言

我国经济迅猛发展加快了高速公路工程建设,伴随着无人驾驶车辆的逐渐普及,道路标线整齐清晰也变得至关重要[1]。道路划线车作为施工道路标线的专用机械逐渐出现在大众视线中。由于传统道路划线设备在操作过程中需要频繁手动调整开关和工序,这不仅使得工作流程复杂,还导致工作效率不高,并且容易出现重复劳动[2]。因此,推动道路划线车向无人化方向发展是行业进步的必然选择。

国外对于划线车的研究相对较早,德国的三维道路识别系统通过结合车辆参数和四维分析技术来检测道路表面。该系统详细测量车辆的动态和静态参数,并将这些数据与四维模型融合,以提高道路识别的精度和可靠性[3]。丹麦BORUM公司研发了一款车载式喷涂式划线设备,该设备可实现普通标线、震荡线以及其他标志的喷涂,实现了喷涂设备的全自动化,但是该设备成本较高,且需安排专门的驾驶与操作人员,不易于该划线设备的普及。德国的HOFMANN公司和KADCAM公司通过集成先进的摄像感应系统,使得道路划线车能够实时分析并响应路面情况,从而对旧标线进行精确和及时的补涂[4]。Hog Technologies提供的Stripe Hog和Thermo Hog是领先的道路标线去除设备。Stripe Hog利用高压水射流技术,通过喷射水流高效去除各种标线,同时减少对路面的损害。Thermo Hog采用热熔技术,通过加热标线材料至熔点并吸走熔化后的材料,特别适合处理厚重的热熔标线。

国内对引入的相关划线设备,因零部件供应不足以及维修能力不足的原因,经常造成现场施工延误等问题。在国家政策支持下,国内相关划线设备研究得到大力发展。周俊等人[5]采用数字信号处理器(DSP)作为核心芯片,对超声波探测到的路面距离进行深度计算,从而确定道路中心线的位置及其相关数据信息。陈连勇[6],使用DSP处理道路标线特征,通过设计8个方向Sobel算子提高道路标线边缘特征检测率,得到道路标线中心信息并进行道路标线喷涂。刘刚等人[7]设计的计算机辅助系统,利用图像识别技术对道路中线进行自动识别。该系统通过图像处理技术,将获取的道路图像数据进行分析,准确地提取出道路中心线,从而提高了道路划线作业的效率和精度。杨庆凤等人[8]使用基于数字信号处理器(DSP)技术的超声波测距系统用于测量划线车与参照物(如护栏或路缘)的距离,从而准确判断划线车在道路中的相对位置。通过采用TMS320LF2407 DSP实现多路脉宽调制(PWM)输出,以精确控制步进电机驱动系统,进而配合智能喷涂技术,实现划线车的自主定位与精确自动划线功能。杨诚等人[9]使用STC89C52单片机主控器,采用时序方波控制直流电机,利用DS18B20传感器调控涂料温度,并通过超声波测量划线距离。液晶屏实时显示信息,配套硬件与软件设计确保系统高效运行。高珅琪[10],提出一种集清扫、报警、加注玻璃珠全自动喷涂划线装置,该设备在图像处理上采用改进Haar-like特征算法进行引导水线特征识别,提高引导线检测率。但是,上述使用的控制器处理信息的速度慢,无外扩功能,且对于控制系统而言不能满足施工工艺需求。

本文针对传统手推划线车施工效率低、施工精度低、人眼对齐引导水线难的问题,提出了小型划线车无人驾驶改造方案,改进Haar-like模版,以此提高检测水线的正确率,结合图像与GNSS信息设计MPC运动学控制器,通过实车验证方案可行性。

2. 系统方案设计

小型无人驾驶划线车由多个模块组成的复杂系统,具体可表示为由感知、控制决策与执行模块组成。感知模块对车体的状态进行反馈,如对车体速度与车轮转角进行测量反馈,对车体位置信息进行反馈,如相对位置与绝对位置反馈;控制决策模块实现对感知模块信息与各种算法的处理;通过上述感知模块采集到数据,控制决策模块处理相关算法,最终由执行器执行控制决策模块所下达指令。小型无人驾驶划线车整体结构图如图1所示。

Figure 1. Overall structure diagram of the equipment

1. 设备整体结构图

小型无人驾驶划线车以手推划线车为主体,通过多传感器、定位导航、嵌入式和通讯等关键技术,进行无人驾驶改造。引入低成本嵌入式控制器,使用机器视觉技术实现引导水线的精确快速局部定位、使用多传感器融合技术实现全局引导水线定位,采用引导水线图像识别技术完成划线设备的引导水线对齐、预设轨迹跟踪与自动驾驶。料斗开合电机根据液位测距传感器检测料斗中道路标线涂料液位的距离进行工作,在电机的轴芯的两端添加上下限位传感器避免料斗开合电机冲出限位导致料斗工件受损。其硬件实物图如图2所示。

Figure 2. Schematic diagram of the actual vehicle

2. 实车示意图

在无人驾驶方案中,首先,使用视觉箱中视觉传感器抓取引导水线图像关键帧,其次,利用嵌入式主控器进行图像预处理,再而,改进不同角度的Haar-like特征模版进行引导水线特征识别,最终通过Hough变换标识出引导水线局部定位信息,并由GNSS模块提供的全局定位信息将引导水线特征中点转换到全局坐标系中。将图像关键帧中点的全局定位坐标与引导水线中心的全局定位坐标进行作差,为MPC控制器提供相对全局坐标信息,并经MPC控制器计算出转向电机的脉冲数,实现无人驾驶划线车的转向功能。

3. 基于改进Haar-Like模版的划线车图像导航

由于引导水线特征检测受放样引导水线过粗过细、灰尘覆盖导致引导水线模糊不清的影响,因此需要对图像预处理,以提高引导水线特征检测的正确率。具体处理流程如图3所示。

Figure 3. Flowchart of the image processing procedure

3. 图像处理流程图

3.1. 图像预处理

在图像中每个像素都能用一个灰度值表示。视觉传感器抓取到的引导水线图像是RGB三通道的图像,该图像包含的信息复杂,增加了图像处理难度,降低了图像处理速度,因此有必要将RGB三通道图像转换为单通道灰色图像。

G( i,j )=0.299R( i,j )+0.587G( i,j )+0.114B( i,j ) (1)

其中 G( i,j ) 为经灰度转换后的第 ( i,j ) 处像素的灰度值, R( i,j ) G( i,j ) B( i,j ) 为未进行灰度处理时原始图像的第 ( i,j ) 处像素的红色、绿色、蓝色的亮度值。

引导水线的特征为白条状,由于受灰尘的影响,对特征的提取产生影响,为增加引导水线与周围背景的对比度而进行灰度拉伸,使得引导水线特征的亮度值更高,周围背景亮度值更低,更容易区分引导水线特征。

G new =0.9 255/ ( Ma x val ( G ) ) 1.5 G 1.5 (2)

公式(2)为经验灰度拉伸公式,其中 G new 为灰度拉伸后的灰色图像, Ma x val ( G ) 为图像的最大亮度值。

3.2. 改进Haar-Like模版的图像特征提取

经上述灰度转换及灰度拉伸图像预处理后,虽然提高了沥青路面背景与引导水线目标的对比度,但仍不能精准辨认引导水线。因此需要进行下一步图像预处理。

传统的Haar-like特征提取应用于人脸特征提取,Haar-like特征既能够反映图像的灰度的剧烈变化,又能够捕捉结构信息的局部纹理特征。在视觉传感器提取到图像信息中,引导水线边缘与沥青路面灰度相差较大,因此Haar特征提取非常适合于引导水线特征提取。

利用不同传统的模版算子能够提取出不同特征。但在施工现场引导水线拥有一定宽度、粗细不一、边缘具有毛刺,传统黑白模版不能适应引导水线特征提取。

为避免上述原因导致的引导水线特征提取效果较差情况,在上述传统Haar-like模版的基础上增加缓冲区,即在黑白模版上增加灰色区域。在施工过程中,存在±5 mm的施工工艺需求,即车辆在行进过程中航向角偏差不能过于大,设置车轮转角在±30˚以满足车辆行进误差快速收敛。引导水线特征在提取过程中,单一的角度模版不能清晰提取引导水线边缘特征,设置0˚、±15˚、±30˚以满足特征提取需求。改进后的模版如图4

Figure 4. Schematic diagram of different templates

4. 不同模版示意图

改进后模版对应算子如图5所示。

Figure 5. Different angle operator

5. 不同角度算子

Haar-like特征值通过积分图进行快速计算,对积分图上的像素进行索引,并通过卷积运算得到引导水线特征值。Haar特征算法计算方式如下,将原始图像的左上点定义为 ( 0,0 ) ,通过计算可得到积分图。计算示意图如图6所示。

I( i,j )= x<i,y<j G( x,y ) (3)

其中, ( i,j ) 为计算后的图像的行索引数与列索引数, G( x,y ) 为计算前的灰度图像中第 ( x,y ) 行、列索引值的像素值。

Figure 6. Schematic diagram of Haar-like feature extraction work

6. Haar-like特征提取工作示意图

在构造的积分图中A区域的像素为。

( i,j ) R w I( i,j ) =i i 1 +i i 2 ( i i 3 +i i 4 ) (4)

在计算出其他区域的积分图后,本文设计的Haar-like模版在计算过程中不计算积分图中B域的像素值,只计算积分图中A、B区域的像素值,其计算公式为。

s=2 ( i,j ) R B I( i,j ) ( i,j ) R w I( i,j ) (5)

其中 R B 为黑色区域, R W 为白色区域, ( i,j ) R w I( i,j ) 为积分图中白色区域计算和, ( i,j ) R B I( i,j ) 积分图中黑色区域计算和,s为计算后的Haar-like特征值。

3.3. 引导水线识别与标识

分析Haar特征提取后的图像灰度直方图,找出一个适合的阈值,进一步灰度拉伸;使用大津法进行图像二值化分割;使用Canny边缘检测识别引导水线边缘。

在图像空间中,一条直线可以通过两个参数(斜率和截距)来表示,但在霍夫变换中,通常使用极坐标系来表示直线,即用距离原点的垂直距离(ρ)和直线的倾斜角(θ)来定义直线。对于图像中的每个边缘点,计算所有可能的(ρ, θ)值,并在累加器数组中对应的位置增加投票。遍历累加器数组,找到投票数超过预设阈值的(ρ, θ)值,这些值对应的直线就是图像中的直线。在识别到引导水线后在图像中标识出。

ρ=xcosθ+ysinθ (6)

3.4. 引导水线轨迹定位

由于图像只能提供局部定位信息,MPC运动学控制器要求使用全局定位信息,故用图像处理所得引导水线特征中点,以GNSS定位信息为中介,把图像中的引导水线特征中点转换到全局坐标系下。

定位模块天线安装在自动划线车上,此时可获得车体的经纬高度坐标 ( L,B,H ) 。首先对在其子午线平面坐标系O-xy内坐标 ( x,y ) 与纬度B的关系。

{ x=( N+H )cosB y=[ N( 1 e 2 )+H ]sinB (7)

其中,N为卯酉圈曲率半径,e为椭球第一偏心率,B纬度,L经度。

其次,求得子午线平面坐标 ( x,y ) 在大地空间直角坐标系坐标 ( X,Y,Z )

{ X=xcosL Y=xsinL Z=y (8)

最终求得大地坐标系坐标 ( L,B,H ) 在大地空间直角坐标系中的坐标 ( X,Y,Z )

( X Y Z )=( ( N+H )cosBcosL ( N+H )cosBsinL [ N( 1 e 2 )+H ]sinB ) (9)

在获得车体大地空间直角坐标系坐标 ( X,Y,Z ) 后,抛弃Z轴(高度),引入车体航向角YAW。此时图像中心线的航向角角与车体航向角一致,参考航向角为车体航向 ± 识别到引导水线方向与图像中心线的夹角θ

视觉传感器安装在相对于定位天线的前一段距离 Δx 、右面一段距离 Δy

( X 0 Y 0 )=( X Y )+( cos( yaw ) sin( yaw ) sin( yaw ) cos( yaw ) )( Δx Δy ) (10)

式中, yaw=YAW±θ ,最终获得引导水线特征中点 ( X 0 , Y 0 ,yaw )

4. 划线车控制器设计

4.1. 运动学模型

无人驾驶划线车属于特种作业装备,在低速下施工作业,建立的车辆运动学模型要能够准确反映车辆运动学特性,在保证准确度的情况下尽可能进行简化,以减少整个控制算法的计算量。运动学模型如图7所示。

Figure 7. Diagram of kinematic model

7. 运动学模型

采用运动学模型,以下运动学表达式:

( x ˙ y ˙ φ ˙ )=( cosφ sinφ tanδ L )V (11)

其中 x ˙ y ˙ φ ˙ 为横、纵、横摆角状态变量, φ 为横摆角, δ 为车轮转角,L为前后轴之间的轴距。

4.2. 状态方程线性化离散化

设非线性状态方程为 f( X ˜ , U ˜ ) ,在参考点 ( X r ˜ , U r ˜ ) ,使用一阶泰勒公式展开,并忽略高阶项。

f=a x ˜ +b u ˜ (12)

其中a f X ˜ b f U ˜ x ˜ ( X ˜ X r ˜ ) u ˜ ( U ˜ U r ˜ )

在实际应用中,处理器处理的是离散数据,以T为采样周期由前向欧拉公式进行离散化,得出:

x ˙ ( k+1 )=( E+aT ) x ˙ ( k )+bT u ˙ ( k ) (13)

将前向欧拉公式代入公式(12),可得:

x ˜ ( k+1 )=A x ˜ ( k )+B u ˜ ( k ) (14)

公式(14)中A ( E+aT ) B bT

4.3. 预测功能方程

由公式(14)做以下变换,令

ζ( k|t )=( x ˜ ( k|t ) u ˜ ( k1|t ) ) (15)

联合公式(14)、(15)可得状态方程:

ζ( k+1|t )= A ˜ t ζ( k|t )+ B ˜ t Δ u ˜ ( k|t ) (16)

由公式(16)重新构建新的状态方程:

η( t|t )= C t ζ( t|t ) (17)

其中 C t

C t =( 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 )

经过推导,可以得到系统的预测输出表达式为:

Y( t )= Ψ t ζ( t|t )+ Θ t ΔU( t ) (18)

式中, Y( t ) 为预测状态, ΔU( t ) 为控制量, Ψ t Θ t 分别为状态量系数矩阵、控制量系数矩阵。

4.4. 划线车目标函数设计

目标函数要能够保证自动划线车辆快速且平稳地追踪上期望轨迹。因此,需要对加入的系统状态量的偏差和控制量的优化。为避免控制系统控制量突变从而影响控制量的连续性,在设计轨迹跟踪控制器时,采用如以下形式目标函数:

J( k )= i=1 N p η( k+i|t ) η ref ( k+i|t ) Q 2 + i=1 N c 1 ΔU( k+i|t ) R 2 +ρ ε 2 (19)

其中, N p 为预测时域, N c 为控制时域, ρ 为权重系数, ε 为松弛因子。

将上述公式改写成二次型为

J( k )= 1 2 ( ΔU ε ) T H( ΔU ε )+( 2 E T Q Θ t 0 )( ΔU ε ) (20)

X=( ΔU ε ) H=( 2 Θ t T Q Θ t +2R 0 0 2ρ ) f T =( 2 E T Q Θ t 0 )

4.5. 划线车约束条件设计

对控制过程中的控制量极限约束和控制增量约束,控制量表达式形式为 u min ( t+k )u( t+k ) u max ( t+k ) ,对控制增量约束表达形式为, Δ u min ( t+k )Δu( t+k )Δ u max ( t+k ) ,在目标函数中,求解的变量为控制时域内的控制增量,约束条件中也只能以控制增量或者控制增量与转换矩阵相乘的形式出现[11]

由控制增量的约束形式,可得控制增量表达式:

{ Δ u min ΔuΔ u max 0ε ε max (21)

将不等式转换成矩阵形式,表示为

( Δ u min 0 )( Δu ε )( Δ u max ε max ) (22)

在每个控制周期求解后,得到控制时域内输出的控制增量序列,如下

Δ U t * =( Δ u t * Δ u t+1 * Δ u t+2 * Δ u t+ N c 1 * ) (23)

求解完成后将控制序列中的第一个数据应用到控制系统中,即将累加值放置到控制系统中,由于自动划线车的车轮是后车轮转向,故控制为前轮转向的相反数。

u( t )=( u( t1 )+Δ u t * ) (24)

5. 划线车实车实验

5.1. 工况设置

为验证改进Haar-like特征模版检测引导水线的准确性及MPC控制器在小型无人驾驶划线车的跟踪效果,本文在小型无人驾驶划线车进行实车测试。考虑到道路标线特种作业,行车速度在1.8 km/h到3.6 km/h之间;根据跟踪误差快速收敛的工艺需求设定车轮转角范围在±30˚之间;根据施工高顺滑度要求,对车轮转角进行车轮转角增量限制,每次增加不超过1˚。市面上常见的定位模块采样最大频率为10 HZ,故设采样时间为100 ms。其他轨迹跟踪控制器参数详见表1

Table 1. MPC trajectory tracking controller parameter table

1. MPC轨迹跟踪控制器参数

变量

名称/单位

数值

Np

预测步长

20

Nc

控制步长

5

T

采样时间/ms

100

L

轴距/m

1.15

Q

状态量矩阵权重系数

230

R

控制量矩阵权重系数

70

5.2. 实车实验

选择空旷的地区作为试验场地,既能保证行车安全,又能保证GNSS定位信号稳定。小型无人驾驶划线车实验场景如图8所示。本实验将对视觉传感器抓取到0˚、15˚、30˚引导水线进行特征对比,以及观察改造后的小型自动化线车跟踪引导水线特征中心的跟踪误差。

5.2.1. 改进Haar-like特征模版验证试验

现实道路上引导水线总是存在弯曲部分,控制器执行到位也需要一定时间,车辆在行驶过程中不断调节航向角,故视觉传感器抓取多个角度的引导水线图像,针对识别到不同角度的引导水线进行Haar-like特征模版实验验证。

Figure 8. Experimental scene diagram

8. 实验场景图

(1) 对0˚引导水线进行模版验证

Figure 9. 0˚ guiding waterline verification diagram

9. 0˚引导水线验证

(2) 对15˚引导水线进行模版验证

Figure 10. 15˚ guiding waterline verification diagram

10. 15˚引导水线验证

(3) 对30˚引导水线进行模版验证

Figure 11. 30˚ guiding waterline verification diagram

11. 30˚引导水线验证

图9中,可以看出使用0˚模版处理的结果图比使用15˚、30˚边界更加清晰;在图10中使用15˚模版处理的引导水线边缘相较于0˚、30˚更加明亮清晰;图11中使用30˚模版处理的引导水线边缘相较于15˚、0˚更加明亮清晰;在不同角度的引导水线特征对比下,0˚、15˚、30˚,分别适用于不同引导水线识别,因此区分不同角度模版是必要的。

5.2.2. 划线车MPC控制器实车实验

在行驶过程中视觉传感器抓取引导水线特征,并根据像素中线到水线的距离进行MPC控制。其实验结果如图12所示。

Figure 12. Guiding waterline tracking experimental results diagram

12. 引导水线轨迹跟踪实验结果图

图12中可以看出整体误差在±5 mm以内,车轮转角在−4.5˚至2.8˚之间波动,航向误差在±0.06弧度之间波动,MPC控制器每次车轮转角增量在±0.015弧度之间。上图中的跟踪误差符合道路标线施工工艺要求跟踪误差在±5毫米以内标准,车轮转角在-4.5˚至2.8˚之间浮动、航向误差在±0.06弧度之间波动,符合道路标线平滑性要求。

6. 总结

针对行业内使用传统手推划线车施工效率低、对技术工人要求高问题,设计一款基于图像驱动的无人驾驶划线车。首先,对手推划线车进行无人驾驶改造,其次通过改进Haar-like模版提高识别引导水线准确率,再次设计MPC运动学控制器,最后通过无人驾驶划线车进行实车验证,实验验证了改进后的划线车能够清晰识别引导水线特征、划线车使用MPC控制器精准跟踪引导水线轨迹,证明了无人驾驶划线车方案的可行性与有效性。

基金项目

山东省自然科学基金项目(No. ZR2022MF345);山东省重大科技创新项目(No. 2020CXGC010110)。

参考文献

[1] 史妍妮. 我国筑养路机械发展现状及趋势[J]. 河南科技, 2011(16): 96.
[2] 李志鹏. 基于图像识别的道路划线车控制系统设计[D]: [硕士学位论文]. 天津: 天津工业大学, 2020.
[3] Bertozzi, M., Broggi, A. and Fascioli, A. (2000) Vision-Based Intelligent Vehicles: State of the Art and Perspectives. Robotics and Autonomous Systems, 32, 1-16.
https://doi.org/10.1016/s0921-8890(99)00125-6
[4] Haripriya, D., Govindaraju, C. and Sumathi, M. (2017) A Novel Input Data Transition Aware Dynamic Voltage Scaling Based Low Power MAC Architecture for DSP Applications. Design Automation for Embedded Systems, 21, 265-281.
https://doi.org/10.1007/s10617-017-9186-8
[5] 周俊, 姬长英, 刘成良. 农用轮式移动机器人视觉导航系统[J]. 农业机械学报, 2005, 36(3): 90-94.
[6] 陈连勇. 基于DSP机器视觉道路划线车定位系统研究[J]. 机械研究与应用, 2012, 25(4): 43-45.
[7] 刘刚, 周峰, 李玉霞. 公路画线计算机辅助标识系统初探[J]. 河南交通科技, 2000, 20(6): 52-53+59.
[8] 杨庆凤, 王翠红, 辛玉红. 基于DSP的超声波测距智能划线车定位系统的研究[J]. 机械设计与制造工程, 2017, 46(10): 85-87.
[9] 杨诚, 郝润生. 道路自动划线车单片机控制系统设计[J]. 自动化仪表, 2017, 38(11): 43-45.
[10] 高珅琦. 高速公路无人驾驶自动划线车导航与控制研究[D]: [硕士学位论文]. 济南: 山东交通学院, 2023.
[11] 龚建伟, 刘凯, 齐建永. 无人驾驶车辆模型预测控制[M]. 北京: 北京理工大学出版社, 2020.