1. 引言
截至2024年9月,我国已建立起覆盖全国的公路网,构成以高速公路为主干、地方公路为联系、农村公路为基础的结构,总里程已达到535万公里。随着《交通强国建设纲要》的深入推进,智能化路面检测技术已成为道路基础设施数字化运维的核心需求[1]。路面平整度作为评价道路质量、使用效果及损坏程度的核心指标[2],它不仅与路面状况、车辆动态响应和行驶速度等因素密切相关,而且直接影响乘客的舒适性,因此是一个涉及人、车、路三方面的综合性指标[3]。由于各国及不同领域对路面平整度的理解不同,其定义和评估标准也存在差异。现行《公路技术状况评定标准》(JTG 5210-2023)明确要求将平整度检测纳入自动化巡检体系,标志着行业正从传统人工检测向智能感知全面转型[4]。目前,路面平整度的采集工作主要由政府相关部门进行,通常通过人工检测或道路信息采集车对路面进行全面监测[5]-[9]。然而,人工检测不仅效率低下,还会对交通流畅造成影响;而道路信息采集车则受制于人力和物力的限制,采集的范围较为局限,且频率较低,灵活性不足,通常仅限于公路工程的专业测量。因此,研发一种低成本、高效且准确的路面平整度测量技术显得尤为迫切。
随着精密传感器和图像识别技术的快速发展,越来越多的研究将多模态数据融合应用于路面平整度评估,为道路维护和质量监测提供了创新方案。在传统方法中,利用加速度传感器进行路面平整度评估已经取得了显著的进展。Yeganeh等[10]-[13]采用智能手机等移动设备采集车辆的竖直加速度数据,并以此为基础,计算了国际平整度指数(IRI),这一指数作为衡量路面平整度的关键指标,广泛应用于道路质量的评估。最新研究在评估指标方面取得突破:Chen等[14]提出动态平整度指数,通过融合加速度频谱特征与车辆悬架响应数据,在减速带干扰场景下将评估误差降低37.8%;Wang等[15]开发的深度谱聚类算法,可自适应区分路面破损与临时异物引起的振动模式差异。
此外,Zeng等人[16]采用车辆竖直加速度的均方根(Root Mean Square of Vertical Acceleration, RMSVA)、路面功率谱密度(Power Spectral Density, PSD)等指标来表征路面的平整性。这些方法能够实现快速、便捷的初步评估,适用于大范围路网的整体监测。然而,这些研究大多基于单一数据源,仅利用传感器信号分析路面特性,未能有效应对复杂路况下的异常干扰。诸如减速带、井盖或路面垃圾等非路面破损因素,会显著影响传感器数据波动,导致平整度评估结果的误报率升高。
近年来,多模态数据融合正成为该领域的前沿方向。最新研究表明,视觉–惯性协同感知可有效克服单一传感器的局限:Li等[17]采用神经辐射场(NeRF)技术构建三维路面重构系统,结合6轴IMU数据将异物干扰识别率提升至92.1%。针对多源数据时空对齐难题,Zhou等[18]提出基于事件相机的动态配准算法,在80 km/h车速下实现亚像素级同步精度。值得关注的是,Huang等[19]最新提出的多任务学习框架,通过共享特征层同步优化平整度计算与异物检测,在KITTI道路数据集上将RMSVA校正误差降低至0.12 m/s2。然而,跨模态特征融合机理尚未明晰,导致复杂场景误报率偏高[20],动态检测中的数据漂移问题制约模型泛化能力[21];这些方法在复杂真实场景下的鲁棒性和适用性仍有待进一步提升。
因此,本研究针对现有方法的局限性,提出了一种基于多模态分类模型的全新路面平整度评估方法,并开发了一款能够实现数据采集和模型检测功能的测试软件。该研究测量采集小车在行驶过程中的竖直方向加速度数据,并将其转换为世界坐标系下的加速度数据,使用便携式电脑前置摄像头录制路面视频,并记录时间戳用于对齐传感器数据。通过传感器和视频中的时间戳,使加速度传感器所采集的每条数据对应一张视频截帧。数据处理和分析过程为:首先通过加速度波动率阈值筛选出疑似位置,再将疑似位置波动率极值点对应视频帧以及后续三条数据所对应视频帧输入图像分类模型,若有1副及以上识别结果判定为路面本体特征干扰(如减速带、井盖,则将其标记为干扰点),剩余非干扰点的疑似点即为波动点。平整度计算方法为竖直加速度均方根法,即:若为路面本体特征干扰导致的加速度波动,将其波动处数据恢复为前后两条数据的平均值。据此方法开发软件并进行典型路段实验,实验结果表明,在固定路段检测中,多模态方法将检测准确率从单模态的67.9%提升至95.0%,绝对准确率提高27.1%,为路面平整度评估提供了多模态融合的全新思路。
2. 原理方法与设计
Figure 1. Technical workflow diagram of pavement smoothness evaluation
图1. 路面平整度评价技术路线图
本文研究技术路线如图1所示。
2.1. 数据处理
在本研究中,采用WTGAHRS1三轴加速度传感器作为主要测量工具。该传感器能够实时测量设备坐标系下的X、Y、Z轴加速度,具有较高的灵敏度和稳定性,适合用于复杂运动环境下的加速度监测。传感器通过USB接口连接至便携式电脑,利用软件中实现的数据采集和保存模块,根据加速度传感器每0.4 s记录一次数据,在文件中存储数据时每条加速度数据对应一条实时的视频帧,并将所有的视频帧保存在对应命名的文件夹下,从而实现对加速度数据以及视频帧的实时采集与存储。
为了模拟实际道路条件下的加速度测量场景,加速度传感器与便携式电脑一同固定在小车上,作为路面行驶的载体。传感器的安装位置选择在小车的重心附近,以减小车辆本身倾斜或晃动对测量数据的影响,确保获取的加速度主要来源于路面不平度而非车辆姿态变化。传感器固定方式采用紧固夹具,确保设备在小车行驶过程中保持稳定不动。该方法避免了传感器因车辆振动或倾斜而引入的额外干扰,同时能够保证传感器的测量轴向与车辆本身的坐标系一致。
在路面平整度测量过程中,所使用的加速度传感器输出的是基于设备坐标系的三维加速度数据,具体包括X轴、Y轴和Z轴的测量值。然而,由于车辆在行驶过程中的姿态变化,设备坐标系与世界坐标系之间可能存在一定的偏差。为了精确评估竖直方向的加速度并准确反映路面平整度,必须将设备坐标系中的加速度数据转换为世界坐标系中的值[22]。在本研究中,世界坐标系被定义为固定于地球的参考系,其中Z轴代表垂直方向,X轴沿车辆前进方向,Y轴则与地面平行并垂直于X轴。为了确保加速度数据能够真实反映车辆在竖直方向上的动态响应,必须依据传感器的姿态信息进行相应的坐标转换。具体来说,欧拉角的三个分量分别表示围绕X轴的翻滚(roll)、围绕Y轴的俯仰(pitch)和围绕Z轴的偏航(yaw)。通过以下公式,可以将欧拉角转换为旋转矩阵R,该矩阵用于将设备坐标系下的加速度数据转换到世界坐标系中。旋转矩阵R的计算方式如下:
(1)
其中:
(2)
(3)
(4)
将传感器测得的加速度数据从设备坐标系转换到世界坐标系中。给定设备坐标系下的加速度向量
,其转换到世界坐标系的加速度向量
通过以下矩阵运算获得:
(5)
其中,
是由姿态数据计算出的旋转矩阵。经过转换后,世界坐标系下的Z轴分量
即为竖直方向的加速度值,它用于评价路面平整度。
2.2. 平整度评价标准
在本研究中,为了量化路面的平整度,我们采用了竖直加速度的均方根值作为评价指标。RMSVA值能够有效反映车辆在通过不同路面时的垂直加速度波动情况。路面不平整度越大,车辆在竖直方向的加速度波动就越显著,因此通过RMSVA值可以直接衡量路面的平整度状况。
竖直加速度均方根值是用来量化车辆通过不同路面时竖直加速度波动的核心指标。它的计算公式为:
(6)
其中:
为第i个时间点的竖直加速度值;
N为采样的加速度数据点数量。
首先,将竖直加速度数据进行分段,每一段代表一个路段,以0.4秒为时间窗口,每个时间段的竖直加速度数据
计算均方根值。RMSVA越大,表明该路段的路面不平整度越高,车辆垂直震动幅度越大;反之,RMSVA越小,表明路面较为平整,车辆通过时的震动较小。
2.3. 训练图像分类模型
为了剔除由于路面本体干扰,如减速带、井盖导致的加速度数据异常,本研究引入了图片识别技术,通过采集模块收集校园内部路段视频帧数据10,000张作为原始数据集,标注图像数据,取其中90%作为训练集,剩余10%作为测试集,基于道路图片数据,训练目标检测分类模型,专门用于识别图片中的减速带和异物等。YOLOv7模型作为当前主流的目标检测模型之一,具有精度高、速度快、轻量化等特点,适用于路面异物识别任务。本文采用YOLOv7目标检测分类模型对路面视频截帧进行自动化分析,通过排除干扰因素,提高路面平整度评估的准确性。
YOLOv7模型采用CSPDarknet53作为基础网络,用于高效提取图像特征,同时结合PANet网络实现特征的融合与增强。在预测阶段,模型通过Head结构对目标的位置、类别和置信度进行精确预测。训练过程中,使用Adam优化算法优化模型参数,并结合交叉熵损失函数衡量预测与真实标签之间的差异。此外,通过监控损失函数曲线和精度曲线,有效评估模型的训练效果,为优化训练过程提供了可靠依据。
如表1所示,YOLOv7模型在路面异物识别任务中取得了较高的检测精度和召回率,有效地排除了路面异物对路面平整度评估的干扰。
Table 1. Detection performance of YOLOv7 model in road foreign object recognition tasks
表1. YOLOv7模型在路面异物识别任务中的检测效果
模型版本 |
数据集规模(张) |
检测精度(Precision) |
召回率(Recall) |
检测结果说明 |
YOLOv7 (预训练模型) |
- |
- |
- |
无法有效检测路面情况 |
YOLOv7 (自训练模型) |
10,000 |
83.7% |
82.5% |
成功检测大部分路面情况,
但仍有部分误判或漏检 |
3. 系统开发
3.1. 软件开发
软件的主要功能包括实现加速度传感器的通信,三轴加速度传感器数据、RMSVA原始数据、所通过路段的经纬度数据、视频截帧数据的采集、展示和存储功能,最终分类结果和修正后的RMSVA数据的计算、展示和存储功能。实现数据存储过程中,选择存储路径保存结构化数据,使每条加速度数据对应一张截帧图片,并将全部视频帧保存在所选择路径下自动生成的文件夹下。模型检测模块对该文件夹下所有视频帧进行图像分类检测,并将检测结果以及置信度填入加速度数据文件中该条数据的末尾。软件界面如图2所示。
Figure 2. Software interface diagram
图2. 软件界面图
3.2. 硬件开发
小车硬件系统的设计以简便性和功能性为核心,选用小推车作为硬件载体,通过人工拖动完成路段数据采集。这种设计兼顾了经济性和实用性,同时确保各模块稳定运行,小车整体外观如图3(a)所示。
硬件系统的设计包括四个主要部分:轮子、车体框架、传感器模块以及通信与存储模块。首先,轮子设计方面,小车配备了4个高强度橡胶材质的轮子,直径为8厘米,既能适应不同路面条件,又保证了振动信号的灵敏传递。由于设计中未加入避震装置,因此路面振动信号可以更真实地传递至加速度传感器,车轮部分特写如图3(b)所示。车体框架采用轻质铝合金制成,具有良好的抗压性和耐腐蚀性,其尺寸为70厘米长、50厘米宽、80厘米高,既满足传感器安装需求,又方便运输和操作。整体结构轻便,便于现场作业时人工拖动。
传感器模块是硬件系统的核心组成部分,包括加速度传感器和GPS模块。加速度传感器固定于小车的中心位置,用于采集三轴加速度数据和姿态信息。中心位置的安装方式有效减少了推车拖动时左右晃动对竖直加速度测量的影响,提升数据采集的准确性。GPS模块用于实时采集小车所在路段的经纬度数据,并与加速度数据进行时间戳同步,便于后续的数据关联和分析。通信与存储模块中,便携式电脑作为核心设备,负责数据接收、处理和存储。传感器和GPS模块通过USB接口与便携式电脑连接,实现实时数据采集。采集到的数据按时间戳分类存储于便携式电脑硬盘中,确保加速度数据和地理位置信息的结构化存储。通过这种模块化设计,整个系统既能高效采集复杂路况下的路面数据,又能简化数据处理流程,硬件布局俯视图如图3(c)所示。
Figure 3. Equipment demonstration diagram
图3. 设备展示图
整体硬件设计体现了简便与实用的原则,各组件布局合理,配合流畅,能够满足复杂环境下的高效数据采集需求。同时,采用人工拖动方式不仅简化了动力系统设计,也显著降低了设备制造和维护成本。
4. 试验结果分析
4.1. 试验设计
本文选取北京市海淀区北京信息科技大学附近的四个路段进行测试,具体路段包括小营东路、前屯路、永泰庄北路和G6辅路,形成闭环路线,如图4所示。每个路段单独测量。测试在下午车流量较低的时段进行,车速保持约为1 m/s,除避让其他车辆外,尽量沿直线行驶,不故意避开或途经井盖及破损路面。测量过程中,车辆靠近道路右侧行驶。
Figure 4. Fixed test road sections
图4. 固定测试路段
机械小车在选定的道路上进行两次重复的拖行试验,记录小车在行驶过程中产生的竖直方向加速度数据和每条加速度数据对应的路面视频帧。在录制过程中,确保摄像头与路面夹角小于45度,以捕捉足够的图像信息,同时记录时间戳,以便后续数据对齐。
对采集到的加速度数据进行预处理,筛选出有效数据并剔除其中的异常值。利用传感器的姿态信息,将加速度数据从设备坐标系转换为世界坐标系中的竖直方向加速度数据。通过测试内部路段建立加速度数据和视频帧之间时间戳的关联,当RMSVA发生波动时,记录1000次在内部路段采集中加速度数据超过阈值的疑似点。通过图像识别模型判断疑似点处RMSVA对应的路面视频帧。根据模型识别结果分析出造成加速度数据波动的原因已被本条数据以及后续两条数据所对应的视频帧完全覆盖,从而得出结论,确保后续试验过程中准确找到造成数据波动的原因。
在试验过程中,将本次检测所截帧的全部图像输入到训练好的图像分类模型中,并且将图像检测分类的结果以及置信度添加到数据文件中的每条视频帧后,分析加速度数据。检测到波动时,分析对应的三条视频帧图像分类检测的结果,判断是否存在路面本体特征干扰引起的波动。如果分类结果为异物,则确认波动是由异物引起,将忽略该波动并进行数据修正,修正值为前后两条数据的平均值,再将修正后的加速度数据添加到数据文件中。
最后,计算竖直加速度的RMSVA作为路面平整度的指数,将采集到的路面平整度数据以及修正后的路面平整度数据均展示在软件界面上,直观反映不同路段的平整度情况。
4.2. 测试结果与分析
测试结果共展示5020条数据,对4个测试路段采集的原始数据和优化后的数据进行详细统计,具体结果见表2。表中展示了总数据量、超过阈值的波动次数、分类模型识别的异物波动次数和实际由异物导致的波动次数,以及模型对异物检测分类的准确率。
Table 2. Data statistics table
表2. 数据统计表
路段名称 |
总数据量 |
超阈值的
波动次数 |
实际路面
病害波动次数 |
实际异物
波动次数 |
识别异物
波动次数 |
异物识别
准确率(%) |
小营东路 |
1570 |
195 |
115 |
80 |
65 |
81.3 |
前屯路 |
1230 |
241 |
190 |
51 |
43 |
84.3 |
永泰庄北路 |
1150 |
238 |
149 |
89 |
78 |
87.6 |
G6辅路 |
1070 |
85 |
61 |
24 |
20 |
83.3 |
全部路段 |
5020 |
759 |
515 |
244 |
206 |
84.4 |
从表2可见,加入模型检测后能够显著减少因异物导致的误报情况,模型检测分类准确率平均达84.4%,有效提高了路面平整度评估的准确性。
进一步对244次实际异物波动进行类型学分析发现,模型识别性能呈现显著的对象异质性,具体结果详见表3。临时路障类异物因具有稳定的几何特征,其识别准确率达89.3%,而碎石等随机分布的小型异物因形态特征模糊,准确率下降至73.5%。故永泰庄北路的87.6%高准确率与其异物类型分布密切相关,该路段临时路障占比达62%,充分发挥了模型对规则异物的识别优势。这一发现表明,路面异物的物理属性是影响检测效能的重要中介变量。
为进一步验证多模态融合优势,本研究对单一加速度模态与多模态联合检测的性能进行了细致对比,具体结果详见表4。在仅采用单一加速度模态进行检测时,由于缺乏对路面状况的全面信息感知,该方法极易将异物所引发的波动错误地判定为路面缺陷。经统计,在全部测试路段中,总数据量为5020条,其中超阈值的波动次数共计759次,而实际路面病害波动次数为515次,由此计算得出单一加速度模态检测的准确率仅为67.9%。这表明单一模态检测在区分异物波动和路面缺陷方面存在明显的局限性,容易导致误判情况的发生。与之形成鲜明对比的是,当采用多模态联合检测方法,即融合了图像数据等多种模态信息后,检测性能得到了显著提升。通过充分利用图像数据所提供的丰富细节信息,该方法能够准确地区分异物干扰和真实的路面病害,从而有效避免了误判的发生。在多模态联合检测中,有效检测数提升至721次,对应的准确率达到了95.0%,相较于单一加速度模态检测,绝对准确率提升27.1个百分点。
Table 3. Recognition accuracy rates by different foreign objects
表3. 不同异物识别准确率
异物类型 |
出现频次 |
识别准确率 |
典型特征 |
临时路障 |
112 |
89.3% |
体积大,轮廓清晰 |
井盖 |
67 |
82.1% |
规则圆形,位置固定 |
碎石 |
49 |
73.5% |
体积小,分布随机 |
其他 |
16 |
68.8% |
形态不规则,对比度低 |
总计 |
244 |
84.4 |
- |
Table 4. Comparison table of multimodal data fusion detection effects
表4. 多模态数据融合检测效果对照表
路段名称 |
总缺陷数 |
单模态检测准确数 |
多模态检测准确数 |
准确率提升(%) |
小营东路 |
195 |
115 |
180 |
33.3 |
前屯路 |
241 |
190 |
233 |
17.9 |
永泰庄北路 |
238 |
149 |
227 |
32.8 |
G6辅路 |
85 |
61 |
81 |
23.5 |
全部路段 |
759 |
515 |
721 |
27.1 |
在模型检测过程中,原始数据中存在明显波动,尤其在异物分布密集的路段,例如永泰庄北路如图5(a)所示,查看分类模型对涉及本次波动所对应视频帧的识别分类结果,分类结果如图5(b)所示,视频帧左上角标注出“sundry (异物)”的类别,说明本次加速度波动由路障引起,则将当前发生明显波动的加速度数据恢复为前后两条加速度数据的平均值,修正后的加速度数据图如图5(c)所示。
(a) 采集数据
(b) 识别结果
(c) 修正数据
Figure 5. Data processing diagram
图5. 数据处理图
对试验路段采用图像识别模型修正加速度数据前后对比分析,部分数据如图6加速度数据对照图所示。
Figure 6. Acceleration data comparison diagram
图6. 加速度数据对照图
为验证修正策略的有效性,统计修正前后RMSVA指标平均值的变化,详细请见表5修正前后加速度均方根对照表。
Table 5. Comparison table of RMSVA before and after correction
表5. 修正前后加速度均方根对照表
路段名称 |
修正前RMSVA (m/s2) |
修正后RMSVA (m/s2) |
RMSVA减少幅度(%) |
小营东路 |
1.44 |
1.08 |
25.0 |
前屯路 |
1.68 |
1.33 |
20.8 |
永泰庄北路 |
1.41 |
1.14 |
19.1 |
G6辅路 |
0.73 |
0.58 |
20.5 |
修正后的RMSVA最小降低了19%以上,说明加入分类模型和图像处理模块显著提升了数据质量,明显排除了部分异物导致的加速度数据波动。
5. 结语
本文提出了一种利用多模态数据融合技术提高路面平整度评估精度的方法。该方法结合了加速度传感器、视频截帧技术和图像分类模型,有效降低了传统评估方法中由于异物干扰所引发的误报率。通过加速度传感器实时采集小车拖行过程中的竖直加速度数据,并与时间戳对齐视频帧,采用均方根竖直加速度(RMSVA)作为路面平整度指标,改进了对路面病理变化和异物引起的波动进行准确区分和修正的能力。
实验结果表明,所提出方法能够显著提高加速度波动数据的分类精度和路面平整度指数的测量准确性,也降低了路面平整度检测的高成本。4个路段的实验结果表明,修正后各路段竖直加速度均方根降幅达19.1%~25.0%,分类模型的识别准确率超过84.4%,降低了由异物干扰引起的误报情况,提升了路面质量评估的准确率。同时,对比单一加速度模态与多模态联合检测性能,单一加速度模态检测准确率为67.9%,而多模态联合检测准确率提升至95.0%,绝对准确率提升27.1个百分点,其中异物分布密集的永泰庄北路提升幅度达32.8%,验证了多源数据融合在复杂场景下的技术优势。
未来可进一步深入研究多模态数据融合技术,探索更多类型传感器的整合以获取更全面的路面信息,拓展多模态数据融合技术的应用范围,并将其应用于实际生产环境中。此外,随着人工智能技术的不断发展,可以尝试引入更先进的图像识别和机器学习算法,以进一步提升分类模型的识别准确率和实时处理能力。同时,考虑在实际应用中部署自动化检测系统,实现大规模、高效率的路面平整度评估。并且,研究团队也将关注该方法在不同气候、地形条件下的适应性,以确保其在更广泛环境中的有效应用。
NOTES
*通讯作者。