激光雷达视窗表面灰尘污染模拟物研究
Research on of Simulation Materials for Dust Contaminations on Lidar Sensor Cover
摘要: 本研究深入探讨了视窗表面不同灰尘污染模拟对激光雷达性能的影响,以混合固态激光雷达为对象,通过多维度点云评价指标全面评估激光雷达在不同污染条件下的感知表现。预实验结果表明,污染于激光雷达激光发射器处影响最大,正式实验中研究了不同灰尘污染模拟物对激光雷达点云质量的影响,实验结果表明:污染对激光雷达测距性能无显著影响且不同颜色亚克力片和不同厚度橡胶片可以模拟灰尘污染。其中不透明亚克力片和橡胶片可以模拟重度灰尘污染,不同颜色的半透明亚克力片可以模拟轻度灰尘污染,通过改变亚克力片的颜色和透明度可以模拟不同程度的灰尘污染。该研究结果为进一步研究激光雷达视窗灰尘污染以及相关算法开发提供了基础。
Abstract: This study comprehensively explores the impact of different contamination simulations on the performance of a mixed solid-state lidar, focusing on the window surface. Through multidimensional point cloud evaluation metrics, the lidar’s perception performance is thoroughly assessed under various contamination conditions. Preliminary experimental results indicate that contamination at the lidar’s laser emitter has the greatest impact. In the formal experiments, the influence of different contamination simulation materials on lidar point cloud quality is investigated. The results show that contamination has no significant impact on lidar ranging performance, and various colored acrylic sheets and rubber sheets can simulate contamination. Opaque acrylic sheets and rubber sheets can simulate heavy contamination, while differently colored translucent acrylic sheets can simulate mild contamination. By changing the color and transparency of the acrylic sheets, different degrees of contamination can be simulated. The findings of this study provide a foundation for further research on lidar window contamination and the development of related algorithms.
文章引用:郭斌云, 吴志军, 冉璐嘉, 胡宗杰, 安柏鹏. 激光雷达视窗表面灰尘污染模拟物研究[J]. 传感器技术与应用, 2024, 12(2): 163-174. https://doi.org/10.12677/JSTA.2024.122019

1. 引言

自动驾驶技术是未来交通领域的重要发展方向,激光雷达 [1] 作为环境感知系统的核心部件,对实现高水平车辆环境感知和智能决策起着至关重要的作用。激光雷达能够高精度地获取车辆周围的环境信息,包括距离 [2] 、速度、形状等多维度数据,为自动驾驶系统提供了关键的实时感知基础。然而,激光雷达在实际运行中受到环境因素的干扰。

研究表明,恶劣天气对激光雷达的应用构成巨大挑战,尤其是在雨和雾等常见恶劣条件下。Tang L [3] 等人的研究发现,下雨会使激光雷达传感器性能变得不稳定,进而影响其对行人的检测性能。Heinzle R [4] 等人针对大雨和浓雾条件下的汽车激光雷达性能进行了分析,并引入了一种新方法,利用激光雷达传感器对雨滴或雾进行检测和分类。其他研究者,如Filgueira A [5] 和Zhang C [6] ,对雨水对激光雷达性能的定量影响进行了量化研究。也有研究 [7] 建立数学模型用于将激光雷达的性能下降作为降雨率的函数,并通过其定量预测降雨对使用激光雷达的ADAS的影响。同济大学邢星宇 [8] 基于模拟降雨设施,通过引入评价指标集,深入研究了不同类型雷达指标在降雨影响下的变化。在雾环境下,You L [9] 分析了激光雷达的性能。并通过控制恶劣天气设施内的雾密度,对测距性能与雾的关系进行了定性和定量研究。Kutila M [10] 的研究比较了两种不同波长的激光雷达,在不同天气条件下目标检测性能的变化。Yang T [11] 等人通过数据驱动的方法对雾条件下的激光雷达测距过程进行统计建模,为相关业务规范做出贡献。

然而,对于激光雷达光学视窗污染的研究相对较为有限。Schlager B [12] 研究了不同传感器覆盖物污染对激光雷达点云和全波形的影响,为进一步研究激光雷达故障检测提供理论基础。Rivero J [13] 等人量化积聚在激光雷达表面的灰尘对激光雷达表面的激光穿透率和反射率的影响,为虚拟仿真中的灰尘模拟提供参考依据。Schlager B [14] 研究激光雷达传感器盖上划痕、裂纹和孔洞对点云的影响,结果表明:传感器盖损伤对点云数据有影响。Trierweiler M [15] 研究了标准化灰尘对激光雷达测距范围的影响,结果表明在灰尘的影响下,激光雷达的测距范围最高减少了75%。同时也有学者研究了激光雷达污染分类,James J K [16] 等人使用深度学习方法对不同类型的污染进行分类,将激光雷达点云的前视图和俯视图进行融合,把最后结果与经典的机器学习方法进行比较,得出结论:深度学习方法分类效果更好。

然而,值得注意的是,当前研究存在几个明显不足。首先,对于激光雷达的研究,主要集中在机械式旋转雷达上,而对于混合固态雷达的研究较为有限。其次,现有评价指标相对单一,对于全面理解激光雷达在污染条件下的感知性能不能提供足够的支持。最后,实验室环境下,灰尘的可重复性以及制作难度无法量化。

在实际道路使用中,激光雷达可能会受到道路灰尘等污染物的影响,这些污染物可能会附着在激光雷达的表面,影响其感知性能。因此,本文旨在深入研究混合固态激光雷达视窗表面灰尘污染物模拟。通过引入多个点云量化评价指标,对比不同模拟污染下的激光雷达感知表现,为后续学者在进行灰尘污染研究时提供参考。

2. 点云评价指标

在激光雷达环境感知中,点云作为主要数据形式 [17] 被广泛应用。每帧点云记录了激光雷达在一定时间间隔内接收到的激光回波信息,其中包括点的坐标、距离和反射率等关键信息。特别是在自动驾驶汽车领域,基于点云的目标识别算法 [18] 依赖于这些信息,通过点云聚类和特征提取来实现对周围环境的感知。

点云质量直接影响目标识别算法的性能,包括但不限于点云数量、反射率、位置分布以及信息波动等因素。考虑到其他领域对激光雷达性能的要求,以及先前研究和感知算法对激光雷达点云的需求,本文选择了四个代表性指标进行点云质量的定量分析。这些指标包括平均点云数量、平均反射强度、测距平均偏差和测距标准差。通过对这些指标的详细计算,我们旨在全面评估激光雷达在视窗表面污染下的性能和点云质量特征。接下来,我们将详细介绍每个指标的计算方法。

(1) 平均点云数量

平均点云数量为每帧点云的平均数量,该指标可以衡量点云数量的平均水平,计算方法如式(1)所示,其中m为采集的帧数,ni为第i帧点云的点数。

(1)

(2) 平均反射强度

平均反射强度为每帧点云的平均反射强度,该指标可以衡量点云反射强度的平均水平,计算方法如式(2)所示,其中m为采集的帧数,n为每帧点云的点数, n sum 为m帧采集的点云的总点数, r i j 为第i帧第j个点的反射强度。

r average = i = 1 m j = 1 n r i j n s u m (2)

(3) 测距平均偏差

测距平均偏差为测距平均值与真值的偏差,该指标能够衡量激光雷达在一段时间内的测距准度,在本文中,目标物摆放在激光雷达正前方,选取点云数据x坐标绝对值作为测距距离,如图1所示。

计算方法如式(3)所示。其中m为采集的帧数,n为每帧点云的点数, n sum 为m帧采集的点云的总点数, d i j 为第i帧第j个点的距离,d为实际距离。

d average = i = 1 m j = 1 n ( d i j d ) n sum (3)

(4) 测距标准差

Figure 1. Coordinate of the lidar

图1. 激光雷达坐标系

测距标准差是指一段时间内全部帧的点云测距标准差,该指标反映了激光雷达在一段时间内的测距精度 [19] 。计算方法如式(4)所示,其中m为采集的帧数,n为每帧点云的点数, n sum 为m帧采集的点云的总点数, d i j 为第i帧第j个点的距离, d ¯ 为全部帧点云的测距距离均值。

σ average = i = 1 m j = 1 n ( d i j d ¯ ) 2 n sum 1 (4)

3. 试验设备与方法

本节主要介绍试验选取的被测激光雷达工作原理和性能参数,以及试验条件和试验场景。

3.1. 激光雷达

本文选择了一个混合固态雷达作为被测对象,主要技术参数如表1

Table 1. Parameters of lidar

表1. 雷达参数

3.2. 试验方法

为了减少环境以及背景光的影响,所有实验均在实验室封闭环境完成。图2为实验装置示意图(俯视图)。

Figure 2. Schematic of experimental setup (top view)

图2. 实验装置示意图(俯视图)

受污染的样本被直接固定在传感器盖的正前方。目标物为30 cm × 30 cm的接近朗伯特性的漫反射标准板,被放置在距离激光雷达正前方。在每种污染下,记录了数个点云,每个点云的记录时间为5秒。激光雷达通常使用最强回波和最后回波等信息来检测和追踪目标。最强回波通常用于静态目标检测,当需要快速准确探测目标存在时,最强回波能提供对目标位置的高精度定位。最后回波提供了目标的运动信息,通过追踪回波的变化,可以估计目标的速度、方向等动态特性。本文中,考虑最强回波并使用ROS [20] (机器人操作系统)进行数据采集。图3显示了无任何污染的点云,其中目标物在标记的红色方框内可见。

Figure 3. Point cloud image of the experimental setup (without contaminations)

图3 实验点云图(无污染情况下)

本文核心目的为研究不同道路灰尘模拟物的模拟情况,为了在正式试验中有针对性的选取污染位置,进行预实验研究哪个位置污染对点云质量的影响较为显著。预实验设置如下,如图4所示。

1) 将激光雷达横向距离均匀划分为6份,以覆盖整个横向范围,确保对激光雷达视窗进行了充分的采样;

2) 在每个横向距离上,制作灰尘样本覆盖激光雷达视窗纵向范围,灰尘样本大小为10 mm × 45 mm。

3) 为了保证激光雷达的测量精度以及使目标物完全在激光雷达的探测范围内,将目标物置于激光雷达正前方2 m处。

Figure 4. The positions of dust contamination

图4. 灰尘污染位置

在目标检测和识别的任务中,目标物上的更多的点云数目意味着更丰富的信息,有利于准确的分析目标,因此在预实验中,得到目标物上点云数目随污染位置变化如图5所示,其中位置0代表无污染。

Figure 5. Average points for target object with changing contamination

图5. 目标物平均点数随污染位置变化

可以看出,污染在位置2处对点云数量影响最大,点云数目降低了5.91%。分析认为,该混合固态雷达是通过转镜绕激光发射器旋转实现水平扫描,而位置2恰好是处于激光发射器正前方,因此污染在位置2处对目标物点云数目影响最大。在接下来的实验中,污染都以激光雷达发射器正前方向周围扩展。

3.3. 实验污染样本制作

为了方便研究不同模拟污染物对激光雷达性能的影响且避免对传感器盖的损伤,我们在激光雷达正前方固定一个厚度为2 mm的亚克力板,同时为了方便更换污染,将污染覆盖在在亚克力板表面。

挑选了两种材料作为模拟污染物的备选,亚克力和橡胶。考虑到亚克力片有透明、半透明、不透明和颜色之分,各选几种作为实验材料,同时污染大小均为30 mm直径的圆。亚克力片均为2 mm,橡胶片有1 mm和2 mm。其中污染1和污染2作为对照组。污染样本如图6所示。

Figure 6. Contamination samples

图6. 污染样本

为了增强对比度,均对背景进模糊处理。具体污染的参数如表2所示。

Table 2. Parameters of contaminations

表2. 污染参数

4. 实验结果及分析

为了确保污染物能完全影响漫反射标准板,调节标准板与激光雷达之间的距离,当距离为3 m时,此时标准板上的点云数目为0。后续距离均设置为3 m,确保污染物能完全影响漫反射标准板。

4.1. 实验结果

按照实验方案,为了避免实验的偶然性,在每种污染下每个距离各采集了50帧点云数据,求点云指标均值。实验结果如下所示。

(1) 平均点云数量影响情况

实验结果表明不透明亚克力片和不同厚度的橡胶片均完全模拟了灰尘,标准板上点云数量均为0。不同颜色的半透明亚克力片下的点云数目均有一定程度的下降,如图7所示。

Figure 7. Influence of contamination on the average number of points in point clouds.

图7. 点云平均数目受污染影响情况

为了方便理解,将污染颜色填充在柱状图中,其中污染1和污染2作为对照组,污染1为透明亚克力片,污染2为实际灰尘污染。

从图中可以看出来对于目标物而言,半透明亚克力片中,污染3和污染5对平均点数影响不大,污染4平均点数下降96.60%。不透明亚克力片和1 mm、2 mm的橡胶污染均呈现跟灰尘同样的模拟效果,目标物点云数目均为0。由于不透明亚克力片和橡胶污染下,目标物点云数量均为0,不存在反射强度及测距偏差值,因此在后面的指标计算中,只列举半透明亚克力片中污染下的点云指标计算。

(2) 平均反射强度影响情况

半透明亚克力片污染下,目标物还有一定的点云数目,计算其平均反射强度如图8所示。

点云平均反射强度影响情况跟点云平均点数受污染影响情况类似。其原因跟平均点数的下降类似,污染对激光束的吸收和散射,导致使得部分激光能量被消耗或偏离方向。这会导致激光束在目标上的反射强度减弱。进一步研究其反射强度在不同区间之间的比例,如图9所示。

其中污染1为对照组,观察图可得,不同颜色的半透明污染均会导致低反射强度点数比例有一定的提升,且不同颜色之间存在一定的差异。污染5相比于污染3,反射强度在30~40和10~20区间内点数比例增加,反射强度在20~30、0~10区间内点数比例减少。其中污染4影响程度最大,所有点的反射强度均下降至20以下。

Figure 8. Influence of contamination on the average reflectance intensity of point clouds

图8. 点云平均反射强度受污染影响情况

Figure 9. Different reflectance interval proportions for various pollution types

图9. 不同脏污类型下的不同反射强度区间比例

(3) 测距平均偏差和测距标准差

目标物的测距平均偏差和测距标准差如图10所示。

(a) 目标物测距偏差均值 (b)目标物测距偏差标准差

Figure 10. Mean and standard deviation of distance measurement deviations for target objects under different contaminations

图10. 不同污染情况下目标物测距偏差均值和标准差

根据图中数据,尽管碰到了不同程度的污染现象,激光雷达的测距偏差与测距标准差仍保持在可接受的范围内。具体来说,无论遇到何种污染情况,测距偏差都稳定地维持在5 cm以内,这显示了测距的高度精确性。同样地,测距标准差也维持在3 cm以内,进一步证实了该测距系统的可靠性 [19] 及一致性。

4.2. 实验分析及结论

上述用的点云质量指标包括点云数目、平均反射强度、平均测距偏差和平均测距标准差,点云数目和平均反射强度在激光雷达中常常用于对实际物体的特征进行描述并实现物体的自动分类,其中点云数目能反映物体的形状和结构信息,平均反射强度则能反映物体材质和反射性质。平均测距偏差和平均测距标准差则是用来衡量激光雷达的测距性能。

实验结果表明:

1) 不透明亚克力片污染和不同厚度橡胶可以完全遮挡住目标物,与灰尘模拟效果相当。

2) 在不同颜色的半透明亚克力片污染下,低反射强度区间的点数比例呈上升趋势,且与颜色相关。

3) 污染对激光雷达的测距性能无显著影响。

分析结果指出,污染物质对点云数量的主要影响来自其对激光吸收和散射特性的改变。由于吸收效应,激光脉冲可能未能以充足的能量达到目标物,而散射效应可能导致激光偏离原本的轨迹,同样无法到达目标物。这些实验结果似乎反映了不透明亚克力片和橡胶对激光吸收特性的相似性,不同颜色半透明亚克力片对激光吸收特性存在一定的差异性。激光雷达通过计量发射的激光脉冲反射回来的时间来测量对象的距离,而激光雷达的光学视窗污染并不会明显改变这个过程中的激光速度。因此,尽管视窗污染会极大影响激光雷达对目标物的识别,但对测距性能的负面影响却相对较小。

根据实验结果,我们可以得出以下结论:不同颜色的半透明的亚克力片可以作为模拟轻度灰尘污染的有效材料,而不同厚度的黑色橡胶与不透明亚克力片则可以被用来模拟重度灰尘污染。通过改变亚克力片透明程度和颜色可以有效模拟不同程度的灰尘污染。

同时为了验证结论的严谨性,将目标物分别放置在5 m处、10 m处重复以上实验。得到不同距离下的目标物点云数目如图11所示。

Figure 11. Variation of points with pollution category at different distances

图11. 不同距离下的点数随污染类别变化趋势

从上图可以看出10 m处的目标物点数比5 m处增多,是因为该激光雷达的特性导致的,有些激光通道只在距离超过7 m时才起作用。总体来说,其在不同距离下的变化趋势呈一致性。

5. 结论

激光雷达是自动驾驶环境感知系统中重要的传感器之一。本研究通过在预实验中证实了污染在激光雷达激光发射器处对激光雷达影响最大,在接下来的正式实验中研究了不同模拟污染物对激光雷达点云质量的影响,主要结论如下:

1) 污染对激光雷达测距性能无显著影响。

2) 不同颜色亚克力片和不同厚度橡胶片可以模拟灰尘污染。其中不透明亚克力片和橡胶片可以模拟重度灰尘污染,不同颜色的半透明亚克力片可以模拟轻度灰尘污染,通过改变亚克力片的颜色和透明度可以模拟不同程度的灰尘污染。

在未来的研究工作中,基于该研究基础,可以有以下几个研究方向:

1) 研究不同颜色、不同材质污染模拟程度不一样的本质原因。

2) 通过了解灰尘污染对激光雷达性能的影响,开发灰尘污染识别算法,便于保持激光雷达的稳定感知。

参考文献

参考文献

[1] Liu, J., Sun, Q., Fan, Z., et al. (2018) TOF Lidar Development in Autonomous Vehicle. 2018 IEEE 3rd Optoelectronics Global Conference (OGC), Shenzhen, 4-7 September 2018, 185-190.
https://doi.org/10.1109/OGC.2018.8529992
[2] Zhang, J., Xiao, W., Coifman, B., et al. (2020) Vehicle Tracking and Speed Estimation from Roadside Lidar. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13, 5597-5608.
https://doi.org/10.1109/JSTARS.2020.3024921
[3] Tang, L., Shi, Y., He, Q., Sadek, A.W. and Qiao, C. (2020) Performance Test of Autonomous Vehicle Lidar Sensors under Different Weather Conditions. Transportation Research Record, 2674, 319-329.
https://doi.org/10.1177/0361198120901681
[4] Heinzler, R., Schindler, P., Seekircher, J., Ritter, W. and Stork, W. (2019) Weather Influence and Classification with Automotive Lidar Sensors. 2019 IEEE Intelligent Vehicles Symposium (IV), Paris, 9-12 June 2019, 1527-1534.
https://doi.org/10.1109/IVS.2019.8814205
[5] Filgueira, A., González-Jorge, H., Lagüela, S., et al. (2017) Quan-tifying the Influence of Rain in LiDAR Performance. Measurement, 95, 143-148.
https://doi.org/10.1016/j.measurement.2016.10.009
[6] Zhang, C., Huang, Z., Ang, M.H., et al. (2021) Lidar Degradation Quantification for Autonomous Driving in Rain. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, 27 September-1 October 2021, 3458-3464.
https://doi.org/10.1109/IROS51168.2021.9636694
[7] Goodin, C., Carruth, D., Doude, M., et al. (2019) Predict-ing the Influence of Rain on LIDAR in ADAS. Electronics, 8, Article 89.
https://doi.org/10.3390/electronics8010089
[8] 邢星宇, 黄安, 姜为, 等. 降雨条件下车载激光雷达感知局限性[J]. 同济大学学报(自然科学版), 2023, 51(5): 785-793.
[9] Li, Y., Duthon, P., Colomb, M., et al. (2020) What Happens for a ToF LiDAR in Fog? IEEE Transactions on Intelligent Transportation Systems, 22, 6670-6681.
https://doi.org/10.1109/TITS.2020.2998077
[10] Kutila, M., Pyykönen, P., Holzhüter, H., et al. (2018) Automotive LiDAR Performance Verification in Fog and Rain. 2018 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, 4-7 November 2018, 1695-1701.
https://doi.org/10.1109/ITSC.2018.8569624
[11] Yang, T., Li, Y., Ruichek, Y., et al. (2021) Performance Modeling a Near-Infrared Tof Lidar under Fog: A Data-Driven Ap-proach. IEEE Transactions on Intelligent Transportation Systems, 23, 11227-11236.
https://doi.org/10.1109/TITS.2021.3102138
[12] Schlager, B., Goelles, T., Muckenhuber, S. and Watzenig, D. (2022) Contaminations on Lidar Sensor Covers: Performance Degradation Including Fault Detection and Modeling as Potential Applications. IEEE Open Journal of Intelligent Transportation Systems, 3, 738-747.
https://doi.org/10.1109/OJITS.2022.3214094
[13] Rivero, J.R.V., Tahiraj, I., Schubert, O., et al. (2017) Character-ization and Simulation of the Effect of Road Dirt on the Performance of a Laser Scanner. 2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC), Yokohama, 16-19 October 2017, 1-6.
https://doi.org/10.1109/ITSC.2017.8317784
[14] Schlager, B., Goelles, T. and Watzenig, D. (2021) Effects of Sensor Cover Damages on Point Clouds of Automotive Lidar. 2021 IEEE Sensors, Sydney, 31 October-3 November 2021, 1-4.
https://doi.org/10.1109/SENSORS47087.2021.9639697
[15] Trierweiler, M., Caldelas, P., Gröninger, G., et al. (2019) Influence of Sensor Blockage on Automotive LiDAR Systems. 2019 IEEE Sensors, Montreal, 27-30 October 2019, 1-4.
https://doi.org/10.1109/SENSORS43011.2019.8956792
[16] James, J.K., Puhlfürst, G., Golyanik, V., et al. (2018) Classification of Lidar Sensor Contaminations with Deep Neural Networks. Proceedings of the Computer Science in Cars Symposium (CSCS), Munich, 13-14 September 2018, 1-8.
[17] Xia, S., Chen, D., Wang, R., Li, J. and Zhang, X. (2020) Geometric Primitives in LiDAR Point Clouds: A Review. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13, 685-707.
https://doi.org/10.1109/JSTARS.2020.2969119
[18] Börcs, A., Nagy, B. and Benedek, C. (2017) Instant Object Detection in Lidar Point Clouds. IEEE Geoscience and Remote Sensing Letters, 14, 992-996.
https://doi.org/10.1109/LGRS.2017.2674799
[19] 姜海娇, 来建成, 王春勇, 等. 激光雷达的测距特性及其测距精度研究[J]. 中国激光, 2011, 38(5): 229-235.
[20] Stanford Artificial Intelligence Laboratory (2018) Robotic Op-erating System.
https://www.ros.org/