基于深度学习的复杂天气自动驾驶障碍物检测研究

Research on Autonomous Driving Obstacle Detection in Complex Weather Based on Deep Learning

摘要: 在自动驾驶领域，精准识别道路障碍物是保障行车安全与实现智能规划的核心技术基础。然而，在夜间低照度、雨雾等复杂天气条件下，道路场景可见性显著下降，目标边缘模糊、尺度变化剧烈，传统目标检测算法在实际应用中常面临漏检和误检的挑战，难以满足系统对可靠性的要求。为此，本研究聚焦于复杂天气环境下的自动驾驶障碍物识别问题，引入了一种基于YOLOv8改进的目标检测模型。首先，分析了复杂天气与光照变化对自动驾驶视觉感知的影响，在此基础上构建了包含正常天气、夜间、恶劣天气及夜间叠加恶劣天气等多种典型场景的数据集。其次，以YOLOv8为基线模型，从特征表达能力与训练稳定性角度对网络结构和训练策略进行改进，以提升模型在复杂场景中对低可见度目标的辨识能力。最终，通过多组对比实验，系统性地评估了改进模型在不同工况下的检测性能。实验结果表明，与基线模型相比，所提出的方法在复杂天气场景下取得了更优的检测效果，尤其在夜间与恶劣天气等复杂气象条件下，模型整体性能及环境适应能力均获得显著改善。研究结果表明，该方法能够有效增强自动驾驶系统在复杂环境下的障碍物检测能力，为实际道路场景中的自动驾驶感知提供了有力支持。

Abstract: In the field of autonomous driving, the accurate identification of road obstacles is a foundational technology for ensuring driving safety and enabling intelligent planning. However, under complex weather conditions such as low illumination at night, rain, and fog, the visibility of road scenes significantly decreases, with blurred object edges and drastic scale variations. Traditional object detection algorithms often face challenges of missed and false detections in practical applications, making it difficult to meet the system’s reliability requirements. To address this, this study focuses on the obstacle recognition problem for autonomous driving in complex weather environments and introduces an improved object detection model based on YOLOv8. First, the impact of complex weather and illumination changes on visual perception in autonomous driving was analyzed. Based on this, a dataset was constructed containing various typical scenarios, including normal weather, nighttime, adverse weather, and combined nighttime with adverse weather conditions. Second, using YOLOv8 as the baseline model, improvements were made to the network structure and training strategies from the perspectives of feature representation capability and training stability, aiming to enhance the model’s ability to recognize low-visibility targets in complex scenes. Finally, through multiple sets of comparative experiments, the detection performance of the improved model under different operating conditions was systematically evaluated. The experimental results show that compared to the baseline model, the proposed method achieves superior detection performance in complex weather scenarios. Particularly under challenging meteorological conditions such as nighttime and adverse weather, both the overall performance and environmental adaptability of the model are significantly improved. The findings demonstrate that this method can effectively enhance the obstacle detection capability of autonomous driving systems in complex environments, providing robust support for autonomous driving perception in real-world road scenarios.

1. 引言

随着人工智能、车联网与智能交通系统的快速发展，自动驾驶技术逐渐从实验室研究阶段向实际道路应用阶段过渡。自动驾驶汽车通过环境感知、行为决策与运动控制三大模块实现自主导航，其中感知系统负责对道路环境中的关键目标进行实时识别与理解。作为环境感知体系中的关键组成部分，障碍物检测的性能水平对自动驾驶系统的运行安全与稳定性具有重要影响。

在光照适宜与良好天气条件下，基于深度学习的目标检测算法已在多个公开数据集上实现了显著突破。然而，真实道路环境远比标准测试场景复杂。夜间行驶过程中，受限于照明条件不足、光源分布不均以及强光干扰等因素，图像中目标的对比度与纹理信息明显下降；在雨、雾、雪等复杂气象环境下，空气介质对光的散射与吸收作用会进一步弱化障碍物的边缘轮廓与结构特征。这些因素共同导致自动驾驶视觉感知系统在复杂天气场景下面临严峻挑战[1]。

已有研究从多个层面对交通场景中的视觉感知问题展开了深入探讨。冉昊[1]针对复杂交通环境下的车道线检测问题进行了研究，验证了深度学习模型在复杂背景中的特征提取能力；吕硕[2]和李悦[3]分别从车辆检测及车辆与行人联合检测角度，对深度学习模型在道路场景中的应用进行了系统分析。然而，上述研究多集中于正常光照或轻度复杂场景，在极端天气条件下的泛化能力仍有待进一步提升。

针对恶劣天气对目标检测性能的制约，梁馨予[4]聚焦于雾天环境下的目标识别问题展开研究，通过引入针对性结构改进提升了模型在低能见度场景中的检测效果。谢磊磊[5]则从整体系统角度出发，对自动驾驶复杂场景下多目标检测网络的设计方法进行了系统研究，指出多尺度特征融合与上下文信息建模对复杂环境感知具有重要意义。

在众多目标检测算法中，YOLO系列凭借其端到端的网络结构和良好的实时性，已成为自动驾驶视觉感知领域的主流选择之一。作为该系列的最新版本，YOLOv8在检测精度与推理效率方面均实现了进一步优化。艾一鸣[6]、张龙乐等[7]基于YOLOv8开展了改进研究，在复杂背景或小目标检测方面取得了一定成效。林首君[8]针对复杂场景下目标尺度变化、遮挡及低光照等问题，对YOLO系列模型进行了改进，通过引入多尺度特征融合与注意力机制，提高了复杂环境中多目标检测的精度与鲁棒性。然而，针对夜间与恶劣天气等复杂驾驶场景的系统性实验分析仍相对不足。

在上述研究背景下，本文选取YOLOv8作为基础检测模型，针对复杂天气条件下的自动驾驶障碍物检测问题，对模型结构及训练策略进行了改进，并通过多场景对比实验，验证了所提方法在实际应用中的有效性与可行性。

2. 相关技术与研究现状

2.1. 自动驾驶障碍物检测任务分析

自动驾驶障碍物检测是自动驾驶感知系统中的核心任务，其主要目标是对道路环境中的车辆、行人、自行车等交通参与者进行实时检测与定位。检测结果将直接为后续的路径规划与决策模块提供关键信息，因此对检测精度与稳定性提出了较高要求。

在实际道路环境中，自动驾驶障碍物检测面临多方面挑战。一方面，道路场景目标种类繁多、尺度跨度大，小尺度目标及远距离目标在图像中占比低、特征表达不足；另一方面，复杂天气条件(如夜间、雨雾、雪天)会导致图像对比度下降、目标边缘模糊，进一步加剧检测难度。在此背景下，如何在保证实时性的同时提高复杂环境下的检测鲁棒性，成为当前自动驾驶视觉感知领域的重要研究问题[6]。

2.2. 基于深度学习的目标检测方法

近年来，基于深度学习的目标检测算法在计算机视觉领域发展迅速，YOLO系列凭借端到端的结构设计与良好的实时性，被广泛应用于即时感知任务。作为该系列的最新代表，YOLOv8在网络架构、检测头设计以及训练机制等方面进行了多方位优化，相较于YOLOv5、YOLOv7等早期版本，在模型轻量化、检测精度与训练效率之间取得了更好的平衡，目前在实时目标检测的研究与应用中受到广泛关注。

在网络结构层面，YOLOv8采用了无锚框(Anchor-Free)检测机制，将目标定位过程转化为关键点回归问题，从而降低了对预设锚框尺寸与比例的依赖程度。该设计有效避免了传统Anchor-Based方法中锚框参数选择不合理所带来的性能波动问题，同时增强了模型对不同尺度目标的适应能力，使其在目标尺度多变的交通场景中具有更强的适应性与泛化能力。

在检测头设计方面，YOLOv8采用了解耦检测头结构，对目标分类和边界框回归任务进行分离建模。通过将不同任务的特征学习过程相互独立，模型能够更加专注于各自的优化目标，从而缓解分类与定位任务之间的梯度干扰问题。该结构设计在提升训练稳定性的同时，也有助于提高整体检测精度。

在训练策略方面，YOLOv8对损失函数构成、样本分配方式以及数据增强策略进行了进一步调整和优化，使模型在训练阶段能够更加平稳地收敛。同时，YOLOv8保持了端到端的处理流程，并具备较高的推理效率，使其在自动驾驶等对实时性要求严格的场景中表现出良好的实用价值。

2.3. YOLOv8算法研究进展

YOLOv8作为YOLO系列的较新迭代版本，在前代模型的基础上，对网络架构与训练策略均进行了多方位优化。YOLOv8采用Anchor-Free机制，避免了锚框尺寸设计对模型性能的影响，同时通过解耦检测头结构提升了分类与回归任务的学习效率。

3. 数据集构建与预处理

3.1. 数据集来源与场景构成

本文所使用的数据集为公开自动驾驶数据集BDD100K，如表1所示，数据集包含正常天气、夜间和恶劣天气等多种场景，该数据集包含约10万张图像，适合用于复杂天气下的目标检测研究。

Table 1. Shows the sample distribution of various weather scenarios and target categories in the dataset

表1. 数据集各天气场景与目标类别样本分布

天气场景	图像数量	车辆目标	行人目标	自行车目标	总计目标数
正常天气	8000	15,200	4500	1800	21,500
夜间	6500	12,300	3200	1200	16,700
恶劣天气	5200	9800	2600	900	13,300
夜间 + 恶劣	3800	6700	1800	600	9100
总计	23,500	44,000	12,100	4500	60,600

3.2. 数据预处理方法

为提高模型训练效果，对原始数据进行了如下预处理：

(1) 将图像分辨率统一调整为640 × 640；

(2) 对输入图像的像素值进行归一化处理；

(3) 在训练阶段采用随机翻转、亮度调整等数据增强方法。

本文在训练阶段采用了以下数据增强策略：

(1) 随机水平翻转(概率0.5)；

(2) 随机亮度调整(±20%)；

(3) 随机对比度调整(±20%)；

(4) Mosaic数据增强(每批次4张图拼接)；

(5) MixUp增强(概率0.2)；

(6) 随机遮挡(Random Erasing)。

3.3. 数据集划分方案

数据集按照训练集、验证集和测试集进行划分，其样本数量分布如图1所示。

Figure 1. Shows the distribution of sample sizes in the dataset

图1. 数据集样本数量分布图

4. 改进YOLOv8模型设计

4.1. 基线模型结构分析

YOLOv8网络整体由主干网络(Backbone)、特征融合层(Neck)和检测头(Head)三个部分组成。主干网络负责从输入图像中提取多尺度特征，通过逐层下采样获取不同层级的语义信息；特征融合层采用金字塔结构，融合高层语义与低层细节特征；检测头则对融合后的特征进行解耦预测，分别完成目标分类和边界框回归任务。

尽管YOLOv8在常规环境下表现出较好的检测性能，但在复杂气象条件下，低层特征易受噪声干扰，高层语义特征对小目标的表达能力也受到限制，导致整体检测性能下降。

4.2. 复杂天气场景下的检测问题分析

Figure 2. Schematic diagram of the improved YOLOv8 network structure

图2. 改进YOLOv8网络结构示意图

在夜间和恶劣天气条件下，道路目标往往呈现出目标边缘模糊、对比度低、背景干扰强等特点。此类场景中，模型对低层细节特征的依赖程度显著提高，而传统检测模型在特征融合过程中容易造成细节信息丢失，从而影响检测精度。

针对上述复杂天气场景下的检测问题，本文从特征增强、特征融合和训练策略三个角度对YOLOv8模型进行改进，改进后的整体网络结构如图2所示。

如图所示，本文在YOLOv8基线模型基础上进行了三处核心改进：① 主干网络中SPPF模块后引入CBAM注意力机制(黄色高亮)，通过通道与空间维度双重注意力增强特征表达；② 特征融合层将PANet替换为BiFPN结构(绿色高亮)，在特征拼接节点引入可学习权重，实现多尺度特征的自适应融合；③ 检测头保持解耦结构(红色区域)，分类与回归分支独立优化。三大改进协同作用，提升模型在复杂天气场景下的检测鲁棒性。

4.3. 损失函数设计与优化

模型训练过程中采用如下综合损失函数：

$\text{L}={\text{L}}_{\text{cls}}+{\lambda }_1{\text{L}}_{\text{box}}+{\text{λ}}_2{\text{L}}_{\text{obj}}$ .

其中，${\text{L}}_{\text{cls}}$ 为分类损失，用于约束目标类别预测；${\text{L}}_{\text{box}}$ 表示边界框回归损失，用于提高模型对目标定位的准确性；${\text{L}}_{\text{obj}}$ 为目标置信度损失，用于抑制背景区域的干扰；${\lambda }_1$ 和${\lambda }_2$ 为权重系数，用于在训练过程中平衡各项损失的影响。

通过合理设置损失函数权重，${\lambda }_1=0.05，{\lambda }_2=0.5$ 可以有效提高模型在复杂天气条件下的训练稳定性，减少梯度震荡现象，从而提升整体检测性能。

5. 实验设计与结果分析

5.1. 实验环境与评价指标

为保证实验结果的客观性、公平性与可重复性，本文所有实验统一的硬件与软件环境下完成。模型训练与测试过程采用相同的数据集划分方式、输入分辨率以及训数设置，不同模型之间仅在网络结构和相关改进策略上存在差异，以保证实验对比结果的合理性与一致性。实验过程中，测试集未采用任何形式的数据增强或额外参数调优，以避免人为因素对实验造成干扰。

面向自动驾驶应用在检测精度、模型轻量化与实时性等方面的综合需求，本文采用mAP@0.5 (%)、参数量(M)以及FPS (帧/秒)作为评价指标，评估模型在不同天气与光照条件下的检测性能。其中，mAP@0.5表示在交并比阈值为0.5时模型的平均精度均值，是目标检测领域常用的性能评价指标。参数量反映模型结构的复杂程度，与模型的存储开销和部署成本密切相关；FPS用于衡量模型在推理阶段的实时性能，是评价目标检测算法是否满足自动驾驶实时性需求的重要指标。

在mAP@0.5的计算中，依据预测边界框与真实标注框之间的交并比(IoU)进行匹配，若二者IoU值大于0.5，则判定该预测为正确检测。进一步，结合不同目标类别及多个置信度阈值下的检测结果进行统计与均值计算，得到模型的整体检测精度，以此衡量其在目标检测任务中的综合性能表现。

FPS指标通过统计模型在固定硬件环境下单位时间内可完成的图像推理数量获得，其数值越高，表明模型具有更强的实时处理能力。在复杂天气自动驾驶场景中，算法不仅需要具备较高的检测精度，还需在保证实时性的前提下稳定运行，因此，FPS是评估模型工程实用性的关键性能指标。

5.2. 不同天气与光照场景下的性能对比分析

为全面评估模型在实际自动驾驶环境中的适应能力，本文在多种典型场景下对模型性能进行了测试，包括正常天气、夜间、恶劣天气以及夜间叠加恶劣天气等情况。基线模型与改进模型在不同天气场景下的性能对比如图3所示。

Figure 3. Shows the performance comparison between the baseline model and the improved model in different weather scenarios

图3. 基线模型与改进模型在不同天气场景下的性能对比

实验结果表明，在正常天气条件下，改进YOLOv8模型与基线模型的检测性能差异相对较小。这主要是由于在光照充足、目标轮廓清晰的情况下，基线模型已能够较好地提取目标特征，模型改进对性能提升的影响相对有限。

然而，在夜间场景中，由于整体亮度下降、目标与背景对比度减弱，基线模型的检测性能出现明显下降，部分小目标和远距离目标存在漏检现象。相比之下，改进模型在夜间条件下仍能够保持较为稳定的检测精度，表明其在弱光环境中具备更强的特征建模能力。

在恶劣天气条件(如雨天或雾天)下，空气介质对光线的散射与吸收进一步削弱了目标的边缘信息，背景噪声显著增强。实验结果显示，基线模型在此类场景下误检率和漏检率均有所上升，而改进模型在复杂背景下对目标区域的判别能力更强，整体检测性能下降幅度较小。

在夜间叠加恶劣天气的极端场景中，改进模型相对于基线模型的性能优势最为明显，充分表明所提方法在复杂驾驶场景中具有更强的稳定性与环境适应性。

5.3. 定量实验结果与性能对比分析

为从检测精度、模型规模以及实时性能多个维度对改进之后的模型进行综合评估，本文选取mAP@0.5 (%)、参数量(M)和FPS作为主要评价指标，对基线YOLOv8模型与改进YOLOv8模型在相同测试集和实验环境下的检测性能进行定量对比分析，其结果如表2所示。

Table 2. Performance comparison analysis

表2. 性能对比分析

模型	mAP@0.5 (%)	参数量(M)	FPS
YOLOv8 (基线)	73.2	68.2	45
改进YOLOv8	76.8	69.5	42

从检测精度指标mAP@0.5来看，基线YOLOv8模型在复杂天气测试集上的mAP@0.5为73.2%，改进后的YOLOv8模型在mAP@0.5指标上提升至76.8%，相较于基线模型绝对提升了3.6个百分点。这一结果表明，通过模型结构与训练策略的优化，模型在复杂天气条件下对目标的整体检测精度获得了显著改善，尤其在目标特征受光照和天气干扰较强的情况下，改进模型表现出更强的判别能力。

在模型复杂度方面，通过参数量化指标可以发现，基线模型与改进模型的参数规模分别为68.2 M和69.5 M。参数量仅增加1.3 M，增长幅度较小，说明改进模型并未通过大幅增加网络规模来换取性能提升，而是在特征利用效率和结构设计层面实现了更加合理的优化。这一特点在自动驾驶各种场景中模型的部署和存储具有里程碑的意义。

从实时性能角度分析，基线YOLOv8模型的推理速度为45 FPS，改进模型的推理速度为42 FPS。尽管改进模型在FPS指标上略有下降，但整体推理速度仍保持在实时检测要求范围内，能够满足自动驾驶系统对低延迟感知的基本需求。结合检测精度的明显提升，可以认为该速度下降是可接受的精度–效率权衡结果。

综合以上定量分析结果可以得出结论：在仅增加少量参数开销的情况下，改进后的YOLOv8模型在复杂天气条件下的检测精度得到显著提升，同时仍保持较好的实时性能，体现了良好的工程实用性与应用价值。

5.4. 训练过程与模型收敛性分析

为分析模型在训练过程中的收敛特性与稳定性，本文对训练集、验证集及测试集上的性能变化进行了统计，其变化曲线如图4所示。

Figure 4. Shows the variation of model performance with the number of training rounds

图4. 模型性能随训练轮次的变化

从训练曲线可以看出，改进后的YOLOv8模型在训练初期即表现出快速收敛趋势，表明模型结构优化并未引入额外的训练复杂度。在随后的训练阶段，模型性能稳步提升，曲线变化平滑，未出现明显的震荡现象，表明训练过程整体较为稳定。

同时，对比验证集与测试集曲线可以发现，两者变化趋势基本一致，未出现明显分离现象，说明模型在训练过程中未发生严重过拟合问题。这表明所采用的训练策略和模型改进在提升检测性能的同时，仍保持了良好的泛化能力。

6. 结论与展望

本文围绕复杂天气条件下自动驾驶障碍物检测性能下降的问题，基于YOLOv8目标检测模型开展了系统研究与改进设计。针对夜间低照度、雨雾等复杂天气场景中目标特征弱化、背景干扰增强等实际问题，从模型结构与训练策略角度对YOLOv8进行了优化，并在多场景数据集上对改进模型的性能进行了全面的实验验证。

进一步的多场景对比实验表明，改进模型在夜间、恶劣天气以及夜间叠加恶劣天气等复杂场景下均表现出更强的鲁棒性和稳定性，验证了本文方法在真实自动驾驶场景中的适用性与工程应用价值。训练过程分析结果显示，改进模型收敛速度稳定，验证集与测试集性能变化趋势一致，未出现明显过拟合现象，说明所采用的模型改进策略具有较好的泛化性能。

尽管本文方法在复杂天气条件下取得了较为理想的检测效果，但仍存在一定改进空间。未来工作将进一步针对极端天气条件(如强雾、暴雪等)开展更深入的研究，并探索引入多传感器信息融合策略，从而增强自动驾驶系统在复杂环境下的整体感知稳定性。同时，还将从模型轻量化和部署优化角度出发，进一步提升算法在实际车载平台上的应用性能。