1. 引言
森林作为陆地生态系统最重要的组成部分,不仅为动植物提供了基本的栖息地,而且在维持生态系统平衡方面发挥着重大作用[1]。森林吸收大量的CO2,在碳循环中起着不可替代的作用,同时在防灾防疫、调节气候、保持水土等方面拥有巨大的价值[1]。然而,森林火灾是造成全球森林损失和人员伤害并影响森林生态系统安全的重大森林灾害。所以,有必要对森林火灾进行识别研究,为后续救援提供条件。近年来,森林火灾事件频发,造成了巨大的人员伤亡与经济损失并且极大地影响了生态系统平衡,森林火灾的检测与提前预警显得越来越重要。传统的森林火灾检测方法主要有卫星监测、航空监测,人工地面巡护等方法[2]。随着人工智能技术的不断发展,基于深度学习的目标检测技术逐渐应用到森林火灾检测中,许多研究人员对此进行了大量研究。在森林火灾识别领域,利用目标检测技术进行火灾检测的研究已经取得了显著进展。
总之,随着深度学习的发展将推动检测算法向着更智能化和便捷化的方向发展,但仍存在一些挑战,如复杂环境下的准确性、实时性和可靠性等问题。本文将详细阐述四种算法,总结每种算法的基本原理、研究现状及其存在不足,并为下一步研究提出展望。
2. 森林火灾检测算法分类
森林火灾检测算法是指用于检测森林区域中火焰和烟雾目标的算法。这些算法旨在通过分析图像或传感器数据,识别可能发生在森林当中的火苗、烟雾、火焰等,并提供相关的检测结果和信息。如图1所示,森林火灾检测算法主要分为两类,一类为无人机图像检测应用各种算法,另一类为深度学习算法,如Faster R-CNN算法、YOLO算法和SSD算法。
3. 森林火灾检测数据集以及性能评估指标
森林火灾检测的数据集构建是实现高效火灾检测的关键步骤之一。高质量的数据集能够提供丰富的样本,帮助训练出更加精确的火灾检测模型。文献[3]在研究中提到,由于森林火灾检测公开数据集稀缺,他们通过收集和手动标注森林火灾图像,结合公开数据集中的部分图像,建立了包含红外和可见光图像的森林火灾数据集。该数据集覆盖了火灾现场的多个关键元素,如着火点、烟雾和人员,为算法的训练和测试提供了丰富支持。此外,该研究还提出了以“Fire”、“Smoke”和“Person”作为多目标进行检测的改进方案,以解决现有方法中的单一目标检测问题。文献[4]提供了一个使用无人机在北亚利桑那州进行预定的堆火燃烧时拍摄的航空图像FLAME (Fire Luminosity Airborne-Based Machine Learning
Figure 1. Classification of forest fire detection algorithms
图1. 森林火灾检测算法分类
Evaluation)数据集。该数据集包括不同的存储库,包括无人机摄像头记录的原始航空视频和红外热像仪记录的原始热图视频。为了方便研究人员,根据该数据集定义了两种著名的研究:火灾分类和火灾分割。对于神经网络和火灾分类等方法,为训练阶段标注了39,375帧(“火焰”和“非火焰”)。另外,还为测试数据标注了8617帧。对于火灾分割,选择了2003帧,并为此生成了2003个掩模作为地面真实数据,每个像素都进行了标注。文献[5] Khan等学者提出了一种基于VGG19的迁移学习方法,通过在DeepFire数据集上进行实验,验证了该方法在森林火灾图像分类任务中的有效性,其准确率达到了95.0%,精确率为95.7%,召回率为94.2%
以上证明构建高质量森林火灾检测数据集对于提升火灾检测的准确性和效率至关重要。接下来简要说明一下该领域常用的性能评估指标:mAP、FPS、Precision、Recall和IOU,以及它们各自有着重要的意义。
1、Precision (精确率):衡量模型预测为火灾的样本中有多少是真正的火灾,强调减少误报,避免资源浪费。
2、Recall (召回率):反映实际发生的火灾中有多少被模型正确检测到,着重于避免漏报,以预防灾难性后果。
3、mAP (mean Average Precision):综合考虑不同IoU阈值下的Precision-Recall曲线下的面积,评估模型在不同检测难度下的整体性能,尤其适用于火焰和烟雾形状不规则的火灾检测场景。
4、FPS (Frames Per Second):表示模型每秒处理的帧数,直接关联到火灾检测的实时性,对于火势蔓延快的场景至关重要,确保及时响应。
5、IOU (Intersection over Union):衡量预测框与真实框的重叠程度,精准评估模型预测火灾位置的准确性,对资源部署具有指导意义。
这些指标共同作用,全面评估火灾检测模型的性能,确保其在实际应用中既高效又可靠。
3. 无人机图像检测应用各种算法
随着无人机技术和深度学习的发展,结合无人机和深度学习实时获取和处理火场信息受到越来越多研究者的关注。深入剖析无人机技术在森林火灾监测中的应用情况,解析无人机系统的构成及其核心技术,探讨其在火灾预防、火情监测、灾后评估等环节的实际运用,以期为增强森林火灾监测能力,更好地预防和处理森林火灾提供参考依据[6]。
文献[7]提出了检测效率高、检测目标种类多的无人机森林火灾图像检测方法(YOLO-TF),YOLO-TF架构如图2所示,该算法引入混合注意力机制,并与基于YOLOv5的火灾检测算法比较。实验结果表明,本文所提的YOLO-TF在检测精度和检测速度优于YOLOv5算法,有效证明所提检测方法在森林火灾监测任务中的可行性和有效性。
Figure 2. YOLO-TF architecture
图2. YOLO-TF架构
文献[8]提出将算法部署在了NVIDIA Jetson Xavier NX开发板上,每秒可对26.74帧图像进行实时检测。提出的两种改进算法,K均值聚类算法与YOLOv4-Mobile Net V3算法适合部署在以无人机为平台的微型化嵌入式系统上。实现了可以搭载在无人机平台的实时森林火灾检测系统。同样文献[9]选择将Pruned+KD模型部署在嵌入式开发板上,且与YOLOv4模型相比,其参数量降低了95.87%,模型推理时间减少了74.36%,火灾检测的精度只降低了5.80%,准确率达到99.35%。以及实现部署在NVIDIA Jetson Xavier NX开发板上,每秒可对26.74帧图像进行实时检测。
4. 基于深度学习的森林火灾检测算法
随着人工智能的发展,基于卷积神经网络的目标检测算法已在多个领域得到广泛应用,包括医学影像、人脸识别等。这些算法的成功应用为采用卷积神经网络对森林火灾进行检测提供了坚实的基础[10]。其中不同学者分别提出了双阶段检测算法R-CNN系列算法和单阶段检测算法YOLO系列算法以及SSD算法[11]。
4.1. Faster R-CNN算法
Faster-RCNN网络结构是一个两阶段的目标检测框架,主要包括特征提取网络、RPN、检测分类头三部分。第一,特征提取网络通过CNN提取输入图像的多尺度特征图,为后续检测任务生成基础特征表示。第二,RPN在特征图上滑动生成一系列锚框,预测每个锚框属于前景或背景概率,同时回归其边界框偏移,以此来生成候选区域(region of interest, RoI)。RoI通过RoI Align层与特征图对齐后输入检测分类头。第三,检测分类头利用全连接层提取特征向量,通过Softmax函数完成目标分类,通过回归模块调整目标边界框位置[9]。网络优化时采用联合损失函数,以此来确保模型能高效学习目标检测任务,可表示为
(1)
式中:
为分类损失;L为总损失函数;
为边界框回归损失;λ为分类与回归损失的权重因子[12]。
针对小目标的烟雾和火焰检测困难的问题以及可以以准确检测不同野外环境和不同天气条件下的烟雾和火焰。文献[13]提出提出改进的Faster R-CNN模型,以准确检测不同野外环境和不同天气条件下的烟雾和火焰。通过将ResNeSt50主干网络与RFP结合以提升多尺度特征检测能力。为了提高边界框回归速率和定位精度,其次使用CIoU Loss回归损失函数替代原Smooth L1损失函数。针对小目标的烟雾和火焰检测困难的问题,采用Focal Loss分类损失函数替代原Cross-EntropyLoss损失函数。通过运用Kmeans++聚类算法对烟雾和火焰数据进行anchor尺寸优化,以提高算法的检测准确率。最终,改进的FasterR-CNN检测模型能有效检测在复杂山林背景、各种天气下的烟雾和火焰。改进后模型检测的平均精度均值提高了7.39%,达到了95.54%,文献[14]提出通过在Faster R-CNN的主干网络中引入特征金字塔结构,实现了有效检测不同尺度烟雾目标的效果。在满足实时性要求的同时,双段式检测模型Faster R-CNN可以进一步提高准确度。以及为了提高召回率,在模型的输出结果筛选阶段,本文采用低阈值策略,保留更多的真实烟雾检测框。另外考虑到森林火灾中的真实场景干扰较多,召回率的提高导致误报率较高,提出Faster R-CNN + Merge Box + MR (2 + 1) D的整体框架,主要包括候选框融合模块Merge Box连接Faster R-CNN与MR (2 + 1) D。通过实验结果表明验证了所提框架的有效性。
4.2. YOLO算法
为解决Two-Stage算法提取特征区域重复、检测速度慢等问题,2016年Redmon等人将目标检测看成回归问题,提出了基于端到端的YOLOv1算法,直接获取目标的类别和位置;此后相继出现了YOLO多个版本的进阶模型[15]。YOLO算法是目标检测中研究的热点方向之一。近几年,随着YOLO系列算法及其改进模型的不断提出,使其在目标检测领域取得了优异的成绩,被广泛应用于现实中各个领域。同时结合目标检测目前存在的实际问题,总结并展望了YOLO算法的发展方向。
文献[16]构建了空间金字塔池化模块和特征金字塔路径增强模块。主要将两个模块嵌入到YOLO v3模型中,形成YOLO v3-SPP-PAN模型。其中空间金字塔池化模块可以有效提取局部和全局特征,特征金字塔路径增强模块可以有效利用低层位置特征并进行多尺度特征融合。之后在此改进基础上又加入CBAM注意力模块,CBAM模块可通过通道注意力和空间注意力专注于森林火灾烟雾特征。最后两种改进策略相互结合与单独yolov3算法相比,模型测试的精准率、召回率以及平均精度均有所提高且在97%以上。
文献[17]针对火灾发生时烟雾及火焰目标在复杂背景下检测困难的问题,通过引入MobileNetv3特征提取网络、聚焦(Focus)和空间金字塔池化(SPP)等方法对YOLOv3算法进行改进,以提高对火灾发生时烟雾及火焰的精确识别。如图3所示的MobileNetv3骨干网络的MobileNetv3 + YOLOv3模型结构,对YOLOv3模型的骨干网络精简后,极大地降低了计算量。并引入聚焦模块和SPP结构,全方面保证特征数据不会丢失信息以及增强检测精度。改进后的MobilenNetv3 + YOLOv3 + SPP算法的实时检测帧率达到61FPS,目标识别准确率88.73%,满足实时检测的要求。
Figure 3. Model structure of MobileNetv3 + YOLOv3
图3. MobileNetv3 + YOLOv3模型结构
能在火灾发生的初期及时发现小而稀薄的烟雾,但目前的烟雾检测算法普遍存在检测精度较差,错检、漏检较多的问题。文献[18]提出一种基于改进YOLOv5的烟雾检测算法。引入了BiFusion Neck融合结构,并对本森林火灾烟雾检测算法中的损失函数进行了改进,使用SIOU作为损失函数,使网络考虑真实框与预测框之间的方向,加快收敛速度。结果表明本文改进算法要明显优于SSD和原始YOLOv5算法,同时对于YOLOv5s,准确率和召回率都提升了约3%。特别是在一些小而模糊的烟雾图片上,存在的漏检问题得到明显改善。又针对火焰检测模型检测精度低、小目标火焰漏检率高以及火焰误判等问题,文献[16]首先用Swin Transformer Block替换了主干网络中第四层C3模块;再添加第四尺度检测头专注于提取小目标的特征;最后,使用SKNet注意力机制和WIo U损失函数提高火焰检测的整体性能。经过实验验证,本文提出的改进方法在性能上显著超越了原始的YOLOv5s模型,其mAP值达到了95.1%。之后针对改进后的算法模型参数量和运算数较大和实时性差等问题,文献[19]设计了轻量化网络模型YOLOv5s-SSKGC用于火灾现场迅速发现火情。融合轻量级的Ghost模块,设计Ghost C3和Ghost Conv替换Neck中的C3和普通卷积,最后用轻量级的通用上采样因子CARAFE替换Upsample模块;以及使用深度可分离卷积取代Backbone的下采样模块。实验结果表明所提出的轻量YOLOv5s-SSKGC模型MAP值达到了94.3%,参数量与YOLOv5s-SSK相比减少了38.9%,浮点运算数减少了55.9%。针对变电站火灾时有发生。为了提升变电站火灾检测的识别精度与实时性,唐心亮、曹旭朝等学者[20]提出一种基于改进YOLOv8n的轻量化变电站火灾检测模型DSCM-YOLOv8n,通过使用轻量级上采样算子DySample,采用Slim-neck结构重新构建颈部与头部网络,引入基于先验卷机的注意力机制CPCA,引入MPDIoU损失函数,实现了mAP相较于YOLOv8n提升3.6%、2.1%,分别达到92.1%和94.5%,小幅度降低了模型参数量和计算量,提升了模型检测效果。目前针对森林火灾检测对实时性要求较高的问题,文献[21]在原始YOLOv8模型的基础上,采用轻量化特征提取网络EfficientNet优化YOLOv8原主干网络CSPDarknet53,实现减少计算量并提高模型的收敛速度,此外,融入SENet注意力机制模块,以增强网络对火灾检测的准确性。使用α-IoU损失函数代替CIoU损失函数来计算定位损失,该函数能够自适应地调整IoU的阈值,更好地处理不同大小和形状的目标,同时提高模型对小目标的检测性能。实验数据显示该方法的mA@0.5P达到了87.2%,FPS提升了17帧,显著提高了火灾检测的实时性。
4.3. SSD算法
2016年由Liu等人提出的Single Shot MultiBox Detector (SSD)算法用以实现目标检测任务的网络,是单阶段目标检测算法中的经典网络,该网络由于可同时兼顾检测速度和检测精度,一经提出就受到了大量关注[22]。
SSD算法网络结构如图4所示。它是一个全卷积网络,由主干网络、辅助特征提取网络以及检测网络三个部分构成。
Figure 4. Network structure of SSD algorithm
图4. SSD算法网络结构
SSD算法相较于双阶段目标检测算法,在检测速度上有很大的优势;相较于早期的单阶段目标检测算法在检测精度上也有更好的表现[22]。
针对传统的烟火检测方法在农田等复杂场景、干扰较多的环境下检测性能低的问题,文献[23]提出在经典SSD模型基础上,引入残差学习模块对基础VGG16网络进行修改,修改特征金字塔网络结构并在改进SSD模型中构建新的特征金字塔,使用组归一化代替批量归一化进行数据归一化处理,最终改进SSD网络结构如图5所示。实验结果表明,改进SSD模型map值达到82.8%,FPS提升到49。发现改进SSD模型更契合农田场景下的烟火目标检测,对小目标检测效果更好。
Figure 5. Improvement of SSD network structure
图5. 改进SSD网络结构
现考虑以往视频烟火检测模型复杂,存在检测精度与速度不能兼顾的问题,文献[24]提出一种改进SSD的轻量化视频烟火检测算法(GSSD)。将SSD算法中的骨干网络替换为GhostNet网络模型,减少算法参数量,提高检测速度,之后通过Concat操作进行多尺度特征融合,提升算法对小目标的检测精度。该GSSD算法相比SSD算法的mAP提高了4.8%,检测速度提升了1.9倍,参数量减少了84.64%。
针对实现森林火灾的监测报警,并辅助有关部门及时发现山火,文献[25]基于TensorFlow框架,采用SSD融合了YOLO的回归思想和Faster R-CNN的候选框机制优化了模型来进行森林火灾检测,既保持了Faster R-CNN的精准性,也具有了YOLO速度快的特性。发现使用该模型对不同大小不同清晰度的森林航拍图片中火焰的检测平均准确率达93%,对于森林航拍视频中火焰的均可检测并标记出,且IOU值达90%以上。
两篇文献[26] [27]分别对改进后的SSD模型与Faster R-CNN,YOLOv3,YOLOv4,SSD和CenterNet五种目标检测算法进行实验结果对比,梅雨翾学者[26]该改进SSD算法在检测速度和检测精度上均优于五种基准算法。其改进算法主要使用MobileNetV2对SSD进行轻量化改造。同样,胡豪爽等[27]汲取了FasterR-CNN和YOLO算法中优秀的设计思想,对于不同大小的待检测目标对象采取不同大小尺度的特征图去预测。首先针对SSD算法中特征提取网络复杂造成计算量较大的问题,将SSD的主干网络由VGG16替换为MobileNet网络,构建成基于MobileNet-SSD的林火检测算法,进行网络结构轻量化的改进。最终实验表明经过改进后的模型在自建的林火测试数据集上的检测准确率高达94.75%。
面对火灾的检测对实时性和精准性要求极高,文献[22]采用三种方法提出基于改进SSD的火焰检测算法,(1) 将卷积注意力模块CBAM引入SSD中,得到改进模型CBAM-SSD;其次在CBAM-SSD模型基础上,引入特征金字塔网络FPN,得到改进模型FCB-SSD。实验结果表明,两种改进模型对小火焰检测效果更好,在平均精度上CBAM-SSD模型比SSD高2.02%、FCB-SSD模型比SSD高2.13%。(2) 提出对CBAM-SSD模型进行轻量化改进。使用Mobilenetv2替换主干网络,使用倒置残差模块替换辅助特征提取网络中的普通卷积模块,以减少模型参数量、计算量,提升模型检测速度。同时,为减小模型轻量化对检测精度的影响,提出使用Kmeans聚类算法设定网络中先验框的长宽比,得到改进模型MCB-SSD。实验结果表明,在平均精度上,MCB-SSD模型比Mobilenetv2-SSD模型高7.43%,比CBAM-SSD高1.88%。(3) 与硬件相结合,在硬件上搭建火焰实时检测系统,实现对场景中的火焰进行实时检测和报警。
5. 存在问题及后续展望
5.1. 存在问题
森林火灾早期火点属于小目标检测范畴,本文主要介绍了Canny算法、Faster R-CNN、YOLO算法和SSD算法对这一类目标检测的应用。对于火点检测识别来说,每种算法都能发挥它们各自的优势,但由于火点早期面积小、背景干扰强(烟雾、云层、树冠遮挡等)等限制性因素,单独使用任何一种算法都会导致识别效果不佳。因此研究人员分别对算法进行结构改进或多模态融合,检测精度和召回率较原始模型均有显著提升。然而,随着森林环境愈发复杂、火情蔓延速度加快,上述算法在实际部署中仍暴露出一系列弊端。
(1) 无人机多源融合航拍检测体系通过搭载可见光、红外和激光雷达等多模态传感器,在百米级高空实现厘米级分辨率的实时成像,可昼夜连续巡护上千公顷林区;然而,森林冠层遮挡、山脊阴影与热气扰流会显著降低图像质量,导致算法难以在单帧画面中直接生成稳定的火点边界框,仍需大量后处理才能准确定位早期火源位置。
(2) YOLO算法凭借单次前向推理即可预测边界框,在火点较大或背景简单时定位快速、准确,但在检测早期微弱火点或受树冠、烟雾遮挡的小火点时,仍易出现漏检与误检,导致初期火情被忽视。
(3) SSD利用多尺度特征图和预定义锚框,在不同分辨率下同步检测火点,通过多层特征融合提升小目标检测性能,相比YOLO在复杂背景下具有更高的召回率,但检测速度稍慢,FPS值低于YOLO,难以满足无人机或卫星遥感平台的实时连续监测需求。
5.2. 后续展望
针对森林火灾早期火点检测算法存在的不足,未来可从如下几方面进行研究改进:
1) 针对无人机多源融合航拍检测体系存在的不足,在无人机上加个小芯片,先把照片“去雾、防抖、变清晰”,再把红外和可见光两张图对准,让后续算法看得更清楚。其次给无人机装一个“快思”模块,用轻量网络在天上直接画出火点框,不用再等地面电脑慢慢算。最后把连续拍到的画面连起来看,像放电影一样找出真正的火苗轨迹,把误报过滤掉,让报警又快又准。
2) 针对YOLO算法对小目标火点易漏检的问题,后续可实施“深度优化包”。
首先网络结构:在Backbone末端加入多尺度特征金字塔增强层(Bi-FPN),并在Head端增加微小目标专用检测头。其次在数据层面:构建“火点–烟雾–热斑”多任务共享的合成数据集,采用Cut-Mix + Mosaic + 红外数据增强的混合策略,提升小样本多样性;之后进行后处理:引入Soft-NMS与DIoU-NMS联合策略,降低重叠火点的误抑制。最后样想到本平衡:利用Focal Loss与在线难例挖掘(OHEM)联合训练,解决正负样本极度失衡问题,从而整体提高检测精度。
3) 针对SSD算法在林区复杂背景下速度–精度失衡的问题,可从四个维度协同提升:网络瘦身:采用GhostNet/ShuffleNetV2轻量主干 + 动态通道剪枝,使参数量下降40%以上。多尺度–多层次特征:引入空洞卷积与可变形卷积组合的扩张路径,增强对4 × 4像素级小火点的感知。NMS优化:使用加权聚类NMS (WC-NMS)与IoU-预测分支,减少冗余框并提升召回率。硬件加速:在NVIDIA Jetson Orin上部署TensorRT INT8量化与CUDA流并行,实现≥45 FPS的实时推理。
针对未来算法的研究与开发,提出以下几方面展望:
1) 充分吸收无人机多源融合航拍检测体系的全天候感知优势、YOLO的极速响应优势、SSD的多尺度结构优势,构建“分层–级联–协同”的新型森林火灾检测框架:无人机端做毫秒级预警,边缘节点做分钟级确认,云端做小时级态势推演,实现检测–预警–决策一体化。
2) 深度融合深度学习(CNN-Transformer混合网络)、传统计算机视觉(红外异常检测、小波烟雾纹理分析)与机器学习(在线增量学习、迁移学习)方法,打造“可解释、可进化”的森林火情认知系统,以适应不同地域、不同季节的复杂场景。
3) 未来算法的开发与应用,不仅要持续提高检测精度与效率,还应兼顾林区部署成本、维护自动化程度与多部门协同需求,最终形成低成本、高可靠、易推广的森林火灾智能监测体系,全面提升林火防控的及时性、准确性与经济效益。
6. 结语
本文阐述森林火灾检测算法的研究现状,并简要分析各个算法的基本原理、优缺点及其未来研究方向。虽然森林火灾检测相关算法日渐成熟且得到广泛应用,但每种算法仍受限于分辨率、实时性或小目标漏检等问题,下一步研究需重点突破。