基于无人机航拍图像的YOLOv5松材线虫病监测研究
The Study of Pine Wood Nematode Disease Detection Using YOLOv5 Based on Unmanned Aerial Vehicle Aerial Images
DOI: 10.12677/AIRR.2024.131001, PDF, HTML, XML, 下载: 75  浏览: 212 
作者: 杨蒙达:云南财经大学信息学院,云南 昆明
关键词: 松材线虫病YOLOv5目标检测深度学习林木健康监测Pine Wood Nematode Disease YOLOv5 Object Detection Deep Learning Forest Tree Health Monitoring
摘要: 松材线虫病是一种严重危害林木的疾病,由微小的松材线虫引发,主要寄生于松树和其他针叶树种。这种疾病通过线虫的侵入和繁殖,释放毒素导致树木逐渐衰退直至死亡。它不仅对林业产业构成威胁,还对生态系统的稳定性有重大影响,并且具有高度传染性,在森林中迅速扩散。为了控制其传播,采取了包括对木材国际贸易限制在内的严格检疫和防治措施。此外,本研究采用了先进的目标检测网络技术YOLOv5进行松材线虫病的监测,经过500个epoch的训练,实现了0.88的平均精度(mAP)。本文还提出了一种用于无人机航拍的实时高效监测解决方案,以加强病害控制,为相关领域的研究和应用提供了有力支持。
Abstract: Pine Wood Nematode Disease is a serious affliction damaging forest trees, caused by the tiny pine wood nematode. This nematode primarily parasitizes pine trees and other conifer species, leading to the gradual decline and eventual death of infected trees. The disease not only threatens the forestry industry but also has a significant impact on the stability of ecosystems due to its highly contagious nature, spreading rapidly in forest ecosystems. To curb the spread of pine wilt disease, strict quarantine and control measures have been adopted by various countries, including restrictions on the international trade of wood and wood products to prevent the spread of the nematode. Additionally, this study utilized advanced target detection network technology, YOLOv5, for monitoring pine wilt disease. After training through 500 epochs, it achieved an average precision (mAP) of 0.88. The paper also proposes a real-time and efficient monitoring solution using drones, enhancing the monitoring and control of pine wilt disease and providing robust support for research and application in related fields.
文章引用:杨蒙达. 基于无人机航拍图像的YOLOv5松材线虫病监测研究[J]. 人工智能与机器人研究, 2024, 13(1): 1-8. https://doi.org/10.12677/AIRR.2024.131001

1. 引言

森林是地球上宝贵的生态系统之一,覆盖着广袤的土地。它在维持生态平衡、气候调节和提供重要资源方面发挥着至关重要的作用。然而,森林面临着多种威胁 [1] ,其中之一是松材线虫病 [2] 。松材线虫病是一种严重的森林病害,特别对松树和其他针叶树种造成危害。其快速传播速度和严重破坏性 [3] 让它成为全球森林资源和生态系统的重大威胁。

松材线虫病通常在每年的5至10月之间发生 [4] 。线虫通过伤口侵入松树,大量繁殖,到了8至9月,症状开始明显,最终导致树木感染严重,常常在10月左右枯萎死亡。如果发病时气温在20至25摄氏度之间,松材线虫病就会快速扩散。松材线虫在寄主树内几乎是全树性的分布。该病的特征如图1所示。

松材线虫病可以感染多种针叶树种,已知有70多种树种可以成为寄主。目前,松材线虫病是中国林业上最危险和毁灭性的病害之一 [5] ,其传播速度快,危害程度大 [6] ,寄主树木死亡迅速。一旦感染,松树通常在40天左右就会枯死,整片松树林从感染到毁灭通常只需要3至5年的时间。

为了保护森林,早期检测和监测松材线虫病至关重要。然而,传统的监测方法 [7] 通常需要大量时间、人力和资源,并且常常在疾病已经扩散时才能够发现 [8] 。因此,寻求更高效和精确的监测方法以便早期发现和控制松材线虫病至关重要。

近年来,深度学习技术在计算机视觉领域取得了巨大突破,为目标检测提供了强大的工具。YOLO (You Only Look Once) [9] 系列模型以其高效的实时检测能力而备受推崇。本研究旨在结合YOLOv5技术和无人机航拍图像,为松材线虫病的监测提供新的解决方案。通过无人机的高可用,实时图传的特性可以实现全天候,实时的森林松材线虫病监测,减少了时间人力成本,在松材线虫病在森林扩散之前采取对应措施,防止松材线虫病在森林中扩散。

本研究的目标是开发一个能够快速、准确地识别受感染的树木并跟踪松材线虫病传播的系统。这将有助于及早采取控制措施,减轻疾病对森林资源和生态系统的损害。通过结合深度学习和无人机技术,我们可以迅速、高效地监测大片森林,为森林保护和可持续管理提供强有力的工具。

图1所示,上图为无人机拍摄的原始航拍图片,下图为使用YOLOv5目标检测网络检测的结果。这使得我们能够将该模型部署在应用程序内,用于林木健康监测系统,以支持森林生态系统的研究和保护工作。

Figure 1. Pine wood nematode disease

图1. 松材线虫病

2. 算法概述

2.1. YOLO模型概述

YOLO (You Only Look Once)是一种流行的目标检测算法,它具有高效的实时目标检测能力。相较于其他目标检测模型,YOLO有如下特点:

单次检测:YOLO的核心思想是一次前向传递即可完成目标检测,而不需要多次的候选区域生成或多次分类。这使得它非常高效,适用于实时应用。

边界框和类别预测:YOLO模型同时预测目标的边界框和类别。每个边界框包括目标的位置(中心坐标和宽高)以及与之关联的概率分数。这个概率分数表示该边界框内是否包含一个目标以及该目标属于哪个类别。

多尺度检测 [10] :YOLO使用多尺度特征图来检测不同大小的目标。通过在不同层次的特征图上执行目标检测,YOLO能够同时检测小目标和大目标。

锚框:为了提高边界框的准确性,YOLO使用了锚框的概念,它们是预定义的不同宽高比的矩形框。模型通过预测与这些锚框的偏移量来确定最终的边界框。

非极大值抑制 [11] :为了消除冗余的边界框,YOLO使用非极大值抑制技术,仅保留具有高概率的目标边界框。

YOLO是一种高效的目标检测算法,通过一次前向传递即可完成目标检测,同时输出目标的位置和类别信息,因此在实时应用中表现出色。随着不断的改进和发展,YOLO系列模型成为计算机视觉领域中的一项重要技术。

2.2. YOLOv5模型概述

YOLOv5的网络结构如图2所示。

YOLOv5使用了CSPDarknet53 [12] 作为其骨干网络,它是Darknet网络的一种变体。CSP (Cross-Stage Partial) [13] 结构允许特征图的跨层连接,从而提高了信息的传递效率和特征的重用。这有助于网络捕获多尺度的信息。YOLOv5在骨干网络之后引入了一个特殊的颈部结构,用于进一步处理特征图。这个颈部结构包括多个SPP (Spatial Pyramid Pooling) [14] 模块,用于处理不同尺度的信息,以及PANet (Path Aggregation Network) [15] 模块,用于进行特征图融合,以捕获各种尺度的目标。其网络结构如图2所示。

YOLOv5的检测头部包括三个不同尺度的输出层,分别用于检测不同大小的目标。每个输出层负责检测预定义类别的目标,并生成边界框和相应的置信度分数。每个边界框通常由坐标(x、y、宽度、高度)和目标的类别概率组成。YOLOv5使用预定义的锚框,这些锚框在训练过程中根据目标尺寸和比例进行优化。锚框有助于网络预测不同尺寸目标的位置。

YOLOv5使用一种组合损失函数,包括目标检测中常见的分类损失、坐标损失和置信度损失。这些损失函数用于调整模型的权重,以便更准确地定位和识别目标。

在模型输出后,YOLOv5使用NMS (Non-Maximum Suppression)来删除重叠的边界框,仅保留最可信的边界框。这有助于消除多次检测同一目标的问题。YOLOv5是YOLO系列中的一款高性能、轻量级的目标检测模型,具有多尺度检测、自动数据增强和更好的特征提取网络等优势。它已成为计算机视觉领域中的一项重要技术,为各种应用领域提供了强大的目标检测能力。

Figure 2. YOLOv5 network architecture

图2. YOLOv5网络结构

3. 实验

3.1. 数据集及训练环境

实验数据集来源于林业监测机构,采用高清晰度无人机拍摄技术获取的图像数据。原始图像数据包括650张图像,这些图像经过图像旋转,镜像翻转,亮度和对比度调整,噪声添加等一系列数据增强处理后,成功扩充训练数据集至总计1500张图像。训练数据集中的图像如图3所示。

Figure 3. Dataset example

图3. 数据集实例

本研究训练在Ubuntu操作系统下进行,GPU为NVIDIA Tesla V100 32 G,CPU为Xeon Gold 5218R,内存为64 GB,CUDA版本为11.3,深度学习框架为Meta开源的Pytorch。实验的迭代参数epochs设为500,批样本数量batch size为32。

3.2. 实验设计

本研究旨在设计四个实验,以评估YoloV5模型在基于无人机航拍图像的松材线虫病监测任务中的模型精度和推理速度。考虑到该任务需要实时监测,我们除了常规的目标检测实验外,还加入了单张图片推理速度实验、视频片段(30秒)推理实验以及最重要的实时视频推理实验。

首先,我们将进行单张图片推理速度实验。在该实验中,我们将使用一组包含松材线虫病目标的航拍图像,并记录YoloV5模型对这些图像进行目标检测所需的时间。通过比较不同图像的处理时间,我们可以评估模型在处理单张图片时的推理速度。

接下来,我们将进行视频片段(30秒)推理实验。在该实验中,我们将使用一段包含松材线虫病目标的航拍视频片段,并记录YoloV5模型对该片段进行目标检测所需的时间。通过比较不同片段的处理时间,我们可以评估模型在处理视频片段时的推理速度。

最后,我们将进行实时视频推理实验。在该实验中,我们将使用一台搭载YoloV5模型的无人机进行实时航拍,并将航拍的视频流传输到边缘设备上进行处理。通过记录模型对实时视频进行目标检测所需的时间,我们可以评估模型在实际应用场景中的推理速度。

以上三个实验将主要考评YoloV5模型在基于无人机航拍图像的松材线虫病监测任务中的模型精度和推理速度。通过这些实验,我们可以得出关于模型性能的结论,并为进一步优化模型提供参考。

本研究推理部分的环境采用NVIDIA Jetson AGX Xavier边缘计算平台,Jetson AGX Xavier是一款高性能的嵌入式计算平台,它搭载了NVIDIA的Volta架构GPU,拥有512个CUDA核心。

3.3. 实验结果及分析

本研究的实验结果如图4所示,其中目标检测框上方右侧为预测概率:

Figure 4. Expriement result

图4. 实验结果

在目标检测(Object Detection)中,mAP (Mean Average Precision)是一个常用的性能度量指标,用于评估模型在检测多个不同物体类别的目标时的准确性和鲁棒性。mAP是一个综合指标,综合考虑了模型的准确率和召回率,并且可以在不同的阈值下度量性能。

精度(Precision):精度是指模型在预测为正类别的样本中有多少比例是真正的正类别。在目标检测中,这意味着检测到的物体中有多少比例是真正的目标物体。数学上,精度的计算公式如式1所示:

p r e c i s i o n = T r u e P o s i t i v e s T r u e P o s i t i v e s + F a l s e N e g a t i v e s

Formula 1. Precision calculation formula

式1. 精度计算公式

其中,True Positives (TP)是模型正确检测到的目标数量,False Positives (FP)是模型错误地将负样本标记为正样本的数量。

召回率(Recall)是指模型在所有真正的正类别中正确检测到的比例。在目标检测中,这表示模型检测到的目标物体占所有实际存在的目标物体的比例。数学上,召回率的计算公式如式2所示:

r e c a l l = T r u e P o s i t i v e s T r u e P o s i t i v e s + F a l s e N e g a t i v e s

Formula 2. Recall calculation formula

式2. 召回率计算公式

其中,False Negatives (FN)是模型未能检测到的目标数量。

AP (Average Precision)是指对于每个类别,可以计算一个AP值,用于度量该类别的检测性能。AP是一种曲线下面积(Area Under the Curve, AUC)的度量,其中曲线是精度–召回率曲线(Precision-Recall Curve)。AP表示模型在不同精度和召回率阈值下的平均性能,越高表示模型在该类别上的性能越好。

mAP (Mean Average Precision)是所有类别的AP值的平均值。它是一种对多类别目标检测性能的总体度量,反映了模型在多个类别上的平均性能。

为满足边缘计算设备上的推理需求,对每分钟推理的图像数量、定长视频推理时间、摄像头实时采集视频推理时间以及推理占用计算资源等性能指标提出了较高的要求。在这一背景下,本研究采用YOLOv5目标检测网络与FasterRCNN进行比较,以凸显本研究所采用的YOLOv5网络在此场景下的显著优越性。

本研究推理部分的环境采用NVIDIA Jetson AGX Xavier边缘计算平台,Jetson AGX Xavier是一款高性能的嵌入式计算平台,它搭载了NVIDIA的Volta架构GPU,拥有512个CUDA核心。推理对比结果如表1所示。

Table 1. Comparison of experimental results of object detection model

表1. 目标检测模型实验结果对比

通过推理对比结果可以得出以下结论:采用YOLOv5目标检测模型在多个关键指标上显著提升了性能,包括平均精度(mAP)、单张图像的推理速度、定长视频(30秒)的推理时间以及实时视频推理速度等。这些结果清晰地展示了YOLOv5在边缘计算环境中相较于传统的Faster RCNN模型所具备的卓越性能,为其在复杂计算任务中的应用提供了显著的优势。本研究在无人机航拍松叶线虫病检测方面也展现了可应用性,为相关领域的研究提供了有益的参考和借鉴。通过推理对比结果可知,通过采用YOLOv5目标检测模型,显著地提升了性能在多个关键指标上,包括平均精度(mAP)、单张图像的推理速度、定长视频(30秒)的推理时间以及实时视频推理速度等。这些结果清晰地展示了YOLOv5在边缘计算环境中相较于传统的Faster RCNN模型所具备的卓越性能,为其在复杂计算任务中的应用提供了显著的优势。

4. 研究结论及展望

通过采用YOLOv5目标检测模型,我们实现了高效的松材线虫病监测。该模型具备出色的图像处理能力,能够在航拍图像中迅速、准确地检测出病害区域,为病害监测提供了有效的工具。YOLOv5不仅提供了高速的推理速度,还能够精确地定位和识别松材线虫病的病害区域。这有助于及早发现植物感染,采取必要的防控措施。本研究证明,采用无人机航拍结合YOLOv5模型进行松材线虫病监测,相较于传统的人工巡视方法,能够显著节省时间和人力资源。这为大规模的植物健康监测提供了高效的手段。该方法在实际应用中表现出良好的实用性和可扩展性。它可以应用于不同地区和不同植物类型的松材线虫病监测,为农业生产和生态保护提供了有力的支持。

总之,基于无人机航拍图像的YOLOv5松材线虫病监测方法在监测效率、准确性和资源节约方面都表现出卓越性能。这一研究为农业和林业领域提供了一种先进的监测工具,有望在植物病害管理中发挥积极作用。

参考文献

参考文献

[1] Büttner, C., Bargen, S.V., Bandte, M., and Mühlbach, H.P. (2013) Forest Diseases Caused by Viruses. In: Gonthier, P. and Nicolotti, G., Eds., Infectious Forest Diseases, CABI, Wallingford, 50-75.
https://doi.org/10.1079/9781780640402.0050
[2] Mamiya, Y. (1983) Pathology of the Pine Wilt Disease Caused by Bursaphelenchus xylophilus. Annual Review of Phytopathology, 21, 201-220.
https://doi.org/10.1146/annurev.py.21.090183.001221
[3] Webster, J.M. (2004) The Pine Wood Nematode: Implications of Factors Past and Present for Pine Wilt Disease. In: Webster, J.M., Ed., The Pinewood Nematode, Bursaphelenchus xylophilus, Brill, Leiden, 55-64.
https://brill.com/downloadpdf/book/edcoll/9789047413097/B9789047413097_s010.pdf
[4] Braasch, H. and Mota, M. (2007) The Pine Wood Nematode: A Personal View.
https://dspace.uevora.pt/rdpc/handle/10174/6787
[5] Zhang, K., Liang, J., Yan, D. and Zhang, X. (2010) Research Advances of Pine Wood Nematode Disease in China. World Forestry Research, 23, 59-63.
[6] Liu, Y., et al. (2021) The Impact of Pine Wood Nematode Infection on the Host Fungal Community. Microorganisms, 9, 896.
https://doi.org/10.3390/microorganisms9050896
[7] Proença, D.N., Grass, G. and Morais, P.V. (2017) Understanding Pine Wilt Disease: Roles of the Pine Endophytic Bacteria and of the Bacteria Carried by the Disease—Causing Pinewood Nematode. MicrobiologyOpen, 6, e00415.
https://doi.org/10.1002/mbo3.415
[8] Edmonds, R.L. (2013) General Strategies of Forest Disease Management. In: Gonthier, P. and Nicolotti, G., Eds., Infectious Forest Diseases, CABI, Wallingford, 29-49.
https://doi.org/10.1079/9781780640402.0029
[9] Jiang, P., Ergu, D., Liu, F., Cai, Y., and Ma, B. (2022) A Review of Yolo Algorithm Developments. Procedia Computer Science, 199, 1066-1073.
https://doi.org/10.1016/j.procs.2022.01.135
[10] Bochkovskiy, A., Wang, C.-Y. and Liao, H.-Y. M. (2020) YOLOv4: Optimal Speed and Accuracy of Object Detection.
http://arxiv.org/abs/2004.10934
[11] Neubeck, A. and Van Gool, L. (2006) Efficient Non-Maximum Suppression. 18th International Conference on Pattern Recognition (ICPR’06), Hong Kong, 20-24 August 2006, 850-855.
https://ieeexplore.ieee.org/abstract/document/1699659/
https://doi.org/10.1109/ICPR.2006.479
[12] Redmon, J. and Farhadi, A. (2018) YOLOv3: An Incremental Improvement. arXiv: 1804.02767.
http://arxiv.org/abs/1804.02767
[13] Wang, C.-Y., Liao, H.-Y.M., Wu, Y.-H., Chen, P.-Y., Hsieh, J.-W. and Yeh, I.-H. (2020) CSPNet: A New Backbone That Can Enhance Learning Capability of CNN. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Seattle, 14-19 June 2020, 390-391.
http://openaccess.thecvf.com/content_CVPRW_2020/html/w28/Wang_CSPNet_A_New_Backbone_That_Can_Enhance_Learning_Capability_of_CVPRW_2020_paper.html
[14] He, K., Zhang, X., Ren, S. and Sun, J. (2015) Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37, 1904-1916.
https://doi.org/10.1109/TPAMI.2015.2389824
[15] Liu, S., Qi, L., Qin, H., Shi, J. and Jia, J. (2018) Path Aggregation Network for Instance Segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, 18-23 June 2018, 8759-8768.
http://openaccess.thecvf.com/content_cvpr_2018/html/Liu_Path_Aggregation_Network_CVPR_2018_paper.html