基于多特征融合和SVM的玉米幼苗与杂草识别检测
Identification and Detection of Maize Seedlings and Weeds Based on Multi Feature Fusion and SVM
DOI: 10.12677/csa.2024.1412242, PDF, HTML, XML,    科研立项经费支持
作者: 沈奇特, 张馨心:三亚学院信息与智能工程学院,海南 三亚;黄寿孟, 黄沁鑫:三亚学院信息与智能工程学院,海南 三亚;三亚学院陈国良院士团队创新中心,海南 三亚;王 磊, 孙晨萌:三亚学院信息与智能工程学院,海南 三亚;三亚学院容淳铭院士工作站,海南 三亚
关键词: 精准施肥多特征融合SVM检测方法Precision Fertilization Multi Feature Fusion SVM Test Method
摘要: 杂草和作物的检测是使用喷洒除草剂机器人进行精确喷洒和田间农业机械精确施肥的关键步骤。基于使用颜色信息和连通区域分析的k-means聚类图像分割,提出了一种结合多特征融合和支持向量机(SVM)的方法来识别和检测玉米幼苗和杂草的位置,以减少杂草对玉米生长的危害,实现精确施肥,从而实现精确除草或施肥。首先建立玉米苗期杂草和玉米幼苗分类的图像数据集;其次提取玉米幼苗和杂草的许多不同特征,并通过主成分分析进行降维,包括定向梯度特征直方图、旋转不变局部二值模式(LBP)特征、HU不变矩特征、Gabor特征、灰度共生矩阵和灰度梯度共生矩阵;然后基于SVM进行分类器训练,得到玉米幼苗和杂草的识别模型,并对单个特征或不同融合策略特征的综合识别性能进行比较和分析,得出最佳特征融合策略;最后利用实际玉米苗期图像,测试所提出的杂草和玉米苗期检测方法的效果。实验结果表明,基于SVM分类器的旋转不变LBP特征和灰度梯度共生矩阵的融合特征组合获得了最高的分类精度,并准确地检测出各种杂草和玉米幼苗。它为喷洒除草剂的机器人提供杂草和作物位置的信息,以实现精确喷洒,或为精确施肥机提供信息,以进行精确施肥。
Abstract: The detection of weeds and crops is a key step in using herbicide spraying robots for precise spraying and precise fertilization of agricultural machinery in the field. Based on the use of color information and connected region analysis in k-means clustering image segmentation, a method combining multi feature fusion and support vector machine (SVM) is proposed to identify and detect the positions of corn seedlings and weeds, in order to reduce the harm of weeds to corn growth, achieve precise fertilization, and thus achieve precise weed control or fertilization. Firstly, establish an image dataset for the classification of weeds and maize seedlings during the maize seedling stage. Secondly, extract many different features of corn seedlings and weeds, and perform dimensionality reduction through principal component analysis, including directional gradient feature histogram, rotation invariant local binary pattern (LBP) feature, HU invariant moment feature, Gabor feature, gray level co-occurrence matrix, and gray level gradient co-occurrence matrix. Then, based on SVM, the classifier is trained to obtain recognition models for corn seedlings and weeds. And compare and analyze the comprehensive recognition performance of individual features or features with different fusion strategies to obtain the optimal feature fusion strategy. Finally, the effectiveness of the proposed weed and maize seedling detection method was tested using actual maize seedling images. The experimental results show that the fusion feature combination of rotation invariant LBP features and gray gradient co-occurrence matrix based on SVM classifier achieves the highest classification accuracy and accurately detects various weeds and corn seedlings. It provides information on weed and crop locations for robots spraying herbicides to achieve precise spraying, or information for precision fertilizing machines to carry out precise fertilization.
文章引用:沈奇特, 黄寿孟, 王磊, 黄沁鑫, 孙晨萌, 张馨心. 基于多特征融合和SVM的玉米幼苗与杂草识别检测[J]. 计算机科学与应用, 2024, 14(12): 76-89. https://doi.org/10.12677/csa.2024.1412242

1. 引言

玉米是中国最重要的谷类作物之一。目前,玉米田的主要除草方法包括人工、机械和化学除草。化学除草的优点是成本低,不需要关心地形。因此,它在国内外得到了广泛的应用。然而,化学除草的问题是除草剂的全覆盖田间喷洒而不区分作物和杂草,这会导致大量除草剂浪费,增加污染,并增加土壤对化学试剂的依赖[1]。随着图像处理、机器视觉技术的成熟和完善,以及精准农业的发展需求,各国已开始研究利用计算机视觉技术实现除草剂的精准使用[2]-[4]。此外,精准施肥也成为一种趋势,准确定位田间杂草和作物幼苗非常重要。

近年来,深度学习已扩展到农业[5]。然而,考虑到传统学习方法对图形处理单元的要求较低,可以以较低的成本部署在农业机械设备中,并且需要较小的样本量和较短的训练时间,许多学者正在进一步研究使用传统方法来提高杂草检测的准确性。在早期,国内外许多学者使用形状特征,如二阶矩、对比度、熵或圆度、矩形度、偏心度、纵横比等形状特征[6]-[8]或叶片的纹理特征[9]来识别作物或杂草。例如,Ishak等人使用Gabor特征和梯度场分布来实现杂草分类[10]。Naresh等人使用改进的局部二元模式来识别不同的植物叶片[11]。Le等人确定了玉米和单一杂草之间的区别[12]。Ma和其他研究人员使用定向梯度直方图(HOG)特征和支持向量机(SVM)来识别葡萄叶片,这些叶片对光和环境变化具有鲁棒性,但他们无法解决姿态不正确的葡萄叶片检测问题[13]。一些学者还使用植物密度和位置信息来提高识别的准确性[14]-[16],但这些方法在实际应用中很容易受到振动、陀螺仪或不受控制的运动的影响[17]。总的来说,这些研究为基于图像技术的早期植物识别和杂草检测提供了有效的方法和途径。然而,许多研究侧重于使用单一特征识别植物,仅用于识别不同的植物叶片,而不能准确检测田间的作物或杂草。此外,一些结果显示识别效果差、准确度低、稳定性低。

为了解决该领域单个特征精度低、稳定性差的问题,一些学者提出了融合多个特征以进一步提高识别精度[18]。例如,Mao和其他人实现了基于颜色和纹理特征的土壤、小麦幼苗和杂草的分割和识别[19]。Tang等人使用改进的局部二元模式(LBP)和灰度共生矩阵(GLCM)对茶叶进行分类[20]。ChowdHUry等人将纹理信息与颜色信息相结合、将GLCM和颜色特征相结合,提取特征数据以识别路边杂草,并获得了良好的识别和分类结果[21]。He等人融合了形状、分形维数和纹理等不同特征的多源识别信息,提出了一种结合D-S证据理论的SVM优化方法,进一步提高了杂草识别的准确性和稳定性[22]。Liu等人[23]将LBP、HU不变矩、Gabor、GLCM、傅里叶描述符等特征与深度信念网络(DBN)相结合,实现了植物叶片识别。Chaki等人结合Gabor和GLCM特征,使用多层感知器实现了31种植物的叶片识别[24]。Bakhshipour等人提取了甜菜和杂草的三个形状特征,并将其与SVM相结合进行检测。这种方法在低叶遮挡和重叠的情况下也是有效的[25]。然而,这些研究大多仅旨在开发不同植物叶片图像的识别方法,而不侧重于农田中植物和杂草的识别和定位。杂草识别和检测在实际农田中的应用仍需进一步研究。

在传统方法中,大多数相关学者使用支持向量机和人工神经网络(ANN)来解决杂草识别和检测任务,两者都可以达到杂草识别的目的,SVM比ANN更准确。例如,Adel Bakhshipour等人(2018)评估了基于形状特征的SVM和ANN在杂草检测中的应用[25],SVM的总体分类准确率比ANN高2.08%。因此,在本研究中使用SVM分类器来识别杂草和玉米幼苗。

基于植物叶片识别和其他田间作物识别研究的多种特征的方法可以为玉米苗期田间杂草和作物识别与检测研究提供参考。此外,一些学者在使用目标的形状、颜色和纹理特征时,没有具体分析哪种特征描述符更适合目标特征提取。缺乏对特定特征描述符选择方案的比较。例如,LBP、GLCM、灰度梯度共生矩阵(GGCM)和Gabor通常用于纹理特征描述。在复杂的现场环境中,准确性、及时性和稳定性仍然需要具体的分析。本研究建立两个用于玉米苗期杂草与玉米幼苗分类和检测的小型图像数据集。一个是用于训练与验证玉米和杂草叶片分类模型的叶片数据集,包括1000个正样本集(玉米叶片)和1000个负样本集(杂草)。另一个是用于测试的实际田间图像集,其中有400张包含玉米幼苗和杂草的实际田间图片。其次,将杂草和玉米苗检测问题转化为杂草和玉米幼苗的二元分类和对象检测问题。同时,在HOG、旋转不变LBP、HU不变矩、Gabor、GGCM、GLCM及其不同特征融合策略的条件下进行了杂草检测的综合实验。这六个特征是近年来植物叶片识别中最常用的特征描述符。总之,本研究提出一种分类精度相对较高的特征融合方案,基于颜色信息和连通区域分析的k-means聚类图像分割以及SVM分类器,实现玉米幼苗和杂草的位置检测,为喷洒农药机器人准确喷洒杂草或后期精确施肥机提供位置信息。

2. 相关工作

2.1. 数据集的建立和预处理

实验图像来自中国农业机械化科学院。在不同自然光照条件下,采集了玉米苗期2~5片叶子和杂草的图像。该数据集依赖于安装在农业机械上的阵列相机来连续捕获自上而下的图像。为了增加样本的复杂性,选择了两种数据集混合模式。第一类是晴天拍摄的玉米地图像。第二种类型包括阴天拍摄的图像,如图1图2所示。由于使用阵列相机,收集到的图像部分重叠。因此,原始图像集中存在一些类似的图像。为了使训练过程有效,消除了没有杂草或玉米目标的图像以及几乎重复的图像,采用预处理使图像数据尽可能成为样本,再基于这些图像,建立了算法测试数据集。

Figure 1. Cornfield images taken on sunny day

1. 晴天拍摄的玉米地图像

Figure 2. Cornfield images taken on cloudy day

2. 阴天拍摄的玉米地图像

收集的图像包括早期玉米田常见的四种相关杂草,即西番莲(野生)、黄花蒿、印度百合和藜草类。玉米叶片处于2~5叶期。田间实际生长的杂草是自然和随机的,处于发芽、幼苗和营养生长阶段,其中后两个阶段的杂草占大多数。首先选择了一部分实际现场图像,然后使用lmage-Labler工具裁剪图像中玉米和杂草叶子的区域,并自动裁剪出叶子区域。为了尽可能多地包含完整的叶子信息,只截取了图像中的完整叶子。玉米幼苗和杂草叶片的图像分别作为正、负样本。为了便于测试,选择了1000个正、负样本。在建立杂草和玉米分类的第一个数据集的过程中,为了确保后续研究中各种特征提取算法的实现,有必要对图像大小进行归一化。为了解决图像尺寸归一化的问题,许多研究人员通常不考虑图像中物体的形状特征,然后直接通过粗尺度进行尺寸归一化。本研究采用一种保持叶子形状不变并用像素0补充归一化大小的空白区域的策略,并实验测试了这种策略,对杂草和玉米幼苗的分类准确率更高。此方法是将正、负样本集中的所有图像的大小调整为256 × 256像素的空白区域,在尺寸归一化过程中填充0,以确保玉米幼苗和杂草的叶形保持不变。因此构建一个用于杂草和玉米幼苗识别算法的小型图像数据集。此外,从剩余的原始田间图像中建立实际的田间试验图像数据集,其中包含400张有杂草的玉米苗期实际图像,并选择这些图像来测试实际的杂草检测效果。数据集数量和图像大小如表1所示。

Table 1. Number of data sets and image size

1. 数据集数量和图像大小

类别

训练集

实验测试集

实际现场测试图像

图像总数

1400

600

400

正样本/玉米幼苗

700

300

/

负样本/杂草

700

300

/

维度尺寸

256 × 256

256 × 256

1024 × 600

2.2. 特征提取

纹理特征是反映像素空间分布的区域特征,玉米叶片的形状平坦,含有丰富的纹理信息,它属于规则纹理和随机纹理的组合[26]。本文选择基于统计纹理分析的GLCM和GGCM、基于结构纹理分析的旋转不变LBP和基于信号处理分析的Gabor特征。除了这四种纹理特征外,还使用了基于形状特征的HOG和HU不变矩。将上述6个特征描述符融合形成18个特征组合(6组单特征、12组双特征、3组三特征、2组四特征和1组五特征)。主成分分析(PCA)用于降低具有更多维度的特征的维度,并从原始数据中提取一些新信息,这减少了变量的数量,但也解决了主要矛盾。在实验中,主成分保留的数量也影响了最终的实验精度。经过多次保留测试,选择精度最高的主成分保留数作为描述符的特征维度,并在此基础上进行后续的多特征融合。降维后,HOG特征为55维,旋转不变LBP特征为95维,Gabor特征为360维。6个GLCM特征参数和15个GGCM特征参数的数量很少,不需要参与降维。在18组多特征融合策略下,HOG和Gabor特征的组合具有最大的维度,维度为684。

2.2.1. HOG特征

Table 2. Experimental results of histogram of oriented gradient (HOG) feature with different cell sizes

2. 不同单元格大小的定向梯度直方图HOG特征的实验结果

单元格大小

维度

准确度(%)

平均训练时间(s)

8 × 8

34,596

82.5

90.449

16 × 16

8100

81.3

29.648

32 × 32

1764

84.5

18.208

64 × 64

324

87.8

16.530

128 × 128

36

84.9

15.725

HOG特征是一种用于目标检测的特征描述符,于2005年首次提出。其主要原理是利用边缘的梯度或方向密度来描述图像中物体的局部轮廓,在自然条件下对光照和背景的变化具有很强的鲁棒性[13]。在提取HOG特征时,选择8 × 8、16 × 16、32 × 32、64 × 64和128 × 128的单元格大小来分割图像。整个图像的特征维度分别为34,596、8100、1764、324和36维。不同尺寸的实验结果如表2所示。

当使用64 × 64的单元格大小分割图像时,获得了最高的精度,平均训练时间较低。因此,在后续的多特征融合中,本研究选择了64 × 64的单元格大小来处理图像。当使用64 × 64的单元大小将256 × 256的图像细分为更小的单元时,每个单元对应一个9-d直方图,即上、下、左、右相邻的单元格被视为一个像素块,每个块的特征维数为4 × 9,即36维。因此整个图像的特征维度为324维。

2.2.2. HU不变矩特征

玉米和杂草叶片的形状信息可以作为分类的基础,它们的形状信息在一定程度上可以用一些参数来表示。HU不变矩是由HU于1962年提出的[27]一种具有平移和旋转的特征描述符。在离散情况下,Chen [28]对其进行了改进。使用Chen改进的不变矩算法,对正负样本集图像进行灰度化处理,得到7个HU不变矩参数和第八个不变矩参数[29],以提取正负样本的形状信息,使提取的叶形信息更加全面。

2.2.3. 旋转不变LBP特征

LBP是一种能够反映像素间微观结构的纹理结构。它广泛应用于植物叶片图像分类,可实现较高的分类精度。改进的旋转不变局部二值模式(RotLBP)特征具有计算简单、旋转不变性和灰度级平移不变性的优点[30]。在图像旋转后,与中心像素对应的相邻点发生了变化,从而导致生成的二进制序列发生了变化。为了获得一致的LBP值,选择所有二进制序列中的最小值作为该像素的旋转不变LBP值,如图3所示。当原始叶子沿不同方向旋转时,中心像素的LBP值为125,250、245、235,215,175,95,190。因此中心像素的旋转不变LBP特征值为95。

Figure 3. Schematic diagram of rotation invariant local binary pattern (RotLBP)

3. 旋转不变局部二进制模式(RotLBP)示意图

单元格大小选择方法的原理与HOG特征的原理是一致的,如表3所示。当使用64 × 64单元格大小时,获得了最高的准确性。将每个单元划分为小区域后,根据3 × 3邻域计算每个单元中一个像素的旋转不变LBP值,整个图像的特征维数为160维(4 × 4 × 10 = 160)。

Table 3. Experimental results of RotLBP feature with different cell sizes

3. 不同单元格大小的RotLBP特征的实验结果

单元格大小

维度

准确度(%)

平均训练时间(s)

8 × 8

10,240

89.4

41.157

16 × 16

2560

89.8

19.731

32 × 32

640

87.4

16.190

64 × 64

160

90.6

96.308

128 × 128

40

88.4

99.379

2.2.4. Gabor特征

Gabor滤波器可以在频域和空域中获得最优的局部特征。因此,它具有优异的方向选择性和空间局部性,可用于植物叶片纹理检测[10]。本研究使用具有5个尺度和8个方向的Gabor滤波器对叶子图像进行滤波,得到40个子图像。将每个子图像划分为3 × 3个子块,得到360 (5 × 8 × 3 × 3)维叶片图像的Gabor特征。Gabor滤波器的作用是让某个频带的信息通过它,其余的信息被过滤掉。在提取特征图像进行卷积滤波时,滤波器频域窗口的大小影响滤波器在频域中的带宽,滤波器卷积模板的大小影响滤波卷积模板的窗口[31]

2.2.5. 灰度共生矩阵(GLCM)特征

GLCM可以反映图像中任意两点灰度值的空间相关性。GLCM的六个统计指标,即能量、对比度、相关性、共生矩阵的和熵、熵和逆差分矩,可以反映叶子图像的纹理特征。具体计算公式见参考文献[26]

在矩中,二阶矩反映了灰度分布和纹理厚度的均匀性。它也被称为能量,是GLCM中每个元素的平方和。值越大,表示纹理越厚,能量越大。相关性用于衡量灰色共生矩阵在行或列方向上的相似性,如垂直纹理c = 90˚方向的值大于其他方向的值。熵是图像信息的度量,当图像没有纹理时,该值为0,最大值是全纹理。对比度表示图像的清晰度,深纹理凹槽表示效果更清晰,价值更大。逆矩反映了图像纹理的均匀性,灰色共生矩阵的对角元素值越大,值越大,较大的值表明图像纹理的不同区域之间没有变化,局部非常均匀。这些统计数据之间的相关性很小,分辨率效果很好,很好地代表了图像的纹理信息。在提取图像特征时,确定了采样位移向量d = (1, 0),即0˚方向上的GLCM,0˚方向的GLCM最好,灰度级的量化级别为64。

2.2.6. 灰度梯度共生矩阵(CGCM)特征

CGCM是在GLCM的基础上提出的。除了图像的灰度信息外,还考虑了图像的梯度信息。图像的梯度信息是通过图像推导获得的,它反映了图像边缘的灰度变化,特别是在边界、边缘等处,图像中灰度值变化明显的部分[32]。GLCM纹理特征使用了15个统计值[33],即小梯度优势、大梯度优势、灰度分布不均匀性、能量、灰度平均值、梯度平均值、灰度均方误差、相关性、灰度熵、梯度熵、混合熵、惯性和赤字矩[33]。参考文献[33]给出了具体的计算方法,可得出其特征维数为15。

2.2.7. SVM基本原理

支持向量机(SVM)经常被运用于模式识别,一般用来处理目标函数的最优问题,其思路为:样本通过将几何距离优化以找到最佳分割面,或通过最佳超平面以将样本分开[25]。在优化过程中,因为核函数存在着非线性现象,所以需要将它引入并完成从低维向高维空间的过渡,并利用kernel将高维空间的内积计算转换为低维空间的内积运算,这样就可以把支持向量机的线性问题转换为了非线性问题。

SVM在分类识别问题上解决的过程,通常为:首先预先训练已知样本,然后建立计算模型,最后再把新数据样本注入已经预先训练的计算模型中,从而得出了新数据的分类结果。SVM必须选取最优预测函数(惩罚系数c和核参量g)才能引入径向基核函数(RBF)。由于缺乏先验知识,要选择最优的方法就必须事先对数据进行搜索,而且训练样本的高识别率不意味着测试样本的识别同样精确。本文针对这些缺点提出了相应的改进算法,也就是多特征融合SVM模型,从而增强了识别检测的准确性。

2.3. 检测方法

本研究所有实验的操作环境均为MATLAB 2018b,计算机配置如下:i7-9750H@2.60GHzX12,配备16GB内存和6GB视频内存的GeForce RTX 2060,Window10的操作系统。

2.3.1. 叶片数据集的训练与验证

具体操作步骤如下:

1) 依次读取预处理后的正、负图像样本,每类图像各包含1000个样本。

2) 依次提取正、负样本的特征。这些特征由多个特征融合而成。在分别提取每个特征后,所有数据被连接并单独存储。具体的单一特征和各种特征融合方法如表4所示。共进行了24组实验。

Table 4. Multi-feature fusion method and dimension before dimensionality reduction

4. 多特征融合方法和降维前的维数

单一特征

多特征

特征

维度

特征

维度

特征

维度

特征

维度

HOG

324

RotLBP + HOG

484

HOG + GLCM

330

RotLBP + HO + Gabor

844

RotLBP

160

RotLBP + Gabor

520

Gabor + GGCM

375

GCM + RotLBP + HOG

499

Gabor

360

RotLBP + GLCM

166

Gabor + HU

368

GLCM + RotLBP + HOG

490

GLCM

6

GGCM + RotLBP

175

Gabor + GLCM

366

RotLBP + HOG + Gabor + GLCM

850

GGCM

15

RotLBP + HU

168

GGCM + HU

23

RotLBP + HOG + Gabor + GGCM

859

HU

8

HOG + Gabor

684

GGCM + HOG

339

RotLBP + HOG + Gabor + HIU + GGCM

867

3) 通过特征降维方法对正、负样本的特征数据进行处理。这里使用了PCA方法。然后,保存降维的正、负样本主成分数据和相应的主成分系数矩阵。主成分系数矩阵是一个p × p的矩阵,p是特征维数降低后的数据维数。

4) 将获得的正、负样本特征数据整合到一个表中,并添加标签值以区分正、负样本,其中正样本标记为1,负样本标记为−1。

5) 将表中的数据顺序打乱,随机使用70%的正、负样本数据到SVM分类器中进行训练,并保存训练后的模型以供以后测试。

6) 使用剩余的30%样本数据进行验证,以获得模型的准确性。为了显示结果,使用二维散点图来表示正、负样本点。样本的第一和第二特征值分别定义为x坐标和y坐标。

2.3.2. 玉米苗期田间实测数据测试

基于所提出的方法,总共使用了400张不同条件下的玉米幼苗田间实际图像,对杂草和玉米幼苗检测性能进行了实际测试。大多数图像包含2到3棵玉米幼苗和3到4棵或更多杂草。这400张真实的田间图片包含1000多棵玉米幼苗和1600多棵杂草,测试细节如下:

首先将玉米田图像从RGB颜色空间转换到Lab颜色空间。根据通道a的颜色信息,它们可以分为前景(杂草和玉米幼苗)和背景(土壤)。在此基础上,利用k-means聚类算法得到了两个聚类区域。为了在下一步提取目标区域的特征,使用连通分量分析方法消除面积过小的聚类,并标记植物所在聚类区域的外部矩形。最后提取目标块的相关特征,并在降维过程中将步骤3中获得的正负主成分系数矩阵与相应的正负样本数据相乘,以获得相同映射关系下的降维数据。然后,使用步骤6中获得的杂草和玉米平均识别率最高的识别模型来确定每个目标区域的类型(玉米或杂草),并将结果和目标区域标记在原始图像上。玉米的位置用黄色矩形标记,杂草的位置用红色矩形标记。

3. 实验过程

3.1. 叶子数据集实验

Table 5. Test accuracy and time consumption of each group of experiments

5. 测试每组实验的准确性和时间消耗

组号

特征组合

PCA维度/初始维度

平均准确度(%)

训练时间(s)

预测速度(obs/s)

PCA后

PCA前

1

RotLBP

95/160

91.40

90.60

2.1701

10,000

2

GGCM

15/15

87.80

90.80

68.807

150,000

3

HOG

55/324

88.80

87.80

2.2017

12,000

4

GLCM

6/6

88.80

88.80

12.137

49,000

5

Gabor

360/360

84.60

87.40

7.5382

7500

6

HU

8/8

82.10

85

2.1648

20,000

7

GGCM + RotLBP

94/175

97.50

90.50

2.1903

10,000

8

HOG + RotLBP + GLCM + Gabor

66/850

97.00

90.50

4.2998

5600

9

HOG + RotLBP

102/484

96.60

88.80

3.247

7500

10

GLCM + RotLBP

105/166

95.90

90.80

2.1812

9700

11

RotLBP + HU

61/168

95.70

89.60

1.684

14,000

12

GGCM + RotLBP + HOG

99/499

95.30

89.50

3.259

7400

13

GLCM + RotLBP + HOG

179/490

95.20

89.60

4.2638

4800

14

HOG + RotLBP + Gabor + GGCM

86/859

94.90

89.30

5.3031

6300

15

RotLBP + HOG + Gabor + HU + GGCM

107/867

94.80

86.10

6.531

4900

16

GGCM + HOG

100/339

94.50

89.30

2.7609

7700

17

RotLBP + Gabor

60/520

94.40

89

3.153

8600

18

HOG + RotLBP + Gabor

84/844

93.90

89.80

5.2385

6200

19

GGCM + HU

20/23

92.50

89.60

2.1829

27,000

20

HOG + GLCM

35/330

92

87.50

2.1553

12,000

21

GGCM + Gabor

375/375

87.30

91.30

53.75

8900

22

HOG + Gabor

684/684

85.30

91.10

13.819

3600

23

Gabor + GLCM

30/366

90.50

88.50

9.6001

7100

24

Gabor + HU

368/368

85.70

90.20

8.2748

8100

在实验中,除了6个单一特征外,还使用了18种融合策略特征,包括HOG、旋转不变LBP、HU不变矩、Gabor、GLCM和GGCM。为了算法的鲁棒性,验证中使用的图像数据是样本集中随机选择的图像的30%。

每组实验进行10次,记录每个实验的准确性和十次实验的平均值。具体来说,对于包含玉米叶片和杂草的小型构建数据集,实验结果如表5所示,并按平均精度降序排列。前6组为单特征组实验,后18组为多特征融合组实验。训练时间是并行操作训练1400个正、负样本的时间。表中的最后一列表示验证期间每秒可以进行的观察次数,提取特征所花费的时间未包括在内,每组观测值中包含的参数是目标提取的特征参数。该精度用于正确识别玉米幼苗和杂草在总目标量中的比例。定义分类精度的公式如下:

Accuracy= TP+TN  TP+FP+FN+TN (1)

其中TP定义为检测到的玉米幼苗,FP定义为检测出的玉米幼苗杂草,FN定义为设置为杂草的玉米幼苗。TN被定义为被检测为杂草的杂草。

观察实验结果,表5中第七、第八和第九融合策略的识别率均高于96%。当旋转不变LBP特征和GGCM特征融合时,验证实验达到了最高的平均精度。训练和测试时间低于其他两组,准确性和实时性能最符合实际要求。

3.2. 实际现场图像测试

除了从构建的正、负图像数据集中随机选择30%的图像进行验证外,还测试了400张玉米田的实际图像。验证结果表明,当GGCM与旋转不变LBP特征描述符融合时,可以获得最高的实验精度。为了验证GGCM和旋转不变LBP融合策略中检测玉米幼苗和杂草的有效性,本研究进行了实际测试,测试结果有三个,如图4所示。在图中,红色矩形是检测到的杂草区域,黄色矩形是检测出的玉米幼苗区域。实际测试的玉米田图像背景非常复杂,存在部分重叠、物体遮挡和土壤团聚等因素,对检测算法提出了更高的要求。然而,实验结果仍然非常准确,达到了实验目的。

(a) (测试结果1) (b) (测试结果2) (c) (测试结果3)

Figure 4. Experimental effect

4. 实际测试结果

3.3. 实验检测结果

本次多特征SVM模型的实验结果是从3600张图片样本中,可识别的正确图片是3510张,正确率是97.5%。同时本文还结合文献[25]中提及的方法进行识别检测,最后识别正确率的结果如表6所示。

通过以上三种实验结果对比可以发现:训练准确率最高的实验是采用多特征融合的SVM模型,与采用LBP-SVM的检测模型是端到端的卷积网络模型,训练样本中的数据差别不大;基于多特征SVM模型检测的方法正确率最高,而ANN-SVM模型则降低了8.19%的正确率,由此可见,SVM模型的方法与VGG16-SVM模型相比,可以提高测试正确率。

Table 6. Parameter settings, features, and recognition accuracy of various models

6. 各类模型参数设置、特征及识别正确率

分类模型

最优参数设置

训练集识别率/%

测试集识别率/%

ANN-SVM

t = 2, c = 45.2548, g = 0.25

97.25

89.31

LBP-SVM

t = 2, c = 16, g = 0.044201

97.25

91.57

多特征SVM

t = 2, c = 32, g = 0.044201

99.60

97.50

4. 结果分析

图4所示,实际图像中的杂草和作物目标检测结果表明,该系统可以准确识别和检测图像中的玉米幼苗和杂草。每幅图像中的杂草区域检测都非常准确。它为喷洒除草剂机精确喷洒或施肥机精确施肥提供了杂草和玉米幼苗的准确位置信息。而在图4的结果1中,没有检测到最左侧的玉米叶,影响准确性的因素是图像中目标的不完整性,这说明当图像边缘周围出现的目标完整性小于三分之一时,系统无法很好地识别目标。但在应用于实际环境时,输入是一个图像视频序列,因此某一帧图像中的不完整目标不会影响实验,在下一帧图像中,正确识别了完整的目标。

总体而言,本研究提出的算法在识别和检测实际田间图像中的玉米幼苗和杂草方面具有较高的准确性。虽然当图像边缘小于植物的三分之一时,检测的准确性需要提高,但实际测试图表明,本研究的算法对复杂的玉米幼苗杂草区域具有很好的检测效果,可用于后期精确的喷洒提供了精确的杂草位置信息。在实际农田喷洒除草剂的过程中,向作物喷洒肥料或向杂草喷洒除草剂提供了准确的位置信息。

根据表5,当PCA方法用于HU不变矩时,灰度共生矩阵和维数较少的灰度梯度矩阵,精度降低。当融合本研究涉及的所有特征(HOG、旋转不变LBP、Gabor、GGCM、HU不变矩和其他六种特征)时,与少于六种特征类型的组合相比,前者的精度并不高于后者。对于玉米幼苗和杂草的两个分类问题,融合特征类型的数量并不好。当数量较大时,会遇到特征冗余的问题,导致识别率较低。另外,根据表5的结果,得出当旋转不变LBP与GGCM融合时,精度最高,总体准确率为97.50%。旋转不变LBP特征改进了传统LBP的旋转不变性。因此,它被广泛应用于纹理图像分类。当使用适当大小的单元时,旋转不变LBP特征可以有效地用作玉米和杂草的分类依据,并且GGCM结合了图像的灰度信息和图像的梯度信息,表达了更丰富的图像信息。结合这两个特征后,可以更好地利用叶片信息,获得更高的检测精度。相反,当使用HU不变矩时,实验精度最低。HU不变矩通常用于识别图像上的大物体,但它只使用低阶矩。对于具有小对象和复杂纹理特征的图像,无法描述图像的细节,因此精度低。当玉米幼苗的叶子比杂草的叶子大时,使用HU不变矩玉米幼苗的检测精度较高,但细杂草的检测精度大大降低。Gabor函数作为小波变换的基本函数,增强了从图像的各个方向和尺度提取的特征,图像信息可以从多个方向和尺度获得,有利于提取玉米和杂草在多个方向上的空间频率和局部结构特征。GLCM使用图像的局部信息,该信息表示特定图像空间位置像素之间灰度值的相关性,但它不能利用图像的全局信息。HOG特征不受旋转不变性的影响,玉米幼苗叶片和杂草叶片的方向是随机的,但传统的HOG特征作为区分玉米和杂草的基础,并不能解决这类问题。与GLCM相比,单特征GGCM增加了梯度信息,但也增加了实验时间。

综上所述,当选择旋转不变LBP特征和GGCM时,平均精度最高,玉米幼苗和杂草的识别效果更好。实际图像检测结果表明,本检测方法在检测和标记杂草和玉米幼苗区域方面非常准确,它为变量喷洒或精确施肥提供了准确的位置信息。

5. 结论

为了识别和检测玉米苗田中的玉米幼苗和杂草,建立一个用于算法测试的小型图像数据集,并提出一种基于多特征融合和SVM的玉米幼苗与杂草识别和检测方法,同时对不同特征的融合方法和效果进行了实验和讨论,选择一种具有令人满意的检测效果和实时性能的特征融合方案。具体结论如下:

1) 建立一个包含2000个正、负图像样本的玉米幼苗和杂草叶图像数据集。该数据集可用于建立和验证玉米幼苗和杂草分类算法模型,同时还建立苗期实际田间图像数据集,用于田间杂草和玉米幼苗检测的实际效果测试。为了在玉米苗期检测田间杂草和玉米幼苗,提出了一种二元目标检测和识别方法。该方法有效地识别了玉米幼苗和杂草,并为后续的田间管理提供了信息,如智能变量喷洒、除草和精确施肥。

2) 基于多种特征提取和融合策略,提出18种具有6种不同特征的融合方法,在实际的玉米苗期田间图像数据集中进行测试,以找到杂草和玉米幼苗检测的最佳融合策略。这六个特征是HOG特征、旋转不变LBP特征、HU不变矩、Gabor特征、灰度共生矩阵和灰度梯度共生矩阵。

3) 考虑到正负样本特征数据的高维性,一些实验组合利用PCA进行降维,有效地提高了实验的准确性。

4) 在六个单一特征的情况下,旋转不变LBP特征对应于最高的分类精度。当旋转不变LBP特征和GGCM相结合时,实现了最高的识别精度。与其他17种多特征组合相比,同时使用了图像的全局信息和局部信息,实验效果最佳。对于样本图像数据集的构建,玉米幼苗和杂草的平均识别准确率达到97.50%。对于实际的玉米幼苗田间试验图像,本研究提出的方法对于杂草和玉米幼苗区域的检测和标记是准确的,并为农药喷洒机器人或精确施肥机提供了杂草和玉米苗的准确位置信息。

基金项目

2023年海南省大学生创新创业训练计划项目:《玉米精准施肥施药智能决策系统的研究》(编号:S202313892039)。

参考文献

[1] Liakos, K., Busato, P., Moshou, D., Pearson, S. and Bochtis, D. (2018) Machine Learning in Agriculture: A Review. Sensors, 18, Article 2674.
https://doi.org/10.3390/s18082674
[2] Su, W. (2020) Advanced Machine Learning in Point Spectroscopy, RGB-And Hyperspectral-Imaging for Automatic Discriminations of Crops and Weeds: A Review. Smart Cities, 3, 767-792.
https://doi.org/10.3390/smartcities3030039
[3] Liu, B., Li, R., Li, H., You, G., Yan, S. and Tong, Q. (2019) Crop/weed Discrimination Using a Field Imaging Spectrometer System. Sensors, 19, Article 5154.
https://doi.org/10.3390/s19235154
[4] SHEN, L. and JI, Z. (2009) Gabor Wavelet Selection and SVM Classification for Object Recognition. Acta Automatica Sinica, 35, 350-355.
https://doi.org/10.1016/s1874-1029(08)60082-8
[5] Kamilaris, A. and Prenafeta-Boldú, F.X. (2018) Deep Learning in Agriculture: A Survey. Computers and Electronics in Agriculture, 147, 70-90.
https://doi.org/10.1016/j.compag.2018.02.016
[6] Wong, W.K., Chekima, A., Mariappan, M., Khoo, B. and Nadarajan, M. (2014) Probabilistic Multi SVM Weed Species Classification for Weed Scouting and Selective Spot Weeding. 2014 IEEE International Symposium on Robotics and Manufacturing Automation (ROMA), Kuala Lumpur, 15-16 December 2014, 63-68.
https://doi.org/10.1109/roma.2014.7295863
[7] Li, X.F., Zhu, W.X., Ji, B. and Liu, B. (2020) Weed Identification Based on Features Optimization and LS-SVM in the Cotton Field. Transactions of the Chinese Society of Agricultural Machinery, 41, 168-172.
[8] Chen, Y.J., Zhao, B., Li, S.J., Liu, L., Yuan, J.W. and Zhang, Y.L. (2015) Weed Reverse Positioning Method and Experiment Based on Multi-Feature. Transactions of the Chinese Society of Agricultural Machinery, 46, 257-262.
[9] Burgos-Artizzu, X.P., Ribeiro, A., Guijarro, M. and Pajares, G. (2011) Real-time Image Processing for Crop/Weed Discrimination in Maize Fields. Computers and Electronics in Agriculture, 75, 337-346.
https://doi.org/10.1016/j.compag.2010.12.011
[10] Ishak, A.J., Hussain, A. and Mustafa, M.M. (2009) Weed Image Classification Using Gabor Wavelet and Gradient Field Distribution. Computers and Electronics in Agriculture, 66, 53-61.
https://doi.org/10.1016/j.compag.2008.12.003
[11] Naresh, Y.G. and Nagendraswamy, H.S. (2016) Classification of Medicinal Plants: An Approach Using Modified LBP with Symbolic Representation. Neurocomputing, 173, 1789-1797.
https://doi.org/10.1016/j.neucom.2015.08.090
[12] Nguyen Thanh Le, V., Apopei, B. and Alameh, K. (2019) Effective Plant Discrimination Based on the Combination of Local Binary Pattern Operators and Multiclass Support Vector Machine Methods. Information Processing in Agriculture, 6, 116-131.
https://doi.org/10.1016/j.inpa.2018.08.002
[13] Ma, Y., Feng, Q., Yang, M. and Li, M.Q. (2016) Wine Grape Leaf Detection Based on HOG. Computer Engineering and Applications, 52, 158-161.
[14] Midtiby, H.S., Åstrand, B., Jørgensen, O. and Jørgensen, R.N. (2016) Upper Limit for Context-Based Crop Classification in Robotic Weeding Applications. Biosystems Engineering, 146, 183-192.
https://doi.org/10.1016/j.biosystemseng.2016.01.012
[15] Tang, J., Chen, X., Miao, R. and Wang, D. (2016) Weed Detection Using Image Processing under Different Illumination for Site-Specific Areas Spraying. Computers and Electronics in Agriculture, 122, 103-111.
https://doi.org/10.1016/j.compag.2015.12.016
[16] Huang, S., Wu, S., Sun, C., Ma, X., Jiang, Y. and Qi, L. (2020) Deep Localization Model for Intra-Row Crop Detection in Paddy Field. Computers and Electronics in Agriculture, 169, Article ID: 105203.
https://doi.org/10.1016/j.compag.2019.105203
[17] Wang, A., Zhang, W. and Wei, X. (2019) A Review on Weed Detection Using Ground-Based Machine Vision and Image Processing Techniques. Computers and Electronics in Agriculture, 158, 226-240.
https://doi.org/10.1016/j.compag.2019.02.005
[18] Ghazali, K.H., Razali, S., Mustafa, M.M. and Hussain, A. (2018) Machine Vision System for Automatic Weeding Strategy in Oil Palm Plantation Using Image Processing Technique. American-Eurasian Journal of Agricultural & Environmental Sciences, 3, 451-458.
[19] Mao, W.H., Cao, J.J., Jiang, H.H., Wang, Y.M. and Zhang, X.C. (2017) In Field Weed Detection Method Based on Multi-Features. Transfer CSAE, 23, 206-209.
[20] Tang, Z., Su, Y., Er, M.J., Qi, F., Zhang, L. and Zhou, J. (2015) A Local Binary Pattern Based Texture Descriptors for Classification of Tea Leaves. Neurocomputing, 168, 1011-1023.
https://doi.org/10.1016/j.neucom.2015.05.024
[21] Chowdhury, S., Verma, B. and Stockwell, D. (2015) A Novel Texture Feature Based Multiple Classifier Technique for Roadside Vegetation Classification. Expert Systems with Applications, 42, 5047-5055.
https://doi.org/10.1016/j.eswa.2015.02.047
[22] He, D.J., Qiao, Y.L., Li, P., Gao, Z., Li, H.Y. and Tang, J.L. (2023) Weed Recognition Based on SVM-DS Multi-Feature Fusion. Transactions of the Chinese Society of Agricultural Machinery, 44, 182-187.
[23] Liu, N. and Kan, J. (2016) Improved Deep Belief Networks and Multi-Feature Fusion for Leaf Identification. Neurocomputing, 216, 460-467.
https://doi.org/10.1016/j.neucom.2016.08.005
[24] Chaki, J., Parekh, R. and Bhattacharya, S. (2015) Plant Leaf Recognition Using Texture and Shape Features with Neural Classifiers. Pattern Recognition Letters, 58, 61-68.
https://doi.org/10.1016/j.patrec.2015.02.010
[25] Bakhshipour, A. and Jafari, A. (2018) Evaluation of Support Vector Machine and Artificial Neural Networks in Weed Detection Using Shape Features. Computers and Electronics in Agriculture, 145, 153-160.
https://doi.org/10.1016/j.compag.2017.12.032
[26] Gómez-Flores, W., Garza-Saldaña, J.J. and Varela-Fuentes, S.E. (2019) Detection of Huanglongbing Disease Based on Intensity-Invariant Texture Analysis of Images in the Visible Spectrum. Computers and Electronics in Agriculture, 162, 825-835.
https://doi.org/10.1016/j.compag.2019.05.032
[27] Ming-Kuei Hu, (1962) Visual Pattern Recognition by Moment Invariants. IEEE Transactions on Information Theory, 8, 179-187.
https://doi.org/10.1109/tit.1962.1057692
[28] Chen, C. (1993) Improved Moment Invariants for Shape Discrimination. Pattern Recognition, 26, 683-686.
https://doi.org/10.1016/0031-3203(93)90121-c
[29] Zhang, W. and He, J. (2010) Construction and Generalization of Hu Moment Invariants. Journal of Computer Applications, 30, 2449-2452.
https://doi.org/10.3724/sp.j.1087.2010.02449
[30] Turkoglu, M. and Hanbay, D. (2019) Leaf-Based Plant Species Recognition Based on Improved Local Binary Pattern and Extreme Learning Machine. Physica A: Statistical Mechanics and Its Applications, 527, Article ID: 121297.
https://doi.org/10.1016/j.physa.2019.121297
[31] Chen, Y., Lin, P., He, Y. and Xu, Z. (2011) Classification of Broadleaf Weed Images Using Gabor Wavelets and Lie Group Structure of Region Covariance on Riemannian Manifolds. Biosystems Engineering, 109, 220-227.
https://doi.org/10.1016/j.biosystemseng.2011.04.003
[32] Tang, L., Tian, L. and Steward, B.L. (2003) Classification of Broadleaf and Grass Weeds Using Gabor Wavelets and an Artificial Neural Network. Transactions of the ASAE, 46, 1247-1254.
https://doi.org/10.13031/2013.13944
[33] Hong, J.G. (2020) Texture Analysis Method Based on Gray Gradient Co-Occurrence Matrix. Acta Mechanica Sinica, 10, 22-25.