摘要: 麦穗识别在智慧农业中有较高的应用价值，如粮食产量估计、种子筛选、和种子基因性能等。许多研究人员主要关注麦穗计数。传统的大田麦穗计数具有简单、方便等特点，但效率低下、人的主观因素较多。本研究采用Global Wheat Head detection (GWHD) dataset的小麦图像数据。为了准确对数据集进行分类识别，借助图像的基本操作实现数据增强，而后在结合深度学习在图像识别中的优势，以ResNet50为基础网络框架，设计一套基于Faster R-CNN的麦穗图像识别算法。实验结果表明，相比其他卷积神经网络，ResNet50网络模型具泛化性好，鲁棒性强、精度高等优点。
Abstract:
The automatic detection of wheat head has high application value in yield prediction, seed screening, density estimation and gene character expression. At present, the main research focuses on wheat head counting. The traditional counting method of wheat head is simple and convenient, but it has the problems of low efficiency and high subjective influence. Wheat image data comes from Global Wheat Head detection (GWHD) dataset in this study. To accurately classify and recognize the data set, data enhancement is realized with the help of the basic operation of the image. Then, combined with the advantages of deep learning in image recognition, a set of wheat head image recognition algorithm based on Fast R-CNN is designed based on ResNet50 network framework. The experimental results show that compared with other convolutional neural networks, ResNet50 network model has the advantages of good generalization, strong robustness, and high accuracy.
1. 引言
小麦是我国最重要的粮食作物之一，其不仅关乎着人们日常的饮食需求，同时影响着国民经济的发展和社会稳定。随着智能技术的不断发展，智慧农业 [1] 对粮食的生产起着重要的作用，一些智能技术对传统农业起到重大的推动作用 [2] [3]。本文将讨论影响粮食生产的麦穗图像识别方法 [4] [5] [6]。
麦穗识别在智慧农业中有较高的应用价值，如粮食产量估计、种子筛选、和种子基因性能等。许多研究人员主要关注智慧农业和麦穗计数。传统麦穗计数主要依靠人工视觉进行主观辨别和判断。该方法具有简单、方便等特点，但需要大量的人力物力效率低下、人的主观因素较多。随着图像识别技术的发展 [7] [8]，人们借助智能算法替代传统的计数方法。在对小麦头图像进行精准检测时会遇到视觉上的挑战，如小麦植株重叠，风动下的模糊图像 [9]。这些问题加剧了识别单个小麦头的难度。为了克服这些干扰的因素，将计算机技术与农业深度融合 [10] [11]，结合图像处理基本技巧，利用深度学习中的神经网络设计一套基于Faster R-CNN的麦穗图像识别算法，用其对大田下小麦的数量、密度、大小等参数预估。小麦管理决策者可运用这些数据进行小麦生产过程的智能决策和精确管理，为小麦的智能识别监控系统提供理论依据和技术支持。
2. 资料与方法
2.1. 资料
本文的研究的小麦图像数据集来自Global Wheat Head detection (GWHD) dataset，其是第一个从现场光学图像进行小麦头检测的大型数据集，包括多个地区的不同品种，涵盖了由欧洲(法国，英国，瑞士)，亚洲(中国，日本)，大洋洲(澳大利亚)和北美(加拿大)的标注图像。所有图像的通用格式为1024 × 1024 px，分辨率为每像素0.1~0.3 mm。本文研究的是不同品种小麦头的密度和大小，部分测试图像如图1所示。
2.2. 研究方法
2.2.1. 图像数据预处理
为避免参与训练的图像数据集出现欠拟合或过拟合现象，本研究将对图像进行旋转、剪切和翻转增加数据集的数量，利用高斯模糊、噪声模糊等图像处理操作进行数据增强，以此保证小麦图像样本数量的均衡。最后得到试验样本共16,875张，其中训练集图像16,865张，测试集图像10张，具体流程见图2。通常，深度学习算法需要大量的样本信息。为了有效地管理这些信息，可以设计csv文件的头文件，这些文件包含着一些基本信息，如名称、类别、大小等。
2.2.2. Faster R-CNN整体流程
Faster R-CNN主要由RPN网络和Faster R-CNN目标检测组成，见图3的上下两个部分。ResNet50网络作用是候选图像的特征图的提取工作。RPN网络作用是生成区域候选框。Faster R-CNN提取候选框检测并识别目标。Faster R-CNN的整体流程框架共有4个环节。
1) 特征提取：Faster R-CNN首先使用残差网络ResNet50提取候选图像的特征图。这些信息将被用于后面的其他层：RPN层和全连接层 [12]。
2) RPN网络：经残差网络ResNet50接收到(1)的信息后RPN网络生成候选区域框。该层借助锚点，判断前景和背景，而后通过边界框回归获取确切的候选框。图片输入到ResNet50网络中，得到可共享的卷积层的特征图，再利用滑动窗口的方法对特征图进行矩形窗口设置(锚点)，卷积的结果供全连接层使用。
3) ROI池化：该层将利用特征图和候选的目标区域获取目标区域的特征图，而后将其输送到后面的全连接层用来判别目标的类别。
4) 目标分类和回归：通过目标区域的特征图获取目标区域的类别，借助边界回归获取最后的精确的检测框。
Figure 3. Target detection framework of Faster R-CNN
图3. Faster R-CNN的目标检测结构
2.2.3. ResNet50网络模型
在深度学习中，梯度消失和梯度爆炸是网络深度遇到的主要问题。一般我们可以通过数据的初始化和正则化来克服梯度问题，增加网络深度 [13]。然而，这样的方案容易产生网络退化问题。ResNet50网络在一定程度上解决了这个问题，被广泛应用于特征提取中。其是在现有网络的基础上形成的残差学习框架，具有计算负担小、易优化等特点。
该残差网络含有49个卷积层和1个全连接层，具体结构见图4显示，要经历5个阶段。在第一阶段中含有CONV、Batch Norm、Relu和MAXPOOL等。CONV是指卷积操作。Batch Norm是指批量正则化处理，Relu是指激活函数，MAXPOOL是指最大池化操作。第一阶段由7*7的卷积对特征提取，使图像长宽改变，而后再经过一个MaxPool层，进一步降低图像的分辨率。坐落在第二到第五阶段中的ID BLOCKx2表示的是两个不改变尺寸的残差块 [14]。CONV BLOCK是指添加了尺度的残差块。在每个残差块中存在三个卷积层。这样，该残差网络共有49个卷积层。AVGPOOL是指全局平均池化操作，第二至五阶段代表残差块。对图像预处理获取大小一致的数据。训练集上计算通道的平均值，每个通道平均减去该值实现归一化。通过残差块的CONV操作后实现深度问题。经Flatten处理后传送至全连接层，得到对应的类别概率。
Figure 4. Structure diagram of ResNet50
图4. ResNet50的结构图
3. 实验结果与分析
3.1. 实验平台搭建
相关研究建立在实验平台Pytorch上，其是一个基于Python语言的深度学习框架。硬件环境为Intel (R) Xeon (R) CPU E5-2678 v3@2.50GHz、NVIDIA GeForce RTX 2080 Ti，用Ubuntu18.04的Linux操作系统，基础配置为Anaconda、Python3.7，Python终端进行OpenCV、Pytorch环境的搭建。
3.2. 试验指标评价
客观评价是衡量实验效果好坏的重要依据。相关的实验将采用如下的两个性能评价指标，分别为：平均精确率(记为AP)和平均精度均值(记为mAP)。AP指代P-R曲线下面的面积，其中，P和R分别为精确率和召回率。该值反应分类的效果，即值越大效果越好，其适用于单个类别的情形。mAP适用于多个类别情形，其值反应目标检测效果的好坏。mAP的值介于0和1之间，值越大说明训练出来的识别模型目标检测效果越好。P和R的计算式为
(1)
(2)
其中，TP是被正确划分为正样本的数量，FP是被错误划分为正样本的数量，FN是被错误划分为负样本的数量。
3.3. 麦穗识别结果对比
本小节将呈现相关麦穗识别的实验效果。为了显示本文算法的有效性，我们将与其他方法进行比较，包括不同预处理和网络结构。
本研究网络模型识别图像采用半监督学习的分类方法，其准确率要高于其他未使用Pseudo Labeling (伪标签)的模型，说明半监督学习使用大量未标记数据的同时使用标记数据，对图像的分类识别能力具有较大的提升作用，结果见图5。由表1数据发现，基于Faster-RCNN与ResNet50结合的方法，相对于VGG16和ResNet34效果更佳，检测准确率达到63.1342%。
Table 1. Experimental results of different algorithms on GWHD
表1. 不同算法在GWHD数据集的表现
4. 总结
借助深度学习中卷积神经网络，结合图像处理的基本操作，以ResNet50为基础网络框架，设计一套基于Faster R-CNN麦穗图像识别算法，以及使用VGG16、ResNet34、ResNet50逐步提升分类识别精确度。模型具有较好的性能，可以在较短时间内完成训练，准确率良好。此文有效的方法可推广至水稻等农产品应用中。后续可设计更好的网络提高复杂环境下抗干扰的能力，提高精度。
基金项目
重庆市自然科学基金面上项目(cstc2019jcyj-msxmX0060)，重庆市教委科学技术研究重点项目(KJZD-K20 2001503)，国家大学生科技创新训练项目(202111551024)，重庆市大学生科技创新训练项目(S201911551025)。