基于可视化监测的自动采果作业系统设计与控制研究
Study on Design and Control of an Automated Fruit Harvesting System Based on Visual Monitoring
DOI: 10.12677/dsc.2025.142008, PDF, HTML, XML,    科研立项经费支持
作者: 顾怡红:衢州职业技术学院机电工程学院,浙江 衢州;胡长德, 黄鸿猷:金华集群科技有限公司,浙江 金华
关键词: 机器视觉人工智能图像处理自动化技术Machine Vision Artificial Intelligence Image Processing Automation Technology
摘要: 本研究旨在开发一种可视化监测的自动采果作业系统,通过整合Pixy CMUcam5视觉模块、SG-90微型伺服马达、MG996伺服马达和Futaba S148连续旋转型伺服马达等关键组件,并利用Arduino Mega控制板实现机构间运动的精确协调。通过坐标转换方法简化了果实定位问题,并结合柔性旗鱼式爪指设计,研发了三爪式夹爪作为西红柿采收的工具。通过实验分析,确定1.40 kgf的平均穿刺力作为最大夹取力的基准,夹爪上贴附的薄膜式力量传感器能够直接测量手指与果实间的力量,模拟测试显示最大夹持力为0.70 kgf,且夹取试验结果表明夹取动作对番茄造成的损伤极小。此外,本研究还测试了三种不同摩擦力材料的拉力和拉拔力,为后续夹爪材料的选择提供依据,为自动化采摘技术的发展提供重要的理论和实践基础。
Abstract: This study aims to develop an automated fruit harvesting system with visual monitoring capabilities by integrating key components such as the Pixy CMUcam5 vision module, SG-90 micro servo motor, MG996 servo motor, and Futaba S148 continuous rotation servo motor, and utilizing an Arduino Mega control board to achieve precise coordination of movements between mechanisms. The problem of fruit positioning was simplified using coordinate transformation methods, and a three-fingered gripper with a flexible flag fish-style claw design was developed as a tool for tomato harvesting. Experimental analysis determined an average penetration force of 1.40 kgf as the benchmark for maximum clamping force. The thin-film force sensor attached to the gripper can directly measure the force between the fingers and the fruit, and simulation tests showed a maximum clamping force of 0.70 kgf, and the results of the clamping test showed that the clamping action caused very little damage to the tomato. Additionally, this study tested the tensile and pulling forces of three different friction materials to provide a basis for the selection of gripper materials in the future, offering important theoretical and practical foundations for the development of automated harvesting technology.
文章引用:顾怡红, 胡长德, 黄鸿猷. 基于可视化监测的自动采果作业系统设计与控制研究[J]. 动力系统与控制, 2025, 14(2): 67-76. https://doi.org/10.12677/dsc.2025.142008

1. 引言

随着全球人口的持续增长和劳动力资源的日益紧张,农业生产面临着前所未有的挑战[1]。传统的人工采摘方式不仅效率低下,且劳动强度大,已难以满足现代农业对高效、精准和可持续生产的需求。因此,自动化采摘机器人应运而生,成为提升农业生产效率和质量的关键技术之一[2]。自动化采摘机器人集成了机械工程、自动控制、人工智能和机器人学等多学科的先进技术,旨在实现果实的自动识别、定位和采摘。其中,视觉识别系统作为核心组成部分,负责获取果园环境的实时图像信息,并通过图像处理算法识别目标果实的位置和成熟度。机械臂则根据视觉系统提供的位置信息,精确地执行采摘动作。然而,果园环境复杂多变,光照条件、果实遮挡和背景干扰等因素对视觉识别系统的性能提出了严峻挑战。为解决上述问题,研究者们在视觉识别技术方面进行了大量探索[3]。例如,采用深度学习算法对果实进行特征提取和分类,提高了识别的准确性和鲁棒性。此外,融合多传感器信息,如红外传感器和激光雷达,能够在复杂环境中提供更为可靠的果实定位信息。在机械臂控制方面,研究者们致力于优化运动规划和控制算法,以实现高精度的采摘动作。例如,基于深度强化学习的路径规划方法,能够在动态环境中自主调整采摘策略,提高了系统的适应性和效率。尽管自动化采摘机器人在实验室环境中取得了显著进展,但在实际应用中仍面临诸多挑战。果园环境的多样性和复杂性,以及果实种类的差异性,要求机器人具备高度的适应性和智能化水平。此外,机器人系统的成本、稳定性和维护性等因素,也是推广应用中需要重点考虑的问题[4] [5]

综上所述,自动化采摘机器人作为现代农业发展的重要方向,具有广阔的应用前景。未来的研究应聚焦于提升系统的智能化水平,优化视觉识别和机械臂控制技术,解决实际应用中的关键问题[6],以推动农业生产方式的转型升级。

2. 试验方法与设计

2.1. 视觉系统

本研究采用了Pixy公司的CMUcam5摄像机镜头模块(图1)。该模块基于色度的颜色滤波算法来检测物体,计算CCD传感器每个RGB像素的色度和饱和度将其作为主要的滤波参数,能够精确识别并检测经过预设学习的颜色目标,并实时反馈这些目标在像素画面中的坐标位置。为增强系统的动态追踪能力,集成了四颗SG-90伺服电机,构建了具有Pan-Tilt功能的视觉运动系统。这些系统通过Arduino型微控制器板接收位置指令,并结合追踪控制理论,实现对目标物体的精准追踪。

Figure 1. CMUcam5 camera lens module

1. CMUcam5摄像机镜头模块

在机械手臂的运行结构设计方面,本文选择了关节型手臂,并以基座为中心进行旋转,上方连接二连杆运动机构,形成一个以基座为圆心、二连杆长度为半径的球形工作区域。为了验证本研究的采果机构原型,选用了4颗MG996型号的伺服电机,构建一个三轴关节型机械手臂。该机械手臂的控制与视觉系统均整合在同一块Arduino Mega控制板上,如图2所示,实现了高效、高精度及协同的自动化作业[7]

Figure 2. Visual capture system

2. 视觉抓取系统

2.2. 爪具机构设计

为确保采摘过程中的稳定性和效率,该夹爪(图3)采用塑钢材料和铝板制造,重量约为500克,高为250 mm、宽130 mm。其夹指可根据夹取力量和物品形状调整弯曲度,实现小夹取力和大抓握力的效果。夹爪的动力源选用了无刷直流马达,因其体积小、重量轻且易于控制。通过螺杆旋转,驱动夹指开合,M5 × 0.8螺杆行程为40 mm,最大夹取直径为80 mm。该设计旨在满足西红柿采摘过程中的轻柔抓取需求,确保果实在采摘过程中不受损伤。

Figure 3. Claw refers

3. 爪指

在自动化采摘系统中,夹爪的设计对采摘过程的效率和果实的完整性至关重要。为实现对西红柿的轻柔抓取,采用了模仿鱼鳍结构的柔性夹指。该设计能够根据夹取物的形状和所需力量自动调整弯曲度和接触面积,从而实现对果实的柔性抓取[8]

夹爪手指的材料选用了热塑性弹性体(TPE-U),其摩擦系数相对较低。为提高夹取过程中的摩擦力,夹爪接触面采用了泡棉和橡胶材料。泡棉材料具有良好的弹性和适应性,能够有效地增加接触面积,提升夹持稳定性。橡胶材料则提供了更高的摩擦系数,增强了夹持力,防止果实在夹取过程中滑动或脱落。

夹爪的控制系统通过监测马达电流的变化来实现力量控制。当夹爪夹取物体时,马达的电流会根据夹取力量的大小而变化。控制板将这些模拟信号转换为数字信号,并通过PI控制器调节马达的输出,以精确控制夹取力量。该系统的数字信号范围为0~233,确保了夹取力量的精确调节。

在夹取力量的测量方面,采用了型号为FSR (Force Sensing Resistor)压力传感器,它是一种由Interlink Electronics公司生产的超薄型电阻式压力传感器。其工作原理是将施加在传感器薄膜区域的压力转换为电阻值的变化,即压力越大,电阻越低。FSR402的感测区域直径为12.7 mm,厚度约为0.3 mm,适用于压力范围从100 g到10 kg的应用场景。其超薄设计使其在需要空间有限的环境中尤为适用。此外,FSR402的背面配备粘胶,方便直接粘贴在被测物体表面,简化了安装过程。

需要注意的是,FSR传感器的输出信号与施加的压力之间的关系并非线性,因此在进行精确测量时,需要进行适当的校准和信号处理。夹爪的设计和控制系统的精确调节相结合,实现了对西红柿的轻柔抓取,确保了采摘过程的高效性和果实的完整性。未来的研究可以进一步优化夹爪材料和控制算法,以适应不同类型果实的采摘需求[9] [10]

2.3. 可视化监测系统

关节型机械臂的运动学分析是研究其各关节和连杆之间几何关系的基础,通过建立适当的坐标系(图4)和定义关节变量,可以利用Denavit-Hartenberg (D-H)参数法对机械臂进行建模。在此模型中,关节角度(θ₁、θ₂)和连杆长度(l₁、l₂)等参数用于描述机械臂的空间位姿。通过正运动学分析,可以根据已知的关节角度计算末端执行器的位置和姿态;而逆运动学分析则是在已知末端执行器的期望位置和姿态的情况下,求解各关节角度的值,D代表了两台CCD中心之间的固定距离,以实现精确控制,采用仿生视觉系统的当前命令θpLθpRθtLθtR作为传感器信息,选取视觉系统与关节型机械手臂的误差对应关系,将三维定位追踪控制划分为三个自由度的部分独立控制。

Figure 4. Visual mechanism

4. 视觉机构

3. 结果与讨论

3.1. 视觉系统控制

在自动化果物采摘系统中,视觉系统的精确控制对于确保采摘效率和果实质量具有至关重要的作用。为了实现这一目标,本研究采用了先进的仿生视觉系统,该系统能够模拟人类视觉的感知和处理机制,将捕捉到的视觉信息经过高效的处理和转换,生成精确的控制指令。这些指令随后被传输至伺服马达,通过伺服马达的精确响应,进一步引导关节型机械手臂进行精确的动作执行。在这一过程中,仿生视觉系统能够实时调整机械手臂的姿态和力度,确保每一次采摘动作都能高效、精准地完成,从而大幅提升采摘作业的整体效率和果实的品质。

1) 水平旋转控制

通过先进的视觉系统精确获取目标果物的三维空间坐标位置(x’, y’, z’),基于这些坐标数据,利用几何学原理和算法计算出需要调整的x’方向上的角度差,即水平旋转角θb。该角度差值是调整机械手臂水平姿态的关键参数,通过精确控制这一角度,可以使机械手臂精准对准目标果物,确保后续操作的高效性和准确性。

2) 仰角控制

仰角控制的目的是将目标果物严格限制在预设的特定高度范围内。通过视觉系统实时反馈的多个关键参数,包括θpLθpRθtLθtR,系统可以精确控制机械手臂的仰角角度。这些参数反映了视觉系统中左右相机视角的差异,通过综合分析这些差异,系统能够动态调整机械手臂的仰角,确保目标果物始终处于预定的高度范围内,从而为采摘操作提供最佳的位置条件。

3) 焦点远近控制

当目标果物在x’方向上已经实现对准时,视觉系统的左眼和右眼伺服马达会接收到相同的平移角度命令,从而形成一个等腰三角形结构。在这种状态下,当θpL = θpR = θpd时,表明机械手臂的末端执行器与目标果物之间的距离已经精确达到预设值。这一距离的精准控制为后续的采摘操作提供了理想的工作条件,确保机械手臂能够在最佳位置进行果物的采摘,提高操作的效率和成功率。

4) 末端执行器控制

在完成上述精确的定位控制步骤之后,机械手臂的末端执行器,例如仿生夹爪,需要根据目标果物的具体特性进行细致的抓取策略调整。这一过程中,通过配备的高精度力传感器,实时监测并反馈夹持力的大小,确保夹持力度既不过大也不过小,从而有效避免对果实表面造成任何不必要的损伤。此外,末端执行器采用了柔性化的设计理念,使其具备了良好的适应性,能够灵活应对不同形状、不同大小的果实,显著提升了采摘作业的成功率。

5) 视觉反馈与误差补偿

在整个采摘过程中,先进的视觉系统持续不断地监测目标果物的实时位置和姿态信息,并将这些数据与预先设定的预期值进行精确比较。借助高效的闭环控制机制,系统可以实时调整机械手臂的运动轨迹以及末端执行器的具体动作,以有效补偿由于环境因素的动态变化、传感器测量误差或机械结构本身存在的偏差所引起的各种误差。这种精细化的调整确保了采摘动作的精确性和操作的可靠性。通过上述在三个自由度上的独立且协同的控制,仿生视觉系统能够精准地引导机械手臂高效执行果物的采摘任务。这种方法不仅将视觉信息高效转化为机械动作指令,还实现了高度自动化和智能化的采摘过程,极大地提升了作业效率和果实品质。

3.2. 采果爪具机构控制

在自动化采果系统中,爪具机构的控制是实现精确采摘的关键环节[11]。本研究中爪具的运作机制采用了Futaba S148连续旋转型伺服电机,这种电机因其高精度和稳定性而被选用。该电机通过驱动M5 × 0.8螺杆滑台连杆机构,实现了爪具的精确开合动作。这种设计不仅提高了爪具的动作精度,还确保了操作的流畅性和可靠性。

1) 控制流程

Figure 5. Control process

5. 控制流程

控制流程的设计充分考虑了操作的自动化和智能化[12]。如图5所示,控制流程图详细描述了从视觉识别到机械手臂定位,再到爪具夹取和释放的整个过程。这一流程的设计旨在实现高度自动化的操作,减少人为干预,提高采摘效率和准确性。

2) 视觉追踪与机械手臂的协同

视觉追踪系统在这一过程中起到了至关重要的作用。通过Pixy CMUcam5视觉模块,系统能够快速准确地识别并定位目标果物。视觉信息被实时传输到Arduino Mega控制板,该控制板负责整合视觉信息和机械手臂的动作控制。关节型机械手臂根据视觉系统的反馈,精确地将爪具移动到目标果物的最佳采摘位置。

3) 爪具夹取动作的执行

一旦爪具到达预定位置,果物采摘控制程序随即启动。Futaba S148伺服电机接收控制信号,驱动螺杆滑台连杆机构,使爪具准确夹持目标果物。在夹取过程中,系统通过监测伺服电机的电流变化来实时评估夹持状态,确保果物被稳固夹持。

4) 采摘后的复位与释放

完成夹取后,机械手臂自动复位至起始点,爪具在控制信号的作用下释放果物。这一过程的设计确保了采摘动作的高效性和稳定性,同时也减少了对果物的损伤风险。

3.3. 爪具试验

1) 西红柿外尺寸分析

在进行采果爪具机构的设计之前,必须对目标物的尺寸规格进行详细的物性调查。为了获取准确的数据,实验组实际走访了西红柿的生产农户,了解到在西红柿采收后,农户们通常会使用滚筒式分级机来辅助人工进行分级作业,以提高分级的效率和准确性。此外,课题组还对西红柿的物性进行了详细的调查,并将相关数据整理如表1所示。根据表中的数据,取样西红柿的平均长边尺寸为73.60毫米。基于这一数据,我们可以得出结论:在设计采果爪具时,爪指开启后的夹持空间至少需要达到长边的平均值,即73.60 mm,以确保能够稳定、有效地夹持西红柿。这一尺寸参数的确定,对于采果爪具的设计和优化具有重要的指导意义。

Table 1. Size of tomatoes

1. 西红柿尺寸

序号

重量(g)

长边(mm)

短边(mm)

高度(mm)

体积(mm³)

1

160.5

72.0

65.0

60.0

180 ± 5

2

180.0

78.0

70.0

65.0

210 ± 5

3

145.0

71.0

67.0

58.0

170 ± 5

4

165.0

75.0

69.0

61.0

190 ± 5

5

155.0

73.0

66.0

59.0

175 ± 5

6

175.0

77.0

68.0

62.0

200 ± 5

7

140.0

70.0

63.0

57.0

160 ± 5

8

170.0

76.0

67.5

60.5

185 ± 5

平均值

163.625

73.625

67.25

60.375

185 ± 5

2) 抓具试验

传感器和力量测量的结果如图6所示。通过测量不同重量所感应到的传感器数字信号,数据显示传感器的数字信号与相应的力量之间的关系具有较高的相关性,R2值为0.99,这表明两者之间存在显著的线性关系,因此该传感器可作为有效的测量工具。

Figure 6. Film pressure sensor signal and force correction

6. 薄膜式压力传感器信号与力量校正

当传感器被附着在爪指上用于测量夹爪夹持力时,如图7所示,数据表明,马达的数字信号与传感器数字信号之间的R2值为0.91。尽管数据中存在少许误差,这些误差来源于PI控制在检测马达数字信号时所产生的偏差,但误差幅度极小,因此可以忽略不计。

Figure 7. Comparison of claw clamp current with thin-film pressure sensor signal

7. 夹爪电流与薄膜式压力感测器讯号比较

当马达的数字信号达到233时,对应的力量为0.70 kgf,这一数值被确定为最大夹持力,进而用于后续的实验。为了验证最大夹持力0.70 kgf是否会对西红柿造成损伤,使用该力量进行试验。通过推拉力计测试三个接触位置的穿刺力,有夹取的西红柿平均穿刺力为1.40 kgf,未夹取的西红柿平均穿刺力为1.58 kgf,二者相差仅0.08 kgf。由于这一差异极小,且夹取位置没有出现变色或软化现象,说明西红柿未受到损伤。

基于这些实验数据,最大夹持力0.7 kgf不会对西红柿造成损伤。随后,针对西红柿分选机所选的七种不同尺寸,进行了三种不同夹取面材料的拉力试验。结果如表2所示,数据显示,PU材料的平均拉力为1.02 kgf,泡棉为1.33 kgf,橡胶为3.46 kgf,三种材料的拉力差异明显。为了确保在直拉、弯曲及扭转等不同采摘模式下能够正确采摘,选择了橡胶作为爪指表面材料。

Table 2. Tensile test of clamping surface materials

2. 夹取面材料拉力试验

材料

第一级

第二级

第三级

第四级

第五级

第六级

第七级

总平均拉力

TPE-U (PU)

0.98

1.09

1.05

1.04

1.04

0.95

0.96

1.02

泡棉

1.35

1.32

1.33

1.33

1.31

1.35

1.33

1.33

橡胶

3.43

3.52

3.53

3.35

3.43

3.42

3.51

3.46

由于橡胶材料的特性使得夹取后的爪指具有包覆效应,进一步测试了在最大夹持力下,不同大小和不同材料的西红柿所需的拉出夹爪的力量。结果如表3所示,数据显示,较小的西红柿需要更大的力量来拉出夹爪,而较大的西红柿则所需的力量较小。在材料方面,橡胶材料的拉出力量最大,平均为4.25 kgf,而PU材料最小,平均为1.53 kgf。由此可以确认,使用橡胶作为表面材料能够提高采摘成功率,且在夹爪移动过程中,西红柿不会从夹爪中脱落。

Table 3. Pull force test of tomato clamping

3. 西红柿抓取的拉拔力试验

材料

第一级

第二级

第三级

第四级

第五级

第六级

第七级

总平均拉力(kgf)

TPE-U (PU)

1.98

1.78

1.55

1.52

1.39

1.27

1.21

1.53

泡棉

2.45

2.22

2.1

1.82

1.64

1.63

1.61

1.92

橡胶

4.75

4.55

4.24

4.09

4.08

4.07

3.95

4.25

4. 结论

实验结果表明,夹爪的最大夹持力为0.70 kgf,这一力度在夹取和未夹取番茄的测试中被证明不会造成番茄损伤。此外,本文对三种不同材料进行了抓取测试,结果表明,橡胶材料的表现优于其他两种材料。因此,在考虑采摘模式和后续手臂移动的需求后,本研究选择橡胶材料作为柔性爪指的表面材料。另一种采摘模式是剪刀剪切。如果将剪刀剪切模式与柔性爪指抓握相结合,由于夹爪无需抵抗番茄脱落果梗所需的力量,夹爪表面可以选择泡棉材料。这样,即使在夹爪移动过程中,番茄也不易脱落。如果夹爪的移动过程较为平顺,且剪刀能够准确完成剪切动作,那么爪指表面材料无需修改,可以直接使用原始材料PU,以辅助剪切后的后续采摘流程。综上所述,本研究为柔性夹爪的设计和材料选择提供了科学依据。根据不同的采摘模式和需求,选择合适的材料可以提高采摘效率并保护作物。未来的研究可以进一步优化夹爪设计[13],以适应更广泛的应用场景。

基金项目

2023年度市级科技攻关项目(No. 2023k241)资助。

参考文献

[1] 陈青, 殷程凯, 郭自良, 等. 苹果采摘机器人关键技术研究现状与发展趋势[J]. 农业工程学报, 2023, 39(4): 1-15.
[2] 高自成, 庞国友, 李立君, 等. 手动背负夹爪式简易梨采摘器研制[J]. 农业工程学报, 2019, 35(1): 39-45.
[3] 熊俊涛, 叶敏, 邹湘军, 等. 多类型水果采摘机器人系统设计与性能分析[J]. 农业机械学报, 2013, 44(S1): 230-235.
[4] 郭自良, 殷程凯, 吴玄博, 等. 水果采摘机械手关键技术研究现状与展望[J]. 江苏农业学报, 2024, 40(6): 1142-1152.
[5] Chung, J., You, H., Kim, H., Lee, B., Park, S. and Yoon, E. (2015) A Novel Technique for Robot Assisted Latissimus Dorsi Flap Harvest. Journal of Plastic, Reconstructive & Aesthetic Surgery, 68, 966-972.
https://doi.org/10.1016/j.bjps.2015.03.021
[6] Lemsalu, M., Bloch, V., Backman, J. and Pastell, M. (2022) Real-Time CNN-Based Computer Vision System for Open-Field Strawberry Harvesting Robot. IFAC-PapersOnLine, 55, 24-29.
https://doi.org/10.1016/j.ifacol.2022.11.109
[7] 黄才贵. 基于机器视觉的百香果采摘分级机器人平台的设计[J]. 农业技术与装备, 2022(1): 54-56.
[8] 张卫卫, 席文奎, 徐慧斌, 等. 感应式电动采果器的设计[J]. 中国农机化学报, 2018, 39(10): 38-40, 70.
[9] 张静, 韩东亚, 宋洋, 等. 基于负压式苹果采摘机器人末端设计及仿真[J]. 液压气动与密封, 2024, 44(1): 39-46.
[10] 赵子葳. 果实采摘机器人视觉系统的研究与设计[D]: [硕士学位论文]. 长春: 长春理工大学, 2020.
[11] 张跃跃, 田嘉全, 王文祥, 等. 火龙果采摘机器人末端执行器设计与试验[J]. 林业工程学报, 2023, 8(4): 144-150.
[12] 黄才贵, 蒋正忠, 李岩舟. 一种高枝水果采摘头的设计分析[J]. 机械设计与研究, 2021, 37(4): 188-191, 197.
[13] 华超, 褚凯梅, 陈昕, 等. 软体水果采摘机械手系统设计分析与试验[J]. 林业工程学报, 2021, 6(3): 127-132.