1. 引言
环卫车辆向着机械化、智能化、精细化方向发展,目前垃圾回收环卫车辆分大、中、小型,其中中型和大型车辆大都是燃油卡车,小型环卫车多为电动车。无论哪种环卫车辆都需要人工驾驶车辆行驶到垃圾桶存放处,将垃圾桶挂在环卫车的提升装置上,然后拨动液压控制开关,提升机构将垃圾桶倾倒在车厢内。在挂装垃圾桶的过程中体力消耗较大,同时人体直接接触垃圾,存在疾病传播风险。同时一般环卫车辆的工作时间是凌晨,社区人员稀少便于操作,但影响工人休息。
近年来我国大力提倡垃圾分类,垃圾桶存放点一般都会摆放四个垃圾桶,但实际在社区、园区使用过程中,虽然居民对垃圾桶的垃圾进行了分类,但有些环卫车把所有的垃圾都倒入了同一个车箱,失去了垃圾分类的意义。
文献 [1] 提出无人驾驶环卫车在市场的带动下逐渐兴起,目前,已有部分企业的无人驾驶清扫车投向市场应用,清扫的基本功能都已实现,目前全国数十个地方已开展无人清扫车的试点或运营,主要集中在公园、景点等相对封闭的场景。城市道路的环卫清扫车,国家标准规定车速必须低于12公里/小时,将自动驾驶应用到环卫领域,可以实现全天候行驶,效率更高,工作严格规范。现在很多无人驾驶环卫车公司的研究重点在于对清扫装置的创新突破。在保证车辆低速平稳行驶前提下,添加了清扫垃圾处理装置,对垃圾存放进行调整,提升清扫效率 [2]。还有一些环卫消毒车采用了无人驾驶技术,制作成无人驾驶消毒车,在2020疫情刚开始时被广泛关注,但其真正的商用价值没有发挥出来。虽然无人驾驶技术已逐步与环卫车相结合,但无人驾驶垃圾回收车尚未研发出来。
针对以上问题,本文提出研发了一台无人驾驶垃圾收集车,如图1所示。该车辆依靠安装在车辆上的传感器和计算单元完成无人驾驶,利用远程控制平台可以实时监测车辆的运行状态,通过视觉图像处理技术完成垃圾桶的分类和定位,通过自动控制系统完成垃圾的回收动作执行。通过使用智能化车辆,提升垃圾回收工作效率,落实垃圾分类相关政策,优化环卫工人工作体验。
2. 设计思路
基于自动驾驶平台的精准垃圾回收功能为应用场景,研发一种用于精准识别、精准抓取的垃圾回收、定点集中倾倒的精准操作系统。整体系统分为三大部分模块:自动驾驶系统模块、精准识别系统模块、精准控制系统模块,如图2所示。
Figure 1. Automatic driving garbage recycling sanitation vehicle
图1. 无人驾驶垃圾收集车
Figure 2. Platform of hardware in vehicle
图2. 整车系统硬件平台
无人驾驶硬件系统一部分是环境感知,比如激光雷达、摄像头、毫米波雷达等传感器设备;计算单元负责完成自动驾驶系统的运算分析部分并得出对车辆的决策;车辆控制部分执行对自动驾驶车辆的转向、制动和油门控制。无人驾驶系统可以智能规划路线和定点停车,自动停障;同时终端远程、手机终端可监控干预自动驾驶过程 [3]。
通过双目相机,利用深度学习识别定位垃圾桶的类别和颜色,完成对道路垃圾桶的精准识别和分类;通过立体视觉匹配完成识别定位功能,获取垃圾桶的准确位置。
精准控制系统通过控制液压系统能够自动完成垃圾桶的抓取、倾倒、放回动作,将环卫工人从垃圾回收的作业劳力中完全解放出来;垃圾收集完毕后车辆会自动行驶到指定地点,完成垃圾箱的整体倾卸,全程无人参与。
3. 无人驾驶系统
无人驾驶硬件系统,包含感知、决策、控制三部分(还有定位、地图、预测等模块)。车辆运动方面考虑车的速度、转角以及横滚,俯仰、航向等信息。环境感知,比如激光雷达、摄像头、毫米波雷达等传感器设备;计算单元负责完成自动驾驶系统的运算分析部分并得出对车辆的决策;车辆控制部分执行对自动驾驶车辆的转向、制动和油门控制。
车辆在自动驾驶前需要进行路径规划,根据路径规划结果,沿预定轨迹行驶。全局路径规划为在已知起点和终点的前提下,算法根据车辆定位信息和静态地图信息,采用迪杰斯特拉(Dijkstra)算法规划出高精度地图中最短并且最优小的行驶路径。车辆上安装的传感器周围环境的感知,主要包括行人、车辆的检测,目标的距离、速度,多源感知数据融合技术是自动驾驶感知周围环境信息技术中必不可少的有效关键技术和重要途径 [4]。
在自动驾驶过程中会检测到障碍物,根据检测结果会涉及局部路径规划等问题,从而实现停障、避障等动作。相机通过YOLO V5模型对图像中的目标进行分类和定位,将激光雷达对应像素区域的3D点云对应到图像上,图像上的某些像素也就打上了深度信息,帮助感知系统进行基于图像的分割或者训练Deep Learning Model (深度学习模型)。最终可以获取到获取障碍物运动状态信息 [5]。
决策模型根据相应的环境信息,做出对应的判断,将车辆的控制信号发送给控制器。车辆的平顺控制采用PID控制,实现车辆转角、速度平顺、及时调整 [6]。车辆的转角控制采用预瞄点控制原理,PID控制器的输入为车辆航向与前方预瞄点之间的角度差。实验发现如果仅考虑预瞄点,在急转弯情况下,车辆的转向及时性无法保证。因此对控制器的输入量进行了修正,将预瞄点距离分为远、近两段,两者通过不同权重进行叠加,作为最终输入,如图3所示。类似于人类开车,既要关注道路远方路况,又要关注车前路况。同时由于转角控制采用增量PID控制,积分环节稳态误差的存在使得控制器容易出现震荡,实时性变差,因此控制器中去掉了积分环节。
Figure 3. Diagram of PID controller about steer angle
图3. 车辆转角PID控制原理图
实验结果表明:无人驾驶车辆测试预订行驶速度为5 km/s,当道路上的障碍物出现在车辆前方时,车辆将立即停止,直到障碍物消失。如图4(a)所示,车辆在A点计算出障碍物会与车辆相撞,车辆在B点停止。当障碍物消失时,车辆认为没有碰撞威胁,车辆逐步返回其原始速度。
图4(b)展示了车辆在十字路口左转的情况。起初,转角逐渐变为负值,绝对值变得越来越大,直到达到E点,然后返回到零。在此过程中,转向根据路径信息从D点开始左转,转弯后,车轮在F点处回正。无人驾驶汽车平稳转弯,没有发生偏离路径和震荡的情况发生。
(a) (b)
Figure 4. (a) Velocity and steer angle of automatic driving vehicle when meeting obstacle; (b) Velocity and steer angle of automatic driving vehicle when turning
图4. (a) 无人驾驶车辆停障时的速度与转角;(b) 无人驾驶车辆转弯时的速度与转角
车辆的运动状态,程序的运行状态等信息,通过车载无线路由发送到车辆远程监控平台,平台可以对无人驾驶系统所有硬件状态进行原始监控,如毫米波雷达,激光雷达,相机,组合导航等;监控每一个进程的运行状态和计算周期,同时还可以对车辆进行远程紧急控制。该平台可通过手机,平板,笔记本电脑等终端设备进行方位及控制,如图5所示。
4. 精准识别系统
根据环保最新政策要求,增加了垃圾分类的功能,因此需要车辆能够有效识别垃圾桶的颜色,进而进行垃圾桶的识别。同时机械臂夹取垃圾桶,需要精准调整,因此准确获取垃圾桶的位置尤为重要。本车辆在车辆侧方安装了一个双目相机进行垃圾桶的分类识别和精准定位。
通过YOLO V5进行垃圾桶的识别,通过hsv颜色阈值,对垃圾桶的颜色进行识别,实现分类。图6展示了基于灰度的匹配算法进行立体匹配,实现图像间的视差计算。在一幅图像中以一点为中心选定一区域(窗口),在另一幅图像中寻找与该区域相关系数最大的区域,把找到的区域的中心认为是原来区域中心的对应点 [7]。由于它对噪声很敏感,所以需要搭配去噪滤波使用。具体流程如下:
Figure 6. Result of garbage bin identification and positioning
图6. 垃圾桶识别、定位结果
1) 误差能量函数
选取匹配计算区域窗口,d是视差,需要先定一个视差搜寻范围,由于该算法对噪声敏感,进一步计算平均error energy。
2) 基于最小平均误差能量的视差图
选取error energy最小的d作为视差图中的d,得到视差图。
3) 计算可靠度,生成具有可靠视差的视差图
前两步得到的视差图是有噪声的,可以先用中值滤波处理一遍。
定一个阈值ve,将error energy低于它的筛掉:alpha是系数,系数越低,可靠度越高,但是去噪效果越不好。
4) 由视差图生成深度图
根据三角关系,由视差计算距离。
5. 精准控制系统
精准识别定位系统与机械控制系统通信,进行机械臂位置微调。精准定位系统发送垃圾桶相对于机械臂的坐标位置,机械臂进行位置精细调整,并抓取垃圾桶倾倒,最后将垃圾桶放回到初始位置。垃圾倾倒时,机械臂具有三个动作,前伸,抱夹,举升;反之亦然,如图7所示。每一个动作都是用液压缸伸长或收缩实现,液压缸的受电磁阀控制,电磁阀的吸合与断电,控制着液压油在液压缸中的流动方向,从而控制着液压缸的伸出和缩回 [8]。电磁阀接受控制器的控制信号,使得机械臂完成相应的动作。整个过程结束后,机械控制系统发送机械臂回位指令给精准识别定位系统,精准识别定位系统将控制权交回给自动驾驶系统。
根据当下疫情形势,本产品配备的“雾炮”装置还可以完成垃圾倾倒工作之后对垃圾桶的消毒消杀工作。不仅能够最大限度的提高工作效率,还切实保障了一线环卫工人的安全。车辆完成所有垃圾桶收集工作后,行驶到指定垃圾回收地点,完成垃圾倾倒,完成倾倒动作后,车辆行驶到存放地,等待下一次任务,如图8所示。
(a) (b) (c)
Figure 7. Precise control of garbage bin: (a) forward extension, (b) clamping, (c) lifting
图7. 垃圾桶的精准控制:(a) 前伸,(b) 抱夹,(c) 举升
(a) (b)
Figure 8. Disinfection and dumping of garbage bin: (a) disinfection, (b) overall dumping
图8. 垃圾桶的消毒、倾卸动作:(a) 消毒,(b) 整体倾卸
6. 结束语
本文将无人驾驶技术与环卫垃圾收集车相结合,研发了无人驾驶垃圾回收环卫车。该车辆根据设定要求能够自动运行到垃圾桶存放处,通过双目相机对垃圾桶进行定位,利用液压系统驱动机械臂自动完成垃圾桶倾倒工作。车辆在自动驾驶过程中能自动停障,待障碍物消失后继续行驶。车辆转向通过增量PID控制,选取远、近两段预瞄距离,既保障了车辆行驶平顺性,又保障了转向实时性。该系统还配备了远程监控平台,能实时监控车辆的运行状态,保证安全行驶。基于灰度匹配的双目相机定位具有较高的定位精度,保证车辆行驶到机械臂可夹取到垃圾桶的区域。相比于当前环卫车辆,该无人驾驶车辆具有更高的工作效率,大大减轻工人的劳动强度。根据当下疫情形势,本产品配备的“雾炮”装置还可以完成垃圾倾倒工作之后对垃圾桶的消毒消杀工作,保障环卫工人的身体健康。
基金项目
天津职业大学科学研究基金项目资助,课题编号(20201101)。