1. 引言
智能铁屑清理移动机器人单目视觉寻迹研究的一个热点是视觉图像的处理分析。图像处理中,图像分割的基础是阈值的选择,因此阈值的自动选取一直是图像研究的重点和热点。已经提出的图像阈值自动选取方法多达数十种,但在实际使用中常用的方法只有直方图波谷法、Otsu法、最大熵方法、矩量保持法、梯度统计法等几种[1]-[10]。在基于单摄像头的视觉伺服移动机器人前进领域,由于系统较复杂,对于目标区域的提取主要研究集中于基于样本直方图统计变量获取阈值的方法[11] [12]、基于YUV色彩空间的固定阈值分割方法[13]-[17]、基于HSI色彩空间的自适应阈值分割方法[18]-[24]等。
基于样本直方图统计变量获取阈值的方法,重点是利用直方图波峰和波谷的特点来确定阈值,利用类间最大方差得到分割阈值,该方法可以自动得到统计意义上的最佳分割阈值。其关键技术在于把直方图划分成n个局部区域的准确性以及如何辨别波峰以及伪波峰,利用直方图获取阈值的方案在国防科技大学王祥科的论文《Otsu多阈值快速分割算法及其在彩色图像中的应用》[1]中描述较为详细。该方法的缺点在于其对彩色图像分割的效果比较差,分割之后原图像彩色信息会丢失,原因为基于直方图的阈值分割是基于简单的二值图像,获得其像素分布直方图。但是彩色图像每一个像素值由三个值耦合而成,包含信息多,无法简单的直接对彩色图像进行处理。
基于YUV色彩空间的固定阈值分割方法是利用YUV色彩空间的特性,Y表示明亮度,U和V描述图像的色度,和指定像素的颜色。该方法手动给定Ymin,Ymax,Umin,Umax,Vmin,Vmax作为固定阈值分割图像。该方案在刘斌的《基于颜色的目标跟踪系统在机器人中的应用》[11]中描述的较为详细。该方法缺点在于受到光照波动的影响较大,目标区域无法实时更新,造成区域分割不准确,同时影响轨迹的辨析,原因为在于光照的不确定性,随着光线的变化,其Y值也会产生变化,随机颜色信息也会出现波动,不容易设定一个合理的初始阈值。
基于HSI色彩空间的自适应阈值分割方法关键在于感兴趣区域ROI的获取以及阈值动态更新的方法,利用HS的联合直方图统计方法。该方案在南京航空航天大学杨星的研究生学位论文《机器人彩色目标识别与跟踪系统的研究与实现》[18]中描述的较为详细。该方法缺点在于该方法主要适用于静止不动的图像分割,有一定的局限性,原因为需要假设机器人处于静止状态,对图像进行实时分割才能取得比较好的效果,在实际应用中,机器人大多处于运动状态。
本文综合改进了上述方法,通过解决光照变化和有栅格遮拦的情况下彩色图像的实时分割以及轨迹的快速提取问题,设计了一种稳定可靠的基于单目视觉的智能铁屑清理机器人寻迹方法。
2. 方案描述
2.1. 智能铁屑清理移动机器人设计
智能铁屑清理移动机器人广泛应用于工业生产领域,特别是在机械加工、汽车制造、航空航天等行业中,产品对环境中铁屑清洁程度要求非常高,但是这类生产环境中铁屑的产生又是不可避免的,因此需要及时频繁的进行铁屑清理。传统清理方式主要通过的人工操作专用工具进行清理,不仅效率低下,还存在一定的安全隐患。针对上述问题,本文设计了一种智能铁屑清理机器人,具备通过将磁吸模组安装在智能机器人上实现对地面上的铁屑铁钉进行自动清理以及对铁屑进行自动分类收集的功能。
Figure 1. Diagram of intelligent iron removal mobile robot
图1. 智能铁屑清理移动机器人示意图
本文设计的智能铁屑清理移动机器人如图1所示,主要包括1. 移动机器人车体;2. 导航激光雷达;3. 可升降磁铁;4. 寻迹/避障视觉相机;5. 从动轮;6. 主动轮;7. 充电桩以及车体内部电控制系统和远端调度系统。其中,1. 移动机器人车体主要由型材焊接和钣金装配而成;2. 导航激光雷达主要用于在引导轨迹损坏时进行短时低速导航;3. 可升降磁铁主要用于实现对不同重量铁屑的吸取和清理;4. 寻迹/避障视觉相机主要用于实现对引导轨迹的跟踪和障碍物的检测;5. 从动轮和6. 主动轮主要用于驱动车体实现车体的运动功能;7. 充电桩用于对机器人进行充电,整套系统在车体内部电控系统和远端调度系统管理控制下工作。
2.2. 机器人视觉寻迹方法研究
本文主要研究一种基于摄像头的智能铁屑清理移动机器人图像快速分割以及前进寻迹的方法。对于光照实时变化或其他有阴影的场合来说,图像可以分为3个区域,强光照区域,正常光照区域以及弱光照区域,以图2 (图像像素为640*480)为例:
Figure 2. Source image
图2. 原始图像
彩色图像动态分割算法的思路:在RGB色彩空间上对该图像进行处理,第一步:将其分离成3个单通道的图像:R通道,G通道以及B通道,本文以红色为目标颜色,R通道的信号强弱如图3所示。
Figure 3. Channel R image
图3. R通道图片
从图中可以看出分为3中颜色,其中白色代表原图中红色较浓,黑色部分表示原图几乎没有红色,灰色部分表示原图中参杂红色。
为增加目标区域提取时对背景色的抗干扰能力,采用平均相邻行像素值,并将新的像素值赋给当前行,以5行为例即:
(1)
其中
指的是从第一行到第五行对应的像素值。这样取平均的方法可以很好的减小外部因素以及背景色的干扰。
第二步:将R通道图片的第一行投射到一个横坐标为0到640,纵坐标为0到1 (0到255归一化之后的结果)的坐标系中,最近行对应如图4所示。
Figure 4. Channel R projection image
图4. R通道投射图
从图3中可以看出在坐标320附近有一个突变,坐标400附近有另外一个突变,其左右两边分别为过暗区域和过亮区域。对比原图,可以发现该突变区域对应的就是红色区域,由于RGB色彩通道是互相耦合的,因此需要同时考虑到G通道以及B通道的像素曲线,将它们依次投射到同样的坐标系中,结果如图5所示。
第三步:分析图5,将问题简化为如何提取突变区域,一种可以提取突变区域的算法如下:
(2)
其中R,G,B分别代表原图中该点在三个通道中的像素值,α是一个估算值,在实验中获取一个合适值。a,b,c代表一个权重系数,即代表R,G,B三通道的像素值对于阈值选取的影响,RGB色彩模式是通过对R,G,B三个颜色通道的变化以及它们相互之间的叠加来得到,因此这三个值的选定将直接影响图像分割的效果。
本文设定场景将红色为目标颜色,则可以取a = b = c = 1,其结果如图6所示,黄色曲线为算法所得,可以发现,除了在突变两侧,其他像素坐标所对应的像素值都小于黄色曲线在该点的像素值,因此可以认为这条黄色曲线为动态阈值曲线,用来提取目标区域。
Figure 5. Three channels projection image
图5. 三通道投射图
Figure 6. Dynamic threshold image
图6. 动态阈值图
当实际生产场景与本文设定场景不一致时,比如设定绿色为寻迹跟踪目标颜色,则可以适当的调整b的值,因为该值代表的是绿色像素的权重,因此可以取b = 1.2,即可达到彩色图像分割的效果。
3. 实验分析
随机选取智能铁屑清理移动机器人行进过程中的寻迹图像,按照1中所述方法进行图像分割,将图像分为两类,其中一类为要提取的目标颜色,其像素点的值仍为原值;另外一类为背景,其像素值设为0,图像分割效果如图7所示。
Figure 7. Tracking target segmentation effect image
图7. 寻迹跟踪目标分割效果图
从图7可以看出,采用本文提出的方法能很好的适应光照变化,彩色图像动态分割效果好,算法所用时间在7 ms,能满足移动机器人对于实时性的要求。
4. 结论
本文研究了工业智能铁屑清理移动机器人单目视觉寻迹过程中寻迹图像的快速分割以及机器人前进寻迹的方法,设计了具体的实现方案,并随机抽取机器人寻迹过程中的寻迹图像进行试验验证,试验结果显示该方法是有效的。
基金项目
研究得到宁波市“科技创新2025”重大专项基金支持(项目号:2022Z072,2023Z042)。
NOTES
*通讯作者。