基于机器人视觉引导的柔性振动盘上料系统研究

Research on a Robot Vision-Guided Flexible Vibratory Feeder System for Low-Texture Workpieces

摘要: 本文针对工业“柔性振动盘 + 机器人”上料系统中低纹理工件识别与抓取效率的挑战，设计并实现了一套基于机器视觉引导的自动化分拣系统。系统整合储料仓、柔性振动盘、工业智能相机及KUKA三轴机器人，通过TCP/IP通信实现多模块协同。鉴于低纹理工件表面特征稀疏的特点，提出以基于形状的模板匹配算法作为核心识别方案，并结合图像预处理、金字塔特征提取及多级相似度度量，有效克服了传统特征点匹配对纹理依赖性强、鲁棒性差的问题。为进一步提升实时性，本文引入贪心算法提前终止策略和图像金字塔分层搜索策略，对模板匹配的搜索过程进行优化，将单次检测时间从320 ms显著缩短至68 ms，同时识别准确率由89.2%提升至100%。在此基础上，利用九点标定建立高精度手眼映射关系，确保机器人抓取位姿精度。实验结果表明，该系统能够在复杂工业场景下实现低纹理工件的高效、稳定分拣，为柔性制造场景下的自动化上料提供了可行的技术路径。

Abstract: To address the challenges of low-texture workpiece recognition and efficient grasping in industrial “flexible vibratory feeder + robot” feeding systems, this paper designs and implements an automated sorting system guided by machine vision. The system integrates a storage bin, a flexible vibratory feeder, an industrial smart camera, and a KUKA six-axis robot, and coordinates these modules via TCP/IP communication. Considering the sparse surface features of low-texture workpieces, a shape-based template matching algorithm is adopted as the core recognition method, combined with image preprocessing, pyramid-based feature extraction and multi-level similarity metrics, which effectively overcomes the high texture dependency and poor robustness of traditional feature-based methods. To further improve real-time performance, a greedy early-termination strategy and an image pyramid multi-scale search strategy are introduced to optimize the search process, reducing the single-image detection time from 320 ms to 68 ms while increasing the recognition accuracy from 89.2% to 100%. In addition, a high-precision hand–eye calibration model is established using a nine-point planar calibration, ensuring accurate pose estimation for robot grasping. Experimental results demonstrate that the proposed system can achieve efficient and stable sorting of low-texture workpieces in complex industrial environments, providing a feasible technical solution for flexible automatic feeding in intelligent manufacturing.

1. 引言

在“工业4.0”和“中国制造2025”的推动下，制造业正加速向柔性化、智能化方向发展，多品种、小批量甚至按单生产逐渐成为常态[1]。在此背景下，物料自动上料环节已由传统刚性产线中的“配角”，演变为制约整体产线节拍和柔性能力的关键瓶颈之一。传统机械振动盘等刚性上料装置在处理单一规格工件时具有较高成熟度，但在面对难以区分正反面、易堆叠、易形变或表面易损的复杂工件时[2]，其结构固化、换型成本高、通用性不足等问题日益突出。

为提升柔性上料能力，学术界和工业界提出了“柔性振动盘 + 工业机器人 + 视觉引导”的解决方案，通过视觉识别与机器人抓取替代传统机械定向机构，能够适应多种不同形状和尺寸的工件，并显著缩短换线时间[3]-[5]。近年来，基于机器视觉的工件分拣及上下料系统、柔性分拣系统在国内外已有大量研究和工程实践，验证了视觉引导柔性上料在结构简化、通用性和经济性方面的优势[6]-[8]。

然而，要将该方案高效应用于低纹理工件场景仍面临两方面挑战：一是识别鲁棒性与精度问题。低纹理工件表面灰度变化不明显，传统基于特征点或纹理的检测算法难以提取稳定特征，易出现漏检和误检；面对工业现场复杂光照、反光和轻微遮挡时，这一问题更加突出[9]-[11]。二是实时性与系统节拍问题。在“柔性振动盘 + 机器人”架构中，视觉处理与机器人运动共同决定了系统节拍；若单次识别耗时过长，将直接限制上料效率，难以满足实际产线对节拍和工作负载的要求。

与基于特征点或深度学习的检测方法相比，基于形状的模板匹配算法仅依赖于工件轮廓信息，对纹理不敏感，在低纹理、弱纹理工件的工业识别任务中表现出良好的鲁棒性与定位精度，并已在缺陷检测、车辆姿态估计等场景中得到应用[12]-[14]。但这类算法在大视野、高分辨率图像上的全局搜索计算量较大，若不进行针对性的效率优化，同样难以满足实时分拣场景的需求。

鉴于上述问题，本文以柔性振动盘上低纹理工件的视觉引导抓取为应用背景，围绕“形状模板匹配 + 效率优化 + 高精度手眼标定”开展研究工作。主要贡献如下：首先，搭建了一套集成了柔性振动盘、工业相机与KUKA机器人的视觉引导实验平台，并设计了闭环控制流程。其次，为解决低纹理工件的识别难题，本文采用基于形状的模板匹配算法，并创新性地融合了贪心提前终止与图像金字塔分层搜索两种策略以优化其计算效率。最后，通过“九点平面标定 + 旋转中心标定”的策略保证了高精度的手眼协作。详尽的消融实验与系统测试验证了本文方法在保证100%识别准确率的同时，将单次检测时间从320 ms缩短至68 ms，显著提升了系统整体性能。

2. 机器人视觉引导系统构成与标定

2.1. 系统整体架构

本系统由机械执行系统、视觉感知系统和中央控制系统三部分构成，总体架构如图1所示，结构图由图2所示。机械系统包括KUKA三轴机器人、柔性振动盘及供料装置；视觉系统由海康威视工业相机、镜头及光源组成；控制系统以工控机为核心，运行视觉处理软件与机器人控制逻辑，并通过TCP/IP协议与PLC、机器人控制器进行通信，实现各模块的协同调度，系统主要的设备清单如表1所示。其工作流程遵循“供料–布料–拍摄–识别–抓取–摆盘”的闭环逻辑，并具备可抓取物料低于阈值时自动补料或重新布料的智能反馈机制。

Figure 1. System overall architecture diagram

图1. 系统总体架构图

Figure 2. System architecture diagram

图2. 系统结构图

Table 1. Main equipment list of the system

表1. 系统主要设备清单

名称	数量	制造商	型号
PLC	1	KEBA	CP505
四轴伺服驱动器	1	清能德创	RC4
机器人	1	KUKA	KR 70 R2100
工业相机	1	海康威视	MV-CU050-90GMC
镜头	1	海康威视	MVL-MF1628M-8MP
柔性振动盘	1	华睿智能科技	HR-502
电磁给料机	1	天津德森卫	DSOC
工控机	1	研华	aimb-i70 + I5-10500 + 512G

2.2. 系统控制任务流程

在准备阶段，需配置视觉系统、柔性振动盘及机械臂参数，并将物料放入储料仓。电磁振动给料机将物料逐步送入柔性振动盘。物料分布完成后，视觉系统启动，通过向PLC发送信号，触发振动盘振动，使物料均匀铺开。接收到振动完成的信号后，工业相机拍摄振动盘上的图像，识别物料的坐标和角度信息，并通过以太网传输至机器人控制系统。机器人据此信息使用吸盘工具，精准抓取物料并按指定角度摆盘。此过程持续进行，直至相机在一个拍照周期内分拣完所有识别的物料。系统的工作流程如图3所示：

2.3. 高精度手眼标定

为实现机器人对柔性振动盘上工件的精确抓取，需要建立工业相机成像平面与机器人基坐标系之间的空间映射关系，即完成手眼标定。本系统采用“九点平面标定 + 旋转中心标定”的分级标定策略，以提高整体定位精度。

2.3.1. 手眼关系标定

本系统通过九点标定法确定图像坐标系和机器人世界坐标系之间的透视变换关系，并生成标定文件，实现相机图像坐标系与机器人世界坐标系的有效转换[15]。选取标定板上分布均匀的9个特征点，记录其在图像中的像素坐标$\left(u_i,v_i\right)$ 以及机器人工作平面上的物理坐标$\left(X_i,Y_i\right)$ ，构建超定方程组，并采用最小二乘法求解3 × 3透视变换矩阵H。该矩阵可表示为：

Figure 3. System workflow diagram

图3. 系统工作流程图

$\lambda \left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=H\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$ (1)

其中λ为比例因子。由此可以将视觉识别得到的工件像素坐标实时转换为机器人基坐标系下的物理坐标。九点标定的过程如图4所示。

Figure 4. Diagram of the practical teaching system of automation major

图4. 九点标定流程图

九个预定义点的像素坐标和物理坐标如表2所示。

Table 2. Image coordinates and physical coordinates conversion table

表2. 图像坐标和物理坐标转换表

位置序号	图像坐标X	图像坐标Y	物理坐标X	物理坐标Y
P0	834.863	1311.797	530.934	162.730
P1	623.411	1346.023	530.933	152.730
P2	413.221	1378.828	530.933	142.729
P3	379.039	1167.663	520.933	142.729
P4	590.119	1134.720	520.934	152.729
P5	801.518	1100.414	520.934	162.730
P6	767.358	889.776	510.934	162.730
P7	557.911	923.485	510.933	152.730
P8	346.088	957.412	510.933	142.730

通过标定得到的转换矩阵为：

$H=\left[\begin{array}{ccc}0.007390697& 0.046245199& 464.10712\\ 0.046275366& -0.0073881298& 133.79108\\ 0& 0& 1\end{array}\right]$ (2)

2.3.2. 旋转中心标定

在完成相机内参和九点平面标定后，我们获得了从相机像素平面到机器人工作平面的精确映射。然而，这个映射关系仅对机器人末端执行器的一个静态TCP有效。当机器人需要旋转末端吸盘以校正工件抓取角度时，如果旋转轴与标定的TCP不重合，就会产生位置偏差，导致抓取失败。因此，必须精确标定吸盘绕其Z轴旋转时的旋转中心，并将其设为机器人的工作TCP，以消除旋转带来的定位误差。

旋转中心标定的基本原理是：当机器人末端法兰盘绕其工具Z轴旋转时，固定在末端上的旋转中心点在物理空间中的位置理论上保持不变。因此，通过让机器人执行一系列旋转动作，并利用相机连续捕捉吸盘上某个固定特征点的像素位置，这些像素点在图像平面上将构成一个圆形轨迹，如图5所示。通过对该圆形轨迹进行拟合，即可精确求解出圆心坐标，该圆心即为旋转中心在图像平面的投影。

Figure 5. Rotation calibration process diagram

图5. 旋转中心标定过程图

本系统采用的旋转中心标定步骤如下：

1) 特征点选择：将末端吸盘移动至相机视野中心，利用视觉算法如霍夫圆变换或模板匹配稳定识别并定位吸盘的中心点，作为跟踪的特征点。

2) 多角度采样：控制机器人末端法兰盘以当前位置为中心，绕工具Z轴旋转多个不同角度(例如，−90˚, −60˚, −30˚, 0˚, 30˚, 60˚, 90˚)。在每个角度位置，记录下吸盘中心特征点的像素坐标$\left(u_i,v_i\right)$ 。

3) 圆心拟合：将采集到的N组像素点坐标$\left(u_i,v_i\right)$ 用于拟合一个圆形。圆的一般方程为$\left({\left(u-u_c\right)}^2+{\left(v-v_c\right)}^2\right)=R^2$ ，其中$\left(u_c,v_c\right)$ 为待求的圆心坐标。为便于求解，可将其展开并整理为线性形式：

$u^2+v^2+Au+Bv+C=0$ (3)

其中，$A=-2u_c,B=-2v_c,C=u_c^2+v_c^2-R^2$ 。将N组采样点代入式(3)，可构建一个关于A，B，C的超定线性方程组：

$\left[\begin{array}{c}\begin{array}{ccc}{u}_1& v_1& 1\\ u_2& v_2& 1\\ ⋮& ⋮& ⋮\end{array}\\ \begin{array}{ccc}{u}_N& v_N& 1\end{array}\end{array} \right]\left[\begin{array}{c}A\\ B\\ C\end{array}\right]=-\left[\begin{array}{c}\begin{array}{c}{u}_1^2+v_1^2\\ u_2^2+v_2^2\\ ⋮\end{array}\\ u_N^2+v_N^2\end{array}\right]$ (4)

4) 中心坐标计算：根据A，B的值反解出旋转中心的像素坐标：

$\left(u_c,v_c\right)=\left(-\frac{A}{2},-\frac{B}{2}\right)$ (5)

5) 将计算得到的像素坐标$\left(u_c,v_c\right)$ 通过九点标定得到的变换矩阵H转换为机器人的物理世界坐标，此坐标即为精确的工具中心点(TCP)。将该TCP值配置到机器人控制器中，即可完成旋转中心标定。

3. 模板匹配算法

3.1. 模板匹配原理

模板匹配是视觉定位的常用技术，通过在图像中搜索与预定义模板最相似的区域来实现目标识别[16]。尽管基于特征点的方法(如SIFT)在处理纹理丰富的目标时速度快、效果好，但本研究面向的低纹理工件表面特征稀疏，难以提取稳定特征点，导致传统方法鲁棒性差[17]。因此，本文选用对纹理不敏感、更依赖轮廓信息的基于形状的模板匹配算法。

3.2. 基于形状的模板匹配

鉴于低纹理工件的特点，本系统最终选择基于形状的模板匹配算法。该方法通过比较待匹配模板与待测图像之间的形状相似性来确定目标位置。该方法的优点是对光照、尺度变化具有较好的鲁棒性，能够在工业现场复杂的噪声的环境下保持较高的匹配准确性[18]。如图6所示是基于形状的模板匹配的基本步骤，分为三个主要阶段，分别是图像预处理阶段、特征提取阶段、相似性度量阶段。

Figure 6. Basic steps of shape-based template matching

图6. 基于形状的模板匹配的基本步骤

1) 预处理：对图像进行降噪、模糊处理以及边缘增强的预处理算法来提取出精确的单像素工件轮廓。

2) 边缘特征提取阶段：假设模板轮廓包含n个边缘点，点的梯度方向向量定义为：

$t_i=\left(\cos {\theta }_i^t,\sin {\theta }_i^t\right),i=1，2，\cdots ,n$ (6)

待匹配图像中某位置$\left(x，y\right)$ 对应的边缘点方向为：

$d_i\left(x,y\right)=\left(\cos {\theta }_i^t,\sin {\theta }_i^t\right)$ (7)

如图7所示。

(a) 模板图像边缘特征提取图 (b) 待匹配区域梯度方向对比图

Figure 7. Template matching schematic

图7. 模板匹配原理图

3) 相似度度量阶段：相似度度量采用边缘方向。匹配的相似度度量函数可以定义为：

$S\left(x,y\right)=\frac{1}{n}{\displaystyle \sum }_{i=1}^n{t}_i\cdot d_i\left(x,y\right)$ (8)

其中“⋅”表示向量点积运算，$S\left(x,y\right)\in \left[0，1\left]S\left(x,y\right)\in \right[0，1\right]$ ，值越大表示模板与目标的匹配程度越高，图8是基于梯度向量的模板匹配检测结果图。

(a) 工件模板制作图 (b) 工件实时检测图

Figure 8. Template matching real-time detection result graph

图8. 模板匹配实时检测结果图

3.3. 匹配效率提升策略

为解决传统模板匹配在全图像搜索时耗时过长的问题，本文引入了贪心算法提前终止策略和图像金字塔分层搜索策略两种优化策略。

3.3.1. 贪心算法提前终止策略

在模板匹配的相似度计算过程，需逐点计算模板与目标图像局部区域的相似度得分。当图像较大或匹配区域较多时，计算量显著增加，影响匹配效率[7]。为此，引入基于贪心思想的提前终止策略，通过相似度累计过程中的动态判断，减少无效计算。

在计算公式(8)的累加和时，设定一个最低接受分数阈值τ，在累加过程中，实时评估当前已累加得分$s_j$ 。若当前累计得分无法达到用户设定的最小阈值τ，则无需完成全部点积计算，可直接中止该位置的匹配尝试。为实现该判断，采用逐点累积点积的方式计算相似度，设前j个模板点的累计得分为$s_j$ ，如式(9)所示。

$s_j=\frac{1}{n}{\displaystyle \sum }_{i=1}^j{t}_i\cdot d_i$ (9)

剩余n − j个点的最大可能贡献为(n − j)/n，因此总分上界为：

$s_{\max }=s_j+\frac{n-j}{n}$ (10)

当满足：

$s_{\max }<\tau$ (11)

时，可立即终止该候选位置的计算。这样可在匹配低质量候选时大幅减少无效计算量。

相似度阈值$\tau$ 的选取是一个在效率与召回率之间的权衡。较高的$\tau$ 值(如0.9)会使得剪枝策略更为激进，能够更快地淘汰低质量候选，从而最大化提速效果；但同时也可能在工件存在轻微遮挡或光照不理想时，因得分无法达到高阈值而导致漏检。较低的$\tau$ 值(如0.7)则更为保守，能容忍更大的形变和噪声，确保高召回率，但剪枝效果会相应减弱。

在本系统的实验中，经过多次预实验对比，综合考虑识别稳定性与实时性要求，最终将相似度阈值$\tau$ 设定为0.8。这一取值能够在有效过滤绝大多数背景噪声和不完整工件的同时，保证对所有形态完好的工件实现稳定识别。

3.3.2. 图像金字塔分层搜索策略

在高分辨率或大尺寸图像场景中，直接在原始图像上进行模板搜索会面临极高的计算复杂度，难以满足实时检测的需求。为此引入图像特征金字塔分层搜索策略，以实现匹配效率与精度的协同优化[19]。

图像特征金字塔本质上是通过逐层下采样构建一系列不同分辨率的图像，形成由低分辨率到高分辨率的层级结构[20]。具体实现方式为：将原始高分辨率图像作为金字塔底层，向上一层依次进行高斯平滑与下采样，形成一个图像尺寸逐级递减的金字塔结构。如图9所示。

图像金字塔的构建参数直接影响了分层搜索的效率与精度。关键参数包括金字塔的层数(Levels)和层间降采样率(Scale Factor)。层数过多会增加金字塔构建的开销，层数过少则无法体现粗略搜索的优势；降采样率过大会导致顶层图像信息丢失严重，过小则层间差异不大，优化效果不明显。

结合本系统应用的图像分辨率(2592 × 1944)与工件尺寸，本文构建了一个包含5层的图像金字塔，层间降采样率固定为22。这意味着金字塔从底层(Level 0，原始图像)到顶层(Level 4)，图像尺寸逐级缩小。

Figure 9. Diagram of image pyramid

图9. 图像金字塔示意图

与此同时，搜索策略也采用“由粗到精”的模式。在金字塔顶层(Level 4)，采用较大的角度搜索步长(10˚)和位置搜索步长进行全局搜索，快速锁定若干个候选区域。随后，将候选区域的位姿传递到下一层(Level 3)，并以更小的步长(5˚)在其邻域内进行更精确的搜索。此过程逐层向下递归，直至在底层(Level 0)以最高的精度(角度步长1˚)对候选位置进行最终的精确定位。如图10展示了在各层金字塔中提取的稀疏特征点分布情况。

(a) 原始模板图像 (b) 金字塔层级 = 1

(c) 金字塔层级 = 2 (d) 金字塔层级 = 3

(e) 金字塔层级 = 4 (f) 金字塔层级 = 5

Figure 10. Distribution of sparse feature points extracted from each layer of the pyramid

图10. 各层金字塔中提取的稀疏特征点分布情况

4. 实验结果与分析

4.1. 实验平台与评价指标

本章所有实验均在第2.1节所述的机器人视觉引导平台上进行。为全面、定量地评估本文所提算法的有效性，设计了消融实验、鲁棒性测试与系统集成抓取实验共三组对照验证。评价指标主要包括算法的单次识别平均时间(ms)和识别准确率(%)，前者衡量实时性，后者评估有效性。

为确保实验的可复现性，所有测试均在统一的参数配置下进行。图像预处理采用5 × 5高斯模糊核及阈值为(100, 200)的Canny算子。核心的模板匹配优化策略参数设置为：图像金字塔层数5层，层间降采样率为22，贪心提前终止阈值$\tau$ 为0.8。搜索范围设定为角度[−90˚, 90˚]，尺度固定为1.0。在抓取实验中，机器人抓取速度设定为80%，放置目标为预设的3 × 3矩阵阵列。这些参数共同构成了本次性能评估的基准环境。

4.2. 算法优化策略有效性验证

为验证贪心算法与金字塔分层搜索的有效性设计了消融实验，对比四种不同算法组合的性能。

在相同的硬件平台参数和图像数据下，对100张包含多个工件的图像进行测试，结果如表3所示。

Table 3. System resulting data of standard experiment

表3. 优化策略消融实验结果对比表

算法方案	平均识别时间(ms)	识别准确率(%)
A：传统形状匹配	320.4	89.2
B：方案A + 图像金字塔	96.7	99.8
C：方案A + 贪心算法	188.1	89.1
D：本文方法	68.3	100

从表3可以看出，单独引入图像金字塔或贪心算法均能显著提升效率，其中金字塔策略效果更优。方案B (引入图像金字塔)相较于基准方案A，识别时间大幅缩短约70%，其核心原因在于金字塔策略在宏观层面通过降采样极大地缩小了初始搜索空间，避免了在全分辨率图像上的暴力遍历，从而实现了计算复杂度的指数级下降。方案C (引入贪心算法)则在微观层面进行优化，它通过在相似度累加过程中进行“计算剪枝”，提前放弃了那些明显不满足阈值的候选位置。这种方法虽然也能将时间缩短约41%，但由于未改变宏观搜索范围，其效率提升不如金字塔策略显著。

而本文提出的组合策略(方案D)效果最佳，将宏观与微观优化相结合，产生了1 + 1 > 2的协同增效。将识别时间从320 ms大幅缩短至68 ms，且由于金字塔搜索的精细化，准确率也达到了100%。

4.3. 系统鲁棒性测试

为测试系统在复杂工业环境下的适应性，我们改变环境光照强度，测试算法的识别准确率。结果如表4所示。

Table 4. Recognition accuracy under different light intensities

表4. 不同光照强度下识别准确率

光照条件	识别准确率(%)
正常光照(100%)	100
较暗(70%)	99.5
较亮(130%)	100

实验表明，得益于基于形状的匹配原理，本文方法对一定范围内的光照变化不敏感，表现出良好的鲁棒性。

4.4. 系统集成与抓取实验

在最优参数下，对系统进行连续抓取测试。机器人连续抓取480个工件，统计系统的综合性能，结果如表5所示。

Table 5. Standard test system result data

表5. 系统综合性能测试结果

性能指标	结果(平均值 ± 标准差)
物料定位精度(mm)	0.15 ± 0.08
角度识别误差(˚)	0.21 ± 0.12
抓取成功率(%)	99.79 (479/480)

测试结果表明，本系统定位精度高、角度识别准确，抓取成功率接近100%，完全满足工业应用需求。

5. 结语

本文针对柔性上料系统中低纹理工件识别效率与精度低的挑战，成功研制并验证了一套基于优化形状匹配的机器人视觉引导系统。通过高精度的手眼标定，系统建立了可靠的视觉到运动的映射。核心贡献在于，创新性地将贪心提前终止策略与图像金字塔搜索策略相结合，用于优化基于形状的模板匹配算法。详尽的消融实验与性能测试表明，该方法不仅有效解决了低纹理工件的鲁棒识别问题，还将识别效率提升了近82%，单次识别时间仅为68 ms，同时保证了极高的识别准确率与系统整体抓取成功率。本研究为柔性制造领域的智能上料环节提供了一套兼具高效率、高精度与高鲁棒性的技术方案，具有重要的工程应用价值。

NOTES

^*通讯作者。