1. 引言
随着工业4.0时代精密制造技术的快速发展,激光焊接在电脑机箱等精密部件加工中面临两大核心挑战:质量预控与定位精度问题。在传统生产方式中,机箱混料及螺柱缺失主要依赖人工目检,存在准确性低、生产成本高的问题,会导致错误产品流入焊接工序引发批量报废;同时,机器人焊接依赖预设轨迹,但机箱来料位姿偏差普遍存在,远超激光焊接的精度容限,造成焊偏等工艺缺陷。
天津大学的李君兰开展了面向芯片封装的机器视觉精密定位系统的研究,根据芯片封装设备对视觉系统的要求搭建视觉系统架构,对系统标定方法、视觉定位算法以及视觉系统与控制系统的集成等进行了全面的研究[1]。华南理工大学的廖万辉等人设计了基于机器视觉的工业机器人定位系统,采用基于区域的匹配和形状特征识别相结合的图像处理方法,识别出物体特征,能够快速准确地得到物体的边界和质心[2]。大连理工大学的曾鹏开展了基于单目视觉的工件定位与机器人抓取技术研究,通过模板匹配估计工件的位置和姿态参数,之后将得到的位置姿态参数作为迭代的初始参数进行多次实时迭代以获得工件真实的位置姿态参数[3]。哈尔滨工程大学的项学智等人提出一种形状匹配的铁路油罐车罐口视觉定位方法,经过实验能够满足误差要求,可以应用于工业现场[4]。苏州大学的张家宁等人设计一种基于机器视觉的工件识别和定位系统,实现机器能够自主应对环境变化,提高机器工作的智能化和自动化[5]。合肥工业大学的陈甦欣等人提出一种基于机器视觉的电芯绝缘介质定位算法,能有效保证绝缘介质的定位精度且具有一定的时效性[6]。深圳大学的陈恳开展基于机器视觉的物料分拣工业机器人关键技术研究,能够完成对目标工件的视觉分拣,提高了分拣机器人的自适应性[7]。
本文设计了一套基于机器视觉的智能定位与识别系统,并将其应用在机箱的激光焊接领域[8]。工位一通过字符识别、卡尺工具和灰度值标准差算法,实现了对产品线上的机箱混料识别以及目标螺柱有无识别。工位二通过形状模板匹配算法,实现了视觉引导激光焊接。经过大量的实验测试,混料识别和螺柱有无识别的准确性均达到99.5%以上,视觉引导激光焊接的定位误差在±0.1 mm左右,满足现场实际的生产需求。该系统操作简单、准确性高、稳定性强,极大地提高了现场的生产效率,为激光焊接领域的高质量发展提供了强大的技术支撑。
2. 系统组成及工作流程
Figure 1. Structure diagram of the positioning and identification system
图1. 定位与识别系统结构图
Figure 2. Workflow diagram of the positioning and identification system
图2. 定位与识别系统工作流程图
该智能定位与识别系统采用库卡KR-20-R1820-2-E型工业机器人,三菱FX5U-80MT型PLC,海康威视MV-CU120-10GM型1200万像素的网口面阵相机,海康威视MVL-KF1628M-12MP型16 mm和MVL-KF2528M-12MP型25 mm的镜头,采用研华工控机对图像进行定位与识别,并且完成与PLC之间的通信,其定位与识别系统的结构如图1所示。
该系统主要针对电脑机箱激光焊接环节,首先在流水线上放置机箱,PLC给出拍照信号,第一个工位负责进行机箱混料识别以及目标螺柱有无识别,防止混料以及目标螺柱缺失;当工位一识别无误后,机箱流向第二个工位,PLC给出拍照信号,通过模板匹配算法,将目标特征的坐标经过坐标转换后发送给PLC,以引导激光对目标点位进行激光焊接[9]。定位与识别系统工作流程如图2所示。
3. 视觉定位与识别技术
基于机器视觉的智能定位与识别系统及其在激光焊接中的应用中,首先通过相机多角度采集标定板图像后,对相机进行标定,以实现对图像畸变的校正;采用九点标定算法,将像素坐标转换为机器人坐标。利用形状模板匹配完成视觉定位引导机器人进行激光焊接操作;利用字符识别、卡尺工具、灰度值标准差,实现机箱产品的混料识别、目标螺柱有无识别的任务。
3.1. 相机标定
成像过程涉及四个坐标系的链式变换。世界坐标系:描述物体在场景中的绝对位置;相机坐标系:原点位于镜头光心,Z轴沿光轴方向;图像坐标系:原点为光轴与像平面交点,单位为毫米;像素坐标系:坐标位于图像左上角,单位为像素。根据小孔成像模型可以推导出世界坐标系到像素坐标系的转换公式[10]。如公式(1)所示。
(1)
在相机成像过程中,透镜的物理缺陷会导致实际成像点偏离理想投影位置,这种现象称为畸变。畸变本质上是光学系统对理想小孔模型的非线性偏离,其校正精度直接影响机器视觉系统的测量准确性。根据畸变的空间分布特性,主要分为径向畸变与切向畸变两类。通过叠加的方法可以得到复合畸变模型,其公式如(2)所示。
(2)
基于OpenCV的张正友标定是将张正友标定法的理论框架工程化、流程化的标准实践。它为机器视觉系统提供了一套经过充分验证的、可靠的参数获取途径,其流程图如图3所示。
其标定流程遵循一套严谨的标准化步骤。流程起始于标定板的制备,通常采用黑白方格交替的棋盘格图案,其角点在世界坐标系中的三维坐标可以被精确已知,这构成了整个标定过程的绝对参考系。随后,操作者需操控相机从多个不同的方位对标定板进行图像采集,要求拍摄的图像能够充分地覆盖标定板的各个区域,并且相邻图像间标定板的姿态应有较大差异,这是为了保证后续求解方程组的数值稳定性与解的唯一性。
本系统采用黑白方形棋盘格作为标定板,方格尺寸为20 × 20 mm2,角点数量为11 × 8。共拍摄40张标定板图像[11]。拍摄的标定板图像如图4所示。
Figure 3. Zhang Zhengyou’s calibration process diagram based on OpenCV
图3. 基于OpenCV的张正友标定流程图
Figure 4. Calibration plate image
图4. 标定板图像
3.2. 九点标定
在本激光焊接系统中,采用了一种优化的九点标定方法。该方法的核心原理是利用一个特征鲜明的螺柱形物体作为标定参照物,通过改变该参照物在工作空间中的位置来建立像素坐标系与机器人世界坐标系之间的映射关系。具体实施流程如下:首先,将面阵相机固定安装于机器人工作空间的上方位置,使其始终保持静态观测状态。在这种配置下,系统需要通过九点标定来确定相机坐标系与机器人工具坐标系之间的空间变换关系。考虑到现场安装条件的限制,无法使用标准的棋盘格标定板,因此采用了这种基于移动参照物的实用标定方案。
在执行标定时,系统首先控制机器人移动至预设的固定拍照位置,由静态相机采集包含该参照物的图像,通过高精度图像匹配算法提取其像素坐标。随后,操控机器人运动至该实体螺柱所处的实际空间位置,并从机器人控制器中读取此时工具中心点的世界坐标。完成一次数据采集后,手动调整螺柱形参照物在工作台上的位置,机器人再次返回初始固定位置,重复执行上述操作共计九次[12]。最终获得九组一一对应的像素坐标与机器人坐标数据集合如表1所示。
Table 1. Nine-point calibration data
表1. 九点标定数据
序号 |
像素坐标u |
像素坐标v |
机器人坐标x |
机器人坐标y |
1 |
2392.81 |
727.84 |
1222.16 |
143.09 |
2 |
2391.30 |
1801.91 |
1268.45 |
143.09 |
3 |
2388.83 |
2462.99 |
1296.96 |
143.09 |
4 |
2022.41 |
2089.95 |
1280.74 |
127.27 |
5 |
2025.96 |
1415.65 |
1251.74 |
127.27 |
6 |
2028.83 |
865.88 |
1227.91 |
127.27 |
7 |
1282.39 |
868.79 |
1227.91 |
94.82 |
8 |
1279.02 |
1644.01 |
1261.26 |
94.82 |
9 |
1270.79 |
2472.77 |
1296.96 |
94.82 |
获得这组对应点后,标定的核心任务便是求解一个最优的坐标变换模型,图像坐标为(u, v),机器人坐标为(x, y),该变换模型的通用数学公式可以表示为:
(3)
通过采集的数据可以求解上述公式,转换为矩阵形式为:
(4)
(5)
公式和数据,可以计算出转换矩阵为:
(6)
在系统标定完成并投入正式运行后,其执行流程遵循一套严谨的序列以确保定位精度。首先,机器人依据预设程序自主移动至一个经过精确校准的固定拍照位姿,该位姿下相机视野与机器人工具坐标系的空间关系保持严格确定。为从根本上保证标定平面与焊接平面的一致性,系统通过高精度夹具对机箱进行定位与夹紧,强制约束待焊面板的平面度及其与机器人工作台平面的平行度,并使机箱的安装高度与标定阶段使用的参考平面高度保持一致,从而在物理层面最大程度复现标定的二维映射关系。当机箱稳定就位后,相机触发采集图像,视觉系统通过高精度模板匹配算法实时提取待焊特征点的亚像素级图像坐标。系统随即调用已标定的仿射变换模型,将像素坐标转换为当前机器人世界坐标系下的目标物理坐标。该变换过程由标定阶段确定的转换矩阵实现,建立了从图像二维空间到机器人二维操作平面的线性映射。最后,系统将实时计算得到的目标坐标与预先存储在系统中的、在同一固定拍照位姿下对应的理论基准坐标进行差分运算,生成精确的位移补偿指令。机器人控制系统接收该指令后,通过闭环运动控制精确执行相应位移,从而动态补偿物料的位置与姿态偏差,确保机器人工具中心点与工件待焊特征点之间达成预期的相对静止关系。这一闭环视觉引导流程为后续实现高精度、高一致性的激光焊接作业奠定了坚实的技术基础。
3.3. 视觉定位和识别算法设计
在电脑机箱加工的磁悬浮线上,机箱产品有无混料、以及目标螺柱有无缺失是一个关键的环节。通过字符识别算法来识别机箱地板与侧板上的字符以来区分产品型号,并通过卡尺工具和灰度值标准差算法识别目标螺柱有无缺失。针对机箱面板上的目标特征,采用基于形状的模板匹配算法实现视觉定位,完成引导激光焊接的任务。
3.3.1. 基于字符识别的机箱混料识别
在激光焊接产线中,准确区分不同型号的机箱产品是确保后续加工工序正确的首要环节。针对机箱面板上具有明确型号标识的印刷字符,本研究采用了一种基于传统图像处理与机器学习分类器相结合的字符识别方案,以实现快速、准确的混料识别。该方法的核心在于,首先通过图像预处理与分割技术将字符区域从背景中可靠地提取出来,然后利用训练好的多层感知机分类器对分割后的单个字符图像进行分类识别[13]。整个识别系统包含两个核心阶段:训练阶段与识别阶段。在训练阶段,旨在构建一个针对特定字符集的分类模型。其流程始于收集包含目标字符的样本图像,并进行统一的预处理,包括灰度化、二值化、去噪及尺寸归一化。随后,从每个归一化的字符图像中提取特征向量。常用的特征包括字符图像的像素强度直方图、方向梯度直方图或经过降维处理后的原始像素矩阵。字符识别流程图如图5所示。
Figure 5. Character recognition flowchart
图5. 字符识别流程图
在识别阶段,当机箱到达工位一并触发拍照后,系统执行以下流程:首先,在图像中预定义的检测区域内,利用自适应阈值分割、连通域分析等算法,定位并分割出每一个独立的字符区域。每个分割出的字符子图像经过与训练阶段一致的预处理和特征提取步骤,生成其特征向量。然后将此特征向量输入到已训练好的MLP模型中[14]。模型执行前向传播计算,输出层将产生一个概率向量,其中最大概率值对应的字符类别即为该图像的识别结果。通过依次识别出型号字符串中的所有字符,并与预设的型号清单进行比对,即可完成机箱产品的混料判别。其结果图如图6所示。
Figure 6. Character recognition result image
图6. 字符识别结果图
3.3.2. 基于卡尺工具与灰度值标准差的螺柱有无识别
目标螺柱的有无识别采用卡尺工具和灰度值标准差去识别。有螺柱的产品通过基于卡尺工具的圆查找进行识别[15],无螺柱的产品通过计算ROI区域的灰度值标准差进行识别[16]。
有螺柱识别,通过查找图像中的指定区域内符合特定要求的圆,实现有螺柱产品的识别。圆拟合的步骤如图7所示。
Figure 7. Step diagram of circle fitting
图7. 圆拟合步骤图
设置卡尺工具的相关参数后,当机箱正确放置于工位一,PLC发出拍照信号,系统可以准确识别出有螺柱的情况,其结果图如图8所示。
Figure 8. Lag bolt identification result diagram
图8. 有螺柱识别结果图
(2) 无螺柱识别,计算ROI区域灰度值标准差。依据公式(7),选择有螺柱和无螺柱的灰度值标准差阈值,当ROI区域灰度值标准差小于设定阈值则为无螺柱。
(7)
其中,σ为灰度值标准差,μ为区域灰度值均值,N为区域像素总数。设置灰度值标准差阈值后,当机箱正确放置于工位一,PLC发出拍照信号,系统可以准确识别出无螺柱的情况。
3.3.3. 基于形状模板匹配的视觉定位
在机器视觉的定位应用中,模板匹配是实现目标识别与位置获取的核心技术[17]。针对机箱面板上的目标特征,采用基于形状的模板匹配算法实现视觉定位,其不依赖于目标的绝对亮度,而是关注其几何轮廓[18]。它首先从模板图像中提取一组具有代表性的边缘点集,在进行匹配时,算法会在目标图像中寻找一个变换,使得经过该变换后的模板边缘点与图像中的边缘点在位置和方向上最大限度地重合。其相似度函数定义为在给定的平移、旋转和缩放参数下,模板边缘点能够在目标图像中找到足够多对应边缘点的比例[19]。这种方法的核心优势在于其对光照变化的鲁棒性。因为无论光照强弱,只要目标物体的物理结构和视角没有根本性变化,其边缘轮廓是相对稳定不变的[20]。因此,基于边缘的匹配对整体的、均匀的光照变化完全不敏感,其稳定性主要取决于目标物体的几何形状是否保持稳定[21]。在本项目的机箱面板焊接场景中,尽管环境光线可能存在波动,但待焊工件的轮廓和特征是固定不变的。因此,即使整体图像变亮或变暗,只要边缘能被清晰地提取出来,匹配就能成功。即便目标表面出现局部反光,只要不严重到湮没整段边缘,其影响也是局部的,而其余正确的匹配点足以保证定位的成功。综上所述,正是基于形状匹配方法在光照鲁棒性和几何稳定性方面的卓越表现,使其成为本系统实现可靠视觉定位的最佳选择。
基于形状的模板匹配算法通常包含以下数据处理步骤。首先从输入图像中提取目标的边缘特征,然后基于提取到的边缘轮廓创建特征模板,最后基于目标特征模板在图像中搜索与模板匹配的目标。其流程图如图9所示。
Figure 9. Flowchart of template matching algorithm
图9. 模板匹配算法流程图
为了提升算法的光照适应能力,基于形状的模板匹配算法的数学实现如公式(8)所示。
(8)
其中,S为形状相似性度量函数,形状模板包含N个边缘点,第i个点的模板坐标为
,梯度为
,待查找图像边缘的梯度为
,图像中的特定点的坐标为
。
转化为关于角度函数式为:
(9)
其中,θ为模板图像与目标图像对应两点的梯度方向之间的夹角。
当设置好目标特征的模板图像后,当机箱抵达工位二,PLC发出拍照信号,相机拍照并执行定位算法。如图10所示,能够在ROI区域内识别到目标特征并完成定位。
Figure 10. Target feature positioning result diagram
图10. 目标特征定位结果图
3.3.4. 定位速度提高策略
(1) 基于感兴趣区域的搜索空间缩减
最直接的加速方法是限定算法的搜索范围。在已知目标大致出现区域的先验知识下,可以在采集到的整幅图像中预先定义一个感兴趣区域。该区域是一个包围目标预期位置、尺寸远小于原图的矩形子图像。将匹配搜索过程严格限制在该ROI内,可以显著减少需要评估的候选位置数量。此方法实现简单且效果显著,其有效性高度依赖于生产流程的稳定性和定位的一致性。
(2) 基于图像金字塔的由粗到精搜索策略
为了解决在较大旋转和缩放参数空间内进行精细搜索的计算瓶颈,广泛采用图像金字塔技术[22]。该策略首先为模板图像和待搜索图像分别建立高斯金字塔。金字塔的底层是原始图像,通过逐层进行高斯模糊和下采样,生成一系列分辨率递减的图像层,构成一个自底向上、分辨率逐层降低的图像集合。匹配搜索过程从金字塔的顶层开始。在该层,由于图像尺寸小,算法可以快速地在较大的旋转和缩放步长下进行粗搜索,以较低的计算成本找到目标的大致位置和姿态参数。然后将该粗略估计传递到下一层更高分辨率的图像中,作为初始值,在一个更小的参数邻域内进行精细搜索。此过程逐层迭代,直至金字塔底层。该策略将全局搜索问题转化为一系列局部优化问题,极大地减少了在高层不必要的精细计算,其计算复杂度显著降低,同时增强了算法对大范围姿态变化的捕获能力。图像金字塔搜索流程图如图11所示。
Figure 11. Image pyramid search flowchart
图11. 图像金字塔搜索流程图
(3) 基于提前终止的相似度计算优化
在匹配过程中,对每一个候选姿态的最终相似度得分是通过累加所有模板特征点的贡献计算得出的。然而,许多候选姿态的匹配质量很差,其部分累积得分在计算中途就已表明不可能达到预设的接受阈值Smin。基于此观察,提前终止准则被引入以剪枝无效计算。具体而言,在累加模板点贡献的过程中,实时监测当前部分得分Sj。由于归一化后的完全匹配得分上限为1,剩余未计算的点所能贡献的最大可能得分增量存在一个理论上界。因此,可以在每个累加步骤后判断:即使剩余点全部完美匹配,当前候选姿态的最终得分是否仍可能达到Smin。判别条件为下面公式(10)所示,若在计算第j个点后满足
(10)
则表明该候选姿态绝无可能成为有效匹配,应立即终止其后续计算,转而评估下一个候选姿态。这一策略避免了大量对明显无效候选姿态的完整计算,是一种高效的剪枝优化手段。
3.4. 数据传输
对于传送带视觉引导激光焊接工位,在对机箱上的目标特征进行形状模板匹配获得对应的像素坐标,通过标定矩阵将其转换为机器人坐标。本系统需要完成与机器人的通信,准确传输机器人坐标。本文采用了一种基于MODBUS TCP协议的通信系统,视觉软件作为客户端[23]。当视觉软件对待测图像进行处理获得目标特征的像素坐标后,接着将像素坐标转化为机器人坐标发送给作为服务端的PLC。PLC再将数据传输给机器人。机器人接收到坐标数据后,会移动至目标位置进行激光焊接[24]。至此,一套完整的工作流程执行完成。直到下一个机箱到位,再次按照上述流程进行操作,如此循环操作,直至所有的任务全部完成为止。
4. 实验
智能定位与识别系统搭建完成后,工位一如图12所示,工位二如图13所示,为验证系统的稳定性与准确性,在某工厂产业线上进行实地测试。
Figure 12. Workstation 1 floor plan
图12. 工位一实地图
对于工位一的产品混料识别,防止错误机箱流入生产线。对六款不同的产品型号分别进行了1000次实验测试,如表2所示。从结果可以看出,识别机箱的准确性为99.9%。
对于工位一的产品目标螺柱有无识别,防止错误机箱流入生产线。对两款有无目标螺柱的产品型号进行1000次实验测试,如表3所示。从结果可以看出,识别有目标螺柱机箱和无目标螺柱机箱的准确性为99.8%。
Figure 13. Workstation 2 floor plan
图13. 工位二实地图
Table 2. Product mixture identification at workstation one
表2. 工位一产品混料识别
产品型号 |
测试次数 |
测试成功数 |
检出率 |
A + U |
1000 |
1000 |
100% |
A + V |
1000 |
1000 |
100% |
C + T |
1000 |
998 |
99.8% |
C + W |
1000 |
999 |
99.9% |
D + T |
1000 |
1000 |
100% |
D + W |
1000 |
1000 |
100% |
Table 3. Identification results of the target stud at workstation one
表3. 工位一目标螺柱识别结果
产品型号 |
测试次数 |
测试成功数 |
检出率 |
有目标螺柱产品 |
1000 |
996 |
99.6% |
无目标螺柱产品 |
1000 |
1000 |
100% |
对于工位二的视觉引导激光焊接,为验证视觉定位系统的实际精度,进行了1000次视觉引导激光焊接实验。系统通过模板匹配获取目标特征的像素坐标,并经标定转换后得到机器人坐标系下的定位坐标。表4展示了其中具有代表性的10组测试结果,包括系统定位坐标、实际测量坐标以及在X和Y方向上的误差值。从统计结果发现,误差在±0.1 mm左右,符合现场实际激光焊接的位置精确度要求。表5展示了具有代表性10组测试的定位误差统计结果。图14展示了定位误差的柱状图。
Table 4. Positioning coordinate results of visual guidance laser welding at workstation two
表4. 工位二视觉引导激光焊接定位坐标结果
序号 |
实际坐标(X, Y) (mm) |
定位坐标(X, Y) (mm) |
定位误差(∆X, ∆Y) (mm) |
1 |
(1225.24, 92.25) |
(1225.11, 92.14) |
(−0.13, −0.11) |
2 |
(1296.93, 124.19) |
(1297.06, 124.06) |
(+0.13, −0.13) |
3 |
(1240.44, 143.09) |
(1240.33, 143.24) |
(−0.11, +0.15) |
4 |
(1268.47, 143.02) |
(1268.62, 142.88) |
(+0.15, −0.14) |
5 |
(1279.04, 94.81) |
(1278.93, 94.93) |
(−0.11, +0.12) |
6 |
(1280.75, 127.01) |
(1280.87, 126.88) |
(+0.12, −0.13) |
7 |
(1251.76, 146.68) |
(1251.64, 146.55) |
(−0.12, −0.13) |
8 |
(1296.93, 144.09) |
(1297.09, 144.21) |
(+0.16, +0.12) |
9 |
(1261.29, 97.78) |
(1261.17, 97.67) |
(−0.12, −0.11) |
10 |
(1222.17, 149.33) |
(1222.05, 149.45) |
(−0.12, +0.12) |
Table 5. Statistical results of positioning errors
表5. 定位误差统计结果
统计指标 |
X方向(mm) |
Y方向(mm) |
算术平均误差 |
−0.015 |
−0.024 |
均方根误差 |
0.1279 |
0.1266 |
标准差 |
0.1271 |
0.1243 |
Figure 14. Histogram of positioning errors
图14. 定位误差的柱状图
5. 结语
在方法论层面,本文提出并实践了一种分层递进的视觉检测框架。针对工位一的混料识别与螺柱有无识别任务,创造性融合了字符识别、基于卡尺工具的圆查找以及灰度值标准差三种算法。这种多信息融合策略,克服了单一算法在复杂工业场景下的局限性,其中字符识别提供了身份标识的绝对依据,基于卡尺工具的圆查找确保了结构的稳定感知,而灰度值标准差则有效捕捉了表面组装的细微差异,三者协同实现了识别准确率超越99.5%的卓越性能。这为解决类似具有多模态特征的工业品检测问题提供了可借鉴的技术路径。在核心定位技术上,本研究实施了一套面向复杂光照与实时性要求的高精度视觉定位方案。通过严谨的对比分析,摒弃了对光照敏感的灰度信息匹配法,选择了基于形状的模板匹配作为定位核心。在此基础上,针对生产节拍的严苛要求,创新性地综合运用了感兴趣区域限定、图像金字塔由粗到精搜索以及提前终止计算等加速策略,构建了一套多策略协同的加速机制。实验结果表明,该方案在保持高定位精度的同时,显著提升了运算效率,成功满足了激光焊接对实时引导的毫秒级响应需求,为高节拍下的精密视觉定位提供了关键技术支撑。需要指出的是,本研究的精度验证在样本数据的完备性上存在一定局限,未来工作将致力于建立完善的实验数据管理体系,对长期运行数据进行完整的统计过程控制分析,以提供更坚实的统计证据链,并进一步探索算法在动态扰动环境下的自适应能力。
NOTES
*通讯作者。