基于机器视觉的印刷机轴套工装位姿测量

Machine Vision Based Pose Estimation of Printing Machine Shaft Sleeve Tooling

摘要: 针对印刷机轴承套筒装配过程中无约束运动阶段位姿测量问题，以Stewart平台为装配操作平台，通过提取双目相机下的图像椭圆特征，设计出一种基于机器视觉的印刷机轴套工装位姿测量系统。首先以轴套工装外径与相机成像平面之间投影形成的椭圆特征为识别目标，利用投影几何关系估算轴套工装位姿得到二义性解，用双目视觉定位技术剔除伪解，最后根据位姿变换得到工装位姿并且反解出六组支杆杆长。实验结果表明，杆长最大误差率不超过1.84%，能为无约束运动阶段轴孔装配提供位姿信息和杆长控制，进而实现印刷机轴套装配中无约束运动阶段的轴孔装配。

Abstract: Aiming at the pose measurement problem during the unconstrained motion stage of the printing machine bearing sleeve assembly process, using the Stewart platform as the assembly operation platform, a machine vision based printing machine shaft sleeve tooling pose measurement system is designed by extracting image elliptical features under binocular cameras. First and for most, estimate the pose of this sleeve fixture using geometric relationships. There will be two pose solutions in this step. Then, use binocular vision positioning technology to eliminate erroneous pose solutions. Finally, based on the pose transformation, the fixture pose is obtained and six sets of support rod lengths are solved in reverse. The experimental results show that the maximum error rate of the rod length does not exceed 1.84%, which can provide pose information and rod length control for the assembly of the shaft hole in the unconstrained motion stage. Thus, it achieves the assembly of the shaft hole in the unconstrained motion stage of the printing machine shaft assembly.

1. 引言

现如今，机器视觉常用于零件装配领域。从1993年上海交通大学构造出运用光电开关检测零件位姿的正线检测装置[1]，实现了零件位姿误差的实时校正与补偿，到2023年华南理工大学基于点云深度学习对散乱堆叠轴承圈进行位姿检测[2]，西安工程大学采用改进YOLO6D检测工业零件位姿[3]。小型零件轴孔装配技术逐渐趋于成熟，但大型零件轴孔装配领域仍具挑战。2022年燕山大学基于双目视觉技术通过提取十字孔特征，完成十字孔位姿初定位，进而实现大型舱段自主对接[4]。

为承接与保护，印刷机轴承和机体墙板之间需安装印刷机轴承套筒，轴承套筒外径范围通常为61 mm到540 mm。轴套安装精度直接影响印刷品的定位精度和印刷质量，但通常由人力装配[5]。为提高精度，北京印刷学院赵伟提出一种印刷机轴套装配机器人取代人工[6]。该机器人在印刷机轴套装配运动的位姿测量可以分为三种：第一是无约束阶段，需获取粗略位姿信息，将轴套工装插入印刷机墙板通孔内；第二是轴孔接近阶段，获取精确位姿信息，实现轴套工装和印刷机墙板通孔轴对中[7]；第三是装配卡阻阶段，需获取力信息，进行装配动作。

为实现印刷机轴套装配中无约束运动阶段的装配操作，可设计出一种基于机器视觉的印刷机轴套工装位姿测量系统得到工装位姿信息，进而实现轴孔对准。

2. 系统设计

Figure 1. Layout of pose measurement system

图1. 位姿测量系统布局

位姿测量系统布局如图1所示，由墙板架、双目摄像头、轴套工装、Stewart平台组成。将印刷机墙板简化为墙板架以便于观察通孔配合情况，置于固定位置。轴套工装安装在Stewart平台上。Stewart平台由上平台和下平台，电动缸支杆和虎克铰组成，每个平台各六个虎克铰，共六根电动缸支杆[8]。

2.2. 位姿测量算法

系统采用非接触式[9]的机器视觉技术，可避免不必要的接触损伤。

位姿测量算法流程如图2所示，相机标定可采用张正友标定法[10]。轴孔装配目标表面通常没有明显的纹理特征[11]，常规三维位姿测量方法难以寻觅特征点，由于已知具有明显的圆面特征且半径，故以圆形目标投影在图像中的椭圆轮廓特征[12] [13]为特征目标。经过极线校正等图像处理后，对左相机图片用Canny边缘检测算法[14]实现边缘检测，最小二乘法[15]拟合椭圆，得到左相机下轴套工装外径和印刷机墙板投影的椭圆参数。右相机图片进行相同处理得到右相机下轴套工装外径和印刷机墙板通孔投影的椭圆参数。借助左右相机下的椭圆参数用几何法[16]-[18]估算位姿，用双目视觉定位技术消除二义性解[19]，得到轴套工装外径位姿和印刷机墙板通孔位姿。

Figure 2. Pose measurement algorithm

图2. 位姿测量算法

2.3. 轴孔装配算法

位姿测量的目的在于实现轴孔装配。轴孔装配算法如图3所示，由四部分部分组成：第一部分用双目图像进行椭圆检测，获取墙板通孔椭圆参数和轴套工装椭圆参数。第二部分利用椭圆参数采用几何法估算工装位姿，算得墙板通孔位姿和轴套工装位姿。第三部分由工装位姿换算到上平台位姿反解出六杆当前杆长。可借助通孔位姿计算出轴套工装在轴孔对准时的目标位姿，由目标位姿反解出目标杆长。第四部分，进行轴孔对准，由当前杆长运动至目标杆长，由此实现机器视觉下的轴孔对准操作。

Figure 3. Axis hole assembly algorithm

图3. 轴孔装配算法

综上，印刷机轴套装配问题可简化为空间圆位姿测量问题，借助投影椭圆关系将三维空间圆检测转化为平面椭圆检测，相较于以往空间点检测，速度更快，算法更简，不易受金属反光等环境影响。借助系统布局位置关系，可由轴套工装位姿变换为上平台位姿，反解计算杆长，实现杆长控制。

3. 位姿测量估计

3.1. 双目立体视觉

平行双目立体视觉模型见图4，以左、右光心为原点建立左、右相机坐标系$\left\{E_l\right\}$ 、$\left\{E_r\right\}$ ，$o_{xyl}$ 、$o_{xyr}$ 为左右主点，f为焦距，b为基线长度。

Figure 4. Parallel binocular stereo vision model diagram

图4. 平行双目立体视觉模型图

由双目立体视觉原理[20]，空间点三维坐标为：

$\{\begin{array}{l}{Z}^{\prime }=\frac{bf}{d_x\left(u_l-u_r\right)}\\ X^{\prime }=Z^{\prime }\frac{\left(u_l-u_0\right)dx}{f}\\ Y^{\prime }=Z^{\prime }\frac{\left(v_l-v_0\right)dy}{f}\end{array}$ (1)

坐标系$\left\{E_l\right\}$ 下，$o_g$ 为左椭圆中心点，根据其像素坐标由式(1)双目立体视觉原理定位出椭圆中心$O_{bsv}$ 的坐标${}^{E_l}O{}_{bsv}$ 。该椭圆中心通常不是圆心投影[21]，但能辅助剔除虚假解。

像平面上，倾斜因子取0，图像物理坐标与图像像素坐标之间的关系有：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/dx& 0& u_0\\ 0& 1/dy& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ (2)

$dx,dy$ 为像素点在 x 轴和 y 轴上的物体尺寸。由椭圆参数可得图像像素坐标系上椭圆端点坐标，记为$q\left(u_{ql},v_{ql},f\right),p\left(u_{pl},v_{pl},f\right),i\left(u_{il},v_{il},f\right),j\left(u_{jl},v_{jl},f\right)$ 。代入式(2)分别计算各点图像物理坐标，且由式(1)计算图像椭圆左侧端点I的空间点三维坐标${}^{E_l}I$ 。

3.2. 几何法估算位姿

估算位姿算法以求解左相机坐标系$\left\{E_l\right\}$ 下的工装坐标系$\left\{B\right\}$ 为例。坐标系$\left\{E_l\right\}$ 下，保持相机光心不变，将相机光轴旋转至最大观测角$\angle q{O}_{el}p$ 角平分线，以此为$w_g$ 轴，参考文献[22]以光心为原点建立概念椭圆坐标系$\left\{G_l\right\}$ ，坐标轴关系满足式(3)。

$\{\begin{array}{l}{w}_g=\left(O_{g}p+O_{g}q\right)/\left|O_{g}p+O_{g}q\right|\\ v_g=\left(O_{g}p\times O_{g}q\right)/\left|O_{g}p\times O_{g}q\right|\\ u_g=w_g\times v_g\end{array}$ (3)

由式(4)确定坐标系$\left\{G_l\right\}$ 下椭圆端点坐标$q^{\prime }\left(u^{\prime },0,f\right),p^{\prime }\left(-u^{\prime },0,f\right),b^{\prime }\left(0,v^{\prime },f\right),d^{\prime }\left(0,-v^{\prime },f\right)$ 。

$\{\begin{array}{l}{u}^{\prime }=f\tan \frac{1}{2}\angle p^{\prime }{O}_{el}{q}^{\prime }=f\tan \frac{1}{2}\angle p{O}_{el}q\\ v^{\prime }=f\tan \frac{1}{2}\angle i^{\prime }{O}_{el}{j}^{\prime }=f\tan \frac{1}{2}\angle i{O}_{el}j\end{array}$ (4)

引入比例系数$\varphi ,\phi ,\xi$ 使目标空间圆上四点的坐标为$B\left(0,\varphi v^{\prime },\varphi f\right)$ ，$D\left(0,-\phi v^{\prime },\phi f\right)$ ，$Q\left(\xi u^{\prime },0,\xi f\right)$ ，$P\left(-\xi u^{\prime },0,\xi f\right)$ ，根据几何特性解出比例系数，由于$\varphi +\phi >0$ ，$\varphi ,\phi ,\xi$ 如式(5)所示取值有两组解。

$\{\begin{array}{l}{\varphi }_1=\frac{r_0}{u^{\prime }}\left(\sqrt{\frac{{u^{\prime }}^2+f^2}{{v^{\prime }}^2+f^2}}+\sqrt{\frac{{u^{\prime }}^2-{v^{\prime }}^2}{{v^{\prime }}^2+f^2}}\right)\\ {\phi }_1=\frac{r_0}{u^{\prime }}\left(\sqrt{\frac{{u^{\prime }}^2+f^2}{{v^{\prime }}^2+f^2}}-\sqrt{\frac{{u^{\prime }}^2-{v^{\prime }}^2}{{v^{\prime }}^2+f^2}}\right)\\ {\xi }_1=\frac{r_0}{u^{\prime }}\sqrt{\frac{{v^{\prime }}^2+f^2}{{u^{\prime }}^2+f^2}}\end{array}\text{and}\{\begin{array}{l}{\varphi }_2={\varphi }_1\\ {\phi }_2={\phi }_1\\ {\xi }_2={\xi }_1\end{array}$ (5)

比例系数具有几何意义。$\varphi =\phi$ 时投影圆锥为正圆锥，仅有一组解，由于相机位于轴套工装斜上方，根据实际情况排除正圆锥，故$\varphi \ne \phi$ ，此时投影圆锥为斜圆锥，有两组解$\left\{O_1,n_1\right\},\left\{O_2,n_2\right\}$ ，由式(6)得：

$\{\begin{array}{l}\overrightarrow{n_1}=\frac{1}{\sqrt{\left({u^{\prime }}^2-{v^{\prime }}^2\right)f^2+\left({u^{\prime }}^2+f^2\right){v^{\prime }}^2}}\left(0,-f\sqrt{{u^{\prime }}^2-{v^{\prime }}^2},v{\text{'}}^2\sqrt{{u^{\prime }}^2+f^2}\right),\\ O_1=\left(0,\frac{r_{b}v}{u^{\prime }}\sqrt{\frac{{u^{\prime }}^2-{v^{\prime }}^2}{{v^{\prime }}^2+f^2}},\frac{r_{b}f}{u^{\prime }}\sqrt{\frac{{u^{\prime }}^2+f^2}{{v^{\prime }}^2+f^2}}\right),\varphi -\phi >0.\\ \overrightarrow{n_2}=\frac{1}{\sqrt{\left({u^{\prime }}^2-{v^{\prime }}^2\right)f^2+\left({u^{\prime }}^2+f^2\right)v{\text{'}}^2}}\left(0,f\sqrt{{u^{\prime }}^2-{v^{\prime }}^2},v{\text{'}}^2\sqrt{{u^{\prime }}^2+f^2}\right),\\ O_2=\left(0,-\frac{r_b{v}^{\prime }}{u^{\prime }}\sqrt{\frac{{u^{\prime }}^2-{v^{\prime }}^2}{{v^{\prime }}^2+f^2}},\frac{r_{b}f}{u^{\prime }}\sqrt{\frac{{u^{\prime }}^2+f^2}{{v^{\prime }}^2+f^2}}\right),\varphi -\phi <0.\end{array}$ (6)

由于坐标原点都为光心，可将上述位姿解从坐标系$\left\{G_l\right\}$ 变换到坐标系$\left\{E_l\right\}$ 。取空间圆圆心$O_1,O_2$ 各自到$O_{bsv}$ 的距离最小者为真实解，将真实解对应法向量单位化。综上，获得目标空间圆在$\left\{E_l\right\}$ 下的圆心${}^{E_l}O$ 和单位法向量${}^{E_l}n$ 。

以圆心${}^{E_l}O$ 为原点，法向量${}^{E_l}n$ 方向为z轴，设空间圆上点I过y轴，向量${}^{E_l}OI$ 为y轴正方向，建立坐标系$\left\{B\right\}$ ，其中，可用双目视觉定位计算出点I的空间坐标${}^{E_l}I$ ，则旋转矩阵${}_B{}^{E_l}R$ 为：

${}_B{}^{E_l}R=\left[\begin{array}{ccc}\overrightarrow{{}^{E_l}{n}_x}& \overrightarrow{{}^{E_l}{n}_y}& \overrightarrow{{}^{E_l}{n}_z}\end{array}\right]=\left[\begin{array}{ccc}\overrightarrow{{}^{E_l}n}\times \frac{\overrightarrow{{}^{E_l}{O}^{E_l}I}}{\left|\overrightarrow{{}^{E_l}{O}^{E_l}I}\right|}& \frac{\overrightarrow{{}^{E_l}{O}^{E_l}I}}{\left|\overrightarrow{{}^{E_l}{O}^{E_l}I}\right|}& \overrightarrow{{}^{E_l}n}\end{array}\right]$ (7)

转换到相机坐标系下，得到工装的旋转矩阵${}_B{}^{E}R$ 和原点位置矢量${}^{E}O$ ，其位姿${}_B{}^{E}T$ 矩阵形式可表示为：

${}_B{}^{E}T=\left[\begin{array}{cc}{}_B{}^{E}R& {}^{E}O\\ \begin{array}{ccc}0& 0& 0\end{array}& 1\end{array}\right]$ (8)

同理，由印刷机墙板通孔投影的椭圆参数可得印刷机墙板通孔位姿${}_D{}^{E}T$ 。印刷机墙板通孔与轴套工装的相对位姿有${}_B{}^{D}T={}_D{}^{E}T{}^{-1}{}_B{}^{E}T$ 。当相对位姿为单位矩阵时，印刷机轴套工装与墙板通孔处于轴孔对准状态。

4. 反解计算杆长

以Stewart平台处于中位为初始状态，此时设$\left\{A_0\right\}$ 为上平台初始坐标系，$\left\{B_0\right\}$ 为工装初始坐标系。运动时，建立如图5所示系统坐标系，$\left\{A\right\}$ 为上平台坐标系，$\left\{B\right\}$ 为工装坐标系，$\left\{C\right\}$ 为下平台坐标系，$\left\{D\right\}$ 为印刷机墙板通孔坐标系，$\left\{E\right\}$ 为相机坐标系。$r_b$ 为工装半径。

Figure 5. Schematic diagram of system spatial coordinate system

图5. 系统空间坐标系示意图

运动过程中，上平台与工装相对位姿固定，即${}_{B_0}{}^{A_0}T={}_B{}^{A}T$ ，与上平台铰点相对位置固定，即${}^{A}M{}_i={}^{A_0}M{}_i$ 。相机位姿和下平台铰点位置固定，可测得${}_E{}^{C}T$ ；借助双目摄像头估算出轴套工装位姿${}_B{}^{E}T$ 、墙板通孔位姿${}_D{}^{E}T$ 。至此，可通过坐标系变换得到各坐标系之间相对位姿。

轴孔对准还需反解杆长控制Stewart平台运动到对应位置。常见的Stewart平台铰点分布[23]见图6，设$N_i$ 为下平台铰点位置，$M_i$ 为上平台铰点位置，上平台三角形旋转角度为${\theta }_a$ ，外接圆半径为$r_a$ ；下平台三角形旋转角度为${\theta }_c$ ，外接圆半径为$r_c$ 。通过测量可得线段$M_3{M}_4$ 和$N_1{N}_6$ 的长度和上下外接圆圆心到$M_3{M}_4,N_1{N}_6$ 的距离$s_a,s_c$ ，则有：

$\{\begin{array}{l}{r}_a=\sqrt{{\left(M_3{M}_4/2\right)}^2+s_a^2}\\ {\theta }_a=2\arccos \left(s_a/r_a\right),{\theta }_a\in \left(0,\pi \right]\end{array}$ (9)

$\{\begin{array}{l}{r}_c=\sqrt{{\left(N_1{N}_6/2\right)}^2+s_c^2}\\ {\theta }_c=2\arccos \left(s_c/r_c\right),{\theta }_c\in \left(0,\pi \right]\end{array}$ (10)

Figure 6. Distribution of hinge points on Stewart platform

图6. Stewart平台铰点分布图

根据铰点分布，用极坐标方程可以求得各较点位置。以$x_a$ 为极轴，逆时针为正方向。各铰点的角度如下：

$\{\begin{array}{l}{\theta }_{M_1}=5\pi /3+{\theta }_a/2\\ {\theta }_{M_2}=5\pi /3-{\theta }_a/2\\ {\theta }_{M_3}=\pi +{\theta }_a/2\\ {\theta }_{M_4}=\pi -{\theta }_a/2\\ {\theta }_{M_5}=\pi /3+{\theta }_a/2\\ {\theta }_{M_6}=\pi /3-{\theta }_a/2\end{array}$ (11)

$\{\begin{array}{l}{\theta }_{N_1}=2\pi -{\theta }_c/2\\ {\theta }_{N_2}=4\pi /3+{\theta }_c/2\\ {\theta }_{N_3}=4\pi /3-{\theta }_c/2\\ {\theta }_{N_4}=2\pi /3+{\theta }_c/2\\ {\theta }_{N_5}=2\pi /3-{\theta }_c/2\\ {\theta }_{N_6}={\theta }_c/2\end{array}$ (12)

将式(9)~(12)代入式(13)和式(14)得到铰点位置齐次坐标：

${}^{A_0}M{}_i=\left[\begin{array}{c}{r}_a\cos {\theta }_{M_i}\\ r_a\sin {\theta }_{M_i}\\ 0\\ 1\end{array}\right],i\in \left[1,6\right]$ (13)

${}^{C}N{}_i=\left[\begin{array}{c}{r}_c\cos {\theta }_{N_i}\\ r_c\sin {\theta }_{N_i}\\ 0\\ 1\end{array}\right],i\in \left[1,6\right]$ (14)

在坐标系{C}中，上平台各铰点位置见式(15)，下平台各铰点位置见式(14)，运动后的杆长伸长量为铰点向量模长减去电动缸、伺服电机等造成的固定杆长[24]，见式(16)：

${}^{C}M{}_i={}_E{}^{C}T{}_B{}^{E}T{}_{B_0}{}^{A_0}T{}^{-1}{}^{A_0}M{}_i$ (15)

${}^C{l}^{\prime }{}_i=\left|{}^{C}N{}_i{M}_i\right|-l_0,i\in \left[1,6\right]$ (16)

由此，可以通过双目相机测出的工装位姿反解出此时的六组机械臂杆长。

5. 实验

Table 1. Statistical table of rotational motion errors

表1. 旋转运动误差统计表

六杆运动	绝对误差均值/mm	最大绝对误差/mm	最大误差率/%
初始状态	0.03197707	0.038372485	0.04%
绕x轴旋转1~5˚	0.420115164	0.905288256	0.91%
绕y轴旋转1~5˚	0.277858285	0.921461935	1.84%
绕z轴旋转1~5˚	0.384755553	0.935845547	1.00%

平台初始状态时，杆长伸长量均为100 mm，杆长总长度均为635 mm，固定杆长为535 mm。工装半径$r_b$ 为147 mm。测量线段$M_3{M}_4,N_1{N}_6,s_a,s_c$ 的长度。实验采用的Stewart平台沿XYZ轴旋转不超过5˚，沿XYZ轴平移不超过5 mm。装配过程中杆长偏差要求不超过1 mm，最大误差率不超过2%。

旋转运动杆长误差见表1，使Stewart平台由初始状态分别绕XYZ轴旋转1˚~5˚，统计六根电动缸支杆的绝对误差均值、最大绝对误差和最大误差率。

平移运动杆长误差见表2，使Stewart平台由初始状态分别沿XYZ轴平移1~5 mm，统计六根电动缸支杆的绝对误差均值、最大绝对误差和最大误差率。

Table 2. Statistical table for translational motion error

表2. 平移运动误差统计统计表

六杆运动	绝对误差均值/mm	最大绝对误差/mm	最大误差率/%
初始状态	0.070747658	0.187675856	0.19%
绕x轴平移1~5 mm	0.087404986	0.245323310	0.25%
绕y轴平移1~5 mm	0.087857414	0.121488697	0.12%
绕z轴平移1~5 mm	0.070747658	0.187675856	0.19%

综上，Stewart平台旋转运动时，印刷机轴套安装位姿测量算法得到的六杆杆长绝对误差的均值不超过0.5 mm，最大绝对误差不超过0.95 mm，最大误差率不超过1.84%；平移运动时，印刷机轴套安装位姿测量算法得到的六杆杆长绝对误差的均值不超过0.09 mm，最大绝对误差不超过0.3 mm，最大误差率不超过0.3%。满足无约束阶段装配的精度需求，由此可验证基于机器视觉的印刷机轴套安装位姿测量算法实际应用中可行有效。

6. 结论

该系统的实现完善了多信息融合的印刷机轴套装配机器人于机器视觉方面的技术欠缺，为印刷机轴套装配无约束运动阶段提供一种可行的位姿估计与杆长反解算法，使装配过程更加无人化、智能化。相比于人工装配更加安全精确，且节约成本。

本系统理论和技术成果适用于识别没有明显的纹理特征但已知半径的空间圆形目标，涉及Stewart平台的杆长反解。实验结果表明，系统计算的杆长最大误差率不超过1.84%，最大绝对误差不超过0.95 mm，能为无约束运动阶段的Stewart平台杆长控制提供杆长数据，在轴孔装配方面有一定的可行性。该系统误差来源于相机标定精度、图像椭圆拟合精度，伺服机构上的移动距离误差等，未来可以对此进行优化改善。

基金项目

北京市教委科研计划资助(KM202110015003)；北京市自然基金项目–北京市教委科技计划重点项目(KZ202010015021)，专业学位研究生联合培养基地建设–电子信息(21090223001)，电子信息专业学位研究生联合培养基地建设(21090224002)。

NOTES

^*通讯作者。