基于双目视觉的飞机翼身叉耳对接装配偏差检测方法
Aircraft Wing-Fuselage Fork-Ear Docking Assembly Deviation Detection Method Based on Binocular Vision
DOI: 10.12677/jast.2025.132004, PDF, HTML, XML,    国家自然科学基金支持
作者: 崔 伟, 朱永国*, 田兴源, 何敏寅, 江伟鹏:南昌航空大学航空制造与机械工程学院,江西 南昌;万 远:江西国科军工集团股份有限公司,江西 南昌
关键词: 机翼机身装配双目视觉偏差检测Wing Fuselage Assembly Binocular Vision Deviation Detection
摘要: 针对飞机翼身对接装配中叉耳位姿偏差测量精度不足的问题,本文提出了基于双目视觉的飞机翼身叉耳对接装配偏差检测方法。首先,搭建了飞机翼身叉耳对接装配偏差检测系统,然后,构建了基于双目视觉的叉耳装配偏差检测模型,采用RANSAC算法拟合叉耳孔边缘并剔除离群点,采用三角测量法并借助激光跟踪仪和参考板将相机坐标系中的孔心坐标转到全局坐标系。其次,采用三角测量法求出叉耳配合面上点的三维坐标并拟合边界直线。最后,根据同轴度和间隙偏差数学模型计算装配偏差。实验结果表明,相比于传统的单目视觉检测,该方法有效降低了叉耳同轴度检测偏差和间隙检测偏差。
Abstract: To address the issue of insufficient measurement accuracy for pose deviations of fork-ear in aircraft wing-fuselage docking assembly, this paper proposes a binocular vision-based method for detecting assembly deviations of aircraft wing-fuselage forked lugs. First, an assembly devia-tion detection system for aircraft wing-fuselage fork-ear was established. Then, a binocular vi-sion-based detection model for fork-ear assembly deviations was constructed. The RANSAC al-gorithm was employed to fit the edges of the fork-ear holes and eliminate outliers. Triangulation was used in conjunction with a laser tracker and reference plate to transform the hole center coordinates in the camera coordinate system to the global coordinate system. Additionally, the triangulation method was applied to calculate the 3D coordinates of points on the mating sur-faces of the fork-ear and fit the boundary lines. Finally, assembly deviations were computed ac-cording to the mathematical models of coaxiality and clearance deviation. Experimental results demonstrate that compared with traditional monocular vision detection, this method effectively reduces the detection deviations of fork-ear coaxiality and clearance.
文章引用:崔伟, 朱永国, 田兴源, 何敏寅, 万远, 江伟鹏. 基于双目视觉的飞机翼身叉耳对接装配偏差检测方法[J]. 国际航空航天科学, 2025, 13(2): 30-41. https://doi.org/10.12677/jast.2025.132004

1. 引言

飞机装配是飞机制造过程中的重要组成部分,其质量直接决定飞机的结构强度与气动性能[1] [2]。在翼身对接装配过程中,叉耳装配偏差的精确测量是保证装配精度的重要环节。因此,精确测量翼身对接装配偏差具有重要的研究意义和应用价值。

由于机翼和机身的叉耳装配时存在遮挡和空间狭窄的问题,导致大尺寸测量系统无法直接测量叉耳孔处特征,且叉耳对接过程中易发生误碰,装配偏差难以实现精准检测。近年来,鉴于视觉测量技术具有非接触、高精度和高效率的特点,不少学者开始将机器视觉引入大部件对接装配的检测过程中。张辉等[3]提出了一种基于弧段组合的椭圆检测方法,利用单目相机直接识别测量叉耳交点孔特征,并通过实验验证了其可行性。黄小童等[4]基于iGPS激光测量系统提出一种新型多装置混合对接测量方法,融合使用iGPS、接触式位移传感器和单目视觉相机,提高了大部件的对接精度。Li [5]提出一种基于分布式单目视觉的大型飞机部件组装新型同轴对准方法,通过IR-PSO方法获得更准确的孔位姿参数。然而,在复杂的测量场景中,受测量距离和拍摄环境的影响,单目视觉难以高精度检测装配偏差,且测量精度的稳定性不足[6]-[8]

基于上述分析,为提高多叉耳式翼身对接装配偏差检测精度,本研究提出了基于双目视觉的飞机翼身对接装配偏差检测方法。该方法首先搭建飞机翼身对接装配偏差检测系统,构建了基于双目视觉的叉耳装配偏差检测模型,通过同轴度和间隙偏差数学模型计算装配偏差。

2. 飞机翼身叉耳对接装配偏差检测系统

基于双目视觉的叉耳对接装配偏差检测系统的主要组成部分如图1所示。该系统主要由双目视觉、激光跟踪仪、机翼模拟件、机身模拟件、参考板等组成。

飞机翼身叉耳对接装配偏差检测流程主要步骤如下:

(1) 基于双目视觉的翼身叉耳孔心位置测量。使用双目相机采集叉耳孔图像,结合随机抽样一致性算法(RANSAC, RAndom SAmple Consensus)拟合叉耳孔边缘,通过双目三维重建计算叉耳孔在相机坐标系下的坐标。放置参考板,双目相机和激光跟踪仪同时测量参考板孔心得到孔心坐标,利用激光跟踪仪和参考板获取相机坐标系与全局坐标系的坐标转换关系,将相机坐标系下的叉耳孔心坐标映射至全局坐标系,撤去参考板。

(2) 基于双目视觉的翼身叉耳间隙测量。翼身叉耳上方的双目相机采集叉耳孔间隙图像,同理将相机坐标系下的点转到全局坐标系,提取间隙边缘,得到边缘像素特征点集,结合RANSAC得到最优拟合直线,通过解算直线间距离得到叉耳间隙。

(3) 判断位姿参数是否满足公差要求。如果满足公差要求则继续装配。如果不满足公差要求,则继续调姿后重复步骤(1)和步骤(2)。

Figure 1. Wing-body fork-ear docking assembly deviation detection system

1. 飞机翼身叉耳对接装配偏差检测系统

3. 基于双目视觉的叉耳装配偏差检测模型构建

3.1. RANSAC算法原理

RANSAC算法通过随机采样和迭代的方式,能够有效地识别并排除异常值的影响,相比于传统的拟合算法优势显著。本文针对提取出的间隙边缘和叉耳孔边缘,对其边缘像素点集 E( x n , y n ) 采用RANSAC筛选椭圆、直线拟合所需的点集。首先定义距离阈值 D dis ,随机选取点集内的点 ( x i , y i ) ;然后通过点到直线或曲线的距离公式计算所有像素点到该拟合线的距离;最后筛选距离小于阈值 D dis 的点记为内点并记录数据。使用上述步骤迭代计算,每次记录下内点占比 p k

p k = N in j (1)

其中, N in 为理想内点数量,j为总点数。

迭代次数 N iter_num 为:

N iter_num = log( 1 Z least_once ) log( 1 p k K iter_count ) (2)

其中, K iter_count 为求解模型最少的点的个数, p k K iter_count K iter_count 个点都是内点的概率, Z least_once N iter_num 次采样至少一次成功概率。从若干拟合的线中筛选内点占比最多的直线或椭圆,再通过最小二乘法优化直线或椭圆参数,使得误差平方和最小化,得闭式解。

3.2. 叉耳同轴度偏差检测

(1) 基于RANSAC和最小二乘的叉耳孔拟合

针对提取出的叉耳孔边缘,对其边缘像素点集 E c ( u i , v i ) ,其中 i( 1,n ) ,采用RANSAC筛选椭圆拟合所需的点集,其中i为像素点数量。翼身叉耳孔在相机像平面投影为椭圆,采用最小二乘法进行椭圆拟合。

椭圆拟合模型如下:

{ a u i 2 +b u i v i +c v i 2 +d u i +e v i +f=0 4ac b 2 =1 (3)

定义距离阈值 D r_dis ,随机选取点集内的6点建立曲线,计算所有像素点到曲线的距离 d ri ,通过 d ri 确定拟合误差 λ nr ,其中 n( 1, N iter_num ) 。筛选 d ri 小于阈值 D r_dis 的点为内点并记录数量。使用上述步骤迭代计算,每次记录下内点占比 p k i 和拟合误差 λ nr ,筛选出内点占比最多且拟合误差最小的曲线。其中点 ( u i , v i ) 到拟合曲线的距离用代数距离表示,如下式:

d ri = | a u i 2 +b u i v i +c v i 2 +d u i +e v i +f | ( 2a u i +b v i +d ) 2 + ( b u i +2c v i +e ) 2 (4)

拟合误差取所有点的代数距离平方和的最小值:

min λ nr = i=1 n d ri 2 (5)

对式(4)所有参数求偏导,得到下式:

d ri a = d ri b = d ri c = d ri d = d ri e = d ri f =0 (6)

根据椭圆的几何原理,可计算出椭圆的五个参数,从而得到椭圆中心 P e ( u e , v e ) 的像素坐标:

{ u e = ad2bc 4b a 2 v e = ac2d 4b a 2 (7)

(2) 叉耳孔心三维坐标求解

图2所示,左右相机同时采集叉耳孔图像并提取叉耳孔心,设叉耳孔心点P在左右相机成像平面

的像素坐标分别为 p l ( u l , v l ) p r ( u r , v r )

O l x l y l z l O r x r y r z r 分别表示左相机与右相机的坐标系,其原点分别位于各自相机的光学中心。叉耳孔心点 P 在左相机坐标系中的坐标表示为 ( x l , y l , z l ) ,同样,该点在右相机坐标系中的坐标表示为 ( x r , y r , z r ) ,左右相机成像平面关系可表示为:

z r [ X r Y r 1 ]=[ f rx 0 0 0 f ry 0 0 0 1 ][ R T ][ x l y l z l 1 ] =[ f rx r 11 f rx r 12 f rx r 13 f rx t x f ry r 21 f ry r 22 f ry r 23 f ry t y r 31 r 32 r 33 t z ][ x l y l z l 1 ] (8)

式中,RT为左相机坐标系与右相机坐标系之间的旋转矩阵和平移向量。

以左相机坐标系为相机参考坐标系,点 P 在左相机坐标系中的三维坐标可通过下式计算得出:

{ x l = z l X l f lx y l = z l Y l f ly z l = f ry ( r 21 x l + r 22 y l + t y ) Y r ( r 31 x l + r 32 y l + t z ) r 33 Y r r 23 f ry (9)

式中, f lx f ly f rx f ry 分别为左右相机焦距, ( X r , Y r ) 是点P的右相机像平面坐标, ( X l , Y l ) 是点P的左相机像平面坐标。

Figure 2. Binocular vision 3D reconstruction

2. 双目三维重建

为确定左相机坐标系中的三维坐标在全局坐标系中的位置,利用激光跟踪仪与参考板获取左相机坐标系与全局坐标系的转换关系。参考板如图3所示,双目相机与激光跟踪仪外参标定如图4所示。

Figure 3. Calibration target

3. 参考板

Figure 4. Extrinsic calibration between stereo camera and laser tracker

4. 双目相机与激光跟踪仪外参标定

根据理论数模,可以得到调姿基准点在全局坐标系(GCS, Global Coordinate System)下的坐标 P GB ( x GB j , y GB j , z GB j ) j( 1,4 ) 。激光跟踪仪测量调姿基准点,得到基准点在激光跟踪仪坐标系(LTCS,Laser Tracker Coordinate System)下坐标 P LB ( x LB j , y LB j , z LB j ) ,通过位姿解算可以得到激光跟踪仪坐标系相对于全局坐标系的旋转矩阵 R L G 和平移向量 T L G

P GB = R L G P LB + T L G (10)

参考板上设计有9个规则的通孔,用于安装激光跟踪仪靶球插座。参考板各个测量点的相对位置关系已知,使用激光跟踪仪测量放置在参考板上的靶球得出靶球位置,根据靶球到参考板孔心的平移距离l可以确定平移向量 L L=( 0,l,0 ) ,并得到孔心在激光跟踪仪坐标系下的坐标 P Li ( x L i , y L i , z L i ) i( 1,2,3,,9 )

双目相机采集当前参考板孔图像,以左相机为相机坐标系(CCS, Camera Coordinate System),从而获得参考板上的孔心在左相机坐标系下的三维坐标为 P ci ( x C i , y C i , z C i ) i( 1,2,3,,9 ) ,得到CCS与GCS之间的关系为:

( R L G P Li + T L G )L= R C G P ci + T C G (11)

( R C G , T C G )= argmin R,T i=1 9 ( R C G P ci + T C G )( R L G P Li + T L G )+L 2 (12)

通过式(11)和式(12)可以得到CCS相对于GCS的旋转矩阵 R C G 和平移向量 T C G

将叉耳孔心在左相机坐标系下的三维坐标转到全局坐标系中,双目视觉可测得机身叉型接头孔心和机翼耳型接头孔心在全局坐标系下的坐标分别为 P( x 1 , y 1 , z 1 ) P( x 2 , y 2 , z 2 ) ,即可得出叉耳孔同轴度:

C coax =2 ( x 1 x 2 ) 2 + ( y 1 y 2 ) 2 + ( z 1 z 2 ) 2 (13)

测量叉耳端面,根据同轴度计算公式可得同轴度误差为:

C e = C coax C coax (14)

式中, C coax 为理论同轴度。

3.3. 叉耳间隙偏差检测

从空间点集 E l ( u i , v i ) 任意选取两点 ( u 1 , v 1 ) ( u 2 , v 2 ) 构建直线,其中 i( 1,n ) ,采用RANSAC算法从若干直线中筛选内点占比最多的直线为理想直线,再通过最小二乘法优化直线方程参数,使得误差平方和最小化,得闭式解:

{ k= n u i v i u i v i n u i 2 ( u i ) 2 b= v i k u i n (15)

式中,斜率k和截距b为理想直线的优化参数。

选取直线上两个像素点,根据双目视觉三维坐标求解可以得出两个点在全局坐标系下准确坐标,通过最小二乘法拟合出空间直线方程。

叉耳配合面间隙两边界直线方程可表示为:

{ x x 1 k 1 = y y 1 b 1 = z 1 1 x x 2 k 2 = y y 2 b 2 = z 2 1 (16)

式中, k 1 b 1 为机身接头拟合直线参数, k 2 b 2 为机翼接头拟合直线参数, ( x 1 , y 1 , z 1 ) 为机身接头拟合直线上的点坐标、 ( x 2 , y 2 , z 2 ) 为机翼接头拟合直线上的点坐标。

调平机翼位姿后,姿态角偏差为微小角度时,可忽略姿态角对翼身接头之间间隙的影响,叉耳配合面间隙为:

d dis = | ( P 2 P 1 )( d 1 × d 2 ) | d 1 × d 2 (17)

式中, d dis 为配合面间距, P 1 =( x 1 , y 1 , z 1 ) P 2 =( x 2 , y 2 , z 2 ) d 1 =( k 1 , b 1 ,1 ) d 2 =( k 2 , b 2 ,1 )

连续测量叉耳配合面的四个间隙,得到 d dis1 d dis2 d dis3 d dis4 ,取间隙平均值作为间隙误差 g e

g e = d dis1 + d dis2 + d dis3 + d dis4 4 g e (18)

式中, g e 为理论间隙误差。

4. 实验与结果分析

飞机翼身叉耳对接装配偏差检测系统如图5所示,实验主要测量设备及配件包括:Leica-AT402激光跟踪仪;Baslera2A4508-6gmPRO的工业相机,相机分辨率为4508 × 4096像素,配备Basler C11-3520-12M型相机镜头、TXI052型号的内置POE千兆工业相机图像采集多网口网卡。叉耳上方相机通过万向节爪盘固定在机身位置一侧,叉耳左右两侧的相机固定在双目支架上。水平方向相机采集叉耳交点孔图像,垂直方向相机采集叉耳配合间隙图像。

以叉耳对接装配偏差检测系统中的一组双目相机为例,通过双目相机同时采集22幅不同方位和角度的圆形标定板图像并基于张正友标定法进行双目标定。标定过程中每个相机需采集22幅图像,共计44幅图像。经过筛选剔除12幅低质量图像后,最终保留32幅有效图像用于标定,如图6所示。

Figure 5. Aircraft wing-fuselage fork ear docking assembly deviation detection system

5. 飞机翼身叉耳对接装配偏差检测系统

(a) 左相机采集图像 (b) 右相机采集图像

Figure 6. Circular calibration target image acquired by binocular camera

6. 双目相机采集的圆形标定板图

Table 1. Camera calibration results

1. 相机标定结果

内部参数

左相机标定结果

右相机标定结果

f x

4245.18

4238.43

f y

4241.06

4244. 65

u 0

2253.49

2251.56

v 0

2045.33

2046.19

对相机采集图像采用张正友标定法得到左右两个单目相机的内部参数、外部参数,左右相机标定结果如表1所示。如表2所示,重投影误差仅为0.0332像素,可满足测量精度要求。

Table 2. Camera reprojection error

2. 相机重投影误差

实验次数

左相机标定结果

右相机标定结果

1

0.0332

0.0312

2

0.0298

0.0303

3

0.0289

0.0291

4

0.0312

0.0308

5

0.0305

0.0297

根据标定板与双目相机的相对位置关系,可确定左右相机的相对位姿,以左相机坐标系为基准,通过双目标定来获取左右相机相对位姿关系,如表3所示。

Table 3. Relative pose of binocular camera

3. 双目相机相对位姿

位姿关系

R

T

左右相机相对位姿关系

[ 0.974 0.003 0.002 0.004 0.983 0.003 0.002 0.001 0.997 ]

[ 42.376 0.078 0.063 ]

左相机坐标系与全局坐标系的位姿关系如表4所示。

Table 4. Global camera calibration

4. 相机全局标定

位姿关系

R C G

T C G

CCS与

GCS相对位姿关系

[ 0.0348 0.0738 0.9967 0.9982 0.0455 0.0382 0.0481 0.9962 0.0721 ]

[ 1276.2828 132.4819 824.0102 ]

采用RANSAC算法拟合椭圆和直线的参数如表5所示,采用该拟合参数,叉耳对接装配的检测结果如图7所示,且图像中叉耳孔边缘和叉耳配合面边界直线拟合检测效果满足预期。

Table 5. RANSAC algorithm fitting parameters

5. RANSAC算法拟合参数

参数类型

椭圆拟合

直线拟合

阈值 D dis

0.042

0.049

内点比例 p k

86.74%

85.63%

迭代次数 N iter_num

120

40

求解模型最少的点的个数 K iter_count

6

2

(a) (b)

(c) (d)

Figure 7. Fork-ear feature detection results. (a) Coaxiality detection in fork-ear docking assembly; (b) Gap detection in fork-ear docking assembly; (c) Coaxiality detection of completed fork-ear docking assembly; (d) Gap detection of completed fork-ear docking assembly

7. 叉耳特征检测结果。(a) 叉耳对接装配中同轴度检测;(b) 叉耳对接装配中间隙检测;(c) 叉耳对接装配完成同轴度检测;(d) 叉耳对接装配完成间隙检测

(a) (b)

(c)

Figure 8. Measurement accuracy comparison. (a) X-directional measurement error comparison of fork-ear hole centers; (b) Y-directional measurement error comparison of fork-ear hole centers; (c) Z-directional measurement error comparison of fork-ear hole centers

8. 测量精度对比。(a) 叉耳孔心X方向测量误差对比;(b) 叉耳孔心Y方向测量误差对比;(c) 叉耳孔心Z方向测量误差对比

在对接装配前,叉耳接头处激光光路未遮挡,为验证相机测量精度。驱动数控定位器使机翼接头分别沿X轴、Y轴、Z轴方向移动,以激光跟踪仪重复三次测量接头孔处靶球坐标的均值为真值。单目相机与双目相机测量机翼耳型接头孔,测量精度如图8所示。因为单目视觉系统对于深度方向信息不敏感,所以其在X方向和Y方向的测量精度优于Z方向,采用双目视觉可有效降低X、Y、Z方向误差,Z方向误差降低最多。

(a) (b)

Figure 9. Coaxiality error values. (a) Coaxiality error of main fork-ear; (b) Coaxiality error of auxiliary fork-ear

9. 同轴度误差值。(a) 主叉耳同轴度误差;(b) 辅叉耳同轴度误差

由于叉耳装配处的遮挡,本文采用单目相机测量与本文测量方法进行对比实验,图9图10展示了不同方法的同轴度误差和间隙误差的对比结果。采用本文提出的方法后,主叉耳装配同轴度误差范围在0.074 mm~0.117 mm,平均同轴度误差为0.093 mm,主叉耳装配平均间隙误差范围在0.12 mm~0.23 mm,平均间隙误差为0.186 mm。单目相机测量结果显示主叉耳同轴度误差范围在0.091 mm~0.131 mm,平均同轴度为0.108 mm,主叉耳装配间隙误差范围在0.15 mm~0.24 mm,平均间隙误差为0.198 mm。辅叉耳同轴度误差和间隙误差也有所降低。实验结果表明,采用本文方法能降低检测误差。

(a) (b)

Figure 10. Gap error values. (a) Gap error of main fork-ear; (b) Gap error of auxiliary fork-ear

10. 间隙误差值。(a) 主叉耳间隙误差;(b) 辅叉耳间隙误差

5. 结论

为提高飞机翼身对接装配偏差检测精度,本文提出了基于双目视觉的飞机翼身叉耳对接装配偏差检测方法,通过融合RANSAC算法和双目三维重建,实现了叉耳同轴度与装配间隙的测量。实验结果表明,相比于单目视觉测量方法,本文方法提高了飞机装配偏差检测精度,为飞机大部件装配技术的发展提供了新方向和方法。

基金项目

江西省重点研究计划(20243BBG71004);国家自然科学基金(52465060);航空科学基金(2024M050056002)。

NOTES

*通讯作者。

参考文献

[1] Jayaweera, N. and Webb, P. (2007) Automated Assembly of Fuselage Skin Panels. Assembly Automation, 27, 343-355. [Google Scholar] [CrossRef
[2] 冯子明. 飞机数字化装配技术[M]. 北京: 航空工业出版社, 2015.
[3] 张辉, 李泷杲, 徐岩, 等. 一种面向叉耳式翼身对接的视觉测量方法[J]. 航空制造技术, 2017(21): 56-61.
[4] 黄小童, 李丽娟, 林雪竹, 等. 叉耳式大部件对接的高精度测量与路径规划[J]. 中国激光, 2020, 47(12): 207-217.
[5] Li, S., Deng, Z., Zeng, Q. and Huang, X. (2018) A Coaxial Alignment Method for Large Aircraft Component Assembly Using Distributed Monocular Vision. Assembly Automation, 38, 437-449. [Google Scholar] [CrossRef
[6] Zhang, Z.M., Xu, K., Wu, Y.N., et al. (2022) A Simple and Precise Calibration Method for Binocular Vision. Measurement Science and Technology, 33, Article ID: 065016. [Google Scholar] [CrossRef
[7] Zhou, Y., Li, Q., Chu, L., Ma, Y. and Zhang, J. (2020) A Measurement System Based on Internal Cooperation of Cameras in Binocular Vision. Measurement Science and Technology, 31, Article ID: 065002. [Google Scholar] [CrossRef
[8] Zhou, Z., Liu, W., Wang, Y., Yu, B., Cheng, X., Yue, Y., et al. (2022) A Combined Calibration Method of a Mobile Robotic Measurement System for Large-Sized Components. Measurement, 189, Article ID: 110543. [Google Scholar] [CrossRef