基于图像处理的微小孔径测量系统设计

Design of Micro-Aperture Measurement System Based on Image Processing

摘要: 随着现代科技和工业的迅速发展，高精度和微型化工艺已成为重要的发展趋势。然而对于高精度测量，传统的测量技术面临着测量数据少、精度不够和存在人工误差等问题，因此设计一个完整的计算机辅助测量系统具有重要的意义。本文提出的微小孔径测量系统包括三个部分：图像采集、图像处理以及孔径测量，其中，图像处理是关键的一步，图像处理的效果与测量结果密切相关。图像处理部分首先采用全变分模型对盲孔图像进行去噪，然后用基于SURF的算法进行图像配准，针对图像融合，本文提出了一种基于改进的边缘保持滤波与脉冲耦合神经网络的多聚焦图像融合算法，采用Canny-Zernike矩亚像素边缘检测方法对盲孔图像做边缘检测，再对得到的边缘图像进一步做形态学滤波，最后采用最小二乘拟合法对盲孔边缘进行拟合即可得到盲孔直径。实验结果表明，本文设计的测量系统得到的测量误差较小，测量结果比较稳定。

Abstract: With the rapid development of modern technology and industry, high precision and miniaturization process has become an important development trend. However, for high-precision measurement, the traditional measurement technology is faced with the problems of less measurement data, insufficient accuracy and artificial error. Therefore, it is of great significance to design a complete computer-aided measurement system. The micro-aperture measurement sys-tem proposed in this paper includes three parts: image acquisition, image processing and aperture measurement. Among them, image processing is a key step, and the effect of image processing is closely related to the measurement results. The image processing part first uses the total variation model to denoise the blind hole image, and then uses the SURF-based algorithm for image registration. For image fusion, this paper proposes a multi-focus image fusion algorithm based on improved edge-preserving filtering and pulse-coupled neural network. The Canny-Zernike moment sub-pixel edge detection method is used to perform edge detection on the blind hole image, and then obtained edge image is further subjected to morphological filter-ing. Finally, the least squares fitting method is used to fit the edge of the blind hole to obtain the diameter of the blind hole. The experimental results show that the measurement error obtained by the measurement system designed in this paper is small, and the measurement result is relatively stable.

1. 引言

随着科学技术的飞速发展，仪器变得越来越精密化，但是对于传统的检测方法而言，精确测量微小零件的尺寸仍旧是一个挑战。传统的工业检测主要依靠人工，这不仅难以适应高速的生产过程，而且检测结果容易受到人工误差的干扰 [1] 。与传统的检测方法相比，计算机技术具有高效、精度和自动化程度高等优点，非常适合工业在线图像测量系统的需求，它可以同时实现图像采集和数据分析，利用摄像头采集图像并传输到图像处理系统，实现图像关键信息的检测，对于图像的边缘部分，计算机技术可以精确定位边缘部分的位置，从而采集准确的数据 [2] 。因此，计算机技术可以更快速、准确地检测产品，满足大批量、高效率、高精度的产品检测要求 [3] 。基于此，以图像处理为代表的技术在工业在线检测中得到了深入的研究和应用。

本文设计了一个完整的基于图像处理的微小孔径测量系统，包括图像采集、图像处理和孔径测量三个部分，其中，图像处理是最关键的一步，图像处理直接影响着最终的测量结果是否准确。在图像处理过程中，图像融合又是最为重要的一步。由于相机景深的限制，在采集图像时通常只能获得部分聚焦的图像，聚焦部分的图像是清晰的，然而散焦部分的图像看起来是比较模糊的，这不利用后续的检测任务。因此，对采集到的盲孔图像做多聚焦图像融合是很有必要的。

多聚焦图像融合是指对同一场景下的多张部分聚焦图像进行融合，获得聚焦部分更多、细节信息更多的图像 [4] 。图像融合算法按照融合层次来分可分为像素级、特征级和符号决策级三种 [5] 。像素级融合算法是直接对输入图像的像素点进行融合，特征级融合是对图像特征进行提取后再进行处理，符号决策级融合根据一定的规则对所提取的特征和源图像进行决策综合来获得融合图像。像素级融合算法相比于其它两种方法，它可以更大程度地保留源图像的细节信息，融合的精确性最高 [6] 。

由于小孔的直径很微小，在图像融合的过程中细节信息的保留就显得更加重要，因此本文提出了一种像素级的基于改进的边缘保持滤波与脉冲耦合神经网络(Pulse Coupled Neural Network, PCNN)的图像融合算法。融合算法的实现过程分为三步，首先利用边缘保持滤波器将源图像分解成高频、中频以及低频图像，其中边缘保持滤波器是由加权平均滤波和高斯滤波组合而成的；然后用脉冲耦合神经网络对分解得到的高频和中频图像分别进行融合，低频图像则利用能量融合规则来实现；最后将融合后的图像相加，并做边缘保持滤波逆变换即可得到最终的融合图像。

将图像处理技术应用到工业测量系统中，可以很大程度上提高测量的精度，减小测量误差，极大地促进了工业在线检测的效率和质量。因此，研究基于图像处理技术的测量系统对工业在线检测具有重要的实用价值。

2. 图像采集

实验采集的是PCB板中的盲孔图像，为了保证测量系统的精度，需要选择合适的光源、打光方式、相机以及镜头，确保可以清晰地采集到盲孔图像，特别盲孔边缘部分。本文选择LED灯作为实验的光源，采用前向照明方式，这样可以减小盲孔底部反光的影响，更好地保留图像的轮廓信息；在相机的选择上，选用BasleracA2040-35gc GigE工业相机，相机采用Sony IMX265 CMOS感光元件，可在3.2 MP解析度下提供36 fps帧率，成像质量高，不会出现丢帧现象。实验选择的镜头为OLYMPUS LMPLFLN 20X，该镜头分辨率高，成像质量优异，能够满足微小孔径测量的需求。基于图像处理的微小孔径测量系统的工作流程图如图1所示。利用MATLAB对采集到的盲孔图像做一系列图像处理操作，以此提高图像质量，有利于后续测量。

Figure 1. Working flow chart of micro-aperture measurement system based on image processing

图1. 基于图像处理的微小孔径测量系统的工作流程图

3. 图像处理

3.1. 全变分模型去噪

图像在采集的过程中可能会受到多种噪声，比如图像传输过程中产生的噪声，以及采集时不稳定的光源和零件自身的毛刺、灰尘等给采集带来的影响，因此在图像融合之前需要对源图像进行滤波。

本文采用全变分(Total Variation, TV)模型去噪，全变分模型去噪除了能滤除图像中的噪声，还能很好地保留图像的边缘信息 [7] 。全变分模型去噪的方法是由Rudin，Osher和Fatemi于1992年提出的 [8] ，该算法的基本思想是在图像内部尽可能对图像进行平滑，而在图像边缘尽可能不去操作。与以往的滤波方法不同，全变分模型去噪是一种图像复原算法，通过使建立的去噪模型最优化，即复原出的图像无限逼近理想的无噪图像，从而将无噪图像从噪声图像中复原出来。

全变分模型去噪的基本流程为：1) 定义图像与全变分；2) 建立能量泛函及其约束条件；3) 求解欧拉–拉格朗日方程；4) 求在约束条件下的偏微分方程的解。

图像中的噪声越大，图像的全变分J也就越大。公式(1)和(2)分别表示 $x,y$ 方向上的梯度；公式(3)为全变分的数学表达式，减小全变分J即可实现减少图像中噪声的目的。

$u_x=\frac{\partial u}{\partial x}$ (1)

$u_y=\frac{\partial u}{\partial y}$ (2)

$J\left(u\right)={\displaystyle \iint \left|\nabla u\right|\text{d}x\text{d}y}={\displaystyle \iint \sqrt{u_x^2+u_y^2}\text{d}x\text{d}y}$ (3)

为了进一步证明采用全变分模型的方法是否可以得到更好的去噪效果，本文将其与几种常见的滤波方法进行了比较，比如均值滤波、中值滤波、高斯滤波以及非局部均值滤波(Non-local Mean Filtering, NLM)。五种不同滤波方法下的源图像去噪结果如图2所示。

原始图像 均值滤波 中值滤波高斯滤波 NLM滤波 全变分去噪

Figure 2. Comparison of blind hole image denoising under different filtering methods

图2. 不同滤波方法下的盲孔图像去噪对比

从图2中可以看出，全变分模型的去噪效果最好，源图像中的大部分噪声都滤除掉了，并且小孔边缘部分依旧很清晰，而采用均值滤波、中值滤波、高斯滤波和NLM滤波方法得到的结果在小孔的边缘部分看起来比较模糊，表明了这四种方法在去噪过程中损失了源图像的边缘信息。

除了视觉上的直观比较以外，为了更客观有效地对比这五种滤波方法，还对这五种方法进行了评价指标上的度量。采用峰值信噪比(Peak Signal to Noise Ratio, PSNR)和均方误差(Mean Square Error, MSE)对这五种滤波方法的去噪效果进行评价，评价结果如表1所示。PSNR的值越大，表明该方法的去噪效果越好；MSE则相反，MSE的值越小，表明去噪效果越好。从表1中可以看出，PSNR和MSE的最优值均来自于全变分模型去噪，并且显著优于其它四种方法。

Table 1. Comparison of different filtering methods

表1. 不同滤波方法对比

3.2. 基于SURF算法的图像配准

图像融合的输入是已配准图像，在进行图像融合之前必不可少的一步是做图像配准。图像配准是指将同一空间中具有重叠区域的两幅或多幅图像进行对准，是图像融合的基础。

考虑到尺度不变特征变换(Scale Invariant Feature Transform, SIFT)算法计算量大、耗时长的特点，本文选用基于快速鲁棒特征(Speeded Up Robust Features, SURF)的图像配准算法 [9] 。SURF算法的主要流程如图3所示。首先，利用Bay等人 [10] 提出的SURF方法提取特征点，然后用最近邻方法获取匹配点，最后利用随机抽样一致性(Random Sample Consensus, RANSAC)算法和最小二乘法计算出图像之间的透视变换矩阵，将待配准图像与透视变换矩阵相乘即可得到配准图像。

Figure 3. Flow chart of the image registration

图3. 图像配准流程图

3.3. 边缘保持滤波与脉冲耦合神经网络

本文提出了一种基于改进的边缘保持滤波与脉冲耦合神经网络(PCNN)的图像融合算法，该方法可以解决传统方法所带来的产生额外噪声和边缘信息缺失这一问题。PCNN与边缘保持滤波器结合可以更好地保留源图像中的边缘和细节信息。

边缘保持滤波器是由加权平均滤波与高斯滤波所组成的。多尺度形态学梯度运算可以提取图像的梯度信息，经过多次形态学梯度运算后将结果输入加权平均滤波器，可以使得图像的细节信息更加丰富，结构更加分明。经过边缘保持滤波器多次迭代以后源图像被分解为3层，分别为高频、中频和低频，高频主要包含图像的边缘和细节信息，中频决定了图像中的边缘结构，低频则是图像中的背景信息。

脉冲耦合神经网络(PCNN)具有脉冲同步性和全局耦合性，能更好地模拟人眼视觉神经系统，被广泛用于图像融合等领域 [11] 。Eckhorn等人 [12] 根据小型哺乳动物大脑神经元中的同步脉冲现象提出了脉冲耦合神经网络(PCNN)模型。PCNN是一个单层二维的神经网络，在图像融合过程中不需要经过任何训练，通过不断迭代来保留图像的细节信息。PCNN的每一个神经元都是由接收部分、调制部分和脉冲发生器三部分构成的，网络中的每一个神经元在图像中都有特定的像素点与之对应 [13] 。由于PCNN模型比较复杂，涉及参数较多，在实际应用中通常会对其进行简化，PCNN的简化模型结构如图4所示。

Figure 4. Simplified model of PCNN

图4. PCNN简化模型

$F_{ij}\left(n\right)=I_{ij}$ (4)

$L_{ij}\left(n\right)=\exp \left(-{\alpha }_L\right)L_{ij}\left(n-1\right)+V_L{\displaystyle \underset{kl}{\sum }{W}_{ijkl}{Y}_{kl}\left(n-1\right)}$ (5)

$U_{ij}\left(n\right)=F_{ij}\left(n\right)\left(1+\beta L_{ij}\left(n\right)\right)$ (6)

${\theta }_{ij}\left(n\right)=\exp \left(-{\alpha }_{\theta }\right){\theta }_{ij}\left(n-1\right)+V_{\theta }{Y}_{ij}\left(n-1\right)$ (7)

$Y_{ij}\left(n\right)=step\left[U_{ij}\left(n\right)-{\theta }_{ij}\left(n\right)\right]$ (8)

简化的PCNN模型的数学表达式如公式(4)~(8)所示，其中， $\left(i,j\right)$ 代表像素在图像矩阵中的位置，n为迭代次数， $F_{ij}$ 为反馈输入， $I_{ij}$ 为外部输入激励， $L_{ij}$ 和 ${\theta }_{ij}$ 分别为链接输入和动态阈值， $U_{ij}$ 和 $Y_{ij}$ 分别表示神经元的内部状态信号和外部输出， ${\alpha }_L$ 和 ${\alpha }_{\theta }$ 为时间衰减常数， $V_L$ 和 $V_{\theta }$ 分别为链接输入和动态阈值的放大倍数， $\beta$ 为内部活动项的链接强度， $W_{ijkl}$ 表示链接输入的链接矩阵元素。当 $n=0$ 时，神经元均处于熄火状态，此时有 $L_{ij}\left(0\right)=Y_{ij}\left(0\right)={\theta }_{ij}\left(0\right)=U_{ij}\left(0\right)=0$ 。

3.4. 基于改进边缘保持滤波与PCNN的图像融合算法

本文提出的图像融合算法主要由三个步骤组成：1) 使用边缘保持滤波器将图像分解成高频、中频和低频；2) 使用脉冲耦合神经网络对高频和中频图像分别进行融合，使用能量融合规则对低频图像进行融合；3) 将融合后的各图像相加，并做边缘保持滤波逆变换得到最终的融合图像。图像融合算法的流程图如图5所示。

Figure 5. Flow chart of the image fusion algorithm

图5. 图像融合算法流程图

3.4.1. 图像分解

Figure 6. Diagram of image decomposition

图6. 图像分解示意图

图像分解是由边缘保持滤波器来实现的，边缘保持滤波器由加权平均滤波和高斯滤波构成。图像分解过程如图6所示。

其中， $I_{in}$ 、 $I_w^i$ 和 $I_g^i$ 分别表示输入图像、第i次加权平均滤波及高斯滤波后的图像。 $H^i$ 、 $M^i$ 和L分别表示分解得到的高频、中频与低频图像，其计算公式如下所示。

$H^i=\{\begin{array}{l}{I}_{in}-I_w^i,i=1\\ I_g^{i-1}-I_w^i,i=2,3\end{array}$ (9)

$M^i=I_w^i-I_g^i$ (10)

$L=I_g^3$ (11)

$I_g^i=\{\begin{array}{l}GF\left(I_{in},{\mu }_g,{\sigma }_g\right),i=1\\ GF\left(I_g^{i-1},{\mu }_g,{\sigma }_g\right),i=2,3\end{array}$ (12)

$I_{in}={\displaystyle \underset{i=1}{\overset{3}{\sum }}\left(H^i+M^i\right)}+L$ (13)

高斯滤波算子的均值与标准差分别为 ${\mu }_g$ 和 ${\sigma }_g$ ，其中， ${\mu }_g=2$ ， ${\sigma }_g=20$ 。源图像 $I_{in}$ 经过分解得到 $H_A^i$ 、 $H_B^i$ 、 $M_A^i$ 、 $M_B^i$ 、 $L_A$ 和 $L_B$ 。

3.4.2. 图像融合

图像中较大的结构与背景信息都包含在低频信息当中，因此，低频的融合质量很大程度关系着整幅图像的融合质量。采用基于图像能量的融合规则对低频图像进行融合 [14] 。能量融合规则按照如下步骤进行：

1) 计算本征值 $I{P}_A$ 和 $I{P}_B$ 。式(14)和(15)中的 ${\mu }_A$ 与 ${\mu }_B$ 分别表示低频图像的均值， $M{e}_A$ 与 $M{e}_B$ 分别表示低频图像的中值。

$I{P}_A={\mu }_A+M{e}_A$ (14)

$I{P}_B={\mu }_B+M{e}_B$ (15)

2) 计算能量属性函数。式(16)和(17)中的 ${\alpha }_M$ 为增益系数。

$E_A\left(x,y\right)=\exp \left({\alpha }_M\left|L_A\left(x,y\right)-I{P}_A\right|\right)$ (16)

$E_B\left(x,y\right)=\exp \left({\alpha }_M\left|L_B\left(x,y\right)-I{P}_B\right|\right)$ (17)

${\alpha }_M$ 为增益系数。

3) 低频融合。融合结果可以通过式(3.18)得到。

$L_F\left(x,y\right)=\frac{E_A\left(x,y\right)\cdot L_A\left(x,y\right)+E_B\left(x,y\right)\cdot L_B\left(x,y\right)}{E_A\left(x,y\right)+E_B\left(x,y\right)}$ (18)

源图像的纹理、边缘信息和结构信息通常包含在高频与中频当中。采用PCNN方法对高频和中频分别进行融合，对图像中小尺寸信息的融合效果很好。源图像经过多尺度梯度运算以后的图像作为PCNN的连接强度。

高频与中频的融合结果表示为：

$H_F^i\left(x,y\right)=\{\begin{array}{l}{H}_A^i\left(x,y\right),T_{xy,A}\ge T_{xy,B}\\ H_B^i\left(x,y\right),\text{otherwise}\end{array}$ (19)

$M_F^i\left(x,y\right)=\{\begin{array}{l}{M}_A^i\left(x,y\right),T_{xy,A}\ge T_{xy,B}\\ M_B^i\left(x,y\right),\text{otherwise}\end{array}$ (20)

$T_{ij}=\{\begin{array}{l}n,U_{ij}\left(n\right)\ge {\theta }_{ij}\left(n-1\right)\\ T_{ij}\left(n-1\right),\text{otherwise}\end{array}$ (21)

将高频、中频和低频三个层次的融合图像相加即可得到重构图像，计算公式如式(22)。

$F_I={\displaystyle \underset{i=1}{\overset{3}{\sum }}\left(H_F^i+M_F^i\right)}+L_F$ (22)

4. 结果与分析

本文从定性和定量的角度对所提出的图像融合算法进行了评价。定性分析是一种仅通过视觉评估来评价融合图像质量的方法，该评价方法的优点是简单直接，但是仅通过视觉评估不能客观、完整地评价图像融合的质量，进行一些定量的分析也十分重要 [15] 。

共选取了四种主流的算法和四个图像融合评价指标。四种算法分别是基于交叉双边滤波的图像融合算法(Image Fusion Based on Cross Bilateral Filter, CBF)、基于卷积稀疏表示的图像融合算法(Image Fusion Based on Convolutional Sparse Representation, CSR)、基于导向滤波的图像融合算法(Image Fusion Based on Guided Filter, GFF)和基于PCNN 的图像融合算法，这些融合算法的参数设置都相同。四个融合评价指标分别是差异相关性之和(The Sum of the Correlations of Differences, SCD)、结构相似性(Structural Similarity Index Measure, SSIM)、特征互信息(Feature Mutual Information, FMI)和基于梯度的融合性能Q^AB/F，这四种指标的值越大说明融合效果越好。

源图像A源图像B

CBF CSR GFFPCNN本文算法

Figure 7. Visual comparison of results of different fusion algorithms

图7. 不同融合算法结果视觉对比

图7为不同融合算法的结果在视觉效果上的对比。从图7中可以明显看出，由CBF、CSR和GFF得到的结果内部边缘比较模糊，PCNN的结果相对较好，但是在图像边缘处明显变亮。相比于这四种算法，利用本文算法得出的融合图像在视觉上效果最好。

Table 2. Indicators comparison of different fusion algorithms

表2. 不同融合算法指标对比

表2为不同融合算法在四种评价指标上的对比以及耗时比较。由表2可以看出，本文的算法在SCD、SSIM和Q^AB/F上均具有最好的表现，在FMI上低于CSR算法。从算法耗时方面来看，本文的算法耗时最短。综合来看，本文提出的算法在多聚焦盲孔图像融合上的表现最佳。

得到融合图像以后，采用Canny-Zernike矩亚像素边缘检测方法对盲孔图像做边缘检测，再对得到的边缘图像进一步做形态学滤波，具体地，对盲孔的边缘图像进行多次形态学闭运算，以去除图像中多余的噪点，使图像更加平滑，最后，采用最小二乘拟合法对盲孔边缘进行拟合即可得到盲孔直径。本文选择了10个盲孔图像分别对它们进行盲孔直径测量，盲孔真值为0.1 mm，测量数据如表3所示。其中，极差为0.00066 mm，绝对误差范围为0.00010 mm~0.00053 mm，测量误差较小，且测量结果比较稳定。

Table 3. Diameter data of blind hole

表3. 盲孔直径测量数据

5. 结论

本文用计算机模拟人眼来测量微小孔径，将传统的人工测量方法转化为通过计算机自主地处理采集到的盲孔图像，并根据得到的信息计算出盲孔直径。为了得到准确清晰的盲孔边缘信息，需要先对盲孔图像做一系列图像处理操作，包括图像去噪、图像配准和图像融合等，这些操作可以使盲孔图像边缘检测的效果更好，从而得到更优的盲孔拟合图像，获得更精准的孔径测量结果。本文采用全变分模型去噪和基于SURF的算法分别进行源图像去噪和配准，并提出了一种基于改进的边缘保持滤波与脉冲耦合神经网络(PCNN)的多聚焦图像融合算法，更好地保留了盲孔图像的边缘和细节信息。融合得到的图像再经过边缘检测和最小二乘拟合，成功测得了孔径值。结果表明，本文提出的基于图像处理的微小孔径测量系统是可行的，并且得到的测量误差较小，测量结果稳定。