综合判别函数在畸变图像相关识别中的应用研究

The Applied Research of the Correlation Recognition of Distorted Images Based on Synthetic Discriminant Function

摘要: 联合变换相关识别是研究图像识别常用的一种重要方法。当探测器对目标图像识别时，从不同的角度、不同的高度获取的目标图像通常存在角度旋转和尺度缩放的畸变情况，如何使相关识别系统具有畸变不变的功能，是一个重要的研究问题。本文基于综合判别函数用联合变换相关器对角度旋转和尺度缩放两种畸变图像的相关识别进行了研究，给出综合判别函数模板的合成方法。相关识别结果表明，这种基于综合判别函数的联合变换相关图像识别方法对尺度缩放、角度旋转畸变图像具有相关不变性，能够很好地完成训练样本中各图像的畸变不变识别，对于一定小范围内的角度旋转和尺度缩放畸变图像识别率可达到100%，证明了这种识别方法的有效性和可行性。

Abstract: The recognition function of the joint transform correlation is the important and commonly used images recognition method. The object images are always rotation and scale distorted images, when the image detector takes object images at different angles and different heights. The important problem that how to realize the distortion invariant image recognition of the joint transform correlation is constantly studied by many scientific researchers. The correlation recognition based on synthetic discriminant function is described and applied to settle the rotation and scale distorted images correlation recognition and the synthesis pattern method of synthetic discriminant function is given in this paper. The correlation recognition experiment results of distorted images show that the correlation recognition method based on synthetic discriminant function can realize effectively the distortion invariant pattern recognition of rotation and scale distorted images that are in the training image samples, and the recognition rate of images that are rotation and scale distorted within a certain small range is almost 100%, the results show that the images recognition method is effective and feasible.

1. 引言

联合变换相关技术一直是光学模式图像识别、目标跟踪应用中的一个重要研究领域，其在工程技术和军事装备中都有着广泛的应用。目标图像和参考图像能同时输入系统处理，并可实时更新，联合变换相关器的输出峰主要取决于目标图像与参考图像的“相似”性，两图像像素分布大小、方向、强度和对比度等任何方面的变化都会使相关峰值下降[1]。当探测器对目标进行识别时，从不同的角度、不同的高度获取的目标图像通常存在一定的角度旋转和尺度缩放的畸变情况，国内外学者一直在着力研究如何使相关识别系统具有图像畸变而相关峰不变的功能。Casasent在1984年首先提出用综合判别函数(Synthetic discriminant function SDF)制作匹配滤波器进行相关识别，在畸变不变的研究上取得了重大进展。由于综合判别函数可以在线下预先训练合成，在线使用，实时更新，因其灵活性好、实用性强，目前被认为是解决图像畸变不变相关识别的一种有效途径。当前，在畸变图像识别方面主要集中在对识别算法的研究上，以提高对畸变图像识别的容错性和识别率，湖南大学的王珂娜，邹北骥等人提出基于神经网络的畸变图像校正方法，已成功地用于焊接机器人视觉系统[2]，北京交通大学的李乐提出基于单幅广角畸变图像的自动校正算法，对广角镜头引入非线性畸变进行研究[3]。本文结合综合判别函数，用联合变换相关器对角度旋转和尺度缩放这两种畸变图像进行相关识别研究。

2. 综合判别函数基本理论

Casasent提出的综合判别函数思想是首先组建某一待识别目标图像的训练样本集合，集合中包括标准目标图像和可能产生畸变的一些目标样本图像，提取所有样本图像信息进行组合运算，利用合适的参数合成综合判别函数模板，此模板作为参与相关运算的匹配图像模板，当待识别的目标图像输入时，相关运算后输出相关峰结果，如果输入的待识别目标图像在训练样本集合中，则输出的相关峰值就不会随输入图像的畸变而发生改变，实现了输入畸变目标图像时，其相关输出峰值与输入标准目标图像时是一样的，即相关峰保持不变[4]。

因此，合成综合判别函数就是要得到一个特定的匹配滤波函数，使其对于某一种待识别目标图像的各种可能发生的畸变图像(尺度缩放、方向旋转等)输入时，通过滤波函数相关运算都能得到相同的相关输出峰值，据此可判定识别为同一目标图像。建立某种目标图像及相关畸变图像的训练样本集合$\left\{f_n\right\}$ ，其中$n=1,\cdots ,N$ ，表示集合中包含N个样本图像，样本集合中的图像要尽量选取有代表性的目标畸变形态图像，可以根据实际情况选取某一种或几种畸变形态。设h为综合判别函数，h可看做是训练图像样本$\left\{f_n\right\}$ 的线性组合，根据相同输出相关峰的要求，h与样本集中的任一图像样本$f_n$ 的相关运算后，输出的相关峰值都为同一常数(假设其值等于1)。则有：

$f_n\otimes h=1$ (1)

公式中$\otimes$ 表示$f_n$ 与h的相关运算，由于h是$\left\{f_n\right\}$ 的线性叠加综合，可表示为：

$h={\displaystyle \sum _{m=1}^N{a}_m{f}_m}$ (2)

式中a_m为各个样本图像线性叠加合成时每个样本图像的权重因子系数。因为相关输出的中心峰值是相关识别判定的主要因素，所以可用“点乘”运算表示相关，可以不考虑公式(1)中$f_n$ 和h的空间关系。这样将公式(2)式代入(1)式得：

$f_n\otimes h=f_{n}h=f_n{\displaystyle \sum _{m=1}^N{a}_m}{f}_m={\displaystyle \sum _{m=1}^N{a}_m}{r}_{nm}=1$ (3)

式中r_nm表示图像样本集合$\left\{f_n\right\}$ 的交相关矩阵R的系数，则有：

$r_{nm}=f_n{f}_m$ (4)

可将公式(3)写成矩阵形式，则有：

$Ra={\left(1,\cdots ,1\right)}^T=\mu$ (5)

在公式(5)两边同时左乘逆矩阵R⁻¹，则(5)式变换为下式所示：

$a=R^{-1}\mu$ (6)

将算出的逆矩阵$R^{-1}$ 代入(6)式中，可得到各样本图像的权重因子a，代入公式(2)中即可求出综合判别函数h，由此计算过程可以看出，求得训练样本函数相关矩阵的逆矩阵，就可得到综合判别函数h了。

对于有多种不同类目标图像识别的情况，比如现有三种不同类型的目标，假定第一类目标物体的训练样本数为N₁，第二类样本数为N₂，第三类样本数为N₃。根据畸变不变相关识别的要求，设第一类相关输出为1，第二类相关输出为2，第三类相关输出为3，则有：

$f_n\otimes h=n$ (7)

式中$n=1,2,3$ 表示三种不同类目标物体分别对应三个不同的相关输出值，综合判别函数h可表示如(8)式所示：

$h={\displaystyle \sum _{m=1}^{N_1+N_2+N_3}{a}_m{f}_m}$ (8)

同理可以得到上式中各样本图像权重因子系数a_m计算式为：

$a_m=R_3^{-1}{\mu }_3$ (9)

上式中R³是包括全部三类训练样本的(N₁ + N₂ + N₃)阶交相关矩阵，${\mu }_3={\left[1,\cdots ,1,2,\cdots ,2,3,\cdots ,3\right]}^T$ ，即${\mu }_3$ 中有N₁个1，N₂个2，N₃个3，分别对应不同类型三种目标，这样就可以根据相关输出时不同相关值来判断是哪一类目标，从而实现对三种不同类目标图像分类与识别。

3. 综合判别函数合成方法

3.1. 预处理图像消除随机噪声

为了进行R逆矩阵的运算，需要将目标图像进行模—数转换为数字图像信息来处理运算，探测器采集各个训练样本图像中通常含有一些随机噪声信息，这些随机噪声信息会直接影响样本目标图像与待识别图像的“相似”性，可根据噪声情况选取不同类型滤波器进行预处理，本文采用低通滤波以消除随机高频噪声，保留目标的有效特征信息，从而提高图像的质量。注意：对于待识别图像也需要进行同样的滤波预处理消除噪声。

3.2. 综合判别函数模板合成

合成综合判别函数模板的流程图如图1所示：将探测器采集的样本图像信号输入计算机进行模–数转换为数字图像。首先进行数字滤波预处理，将一些随机高频噪声信息滤除；进而将数字图像进行傅里叶变换得到其频谱$F_i$ ；然后计算其共轭相乘$F_i{}^{\ast }{F}_J$ ，再经过傅里叶逆变换$F{T}^{-1}(F_i{}^{\ast }{F}_j)$ ，由频域再转换得到$f_i\otimes f_j$ ；从中提取相关的最大峰值$P_{ij}$ ，由$r_{ij}=P_{ij}/\sqrt{p_{ii}}\sqrt{p_{jj}}$ ，就可以得到矩元r；在此基础上将所有矩元$r_{ij}$ 组合就得到矩阵R，对R求逆变为R⁻¹，将其代入公式(6) $a=R^{-1}\mu$ 中，得到各个参与合成样本图像的权到重因子系数a；最后，将a代入公式(2) $h={\displaystyle \sum _{m=1}^N{a}_m{f}_m}$ ，就可得到综合判别函数h。将运算合成的综合判别函数进行数–模转换，合成得到模板图像并存储，可实时调用做为目标匹配图像与待识别图像进行相关识别。

Figure 1. Diagram of the build process of synthetic discriminant function

图1. 综合判别函数模板合成流程图

4. 综合判别函数相关识别结果与分析

图像pl1-100为没有畸变的目标图像，像素尺寸为256 × 256像素，如图2所示。采用上述方法分别制作比例缩放畸变不变函数模板和角度旋转畸变不变函数模板。由CCD采集图像输入计算机，并由系统软件实现每隔$5\%$ 比例缩放，构成一组9幅图像(80%、85%、90%、95%、100%、105%、110%、115%、120%)组成的尺度缩放畸变(80%~120%)训练样本集，如图3所示。由训练样本集中的图像合成尺度缩放畸变不变综合判别函数模板图像，如图4中所示。

Figure 2. Object image pl1-100

图2. 目标图像pl1-100

Figure 3. Nine scale distorted sample images (80%~120%)

图3. 尺度缩放畸变9个样本图像(80%~120%)

其训练样本函数相关矩阵R的逆矩阵参数为：R' = 1.0e−004^*

0.1122 −0.0724 −0.0283 0.0008 0.0009 −0.0044 −0.0046 −0.0028 −0.0044

−0.0724 0.2067 −0.0934 −0.0389 0.0107 −0.0026 −0.0085 0.0052 −0.0071

−0.0283 −0.0934 0.2171 −0.0648 −0.0334 −0.0000 0.0114 −0.0084 0.0000

0.0008 −0.0389 −0.0648 0.2587 −0.1329 −0.0089 0.0022 −0.0101 −0.0082

0.0009 0.0107 −0.0334 −0.1329 0.3291 −0.1473 −0.0496 0.0297 −0.0067

−0.0044 −0.0026 −0.0000 −0.0089 −0.1473 0.3210 −0.0974 −0.0625 0.0078

−0.0046 −0.0085 0.0114 0.0022 −0.0496 −0.0974 0.3608 −0.1692 −0.0450

−0.0028 0.0052 −0.0084 −0.0101 0.0297 −0.0625 −0.1692 0.3796 −0.1546

−0.0044 −0.0071 0.0000 −0.0082 −0.0067 0.0078 −0.0450 −0.1546 0.2445

九个样本图像的权重因子系数a为：a = 1.0e−005^*

−0.0311 −0.0035 −0.0000 −0.0213 0.0046 0.0551 0.0001 0.0691 0.2637

Figure 4. The scale distorted template image of SDF (80%~120%)

图4. 尺度缩放畸变综合判别图像(80%~120%)

用尺度缩放畸变样本集中9幅图像分别与尺度缩放畸变综合判别图像进行联合变换相关运算[5] [6]，其相关峰值如表1所示。并以9个图像相关峰值的平均值3.3896作为理想值，分别计算各个图像的相对误差与绝对误差。

Table 1. Correlation peak parameters of nine sample images and scale distorted template image of SDF

表1. 9个样本图像与尺度缩放畸变综合判别图像的相关峰值参数

图像序号	相关峰值	绝对误差	相对误差%
1	3.5004	0.110744444	3.267135
2	3.4255	0.035844444	1.057467
3	3.4104	0.020744444	0.611994
4	3.3927	0.003044444	0.089816
5	3.3623	−0.027355556	0.80703
6	3.3271	−0.062555556	1.84549
7	3.3472	−0.042455556	1.25251
8	3.3691	−0.020555556	0.60642
9	3.3722	−0.017455556	0.51497

由表1中数据可以看出，9个尺度畸变样本图像与尺度缩放畸变综合判别图像的相关峰值基本是一样的，相比其平均相关峰值，最大绝对误差：0.1107；最大相对误差：3.27%。由于相关峰值一样，所以9个尺度畸变样本图像可判别为同一个目标图像。为了验证尺度缩放畸变综合判别图像的有效性及适用性，另选用10不同尺度缩放比例畸变的图像(75%、82%、87%、93%、98%、102%、107%、112%、118%、125%)来测试其相关峰值的输出情况。用尺度畸变的10图像分别与尺度缩放畸变综合判别图像进行联合变换相关运算，其相关峰值如表2所示。

Table 2. Correlation peak parameters of ten test images and scale distorted template image of SDF

表2. 10个测试图像与尺度缩放畸变综合判别图像联合变换相关参数

图像序号	相关峰值	绝对误差	相对误差%
1	3.2132	−0.13645	4.02555
2	3.3486	−0.04105	1.21104
3	3.3562	−0.03345	0.98683
4	3.3528	−0.03685	1.08713
5	3.3517	−0.03795	1.11958
6	3.3563	−0.03335	0.98388
7	3.3545	−0.03515	1.03698
8	3.3503	−0.03935	1.16089
9	3.3619	−0.02775	0.81867
10	3.3892	−0.00045	0.01328

由表2数据可以看出，不同于训练样本中的其它10幅尺度畸变图像与尺度缩放畸变综合判别图像的相关峰值与理想平均峰值误差很小，最大绝对误差为−0.13645最大相对误差为4.025%。由于测试图像与样本集中图像有一个小比例的畸变偏差，所以其相关峰值相比于原训练样本图像的相关峰值要小一些，因此，其绝对误差都为负值。通常设定与理想平均峰值相对误差小于等于5%，即可认为畸变图像为原始图像。因此，尺度缩放畸变综合判别图像对于原始图像的尺度缩放畸变(75%~125%)范围内的所有尺度缩放畸变图像都能识别，识别率为100%。

同理制作旋转畸变不变函数模板。将图像pl1-100作为没有畸变的目标图像，并由系统软件实现每隔5˚度的旋转，构成一组9幅图像(−20˚、−15˚、−10˚、−5˚、0˚、5˚、10˚、15˚、20˚)组成的旋转畸变不变训练样本集，由训练样本集中的图像合成旋转畸变不变综合判别函数模板图像，如图5中所示。用旋转畸变样本集中9图像分别与旋转畸变综合判别图像进行联合变换相关运算，并以9个图像相关峰值的平均值2.99843做为理想值，分别计算各个图像的相对误差与绝对误差。计算表明：9个旋转畸变样本图像与旋转畸变综合判别图像的相关峰值基本是一样的，相比平均相关峰值，最大绝对误差：0.0111；最大相对误差：0.37%。由于相关峰值一样，所以9个旋转畸变样本图像可判别为同一个目标图像。为了验证旋转畸变综合判别图像的有效性及适用性，另选用10不同旋转角度畸变的图像(−22˚、−18˚、−13˚、−7˚、−3˚、3˚、7˚、13˚、18˚、22˚)来测试其相关峰值的输出情况。计算结果表明：不同于训练样本中的其它10幅旋转畸变图像与旋转畸变综合判别图像的相关峰值与理想平均峰值误差很小，最大绝对误差为−0.05973最大相对误差为1.99%。由于测试图像与样本集中图像有一个小角度的畸变偏差，所以其相关峰值相比于原训练样本图像的相关峰值要小一些，因此，其绝对误差都为负值。同样设定与理想平均峰值相对误差小于等于5%，即可认为畸变图像为原始图像。因此，旋转畸变综合判别图像对于原始图像的旋转畸变(−22˚~22˚)范围内的所有旋转畸变图像都能识别，识别率为100%。

Figure 5. The rotation distorted template image of SDF (−20˚~20˚)

图5. 旋转畸变综合判别图像(−20˚~20˚)

5. 结论

由实验结果可以看出，这种基于综合判别函数的相关器能够很好地实现对训练样本集中的各个畸变目标图像的准确识别。进一步测试表明，对于一定范围内畸变(尺寸缩放小于5%或旋转小于5˚)的待识别图像识别率也可达到100%，这主要是待识别图像较为理想，噪声少，背景也比较干净，在实际应用中由于图像有随机噪声，背景复杂等干扰，其识别率会低一些。有关研究表明，当待识别图像相对样本集中图像发生尺寸缩放大于10%或角度旋转大于10˚时，相关峰的下降会导致难以做出正确判断。此外，由于识别同一目标图像主要看其相关峰强度是否不变，所以实验中不能改变光学相关系统中的输出光强，因此，应结合实际情况慎重对图像进行边缘提取和滤波等预处理[7] [8]，这些处理都会对输出相关峰度强度有所减弱和影响。对于一些图样特征明显，畸变情况有限或可测可控的目标来说，采集训练样本可包括所有可能的畸变情况，其综合判别函数能够对这类目标实现畸变不变相关识别。根据实际需要，可通过补充训练样本来完善样本集，只要待识别畸变图像与训练样本集中任一样本图像较为相似，就可实现准确识别。但要综合出一个含有较多畸变图像的综合判别函数模板，将对探测器光学元器件性能、随机噪声和干扰信息的滤波处理以及合成模板运算精度提出更高的要求。