基于MEA-WNN神经网络的图像复原方法

Image Restoration Based on Wavelet Neural Network Optimized by Mind Evolutionary Algorithm

摘要: 由于小波神经网络图像还原的效果一定程度上受初始值的影响，因此本文提出了一种基于思维进化算法(Mind Evolutionary Algorithm, MEA)优化小波神经网络方法。思维进化算法本身具有很强的全局搜索能力，因此先用MEA方法得到小波神经网络的初始值，再训练小波神经网络。实验证明，与BP、思维进化算法的BP神经网络(MEA-BP)相比，MEA-WNN方法复原的图像获得了更好的结果。

Abstract: Since the effect of wavelet neural network image restoration is largely affected by the initial value and weight, a wavelet neural network optimization method based on mind evolutionary algorithm (MEA) is proposed. Thinking evolution itself has strong global search ability. Therefore, before training wavelet neural network, mind evolution algorithm is used to obtain the initial value and weight of the network. Experiments show that compared with BP, BP neural network (MEA-BP) based on mind evolutionary algorithm, the image restored by MEA-WNN method obtains better results.

1. 引言

在生活中，有很多原因导致图像变得模糊，图像复原技术的主要目的是在预定义的意义上改善给定的模糊图像。先是利用退化现象的某种先验知识建立退化现象的数学模型，再根据模型进行反向的推演运算，以恢复图像至最接近原始的输入图像，实现复原图像的最优化。在数学定义上，图像退化是图像与点扩散函数的卷积过程，图像复原则是这一过程的逆过程 [1] [2]。其过程，先从退化图像中提取出模糊参数，然后用估计出的点扩散函数复原出清晰图像 [3] [4] [5]。图像退化模型如图1所示：

Figure 1. Image degradation/restoration model

图1. 图像退化/复原模型

图像退化模型的时域表示为：

$g\left(x,y\right)=f\left(x,y\right)\ast h\left(x,y\right)+n\left(x,y\right)$

式中： $g\left(x,y\right)$ 表示退化图像， $h\left(x,y\right)$ 表示退化函数， $f\left(x,y\right)$ 表示输入图像， $n\left(x,y\right)$ 表示加性噪声项。

当 $n\left(x,y\right)=0$，由卷积定理，上式的傅里叶变换可简化为：

$G\left(\upsilon ,\nu \right)=F\left(\upsilon ,\nu \right)H\left(\upsilon ,\nu \right)$

在实际运算时，图像分析是二维离散域的处理过程。设图像尺寸为M × N，输入图像的傅里叶变换为：

$F\left(\upsilon ,\nu \right)=\frac{1}{MN}{\displaystyle {\sum }_{x=0}^{M-1}{\displaystyle {\sum }_{y=0}^{N-1}f\left(x,y\right){\text{e}}^{-j2\pi \left(\frac{\upsilon x}{M}+\frac{\nu y}{N}\right)}}}$

常用的模糊图像类型众多。其中，高斯模糊图像是一种常见的噪声模糊，用高斯分布来构造点扩散函数。比如，气图动光学应用在遥感成像中造成图像退化的过程能看成高斯模糊模型。高斯模糊的点扩散函数可用高斯分布的概率密度函数来表示，其表达式如式所示：

$h\left(x,y\right)=\frac{1}{2\pi {\sigma }^2}\exp \left(\frac{x^2+y^2}{2{\sigma }^2}\right)$

其中 $\sigma$ 为高斯分布的标准差， $\sigma$ 越大，且高斯迷糊半径越大，图像的模糊程度就越深。

2. 小波神经网络

小波神经网络(Wavelet Neural Network, WNN)是建立在小波变换理论研究的基础上发展起来的。WNN沿用BP神经网络的拓扑结构，其中超参数(激活函数)用小波母函数代替。小波神经网络由两个过程组成：信号向前传播的同时误差反向传播 [6]。小波神经网络的拓扑结构如图2所示：

Figure 2. Topological structure of wavelet neural network

图2. 小波神经网络的拓扑结构

图2中， $X_1,X_2,\cdots ,X_n$ 是输入的训练样本， $Y_1,Y_2,\cdots ,Y_n$ 是网络输出， ${\omega }_{ij}$ 和 ${\omega }_{jk}$ 为小波神经网络权值。

本文采用的小波基函数为用Morlet母小波基函数。Morlet小波具有非正交性，数学公式为：

$\phi \left(x\right)=\cos \left(1.75x\right)\exp \left(-x^2/2\right)$

在输入样本序列为 $x_i\left(i=1,2,\cdots ,k\right)$ 时，隐含层输出表达式为：

$f_i=\phi \left(\frac{{\displaystyle {\sum }_{i=1}^k{\omega }_{ij}{x}_i-b_i}}{a_j}\right),j=1,2,\cdots ,l$

上式中， $f_i$ 为隐含层输出， $b_i$ 为平移参数， $a_i$ 为伸缩参数。

输出层节点的计算公式为：

$y={\displaystyle \underset{j=1}{\overset{l}{\sum }}{\omega }_{jk}{f}_i}$

小波神经网络权值参数修正算法类似于BP神经网络权值修正算法，采用梯度修正网络的权值和小波基函数参数，从而使小波神经网络预测输出不断逼近近似期望输出 [7]。小波神经网络修正过程如下：

计算网络的误差平方和。误差E利用输入样本对应的期望输出和实际输出之间的误差平方和为：

$E=\frac{1}{2}\underset{i=1}{\overset{N}{{\displaystyle \sum }}}{\left(d_i^P-y_i^P\right)}^2$

式中 $d_i^P$ 为期望输出值， $y_i^P$ 为实际输出值。

根据预测误差E修正小波神经网络权值和小波基函数系数：

${\omega }_{ij}\left(I+1\right)={\omega }_{ij}\left(I\right)-\eta \frac{\partial E}{\partial W_{ij}}+\alpha \Delta {\omega }_{ij}(\; I\; )$

${\omega }_{jk}\left(I+1\right)={\omega }_{jk}\left(I\right)-\eta \frac{\partial E}{\partial W_{jk}}+\alpha \Delta {\omega }_{jk}(\; I\; )$

$a_j\left(I+1\right)=a_j\left(I\right)-\eta \frac{\partial E}{\partial a_j}+\alpha \Delta a_j(\; I\; )$

$b_j\left(I+1\right)=b_j\left(I\right)-\eta \frac{\partial E}{\partial b_j}+\alpha \Delta b_j(\; I\; )$

其中 $\eta$ 为学习率， $\alpha \left(0<\alpha <1\right)$ 为相应的动量因子。

3. 思维进化算法优化的小波神经网络

3.1. 思维进化算法

思维进化算法(MEA)就是针对遗传算法所出现的问题而提出的一种行之有效的解决方法。遗传算法的不足主要体现在：遗传算法的收敛性差，需要很长时间才能找到最优解 [8]。思维进化算法在遗传算法的“交叉”与“异化”过程的基础上，定义了“趋同”和“异化” [9]。趋同起开采作用，异化起勘探作用。

1) 趋同操作

设思维进化算法群体规模为N，子群体规模为M，评价函数为F，

$X^M=\left\{\left(x_1,x_2,\cdots ,x_M\right),x_j\in X,i=1,2,\cdots ,M\right\}$，

定义随机映射 $S_N:X\to X^{M+1}$

$S_N\left(x,\sigma \right)=\left(x_0=x,x_1,x_2,\cdots ,x_M\right)$

表示以给定个体 $x\in X$ 为中心，通过正态分布 $N\left(x,\sigma \right)$ 随机产生M个新个体并与父代个体共同构成子群体。

定义映射 $T:X^{M+1}\to X$。

$T\left(x_0=x,x_1,x_2,\cdots ,x_M\right)=x_t$，如果 $f\left(x_t\right)={\min }_{0\le i\le M}f\left(x_i\right)$ 表示从M个新个体和父代个体中选择出一个优胜者。

因此，趋同操作可表示为：

$S=S_N\cdot T:X\times \Omega \to X$

2) 异化操作

定义映射 $S_o:X^N\to X^N$

$S_o\left(x_1,x_2,\cdots ,x_N\right)=\left({x^{\prime }}_1,{x^{\prime }}_2,\cdots ,{x^{\prime }}_N\right)$

其中， $f\left({x^{\prime }}_1\right)\le f\left({x^{\prime }}_2\right)\le \cdots \le f\left({x^{\prime }}_N\right)$，表示对种群按适应度函数值重新排序。

定义映射 $S_{\upsilon }:X^N\to X^{N-1}$

$S_{\upsilon }\left(x_1,x_2,\cdots ,x_N,l\right)=\left(x_1,x_2,\cdots ,x_{N-1}\right)$

表示淘汰适应度值最差的l个个体。

定义映射 $Ad:X^{N-1}\to X^N$

$Ad\left(x_1,x_2,\cdots ,x_{N-l},l\right)=\left(x_1,x_2,\cdots ,x_l,x_{l+1},\cdots ,x_N\right)$

表示在解空间内随机选取l个新个体来补充被淘汰的群体。

则异化操作可表示为：

$D=S_o\cdot S_{\upsilon }\cdot Ad:X^N\to X^N$

利用思维进化算法修正小波神经网络的权值和小波基函数系数是MEA-WNN模型的基本思想，其步骤如下 [10]：

1) 对问题的可能解进行编码，编码是一个从问题的解空间到编码空间的映射。每个编码空间对应问题的一个个体，编码的长度s为：

$s=nl+ml+l+m$

其中n为输入层神经元个数，m为输出层神经元个数，l为隐含层神经元个数。

2) 计算子群体SG大小为：

$SG=popsize/\left(bestsize+tempsize\right)$

其中iter为迭代次数，popsize为种群大小，bestsize为预分配优胜子群体，tempsize为临时子群体大小。

3) 选取各个个体和种群的得分函数fitness，即

$\{\begin{array}{l}fitness=1/SE\\ SE=mse\left(T-A_2\right)\end{array}$

式中 $A_2$ 为每次迭代后输出层的输出值，T为期望输出，SE为均方误差。

4) 不断迭代，输出最优个体，并以此作为小波神经网络的权值和小波基函数系数训练网络。

思维进化算法的流程如图3所示。

Figure 3. The flow chart of the thinking evolution algorithm

图3. 思维进化算法流程图

3.2. 思维进化算法优化小波神经网络

思维进化算法本身具有较强的全局搜索能力。趋同起开采作用，迅速得到局部最优；而异化起勘探作用，选择较优的个体，并以该个体为中心创建子种群 [11]。这有效的改善小波神经网络的一些缺点。具体流程如图4所示：

Figure 4. MEA-WNN algorithm flow chart

图4. MEA-WNN算法流程图

4. 实验结果

从图5可以看出，BP神经网络模型对高斯模糊图像的复原不是很理想，MEA-BP神经网络模型相较于BP神经网络模型有一定的提升，而本文提出的MEA-WNN模型复原得到的图像相比较于前面提到的所有模型最接近输入图像。

原始图像 模糊图像 BP MEA-BP MEA-WNN

Figure 5. The restored images of the three algorithms

图5. 三种算法的复原图像

5. 图像质量评价

本文将把峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性(Structural Similarity, SSIM)作为评价图像质量标准。PSNR和SSIM的数值越大表明图像的质量越高。PSNR是根据图像对应像素点间的误差来进行图像质量评价 [12]，它的数学公式为：

$\text{PSNR}=-10{\log }_{10}\frac{\text{MSE}}{A^2}$

$\text{MSE}=\frac{1}{MN}{\displaystyle \underset{x=1}{\overset{M}{\sum }}{\displaystyle \underset{y=1}{\overset{N}{\sum }}{\left[\hat{f}\left(x,y\right)-f\left(x,y\right)\right]}^2}}$

式中：MSE表示两幅图像之间的均方误差， $f\left(x,y\right)$ 和 $\hat{f}\left(x,y\right)$ 分别是图像复原前后在像素点 $\left(x,y\right)$ 处的灰度值，M，N为图像大小。

SSIM是从亮度(Luminance)，对比度(Contrast)和结构(Structure)三个方面来评价图像的相似性，相比PSNR等传统图像质量评价标准，SSIM更加符合人眼对图像的视觉感知。SSIM的取值范围−1至1，其定义如下：

$\text{SSIM}\left(f,\hat{f}\right)=\frac{\left(2{\mu }_f{\mu }_{\hat{f}}+c_1\right)\left(2{\sigma }_{f\hat{f}}+c_2\right)}{\left({\mu }_f^2+{\mu }_{\hat{f}}^2+c_1\right)\left({\sigma }_f^2+{\sigma }_{\hat{f}}^2+c_2\right)}$

其中，f为原始图像的灰度值； $\hat{f}$ 是复原图像的灰度值； ${\mu }_f$ 是f的平均值； ${\mu }_{\hat{f}}$ 是 $\hat{f}$ 的平均值； ${\sigma }_f^2$ 是f的方差； ${\sigma }_{\hat{f}}^2$ 是 $\hat{f}$ 的方差； ${\sigma }_{f\hat{f}}$ 是f和 $\hat{f}$ 的协方差； $c_1={\left(k_{1}L\right)}^2$， $c_2={\left(k_{2}L\right)}^2$，L是像素值的动态范围。本文设置 $k_1=0.01$， $k_2=0.03$。

表1给出了四个不同方法下得到的复原图像质量评价，见表1。总体而言，本文方法得出了最大的PSNR和SSIM的值，表明PSNR和SSIM客观评价上，本文方法提出的复原出的图像质量最优。

Table 1. PSNR and SSIM of images restored by three algorithms

表1. 三种算法复原图像的PSNR和SSIM

6. 结论

将MEA-WNN模型运用到图像复原中，经过理论和数据分析，并与BP模型、MEA-BP模型进行对比，认为MEA-WNN复原的图像能够有效克服进化算法存在的问题和缺陷，如早熟，收敛速度慢等，提高了算法的整体搜索效率，MEA-WNN模型在很大程度上保证了局部预测值和全局预测精度的准确性。因此，基于MEA-WNN模型的图像复原具有一定的应用价值。

参考文献

NOTES

^*通讯作者。