基于深度先验的乘性噪声图像去噪

Multiplicative Noise Image Denoising Based on Deep Image Prior

摘要: 深度图像先验作为典型的无监督学习方法，不需要采用大量的训练样本，因此在一些难以采集大量训练样本训练数据集的领域有许多应用前景，另外，采集大量训练样本需要耗费大量的人力物力，并且可能出现模型的过拟合问题。在本文中，为了有效地去除图像中的乘性噪声，提出了一种基于深度先验的图像去噪变分模型。为求解新模型，本文采用交替方向法求解该问题。数值实验表明，相比其它先进的方法，本文的模型取得更好的去噪结果，具有更好的图像视觉效果。

Abstract: As a typical unsupervised learning method, deep image prior does not require a large number of training samples, so it has many application prospects in some fields where it is difficult to collect a large number of training samples and training data sets. In addition, collecting a large number of training samples requires a lot of manpower and material resources, and the problem of overfitting of the model may occur (and the model may be over-fitted). In this paper, to effectively remove multiplicative noise in images, a deep prior-based variational model for image denoising is pro-posed. To solve the new model, this paper adopts the alternating direction method to solve the problem. Numerical experiments show that the proposed model in this paper can remove multipli-cative noise more effectively than other state-of-the-art methods, and has better image visual ef-fects.

1. 引言

数字图像在获取、转化、传输等过程中会受到外界因素的干扰，这些干扰通常以噪声形式表现出来。噪声的干扰的影响不仅仅会对视觉呈现有着一定程度的干扰，更重要的是对于图像后期的生产和使用有着极大的影响 [1] 。因此对数字图像进行去噪处理，是后续对图像进行一系列使用和操作时不可或缺的步骤。

根据噪声类型，可以将其分为加性噪声、乘性噪声、泊松噪声等 [1] 。其中加性噪声是线性变化的，乘性噪声是非线性变化的。在国内外的学术研究中，针对去除加性噪声的研究相对比较广泛且成熟。由于传统加性噪声的模型难以适应乘性噪声更加复杂的情形，需要进一步地对去噪模型进行改进。如何更好地去除乘性噪声值得更加深入的研究和探讨，因此去除乘性噪声成为了当今十分热门的一个问题，成为众多理论学者夜以继日奋斗的目标，这对计算机视觉后续发展有着深远的意义。

图像恢复的任务旨在从一个带有噪声的图像中恢复出较为清晰的图像，即重建原始图像，它是计算机视觉等诸多学科的基础。在针对于乘性噪声的图像恢复领域，国内外的专家学者已经提出了许多不同的方法，以便提供期望解的估计值，最著名和最有前途的方法可以主要分为两类：基于正则化重建和基于学习的方法。乘性噪声的数学模型为：

$f=un,$ (1)

其中u为清晰的原始图像，n为服从Gamma分布的乘性噪声，f为噪声图像，当 $n>0$ 时，Gamma分布的密度函数为：

$o\left(x\right)=\frac{L^L{v}^{L-1}}{\gamma \left(L\right)}{\text{e}}^{-Lv},v,L>0,$ (2)

近年来，有许多学者就Gamma分布提出了各种乘性噪声的去噪模型。Aubert和Aujol [2] 在使用Gamma分布作为随机噪声分布的前提下，使用贝叶斯统计概率模型和变分法成功得到一种去除乘性噪声的非凸变分模型(简称AA模型)：

$\underset{u}{\min }{\Vert u\Vert }_{TV}+\lambda {\displaystyle {\int }_{\Omega }\frac{f}{u}}+\ln u\text{d}x,$ (3)

其中 ${\Vert u\Vert }_{TV}$ 是正则化项，用来衡量图像的光滑特性， $\lambda >0$ 是正则化参数。

由于AA模型是非凸的，因此它没有全局最小解，后来Shi等人 [3] 使用对数变换得到全局凸模型(简称SO模型)：

$\underset{z}{\min }{\Vert z\Vert }_{TV}+\lambda {\displaystyle {\int }_{\Omega }f{\text{e}}^{-z}}+z\text{d}x,$ (4)

其中 $z=\ln u$ ，第二项是数据保真项， $\lambda >0$ 是正则化参数。作者使用松弛的逆尺度空间流方法，获得了较好的去噪效果，然而需要较长的时间收敛。

在文献 [4] 中，Huang等人在SO模型的基础上利用分裂变量的方法，得到了去除乘性噪声的新的变分模型，即HNW模型：

$\underset{w,z}{\min }{\Vert z\Vert }_{TV}+\lambda {\displaystyle {\int }_{\Omega }f{\text{e}}^{-w}}+w\text{d}x+\frac{\mu }{2}{\displaystyle {\int }_{\Omega }{\left(w-z\right)}^2\text{d}x.}$ (5)

由于式(5)关于w的2阶导数恒为正，则式(5)是一个关于w的一个全局凸函数，对于这样一个式子，从理论上可以证明采用交替方向循环迭代法得到的迭代序列一定收敛于该模型的最优解 [4] 。

近年来，深度神经网络以其高性能和广泛的应用引起人们的广泛关注，它能够从复杂的图像中学习到特征细节，并且以此进行图像去噪 [5] [6] ，并提高去噪的性能和效率。Zhang等学者 [7] 利用残差等一些系列方法构建了前馈去噪卷积神经网络，并在之后提出了灵活快速的去噪深度神经网络 [8] ，实现了推理速度和去噪性能之间的良好平衡。Xu [9] 采用张量核范数(TNN)来表征这种张量图像数据集的全局结构，提出了一个隐式正则化器来插入卷积神经网络去噪器，该方法能够很好地恢复图像的整体结构和细节，但以上基本都是有监督的学习，难以避免的需要大量的数据集样本来训练，在理论上确实可以做到，但是在现实的生产和生活中，这种方式往往难以执行。基于以上问题，Ulyanov等人 [10] 提出了一种无监督的深度学习方法(Deep Image Prior，简称DIP)。该项模型的最大优点是不需要大量的样本，只用一张带噪声的图像利用卷积神经网络的自适应的学习能力实现了一个可以生成图片的滤波器组，并取得了较好的效果。后来众多学者改进该模型，其中代表性的Cascarano等人 [11] 将深度图像先验与全变分正则化相结合，利用卷积网络视觉模型的强大能力 [12] ，利用灵活的交替方向乘子法求解。实验表明提出的方法在图像恢复方面有很好的改善。

虽然DIP的方法能对图像进行较为全面的处理，但是由于DIP没有约束项，存在过拟合问题，会对结果有一定破坏，而传统去噪方法有着严谨的数学理论 [13] 作为基础，因此将二者结合起来，凸显出两部分的优势，以期望能获得更好的去噪效果。本文受文献 [11] 的启发，将DIP方法和传统的变分模型结合起来，提出了新的乘性噪声去噪模型。实验结果表明提出的新模型取得较好的效果。

2. 本文的新模型和算法

2.1. 提出的新模型

HNW模型的正则项为各向同性的全变差，在去除乘性噪声时存在以下不足: 有模糊出现在了纹理区域，图像边缘的锐度现象出现了降低；在光滑区域产生了阶梯效应 [7] 。

由于深度学习取得较好的结果，Ulyanov等人 [10] 提出了基于深度图像先验的加性噪声去噪的模型

$\underset{\theta }{\min }\frac{1}{2}{\Vert H{g}_{\theta }\left(q\right)-f\Vert }^2,$ (6)

其中 $g_{\theta }\left(q\right)$ 为卷积神经网络的生成器，f为带噪图像。只需要输入图像，就能对应的获得输出图像，不需要大量的训练样本，但是去噪后的图像结构平滑，部分细节和边缘可能被优化掉。基于以上问题，Cascarano等人 [11] 在式(6)中增加显式先验来改进深度图像先验的性能和效果，取得了很好的成绩。

本文受文献 [11] 的启发，利用HNW模型和DIP，提出一个新的图像乘性噪声去噪模型

$\underset{z,w,\theta }{\min }\lambda {\Vert w\Vert }_{TV}+{\displaystyle {\int }_{\Omega }f{\text{e}}^{-z}}+z\text{d}x+\frac{\mu }{2}{\displaystyle {\int }_{\Omega }{\left(z-w\right)}^2\text{d}x},\text{s}\text{.t}\text{.}w=g_{\theta }\left(q\right),$ (7)

其中 $\lambda >0,\mu >0$ 是调节数据保真项和正则项， $g_{\theta }\left(q\right)$ 是卷积神经网络的引入。本模型相较于传统的乘性噪声模型具有较高的效率，抑制了降噪后图像出现的阶梯效应，使图像更加的自然平滑，同时能避免DIP导致的图像较为平滑，容易掩盖掉部分纹理细节。总的来说，不仅能使用单个带有噪声的图像进行处理，且去噪效果较为优异。

2.2. 模型的算法

对于式(7)本文采用增广朗格朗日和交替方向法，将原问题转化为下面三个子问题

$z^{k+1}=\underset{z}{\arg \min }{\displaystyle {\int }_{\Omega }f{\text{e}}^{-z}+z\text{d}x}+\frac{\mu }{2}{\displaystyle {\int }_{\Omega }{\left(z-w^k\right)}^2\text{d}x,}$ (8)

${\theta }^{k+1}=\underset{\theta }{\arg \min }{\displaystyle {\int }_{\Omega }{\left(z^{k+1}+g_{\theta }\left(q\right)\right)}^2\text{d}x}+\lambda {\displaystyle {\int }_{\Omega }\left|\nabla g_{\theta }\left(q\right)\right|\text{d}x},$ (9)

$w^{k+1}=g_{{\theta }^{k+1}}\left(q\right).$ (10)

对于式(8)，其欧拉–拉格朗日方程如下

$1-f{\text{e}}^{-z}+\mu \left(z-w^k\right)=0$ (11)

很明显可以看出该式是一个凸的非线性方程，本文采用牛顿法求解，得到的结果如下：

$z^{k+1}=z^k-\frac{1-f{\text{e}}^{-z^k}+\mu \left(z^k+w^k\right)}{f{\text{e}}^{-z^k}+\mu },$ (12)

对于式(9)，令 $t=\nabla g_{\theta }\left(q\right)$ ，对应的增广拉格朗日函数为：

$L\left(\theta ,t,{\delta }_t\right)=\frac{\mu }{2}{\Vert g_{\theta }\left(q\right)-z^{k+1}\Vert }^2-\lambda \Vert t\Vert +\frac{{\beta }_t}{2}{\Vert \nabla g_{\theta }\left(q\right)-t\Vert }^2+\langle {\delta }_t,\nabla g_{\theta }\left(q\right)-t\rangle ,$ (13)

其中的 ${\beta }_t$ 是一个正标量，作为惩罚项中的参量， ${\delta }_t$ 作为拉格朗日参数与约束条件有关。对于式(13)由交替方法可得

${\theta }^{k+1}=\underset{\theta }{\arg \min }\frac{\mu }{2}{\Vert g_{\theta }\left(q\right)-z^k\Vert }^2+\frac{{\beta }_t}{2}{\Vert \nabla g_{\theta }\left(q\right)-t^k+\frac{{\delta }_t^k}{{\beta }_t}\Vert }^2,$ (14)

$t^{k+1}=\underset{t}{\arg \min }\lambda \Vert t\Vert +\frac{{\beta }_t}{2}{\Vert t-\nabla g_{{\theta }^{k+1}}\left(q\right)-\frac{{\delta }_t^k}{{\beta }_t}\Vert }^2,$ (15)

${\delta }_t^{k+1}={\delta }_t^k+{\beta }_t\left(\nabla g_{{\theta }^{k+1}}\left(q\right)-t^{k+1}\right).$ (16)

对于式(14)，使用Adam优化方法，通过使用Pytorch提供的关于变量 $\theta$ 的自动微分来计算数值梯度。对于式(15)，本文采用迭代软阈值的方法 [11] 。

从上述讨论中，详细的算法如下：

3. 数值实验

在本节中，本文给出了一些数值实验的结果，这些实验旨在评估所提出的方法在图像去噪问题上的有效性。测试图像Lena和House (见图1)，分别使用L = 10，L = 20与L = 40的对应的噪声进行测试，评价指标采用峰值信噪比(PSNR)。分析对比了AA模型 [2] 、SO模型 [3] 、Huang模型 [4] 以及本文的模型。所有的模型通过调整算法中的参数以达到较好的去噪效果。

Lena House

Figure 1. Testing image

图1. 测试图像

图2是对Gamma分布L = 10的噪声图像进行实验，图2每一列都是所对应方法的去噪结果图。从中可以看出，图2中AA模型去噪效果不是很理想，可以看到整体仍呈现颗粒感较重，以及较为模糊的效果。从图2第一行容易看出，新模型可以更好的保留Lena图像的细节信息，比如头发以及帽子装饰的纹理更加清晰分明，在第二行中，所使用的新模型的建筑物轮廓清晰，背景的去噪效果较好。相较于其它模型的去噪图像，本文方法对边缘的细节信息保护的较好。从总体上看，本文使用的新模型在去除图像的乘性噪声时，可以更好的保护图像中的边缘以及纹理。同时从表1中可以看出本文模型的PSNR高于其他三种模型，且实验结果良好，说明了本文所使用的新模型对于图像去噪的有效性。

AA去噪图 SO去噪图 Huang去噪图 本文去噪图

Figure 2. Result graph of noise intensity L = 10

图2. 噪声强度L = 10结果图

在图3和图4给出了噪声图像在噪声L = 20和L = 40时的去噪结果图，图3和图4的每一列都是所对应方法的去噪结果图。从图3和图4的第一行可以看出，本文使用的模型可以更好地保留细节信息，其它三种方法的图像细节较为模糊且不规整。从图3和图4的第二行中，本文的模型对房子的纹理保存地较为完整，而其他三种方法都将边缘纹理去除了。且由表2、表3可以看出本文模型去噪后的图像PSNR相较于其它三种模型有所提升，这些结果均表明，本文所提出的新的去噪方法有更好的去噪性能，所产生的结果都优于经典的方法。

AA去噪图 SO去噪图Huang去噪图 本文去噪图

Figure 3. Result graph of noise intensity L = 20

图3. 噪声强度L = 20结果图

AA去噪图 SO去噪图 Huang去噪图 本文去噪图

Figure 4. Result graph of noise intensity L = 40

图4. 噪声强度L = 40结果图

Table 1. PSNR (L = 10) under different models of grayscale plots

表1. 灰度图在不同模型下的PSNR (L = 10)

Table 2. PSNR (L = 20) under different models of grayscale plots

表2. 灰度图在不同模型下的PSNR (L = 20)

Table 3. PSNR (L = 40) under different models of grayscale plots

表3. 灰度图在不同模型下的PSNR (L = 40)

从上面的实验可以看出，相较于AA模型，SO模型能更好地处理图像背景的黑色像素点，但是SO模型对图像本身纹理细节造成较为严重破坏；Huang模型虽能较好地保留图像细节，并将图像边缘保留清晰，但和本文模型相比，图像背景噪声的黑色像素点去除稍显不足，与原始图像相比，整体视觉更加暗淡。由表中数据对比可以看出，本文模型所得图像的PSNR结果优于AA模型、SO模型以及Huang模型。

总而言之，相较于其它方法，本文方法在去除噪声的同时，也将图像的细节纹理及其边缘保护得更好，并且由实验数据可得，本文的图像结果PSNR大于其它方法，更好地证明了本文模型的改进的成功性。

4. 结论

在本文中，我们提出了一种新的模型，并且基于学习的方式引入神经网络，使用网络的自适应处理器来对于乘性噪声问题进行相应的研究，从而相对于传统模型更灵活，并提供更可靠的恢复，出现的优化问题已经得到解决。主要的创新部分在于将传统的图像去噪模型与神经网络相结合，利用网络的自适应处理器来进行乘性噪声图像去噪。不管是对噪声较少的图像，还是对高噪声图像，本模型的去噪结果都优于其它模型。数值实验表明，相比其它先进的算法，新模型取得更有效的去噪效果。面对不同的灰度图像，本文模型在不同噪声程度下都有着很高的峰值信噪比(PSNR)，去噪效果更加稳定且效果优秀；而其他模型面对不同的图像，PSNR的值不仅仅相较本文模型较低，更是受图像噪声程度影响较大，相较之下去噪效果不够稳定。

以上结果证明了本文的研究对乘性噪声去噪模型创建是有价值的。在之后的研究中，我们将更加敲定研究方向，将传统噪声去噪与新的基于学习的方法结合，并且准备从多种客观指标来论证模型的优异性。

基金项目

本课题由河南省科技攻关计划项目(编号：232102210111)；河南科技大学大学生训练计划项目资助(编号：2022233)。

NOTES

^*通讯作者。