一种注意力机制引导的双卷积神经网络图像去噪算法

A Dual Convolutional Neural Network Image Denoising Algorithm Guided by Attention Mechanism

摘要: 近年来深度卷积神经网络在图像去噪中的应用引起了越来越多的研究兴趣。然而，对于复杂的任务，如真实的噪声图像，普通网络无法恢复精细的细节。提出了一种经过注意力机制引导的双重去噪网络来恢复干净的图像。具体来说，该网络由四个模块组成，扩张特征提取块Dilated Feature Extraction Block (DFEB)、动态卷积块Dynamic convolution structure diagram、注意力模块，重建模块。具有稀疏机制的特征提取模块经由两个子网络提取全局和局部特征。增强块收集并融合全局和局部特征，为后者的网络提供补充信息。压缩块细化所提取的信息并压缩网络。最后，利用重建区块重建去噪影像。该网络具有以下优点：1) 双网络结构具有稀疏机制，可以提取不同的特征，增强去噪器的泛化能力。2) 融合全局和局部特征可以提取显著特征，从而恢复复杂噪声图像的细节。大量的实验结果表明，该网络有较好的去噪效果。

Abstract: In recent years, the application of deep convolutional neural networks in image denoising has attracted more and more research interest. However, for complex tasks, such as real noisy images, ordinary networks cannot recover fine details. A dual denoising network guided by attention mechanism is proposed to restore clean images. Specifically, the network consists of four modules: Dilated Feature Extraction Block (DFEB), Dynamic convolution structure diagram, attention module and reconstruction module. Feature extraction blocks with sparse mechanism extract global and local features through two subnetworks. Enhancement blocks collect and fuse global and local features to provide supplementary information to the latter’s network. The compressed block refines the extracted information and compresses the network. Finally, the reconstructed block is used to reconstruct the denoised image. The network has the following advantages: 1) the dual network structure has a sparse mechanism, which can extract different features and enhance the generalization ability of the noise reducer. 2) Fusion of global and local features can extract significant features to recover the details of complex noise images. A large number of experimental results show that the network has a good noise reduction effect.

1. 引言

图像作为现代社会中传递信息的媒介，正日益发挥着其不可或缺的作用。然而由于环境、传输信道等因素的影响，图像在采集、压缩、传输过程中不可避免地受到噪声的污染，导致图像信息失真和丢失。由于噪声的存在，可能的后续图像处理任务(如视频处理、图像分析和跟踪)会受到不利影响[1]。图像去噪算法分为传统图像去噪算法和基于深度学习的图像去噪算法。随着人工智能时代的到来，深度学习技术在各个领域得到广泛应用，在图像降噪方面显示出良好的优势[2]。在此之后越来越多的人将卷积神经网络与图像技术结合，使用卷积神经网络进行图像的技术取得了飞速发展。到目前为止，基于卷积神经网络的图像去噪技术因其强大的特征提取能力、参数共享、空间层级结构等方面，仍然是图像去噪领域研究的主流，而且具有较大的发展空间。对于基于深度学习的图像去噪算法，Zhang K [3]等人受VGG这个深层网络的启发，提出了DnCNN网络，该网络借鉴了VGG深层网络的结构，但是并没有使用VGG网络的池化层，这使得网络保存了更多的细节信息。此外，该网络引入了残差学习框架[4]，网络直接学习的是输入图像于目标图像之间的噪声残差，而不是直接学习去噪后的图像，这样简化了学习任务，加快了收敛速度。该网络还在每个卷积层后引入批量归一化层，这不仅加速了模型的训练过程，还提高了网络的稳定性和泛化能力。DnCNN的提出代表卷积神经网络应用于图像降噪领域的重大进步，给未来的研究者在改进技术上提供了一个范例。研究者改变增加网络深度的思路，将研究点转换到增加网络的宽度，如Tian C [5]提出的双网络结构，BRDNet有两个子网络，在特征提取时能够提取到更多的特征。此外，Tian C [6]将自注意力机制与CNN结合，该网络在特征提取后，引入自注意力模块计算特征图中每个位置的自相关性，从而生成一个自注意力图，这个自注意力图用来加权原始特征图，增强重要特征。这增强了网络对重要特征和图像区域的关注，显著提高了去噪效果。基于卷积神经网络的图像去噪算法在图像去噪方面都有较好的表现，但这些网络对图片去噪效果还有较大进步空间，因此本文提出了一种注意力机制引导的双网络图像去噪算法。

2. 相关工作

2.1. 残差网络

残差网络是Kaiming He [4]等人在2015年提出，它通过引入残差块(Residual Block)有效地解决了随着网络深度增加而出现的梯度消失和退化问题，使得训练非常深的神经网络成为可能。残差网络的核心思想是通过增加“捷径连接”(skip connections)，将输入直接与输出相加。这种结构使得信息可以绕过一个或多个层直接传递，从而缓解了梯度消失问题，并促进了更深层次网络的训练。如图1，是一个残差块在添加了一个短路连接到激活函数之前。那么激活函数的输入就由原来的输出$H\left(x\right)=F\left(x\right)$ 变为了$H\left(x\right)=F\left(x\right)+x$ 。在ResNet中这样输入等于输出可视为恒等映射，我们通过这种操作可以使网络在最差的情况下也能获得和输入一样的输出，即增加的层什么也不学习，仅仅复制输入的特征，至少使得网络不会出现退化的问题。

Figure 1. Residual structure diagram

图1. 残差结构图

2.2. 空洞卷积

上下文信息对于重建图像去噪的损坏像素点很重要[7]。具体来说，扩大感受野大小是在CNN中捕获更多上下文信息的常用方法。一般来说，CNN有两种方法来扩大感受野，即增加深度网络的深度和宽度。然而，使用更深CNN的第一种方法存在训练困难。第二种方法可能涉及更多的参数，增加了去噪模型的复杂性。受此启发，开发了扩张卷积[7]。这里我们用一个例子来说明膨胀卷积的原理如下。一个扩张因子为2的扩张卷积的感受野大小为(4n + 1) × (4n + 1)，其中n表示给定深度CNN的深度。我们假设n为10，给定CNN的感受野大小为41 × 41。因此，它可以映射41 × 41的上下文信息。此外，它与标准卷积为3 × 3、扩张因子为1的20层CNN具有相同的效果。因此，扩张卷积在增加深度CNN的深度和宽度之间进行权衡。

3. 网络结构

3.1. 本文网络结构

本文提出的网络结构，如图2，由其分为几部分组成：一个双网络结构，一个特征融合增强模块，一个卷积块，一个注意力模块。本网络将噪声图片输入，输入通道记为c，先经过双网络结构，再经过一个卷积层(卷积核大小为3)一个批量化处理层，一个激活函数层即一个Conv + BN + Relu块，然后通过一层卷积，此时将图片的通道数输出为1，之后进入AB块，得到预测的噪声，最后将噪声图片去除预测的噪声得到去噪后的干净图片。

Figure 2. Network structure diagram

图2. 网络结构图

3.2. 双网络结构

本文的双网络结构分为子网络1与子网络2，子网络1为一个Conv + BN + Relu块和一个动态卷积块，子网络2为两个DFEB块。

3.2.1. 动态卷积块

如图3，特征图进入动态卷积后，先经过注意力模块生成注意力张量，然后动态生成卷积核和偏置，之后调整输入形状，使输入能够适配动态卷积，最后进行卷积。

Figure 3. Dynamic convolution structure diagram

图3. 动态卷积结构图

动态卷积[8]的思想是引入注意力机制，动态卷积不是每层使用一个卷积核，而是根据它们的注意力动态聚合多个并行卷积核，这在不增加网络深度和宽度的情况下增加了模型的复杂性，能够提升模型的效果。在本文中，通过引入动态卷积，能够让网络更好地捕捉噪声与图像结构的差异性，从而能够更好地区分噪声和有用信号。引入动态卷积还能对特定区域有增强效果，对于图像中的平滑区域，动态卷积可以使用权重来强化去噪效果；而对于边缘或纹理区域，可以保留重要的细节，避免过度平滑。

3.2.2. 扩张特征提取块

如图4，扩张特征提取模块有16层，每一层有一个卷积核大小为3的卷积层conv，一个批量化处理层BN，一个激活函数层Relu。第1层和第16层为正常卷积，不使用膨胀卷积进行扩张，第二层到第八层使用膨胀卷积且膨胀率从2依次增加到8，第9层到第15层膨胀率则从7依次减小到2。

此外为了能够更好地获取不同网络层的信息，使用残差连接将不同的网络层的信息进行结合，将第1层的输出与第3层的输出结合作为第4层的输入，将第4层的输出与第6层的输出结合作为第7层的输入，将第7层的输出与第9层的输出结合作为第10层的输入，将第10层的输出与第12层的输出结合作为第13层的输入，将第13层的输出与第15层的输出结合作为第16层的输入。

通过这种设计，在每一个网络层提取噪声信息时，感受野扩大能够获取更多的噪声信息，而且通过残差连接能够将不同网络层的信息进行结合，从而能够更好地去除噪声。

Figure 4. Dilated feature extraction block

图4. 扩张特征提取块

3.3. 注意力块与重构块

注意力块AB仅仅包含一个卷积层，这个卷积核的大小为1，输入通道数为2c，输出通道数为c。c为通道数。AB的实现分为两个环节，第一个环节是利用卷积核大小为1的卷积层将获得的多通道特征压缩成对应不同通道的向量，灰度图片压缩成1层，彩色图片压缩成3层，这样得到权值，最后将所得的权值与之前获得的噪声信息进行相乘，这样可以提取更多的噪声信息。

重构块RB则是用噪声图片减去网络提取的噪声信息，得到去噪后的干净图片。

3.4. 损失函数

本文模型由退化模型$y=x+v$ 训练得到，该模型能通过噪声图像$y$ 和已知的高清图像$x$ 来预测噪声$v$ 。因此损失函数公式为

$I_{NO}^i$ ，$I_C^i$ 代表第$i$ 幅给定的干净图像和噪声图像。$\theta$ 代表训练去噪模型的参数。

4. 实验分析

4.1. 数据集

本文的数据集选用滑铁卢数据集[9]中的3859幅图像和伯克利分割数据集[10]中的400张180*180的图像作为训练集。对于数据的处理，我们将这些图片分为1,348,450个50*50的图像块。

对于测试集，本文选择以下5个公开数据集作为测试集：BSD68 [11]、Set12 [12]、CBSD68 [11]、Kodak24 [13]。

4.2. 测试结果与分析

4.2.1. 对灰度图像的测试

表1~表4是该模型在BSD68与Set12两个测试集上测试的结果，效果最好的用红色标出。

Table 1. Average PSNR of different methods on BSD68, noise intensity 15, 25, 50

表1. BSD68上不同方法的平均PSNR，噪声强度15，25，50

方法	BM3D [14]	WNNM [15]	EPLL [16]	MLP [17]	CSF [18]	TNRD [19]	DnCNN [3]	IRCNN [3]
σ = 15	31.07	31.37	31.21	\	31.24	31.42	31.73	31.63
σ = 25	28.57	28.83	28.68	28.96	28.74	29.23	29.23	29.19
σ = 50	25.62	25.87	25.67	26.03	\	26.23	26.23	26.19
FFDNet [20]	ECNDNet [21]	ADNet [6]	RED30 [22]	MemNet [23]	SANet [24]	PSN-U [25]	DudeNet [26]	本文
31.62	31.71	31.74	\	\	31.68	31.6	31.78	31.85
29.19	29.22	29.25	\	\	29.13	29.17	29.29	29.39
26.33	26.23	26.36	26.35	26.35	26.1	26.3	26.31	26.45

Table 2. Average PSNR of different methods on Set12, noise intensity 15

表2. Set12上不同方法的平均PSNR，噪声强度15

图像	摄影师	房子	胡椒	海星	蝴蝶	飞机	鹦鹉	贝利	芭芭拉	船	男人	两人	平均值
BM3D [14]	31.91	34.93	32.69	31.14	31.85	31.07	31.37	34.26	33.1	32.13	31.92	32.1	32.37
WNNM [15]	32.17	35.13	32.99	31.82	32.71	31.39	31.62	34.27	33.6	32.27	32.11	32.17	32.7
EPLL [16]	31.85	34.17	32.64	31.13	32.1	31.19	31.42	33.92	31.38	31.93	32	31.93	32.14
CSF [18]	31.95	34.39	32.85	31.55	32.33	31.33	31.37	34.06	31.92	32.01	32.08	31.98	32.32
TNRD [19]	32.19	34.53	33.04	31.75	32.56	31.46	31.63	34.24	32.13	32.14	32.23	32.11	32.5
DnCNN [3]	32.61	34.97	33.3	32.2	33.09	31.7	31.83	34.62	32.64	32.42	32.45	32.47	32.86
IRCNN [3]	32.55	34.89	33.31	32.02	32.82	31.7	31.84	34.53	32.43	32.34	32.4	32.4	32.77
FFDNet [20]	32.43	35.07	33.25	31.99	32.66	31.57	31.81	34,62	32.54	32.38	32.41	32.46	32.77
ECNDNet [21]	32.56	34.97	33.25	32.17	33.11	31.7	31.82	32.52	32.41	32.37	32.39	32.39	32.81
SANet [24]	32.38	35.03	33.18	32.14	33.2	31.71	31.89	34.54	32.61	32.36	32.38	32.41	32.82
PSN-U [25]	32.04	35.03	33.21	31.94	32.93	31.61	31.62	34.56	32.49	32.41	32.37	32.43	32.72
DudeNet [26]	32.71	35.13	33.38	32.29	33.28	31.78	31.93	34.66	32.73	32.46	32.46	32.49	32.94
本文	32.90	35.46	33.59	32.41	33.45	31.98	32.05	34.86	32.95	32.61	32.54	32.71	33.13

Table 3. Average PSNR of different methods on Set12, noise intensity 25

表3. Set12上不同方法的平均PSNR，噪声强度25

图像	摄影师	房子	胡椒	海星	蝴蝶	飞机	鹦鹉	贝利	芭芭拉	船	男人	两人	平均值
BM3D [14]	29.45	32.85	30.16	28.56	29.25	28.42	28.93	32.07	30.71	29.9	29.61	29.71	29.97
WNNM [15]	29.64	33.22	30.42	29.03	29.84	28.69	29.15	32.24	31.24	30.03	29.76	29.82	30.26
EPLL [16]	29.26	32.17	30.17	28.51	29.39	28.61	28.95	31.73	28.61	29.74	29.66	29.53	29.69
MLP [17]	29.61	32.56	30.3	28.82	29.61	28.82	29.25	32.25	29.54	29.97	29.88	29.73	30.03
CSF [18]	29.48	32.39	30.32	28.8	29.62	28.72	28.9	31.79	29.03	29.76	29.71	29.53	29.84
TNRD [19]	29.72	32.53	30.57	29.02	29.85	28.88	29.18	32	29.41	29.91	29.87	29.71	30.06
DnCNN [3]	30.18	33.06	30.87	29.41	30.28	29.13	29.43	32.44	30	30.21	30.1	30.12	30.45
IRCNN [3]	30.08	33.06	30.88	29.27	30.09	29.12	29.47	32.43	29.92	30.17	30.04	30.08	30.38
FFDNet [20]	30.1	33.28	30.93	29.32	30.08	29.04	29.44	32.57	30.01	30.25	30.11	30.2	30.44
ECNDNet [21]	30.11	33.08	30.85	29.43	30.3	29.07	29.38	32.38	29.84	30.14	30.03	30.03	30.39
SANet [24]	30.04	33.05	30.83	29.31	30.27	29.08	29.34	32.35	30	30.12	30	30.05	30.37
PSN-U [25]	29.79	33.23	30.9	29.3	30.17	29.06	29.25	32.45	29.94	30.25	30.05	30.12	30.37
DudeNet [26]	30.23	33.24	30.98	29.53	30.44	29.14	29.48	32.52	30.15	30.24	30.08	30.15	30.52
本文	30.49	33.65	31.23	29.75	30.65	29.34	29.58	32.85	30.45	30.45	30.18	30.44	30.76

Table 4. Average PSNR of different methods on Set12, noise intensity 50

表4. Set12上不同方法的平均PSNR，噪声强度50

图像	摄影师	房子	胡椒	海星	蝴蝶	飞机	鹦鹉	贝利	芭芭拉	船	男人	两人	平均值
BM3D [14]	26.13	29.69	26.68	25.04	25.82	25.1	25.9	29.05	27.22	26.78	26.81	26.46	26.72
WNNM [15]	26.45	30.33	26.95	25.44	26.32	25.42	26.14	29.25	27.79	26.97	26.94	26.64	27.05
EPLL [16]	26.1	29.12	26.8	25.12	25.94	25.31	25.95	28.68	24.83	26.74	26.79	26.3	26.47
MLP [17]	26.37	29.64	26.68	25.43	26.26	25.56	26.12	29.32	25.24	27.03	27.06	26.67	26.78
TNRD [18]	26.62	29.48	27.1	25.42	26.31	25.59	26.16	28.93	25.7	26.94	26.98	26.5	26.81
DnCNN [3]	27.03	30	27.32	25.7	26.78	25.87	26.48	29.39	26.22	27.2	27.24	26.9	27.18
IRCNN [3]	26.88	29.96	27.33	25.57	26.61	25.89	26.55	29.4	26.24	27.17	27.17	26.88	27.14
ECNDNet [21]	27.07	30.12	27.3	25.72	26.82	25.79	26.32	29.29	26.26	27.16	27.11	26.84	27.15
SANet [24]	26.92	29.93	27.27	25.52	26.64	25.71	26.18	29.22	26.37	27.2	27.11	26.8	27.09
PSN-U [25]	27.21	30.21	27.53	25.63	26.93	25.89	26.62	29.54	26.56	27.27	27.23	27.04	27.3
DudeNet [26]	27.22	30.27	27.51	25.88	26.93	25.88	26.5	29.45	26.49	27.26	27.19	26.97	27.3
本文	27.4783	30.96258	27.81695	26.23063	27.06686	26.05607	26.63791	29.89964	27.28303	27.49805	27.29384	27.38047	27.63369

4.2.2. 噪声图片去噪效果

图5是使用该模型对灰度噪声图片去噪的前后对比。

Figure 5. Comparison of model before and after de-noising at noise level 15

图5. 噪声15水平下模型去噪前后对比

4.2.3. 对彩色图像的测试

表5和表6是该模型在CBSD68与Kodak两个测试集上测试的结果，效果最好的用红色标出。

Table 5. The average PSNR of different methods in CBSD68, the noise intensity is 15, 25, 35, 50, 75

表5. CBSD68上不同方法的平均PSNR，噪声强度15，25，35，50，75

方法	σ = 15	σ = 25	σ = 35	σ = 50	σ = 75
CBM3D [14]	33.52	30.71	28.89	27.38	25.74
FFDNet [20]	33.8	31.18	29.57	27.96	26.24
DnCNN [3]	33.98	31.31	29.65	28.01	\
IRCNN [3]	33.86	31.16	29.5	27.86	\
DudeNet [26]	34.01	31.34	29.71	28.09	26.4
方法一	34.13	31.48	29.84	28.24	26.56

Table 6. The average PSNR of different methods in Kodak24, the noise intensity is 15, 25, 35, 50, 75

表6. Kodak24上不同方法的平均PSNR，噪声强度15，25，35，50，75

方法	σ = 15	σ = 25	σ = 35	σ = 50	σ = 75
CBM3D [14]	34.28	31.68	29.9	28.46	26.82
FFDNet [20]	34.55	32.11	30.56	28.99	27.25
DnCNN [3]	34.73	32.23	30.64	29.02	\
IRCNN [3]	34.56	32.03	30.43	28.81	\
DudeNet [26]	34.81	32.26	30.69	29.1	27.39
方法一	34.97	32.5	30.92	29.36	27.68

4.2.4. 彩色图片去噪效果

图6是使用该模型对灰度噪声图片去噪的前后对比。

Figure 6. Comparison of model before and after de-noising at noise level 15

图6. 噪声15水平下模型去噪前后对比

4.3. 总结

本文提出的一种注意力机制引导的双卷积神经网络图像去噪算法。通过上述实验结果，我们可以发现，本文方法具有良好的去噪效果，与其它先进的方法相比，本方法有一定的提升。