基于块分类的广义加权鲁棒主成分分析图像去噪模型

A Generalized Weighted Robust Principal Component Analysis Image Denoising Model Based on Block Classification

摘要: 为改善广义加权鲁棒主成分分析模型(GWSLRPCA)模型的去噪性能，解决GWSLRPCA模型去噪后图像平滑区域噪声残留以及图像边缘模糊等问题，本文对GWSLRPCA模型进行了改进。通过Canny边缘检测算子对经过高斯滤波初步去噪后的图像进行边缘提取，对边缘提取后得到的图像进行图像块分解进而对图像块分类，从而对相对位置相同的观测图像的图像块进行分类处理，提升GWSLRPCA模型的去噪性能，使去噪后的图像保留更多的细节纹理信息。实验结果表明，该算法相比于GWSLRPCA模型、WSRPCA模型以及GRPCA模型，有着更高的峰值信噪比和更低的差错率，在视觉效果上也更好。

Abstract: In order to improve the denoising performance of the generalized weighted robust principal component analysis (GWSLRPCA) model, and to solve the problems of residual noise in the smooth region of the image and blurring of the image edges after the denoising of the GWSLRPCA model, this paper improves the GWSLRPCA model. The Canny edge detection operator is used to extract the edges of the preliminary denoised image after Gaussian filtering, and the image obtained after edge extraction is decomposed into image blocks and then classified into image blocks, so as to categorize the image blocks of the observed images with the same relative position, improve the denoising performance of the GWSLRPCA model, and make the denoised image retain more detailed texture information. The experimental results show that the algorithm has a higher peak signal-to-noise ratio and lower error rate than the GWSLRPCA model, the WSRPCA model, and the GRPCA model, and is also better in terms of visual effect.

1. 引言

图像是人类获得信息的重要载体之一，但是现实世界中的图像在获取和传输过程中通常会因为各种原因而受到干扰，进而影响了人们从中获取和传递信息 [1] [2] [3] 。因此，如何有效去除图像噪声成为现代图像处理中的一个重要的热门研究课题。图像去噪的目的是从噪声观测中揭示底层的干净图像，最常见的假设是高斯噪声。在过去的几十年里，人们对这一问题进行了深入地研究，并取得了显著的成果。

多种图像去噪方法大致可分为以下几种：传统方法，如基于滤波的方法 [4] [5] 、基于非局部自相似(NSS)的方法 [6] [7] ；基于学习的方法，如基于神经网络的方法 [8] 。其中，基于NSS的图像恢复技术因其简单、有效而备受关注。NSS先验表明自然图像中存在许多重复的纹理与结构，自然图像在一定区域内存在一批相似的图像块。非局部先验的概念首先在非局部均值方法 [9] 中被引入，该方法利用了图像内小块的重复，并进行了巨大的改进。学者研究发现图像内部存在低秩结构，因而可以考虑利用低秩先验信息进行图像去噪。将NSS先验与低秩矩阵恢复模型相结合成为另一种图像去噪的研究思路，即通过对图像相似块组成的矩阵进行低秩矩阵恢复，通过恢复出噪声图像中的低秩结构达到图像去噪的目的。在低秩矩阵恢复模型比较典型的一种模型是RPCA模型 [10] ，该模型利用核范数近似秩函数来构建低秩去噪模型，通过奇异值软阈值求解来恢复低秩矩阵实现图像去噪。然而，该算法对奇异值同时均等地减去一个固定的阈值，忽略了各奇异值具有不同物理意义的事实。针对此问题，Gu等 [11] 提出了基于加权核范数最小化的RPCA模型(WNNM-RPCA)，通过对奇异值赋予不同的权重来改善去噪性能。由于易求解和去噪效果好的特点，众多基于低秩矩阵恢复的图像去噪算法都以WNNM-RPCA为基础进一步展开研究。Wang等 [12] 考虑图像局部结构信息，在WNNM去噪模型基础上引入TV范数来保持图像的局部细节信息。Xie等 [13] 在WSNM-RPCA去噪模型基础上利用 $S_p$ ( $0<p<1$ )范数代替核范数，由于 $S_p$ 范数更能逼近低秩，去噪效果相比较更明显。自然图像经常受到混合噪声的污染，侯 [14] 等人提出了广义鲁棒主成分分析模型来应对图像中的混合噪声。

一般的模型都对整个图像区域使用相同的方法来处理噪声，但是图像不同区域有不同的特征，如果使用相同的方法处理不同区域的图像，可能导致图像噪声残留较多并且图像的细节保留不足。因此，本文提出了一种基于块分类的广义加权鲁棒主成分分析图像去噪模型。首先，通过Canny边缘检测算子对经过高斯滤波初步去噪后的图像进行边缘提取，对边缘提取后得到的图像进行图像块分解从而对图像块分类，进而对相对位置相同的观测图像的图像块进行分类处理，提升模型的去噪性能，使去噪后的图像保留更多的细节纹理信息。实验结果表明，该方法显著改善了图像的恢复效果。

2. 广义加权鲁棒主成分分析模型与TV范数

2.1. 广义加权鲁棒主成分分析模型

广义鲁棒主成分分析是一种低秩矩阵恢复模型，该模型能够分析混合噪声，从而得到有效的低维数据矩阵，具体模型如下

$\underset{A,E,H}{\min }{{\displaystyle \Vert A\Vert }}_{*}+\lambda {{\displaystyle \Vert E\Vert }}_1+\gamma {{\displaystyle \Vert H\Vert }}_F$ (1)

$s.t.A+E+H=D$

其中 $\lambda$ 、 $\gamma$ 为正则化参数， ${{\displaystyle \Vert \cdot \Vert }}_{*}$ 为矩阵的核范数， ${{\displaystyle \Vert \cdot \Vert }}_1$ 为矩阵的 $L_1$ 范数， ${{\displaystyle \Vert \cdot \Vert }}_F$ 为矩阵的 $F$ 范数。

使用 ${{\displaystyle \Vert A\Vert }}_{\Omega ,S_p}^p$ 范数来近似秩函数，并且基于奇异值权重不同做差异化处理，然后考虑噪声的整体特性，提出了广义加权鲁棒主成分分析模型，其公式如下

$\underset{A,E,H}{\min }{{\displaystyle \Vert A\Vert }}_{\Omega ,{{\displaystyle S}}_p}^p+\lambda {{\displaystyle \Vert E\Vert }}_1+\gamma {{\displaystyle \Vert H\Vert }}_{2,1}$ (2)

其中 $\lambda$ 、 $\gamma$ 和 $\beta$ 为正则化参数； ${{\displaystyle \Vert \cdot \Vert }}_{\Omega ,{{\displaystyle S}}_p}^p$ 为矩阵的加权核范数，表示低秩矩阵； ${{\displaystyle \Vert \cdot \Vert }}_1$ 为矩阵的 $L_1$ 范数，表示稀疏大噪声； ${{\displaystyle \Vert \cdot \Vert }}_{2,1}$ 为矩阵的 $L_{2,1}$ 范数，表示稠密小噪声。

2.2. TV范数

文献 [15] 提出基于图像的全变差正则化模型，采用全变差(TV)正则化约束进行优化，TV正则化的优势在于去除噪声的同时较好地保持图像的边缘纹理等细节特征，有助于优化图像去噪。TV范数的公式如下

${{\displaystyle \Vert Z\Vert }}_{TV}={\displaystyle {\sum }_{i=1}^m{\displaystyle {\sum }_{j=1}^n\left|l_{i+1,j}-l_{i,j}\right|+\left|l_{i,j+1}-l_{i,j}\right|}}$ (3)

其中 $l_{i,j}$ 为矩阵 $Z$ 中第 $i$ 行第列的元素， $\left|l_{i+1,j}-l_{i,j}\right|$ 表示矩阵行方向的梯度， $\left|l_{i,j+1}-l_{i,j}\right|$ 表示矩阵列方向的梯度。

清晰图像相邻像素间的平均梯度值比较小，而当图像受噪声影响时，随机噪声在空间位置上与相邻像素的灰度值差别较大，导致图像的平均梯度值增大。全变分时衡量图像梯度变化的常用方法，传统的全变分去噪模型对整幅图像进行处理，通过惩罚垂直方向与水平方向上相邻像素之间的梯度差异，约束图像的平滑性。

3. 基于块分类的广义加权鲁棒主成分分析图像去噪模型

3.1. 模型构建

图像可以根据其梯度值变化大小分为平滑区域以及边缘区域，边缘区域的图像像素变化比较大，而非边缘区域的图像像素变化比较平稳。基于此，本文对不同区域的图像进行分类处理(见图1)，提升图像的细节保持度以及提升平滑区域的平滑性，提升整体图像质量。

对于被分类为边缘块的图像块，出于对图像细节的保留以及保持局部特性的基础，本文继续选用广义加权鲁棒主成分分析模型进行图像去噪，但是对于平滑部分的图像块，本文对广义加权鲁棒主成分分析模型进行改进，利用全变分对相似图像块组进行处理，约束每个像素在垂直方向上与相邻像素的梯度差异以及水平方向上与相似图像块中对应像素的差异性，提出了基于局部平滑的广义加权鲁棒主成分分析图像去噪模型(GWSLRPCA-TV)。当相似图像块组中的噪声强度偏大时，水平方向上的梯度约束利用图像块间的相似信息抑制图像噪声；而当相似图像块组中包含相似的噪声分布时，垂直方向上的梯度约束则能够作为低秩先验的补充，约束具有低秩性但不平滑的噪声成分。

Figure 1. Algorithm flow chart in this article

图1. 本文算法流程图

3.2. 基于局部平滑的广义加权鲁棒主成分分析模型

基于局部平滑的广义加权鲁棒主成分分析模型公式如下

$\underset{A,E,H}{\min }{{\displaystyle \Vert A\Vert }}_{\Omega ,S_p}^p+\lambda {{\displaystyle \Vert E\Vert }}_1+\gamma {{\displaystyle \Vert H\Vert }}_{2,1}+\beta {{\displaystyle \Vert Z\Vert }}_{TV}$ (4)

$s.t.A+E+H=D,A=Z$

其中式中： $\lambda$ 、 $\gamma$ 和 $\beta$ 为正则化参数。与(2)式中的GWSLRPCA相比，该模型第1项描述全局低秩性，第4项描述加权相对TV约束，增强了图像平滑区域的平滑性，中间2项描述对噪声误差的约束。

由于式(4)是非凸问题，无法直接求解，故使用随机方向的交替方向乘子法求解增广拉格朗日形式

$\begin{array}{c}L\left(A,E,H,Z,{{\displaystyle Y}}_1,{{\displaystyle Y}}_2,\mu \right)={{\displaystyle \Vert A\Vert }}_{\Omega ,S_p}^p+\lambda {{\displaystyle \Vert E\Vert }}_1+\gamma {{\displaystyle \Vert H\Vert }}_{2,1}+\beta {{\displaystyle \Vert Z\Vert }}_{TV}+\langle Y_1,D-A-E-H\rangle \\ +\langle Y_2,Z-A\rangle +\frac{\mu }{2}\left({{\displaystyle \Vert D-A-E-H\Vert }}_F^2-{{\displaystyle \Vert Z-A\Vert }}_F^2\right)\end{array}$ (5)

其中 $Y_1$ ， $Y_2$ 为拉格朗日乘子， $\mu >0$ 。

本文所提出的模型中含有三个优化目标变量，传统的交替方向乘子法不再适用，李吉 [16] 等在交替方向乘子法的基础上对于含有三个及以上目标函数的优化问题提出了新的求解方法，即随机排序的交替方向乘子法(Randomly Permuted ADMM, RP-ADMM)。

RP-ADMM与ADMM的区别在于，在对各个目标变量进行一次迭代更新之前，都会根据目标变量的数量随机生成一组元素数量相同的整数序列。在求解GWSLRPCA-TV时，随机生成一组元素为从1到4的四元整数序列，例如一次迭代更新前随机生成的四元序列为(4, 2, 1, 3)，表示在当前迭代中首先更新第四个变量的值，再更新第二个变量以及第一个变量的值，最后更新第三个变量的值。

由于更新序列随机，所以这里以先更新 $A$ ，再更新 $E$ 、 $H$ ，最后更新 $Z$ 为例子，本次迭代更新的四元整数序列为(1, 2, 3, 4)。

1) 矩阵 $A$ 的迭代更新

将矩阵 $E$ 、 $H$ 和 $Z$ 固定，对矩阵 $A$ 进行估计

${\hat{A}}^{k+1}=\underset{A}{\arg \min }{\Vert A\Vert }_{{\Omega }^k,S_p}^p+\frac{{\mu }^k}{2}{\Vert \frac{1}{2}\left(D+Z-E^k-H^k+\frac{{{\displaystyle Y}}_1^k}{{\mu }^k}+\frac{{{\displaystyle Y}}_2^k}{{\mu }^k}\right)-A\Vert }_F^2$ (6)

记 ${\tilde{Y}}^k=\frac{1}{2}\left(D+Z+\frac{{{\displaystyle Y}}_1^k}{{\mu }^k}+\frac{{{\displaystyle Y}}_2^k}{{\mu }^k}-E^k-H^k\right)$ ， ${\Psi }^k=\frac{{\Omega }^k}{{\mu }^k}$ ；则式(6)变形为式(7)所示

${\hat{A}}^{k+1}=\underset{A}{\arg \min }{\Vert A\Vert }_{{\Psi }^k,S_p}^p+\frac{1}{2}\Vert A-{\tilde{Y}}^k\Vert$ (7)

对任意矩阵 $\hat{Q}\in {{\displaystyle R}}^{m\times n}$ ，令 $r=\min \left\{m,n\right\}$ ，若 $\hat{Q}=M{\Sigma }_{\hat{Q}}{P}^T$ 表示矩阵 $\hat{Q}$ 的奇异值分解，其中 ${\Sigma }_{\hat{Q}}=diag\left({\sigma }_1,\cdots ,{\sigma }_r\right)$ ，则式(7)的最优解 $A=M{{\displaystyle \Delta }}_A{{\displaystyle P}}^T$ [17] ，其中 ${\Delta }_A=diag\left({\delta }_1,\cdots ,{\delta }_r\right)$ ，第 $i$ 个奇异值 ${\delta }_i$ 可以由广义软阈值(Generalized Soft-Thresholding, GST) [18] 算法来求解，具体表达式如下

${\delta }_i=GST\left({\sigma }_i;2{\Psi }_i;p\right)$ (8)

由此，我们可以得到式(7)的最优解

${\hat{A}}^{k+1}=M^k{\Delta }_A^k{P}^{k^T}$ (9)

2) 矩阵 $E$ 的迭代更新

将矩阵 $A$ 、 $H$ 和 $Z$ 固定，对矩阵 $E$ 进行估计

${\hat{E}}^{k+1}=\underset{E}{\arg \min }\lambda {\Vert E\Vert }_1+\frac{{\mu }^k}{2}{\Vert D-A^{k+1}-E-H^k+\frac{Y_1^k}{{\mu }^k}\Vert }_F^2$ (10)

利用软阈值算子 [11] 对式(10)求解得

${\hat{E}}^{k+1}=S_{\frac{\lambda }{{\mu }^k}}\left(D-A^{k+1}-H^k+\frac{Y_1^k}{{\mu }^k}\right)$ (11)

3) 矩阵 $H$ 的迭代更新

将矩阵 $A$ 、 $E$ 和 $Z$ 固定，对矩阵 $H$ 行估计

${\hat{H}}^{k+1}=\gamma {\Vert H\Vert }_{2,1}+\frac{{\mu }^k}{2}{\Vert D-A^{k+1}-E^{k+1}-H+\frac{Y_1^k}{{\mu }^k}\Vert }_F^2$ (12)

记 $\tilde{Q}=D-A^{k+1}-E^{k+1}+\frac{Y_1^k}{{\mu }^k}$ ， $\tilde{\gamma }=\frac{\gamma }{{\mu }^k}$ 则式(12)变形为式(13)所示

${\hat{H}}^{k+1}=\tilde{\gamma }{\Vert H\Vert }_{2,1}+\frac{1}{2}{\Vert H-\tilde{Q}\Vert }_F^2$ (13)

根据文献 [19] ，式(13)的解为

$H^{*}\left(:,j\right)=\left(\frac{\tilde{\gamma }}{{\Vert \tilde{Q}\left(:,j\right)\Vert }_2}\right)\tilde{Q}\left(:,j\right)$ (14)

4) 矩阵 $Z$ 的迭代更新

将矩阵 $A$ 、 $E$ 和 $H$ 固定，对矩阵 $Z$ 进行估计

$\underset{Z}{{\displaystyle \arg \min }}\beta {\Vert Z\Vert }_{TV}+\frac{\mu }{2}{\Vert Z-A^{k+1}+\frac{Y_2^k}{\mu }\Vert }_F^2$ (15)

采用快速梯度下降法 [20] 进行求解。

通常，矩阵的奇异值大小和其重要性程度是正相关的，也就是较大的奇异值比较小的奇异值更重要。同样的，式(7)的最优解的奇异值也具有相同的性质，因此奇异值越大需要收缩的幅度应该越小。基于此，设置权重与奇异值的大小成反比，如下所示

${\omega }_i=\frac{c\sqrt{mn}}{{\delta }_i\left(A\right)+\xi }$ (16)

其中 $c>0$ 为常数； $\xi >0$ ；防止奇异值为0时无法计算。

3.3. 算法流程

基于块分类的广义鲁棒主成分分析图像去噪模型的具体实现步骤如下：

(1) 对观测图像以及边缘提取图像根据图像块大小以及步长进行图像块分解。

(2) 观测图像的图像块 $X_i$ 依据相对位置相同的边缘图像的图像块 $P_i$ 像素和是否为0来进行分类，若不为0，则将图像块 $P_i$ 所对应的观测图像块 $X_i$ 分类为边缘块，否则，为平滑块。

(3) 对经过分类后的每一观测图像块 $X_i$ 进行相似块匹配得到相似块组，然后对相似块组使用算法去噪。若图像块 $X_i$ 为平滑块，则使用GWSLRPCA-TV模型去噪；若图像块 $X_i$ 为边缘块，则使用GWSLRPCA模型去噪。

4. 实验结果与分析

本文实验在Set12、RN16以及BSD500等数据集中随机选取5幅分辨率为256像素 × 256像素的灰度图像作为测试图像(图2)，然后通过加入椒盐噪声和高斯噪声来生成有噪的观测图像，并与WSNM-RPCA算法、GRPCA算法、GWSLRPCA算法以及本文所提出的算法进行去噪效果对比(表1，图3，图4，图5)。

Figure 2. Test image

图2. 测试图像

4.1. 图像质量客观评价指标

图像质量客观评价指标是以数学模型定义的量化指标作为标准的评价指标。通常需要以干净图像数据作为质量参考标准，不同的评价指标按照各自的度量方式与角度衡量经过算法处理后的图像质量。本文选用峰值信噪比(PSNR)、差错率(ERR)两种客观评价指标 [21] [22] 来对去噪后的图像质量进行评价，从而判定不同去噪算法的性能好坏。

4.1.1. 峰值信噪比

峰值信噪比(PSNR)是一种基于均方误差的客观评价指标，主要反映了干净图像与处理后的图像逐像素间的相似程度，其定义如下

$PSNR=10\times \log \frac{{\left({{\displaystyle 2}}^n-1\right)}^2}{MSE}$ (17)

其中 $MSE$ 表示经过处理后的图像与原始干净图像的均方差， $n$ 表示每一个采样值的比特数，一般规定 $n=8$ 。PSNR值越大，表示图像的失真越少。

4.1.2. 差错率

差错率(ERR)衡量的是算法对图像噪声去除效果的误差大小，其定义如下

$ERR=\frac{{\Vert A-A^{*}\Vert }_F}{{\Vert A_{noise}\Vert }_F}$ (18)

其中 $A_{noise}$ 表示含噪图像， $A$ 表示不含噪声的干净图像， $A^{*}$ 表示经过算法处理的图像，ERR值越小，表示算法估计的噪声数据与实际噪声越相似，去噪效果越好。

4.2. 定性与定量分析

Figure 3. Quantitative analysis chart

图3. 定量分析图

图3展示了本文算法在不同高斯噪声情况下(椒盐噪声概率为10%)对C.Man图像恢复效果的定量分析图。其中图3(a)展示了由不同模型处理得到的恢复图像的差错率折线图，本文算法在不同噪声水平情况下均有较好表现。图3(b)展示了前十个平滑图像块经过平滑处理以及不经过平滑处理的平均梯度散点图，其中GWSLRPCA表示没有经过平滑处理的结果，图中的黄色水平线表示的是真实干净图像的平均梯度，使用干净图像的平均梯度作为基准，图中可以看出经过平滑处理以后平均梯度更加接近真实干净图像。图3(c)展示了对图像块分类处理以及不分类处理的图像标准差散点图，其中GWSLRPCA表示不分类处理的结果，图中的黄线表示真实干净图像的像素标准差。图像的标准差大小也侧面反映出图像纹理的清晰程度，图中可以看出经过块分类处理以后图像的标准差更加接近真实干净图像。

Table 1. Comparison of PSNR values of various denoising algorithms

表1. 各种去噪算法PSNR值比较

表1列出了WSNM-RPCA、GRPCA、GWSLRPCA和本文算法对同时含有椒盐噪声和高斯噪声的图像进行噪声去除后的峰值信噪比的实验结果(其中椒盐噪声概率密度P为10%；高斯噪声均值为0，标准差为20、30、40和50)。WSNM-RPCA模型对椒盐噪声比较敏感，在混合噪声的情况下恢复效果一般；GRPCA模型由于其对所有奇异值采用相同程度的惩罚，导致其对低秩矩阵的恢复不够准确，尽管对于混合噪声部分各自建模表示，但是主要成分的恢复效果一般；GWSLRPCA模型对不同区域统一处理，没有考虑图像不同区域的特性，使得图像平滑区域残留细小噪声，恢复效果下降；本文提出的算法对不同区域的图像块分类处理，提升图像恢复能力，在数值上也有较好表现。

图4图5展示了高斯噪声标准差为20，椒盐噪声概率为10%的情况下不同算法去噪后图像的细节放大图。由图4和图5可知，WSNM-RPCA、GRPCA、GWSLRPCA以及本文算法对于噪声的消除都具有很不错的效果。但是WSNM-RPCA和GRPCA去噪后的图像存在许多细节丢失与现象，GWSLRPCA模型在图像不同区域边缘存在纹理不清晰的现象并在部分地方有纹理伪影现象，比如“Lena”图像的帽子与毛发接触区域。相比之下，可以看出本文提出的方法在在细节保留以及噪声去除的性能方面都有较好的表现。

Figure 4. “Monarch” overall-comparison of detailed images

图4. “Monarch”整体–细节图对比

Figure 5. “Lena” overall-comparison of detailed images

图5. “Lena”整体–细节图对比

5. 结束语

本文基于图像区域特征对图像不同区域的图像块进行针对性处理，使得恢复出的图像更加贴近真实图像，图像恢复效果更好。但是本文对于边缘块部分并没有进行处理，对于此部分可以进行图像增强等操作，进一步提升细节保留水平。除此之外还可以考虑图像的尺度不变性等其他特性来优化模型对于图像的恢复效果。同时，模型的各项参数都是基于经验来确定的，不能自适应调整，可以考虑对于模型参数的自适应调整来提升模型的去噪能力。

基金项目

湖北省教育厅科学技术研究项目(Q20211111)，湖北省冶金工业过程系统科学重点实验室开放基金项目(Y201905)，国家自然科学基金项目(11861026)资助课题。