1. 引言
遥感是指在不接触研究目标的情况下,利用飞行器对目标物体的信息进行提取和处理的一门观测技术[1]。然而,由于成像环境和设备的限制,遥感图像会被噪声污染,严重降低了图像的视觉质量,无法满足人们对质量的需求[2]。
目前,图像去噪算法[3]大致分为传统的空间域法[4]和变换域法[5]、基于偏微分方程的方法[6]、基于非局部自相似性的方法[7]、基于稀疏表示的方法[8] [9]。其中,组稀疏模型(Group Sparsity Model, GSM)在图像去噪取得了巨大成功,基于稀疏表示的图像去噪方法是采用冗余字典对图像进行稀疏分解,将图像的有用信息看作是稀疏分量,将噪声看作图像稀疏表示后的残差[10]。根据字典学习算法,Xu等人[11]提出了基于非局部块的稀疏表示图像去噪算法,通过训练大量字典集进行图像去噪。针对去噪算法容易忽略退化图像的噪声,从而干扰相似图像块的选择这个问题,Zha等人[12]利用组稀疏残差和外部非局部自相似先验,对原始图像和噪声图像的组稀疏系数进行了近似。为了同时利用稀疏表示和图像的非局部自相似性的优点,Lee等人[13]提出了基于字典学习的非局部稀疏表示去噪算法,对图像的局部信息和非局部信息进行了充分利用。针对不重复图像块恢复后出现伪影这一问题,Ou等人[14]提出了一种新的多尺度加权组稀疏编码图像去噪模型,利用多尺度非局部自相似先验构造相似块,利用交替极小化方法求解模型,但不能够对块组进行建模。为了有效学习图像块组,Liu等人[15]提出了组稀疏混合模型(Group Sparsity Mixture Model, GSMM),通过双边矩阵乘法表述单个块的局部特征和非局部相似块之间的关系,将强稀疏性体现在图像块组中。然而,上述基于稀疏表示的图像去噪算法对于非局部相似块的容量相对有限。
现有的大部分图像去噪方法是对高斯噪声进行复原,然而,遥感图像容易同时受到高斯噪声和椒盐噪声的影响。早期的混合噪声去噪方法往往采用检测的方法,Liu等人[16]提出了一种基于图像局部统计信息的椒盐噪声检测方法,但是随着图像统计信息被噪声污染程度的增加,对椒盐噪声检测的准确度也受到了影响。为了进一步提高去噪效果,Xiao等人[17]提出了一种
最小化方法,
用于去除椒盐噪声,
用于对某个未知的稀疏表示图像块字典。由于图像中含有不规则的数据,Wang等人[18]通过最小化加权保真度项和稀疏正则化项的和去除图像的混合噪声,但对于图像块的先验特征研究较少。由于图像中含有大量的冗余信息,朱文生等人[19]采用加权稀疏表示模型刻画图像的全局特性,同时利用范数描述稀疏噪声,但没有充分利用混合噪声的统计特征,对于混合噪声的滤波性能较弱。
基于组稀疏去噪方法大多只能去除单一类型的图像噪声,为了避免遥感图像中混合噪声产生的影响,并充分学习图像非局部相似块组的先验知识,本文提出了一种新的组稀疏混合模型去除图像混合噪声的方法,首先通过双边矩阵乘法提高块组的稀疏性,接着通过块组独立这一假设提出了基于块组的混合噪声去噪框架,最后通过聚合块组得到去噪后的图像。实验结果表明,本文相对于其他传统算法具有更好的去噪效果。
2. 相关工作
2.1. 去噪模型
在数学中,图像去噪问题本质上是不适定的逆问题,遥感图像在成像过程中会受到高斯噪声和椒盐噪声的影响,图像去噪的退化模型可以表示为
(1)
其中,
表示原始图像,
表示加性高斯白噪声(Additive White Gaussian Noise, AWGN),
表示椒盐噪声(Impulse Noise, IN),图像去噪的目的是从一幅干净图像的噪声观测值
中得到它的精确观测值
,通过最大后验概率(Maximum A Posteriori, MAP)框架获得图像去噪模型
(2)
其中,
是估计图像,
表示噪声分布,
表示图像先验。
该去噪模型还可以写为
(3)
其中,
为数据保真度项,
为正则化项。
2.2. 稀疏表示模型
本文是对图像块组的先验进行建模,块组
是通过图像
的前
个最相似块分组为局部块
来确定的,对于第
个图像块
,其对应的块组
为
(4)
其中,
表示与
最相似的第
个块,从图像
中提取
和
的算子,分别由
和
表示:
(5)
其中,
是将矩阵转换为列向量的运算符。
稀疏表示方法只能利用单个图像块内的局部特征,为了对图像的内在非局部自相似性进行建模,将稀疏表示的各种非局部扩展写成统一的形式[17]:
(6)
其中,矩阵范数
被施加在双边矩阵乘法
上。
从数学上讲,左乘矩阵
和右乘矩阵
分别在
的行和列之间进行,由于
的每一列都是图像块,
可以捕获单个图像块内的局部特征并将图像块变换为稀疏系数,
可以捕获块组不同块之间的非局部特征并进一步增强系数的稀疏性,具体表现形式如图1所示。
Figure 1. The influence of U and V on M in bilateral matrix multiplication
图1. 双边矩阵乘法中U和V对M的影响
和
在块组变换中的大多数系数具有最小方差,表明双边矩阵乘法具有强稀疏性,适用于块组的先验建模。
2.3. 组稀疏混合模型
通过双边矩阵乘法来表示组稀疏混合模型的数学形式[15]:
(7)
其中,混合系数
满足
,且
,分量分布
是
(8)
其中,
,
是正对角矩阵,
是加权F范数。
根据文献[15],归一化因子
的计算可表示为
(9)
其中,
表示矩阵行列式。
3. 算法模型
本文的去噪算法流程如图2所示,可以分为以下几个阶段:
Figure 2. Flow chart of Group Sparse Mixture Model for removing mixed noise
图2. 组稀疏混合模型去除混合噪声流程图
3.1. 基于块组的混合噪声去除框架
本文提出的基于块组的去噪框架是基于块组独立这一假设,在这个假设下,将一般形式的MAP修改为基于块组的形式,用
与
相乘,即
(10)
假设噪声为高斯噪声与椒盐噪声混合,该框架可进一步写为:
(11)
其中,
是高斯噪声水平,
是椒盐噪声。
(12)
(13)
其中,
是对角矩阵,其对角元素是每个图像像素的被采样次数。
本文通过半二次分裂(Half Quadratic Splitting, HQS)的方法优化本文框架,将原始问题转化为最小化问题。
(14)
将每个块组
引入辅助变量
,有
,
是可调参数,当
时,此问题等价于原问题,因此本文通过反复优化
,
,
,使
逐渐增加,得到原问题的近似解,对于固定的
,引入
,
,
的优化求解。
3.2. 优化求解
子问题1:优化
将每个
相关的子问题可以看成一个块组去噪问题
(15)
其中,
为正则化项,
是待处理的块组,
的最佳值是去噪结果。
将学习到的GSMM模型替换成式(12),有
(16)
其中,
是满足
的矩阵,式(16)中的正则化项
的计算过程如下:
参考文献[11],第二变体用修改的拉普拉斯分布替换GSMM为:
(17)
其中,
表示第
个分量分布,
为
的分类,
表示克罗内克积,相应的正则化项是
(18)
其中,
为
(19)
其中,
是正可调参数,最小化问题的求解可参考文献[15]。
的最小化优化问题为
(20)
子问题2:优化
与
相关的子问题是
(21)
它是二次的,其解析解为:
(22)
其中,
(23)
的优化首先聚集去噪后的块组
以获得原始图像
的估计值
,然后通过迭代正则化的方法将滤波后的残差
加回到估计的图像中去。
子问题3:优化
与
相关的子问题是
(24)
式(24)可通过软阈值算子获得
(25)
其中,
是具有阈值
的软阈值算子,有
(26)
本文的算法如算法1所示,该算法表示为图2中的块组去噪过程:
算法1. 基于组稀疏混合模型去噪算法
输入:噪声图像
|
输出:去噪后的图像
|
用
初始化
|
for iter = 1 to iter_max |
3. 更新
|
4. 提取块组
|
5. 通过(20)式更新
,求解每个块组的噪声 |
6. 求解正则化项
|
7. 通过式(23)聚集去噪块组 |
8. 通过式(24)更新稀疏噪声
|
9. 将过滤后的残差加回到式(22) |
end |
4. 实验
4.1. 参数设置
在算法1的去噪方法中,超参数包括迭代次数
,每次迭代时的辅助变量
,本文实验设置最大迭代次数
为10,每次迭代的
设置为
(27)
本文选取图像峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)的平均值、图像结构相似度(Structural Similarity, SSIM)的平均值、图像的特征相似指数(Feature Similarity Index Measure, FSIM)的平均值作为评价指标。
为了确定块组
和正可调参数
最佳参数配置,本文以church场景的图片在高斯噪声为
、椒盐噪声
为例,使用变量分析法展示参数的调节过程,分别对块的大小
选取6、7、9,正可调参数
选取0.9、1.0、1.1、1、2进行分析,图3分别展示了不同参数对于评价指标的影响。
根据图3所示,对于块的大小
,本文所使用的
对于SSIM和FSIM值均取到最大值;而对于正可调参数
,PSNR与FSIM数值均为最大值。同样的,在噪声水平
时,分别采取控制变量法,综合比较三个评价指标的变化情况,使三个评价指标尽可能达到最优,本文的最佳参数配置如下:
(a) (b)
(c) (d)
(e) (f)
Figure 3. The influence of parameter size on evaluation indicators
图3. 参数大小对评价指标的影响
在本文的算法中,
,当
时,块的大小
,正可调参数
;当
时,块的大小
,正可调参数
。
本文所有的实验均在Matlab2019b,操作系统Linux-x84-64bit,环境Intel Xeon(R) CPU E5-2620以及2.10GHz 16和32.0 GB内存下运行。
4.2. 对比实验
为了验证本文算法的有效性,使用AID数据集不同场景下的6张图片,如图4所示。
本文分别添加三种水平的高斯噪声
以及三种水平的椒盐噪声
,本文选取主流的四种混合噪声去噪方法进行比较,包括:
Two-Phase [16]:基于检测的两阶段方法;
MBM3D [21]:中值滤波预处理后再使用经典的BM3D算法;
WESNR [22]:基于加权稀疏编码和非局部相似性的方法;
MGSMM [15]:中值滤波预处理后再使用组稀疏混合模型去噪算法。
所有算法的源代码均从作者主页下载,使用默认的参数设置。
Figure 4. Clear images used in the experiment
图4. 实验所使用的清晰图像
4.3. 实验结果
表1列出了图4中的6张图片在不同噪声水平下的平均PSNR、SSIM和FSIM数值,可以看出,本文在处理较高水平的高斯噪声和椒盐噪声的时候,PSNR、SSIM以及FSIM数值有了显著提升,相对于MGSMM方法,六个场景下不同噪声水平的平均PSNR提升0.0804~0.3577 dB,平均SSIM提升0.0067~0.0201 dB,平均FSIM最高提升0.01 dB;相对于WESNR方法,平均PSNR数值最高提升5.7255 dB,平均SSIM最高提升0.2031 dB,平均FSIM最高提升0.0863 dB;跟MBM3D方法比较,平均PSNR数值提升1.3301~1.7241 dB,平均SSIM提升0.0197~0.0484 dB,平均FSIM数值提升0.0326~0.0432 dB;跟Two-phase方法相比,平均PSNR数值提升7.6592~11.0148 dB,平均SSIM数值提升0.4715~0.5539 dB,平均FSIM数值提升0.0843~0.1477 dB,因此本文相对于其他传统算法具有更好的去噪效果。
Table 1. Average PSNR, SSIM, FSIM values under different noise levels
表1. 不同噪声水平下的平均PSNR,SSIM,FSIM数值
噪声水平 |
评价指标 |
Initial |
Two-Phase |
MBM3D |
WESNR |
MGSMM |
本文方法 |
高斯噪声 |
椒盐噪声 |
|
S = 10% |
PSNR |
13.7861 |
19.0326 |
25.9214 |
28.2155 |
27.5651 |
27.6455 |
SSIM |
0.1411 |
0.2715 |
0.7252 |
0.7852 |
0.7669 |
0.7736 |
FSIM |
0.7041 |
0.8282 |
0.8712 |
0.9118 |
0.9103 |
0.9125 |
S = 15% |
PSNR |
12.4774 |
19.0941 |
25.5669 |
28.0216 |
27.1713 |
27.2734 |
SSIM |
0.1112 |
0.2727 |
0.7193 |
0.7808 |
0.7551 |
0.7623 |
FSIM |
0.6611 |
0.8238 |
0.8665 |
0.9108 |
0.9050 |
0.9056 |
S = 20% |
PSNR |
11.5025 |
19.1314 |
25.2011 |
27.7671 |
26.6328 |
26.7906 |
SSIM |
0.0894 |
0.2732 |
0.7104 |
0.7761 |
0.7365 |
0.7447 |
FSIM |
0.6262 |
0.8172 |
0.8616 |
0.9091 |
0.8955 |
0.8961 |
|
S = 10% |
PSNR |
13.0009 |
16.6900 |
25.0422 |
25.9512 |
26.4804 |
26.7479 |
SSIM |
0.1191 |
0.2002 |
0.6937 |
0.7175 |
0.7293 |
0.7393 |
FSIM |
0.6785 |
0.7726 |
0.8514 |
0.8903 |
0.8897 |
0.8946 |
S = 15% |
PSNR |
11.9134 |
16.7511 |
24.7526 |
25.4454 |
26.1057 |
26.3581 |
SSIM |
0.0962 |
0.2010 |
0.6859 |
0.6997 |
0.7132 |
0.7245 |
FSIM |
0.6420 |
0.7656 |
0.8463 |
0.8846 |
0.8813 |
0.8856 |
|
S = 20% |
PSNR |
11.0709 |
16.7967 |
24.4515 |
24.9506 |
25.5897 |
25.8393 |
SSIM |
0.0800 |
0.2014 |
0.6765 |
0.6822 |
0.6895 |
0.7008 |
FSIM |
0.6116 |
0.6644 |
0.8408 |
0.8777 |
0.8688 |
0.8734 |
|
S = 10% |
PSNR |
12.2316 |
14.9357 |
24.2706 |
21.5022 |
25.6400 |
25.9505 |
SSIM |
0.1013 |
0.1551 |
0.6663 |
0.5449 |
0.6943 |
0.7090 |
FSIM |
0.6536 |
0.7254 |
0.8334 |
0.8168 |
0.8693 |
0.8765 |
S = 15% |
PSNR |
11.3337 |
14.9788 |
24.0117 |
20.3671 |
25.2201 |
25.5573 |
SSIM |
0.0868 |
0.1559 |
0.6575 |
0.5022 |
0.6743 |
0.6918 |
FSIM |
0.6280 |
0.7193 |
0.8280 |
0.7936 |
0.8588 |
0.8669 |
S = 20% |
PSNR |
10.6144 |
15.0127 |
23.7252 |
19.3327 |
24.6975 |
25.0552 |
SSIM |
0.0713 |
0.1554 |
0.6468 |
0.4635 |
0.6465 |
0.6666 |
FSIM |
0.5960 |
0.7103 |
0.8200 |
0.7677 |
0.8441 |
0.8540 |
图5列出了六种场景下不同方法不同噪声水平的细节对比图,其中,Image A选取
的高斯噪声以及
的椒盐噪声;Image B选取
的高斯噪声以及
的椒盐噪声;Image C选取
的高斯噪声以及
的椒盐噪声;Image D选取
的高斯噪声以及
的椒盐噪声;Image E选取
的高斯噪声以及
的椒盐噪声;Image F选取
的高斯噪声以及
的椒盐噪声。
Figure 5. Comparison image of different noise levels in different scenes
图5. 不同场景下不同噪声水平的对比图
从主观视觉上看,two-phase对于混合噪声的去除仍有残余的混合噪声,使得边缘细节不清晰;MBM3D在处理混合噪声的时候,使得图像过于平滑,导致图像的细节丢失;WESNR在处理混合噪声的时候,产生了大量的黑色伪影,使得图像的边缘模糊,不能够很好地展现图像的细节信息;在使用MGSMM处理混合噪声的时候,产生了过多的伪影。使用two-phase、MBM3D、WESNR、MGSMM在处理混合高斯和椒盐噪声的时候,不能有效地保留图像的边缘信息,而本文算法在去除高斯和椒盐噪声的同时更好地保留了图像的目标边缘和细节纹理信息,具有更清晰的视觉效果。
5. 结论
为了去除遥感图像中的混合噪声,本文提出了一种新的组稀疏混合模型去除遥感图像中的高斯噪声和椒盐噪声。首先通过双边矩阵乘法提高块组的稀疏性,然后通过块组独立这一假设提出了基于块组的混合噪声去噪框架,接着对去噪后的块组
、估计的图像
、椒盐噪声
分别进行优化求解,最后通过聚合块组得到去噪后的图像,同时实验结果表明:本文相对于其他传统算法,PSNR、SSIM与FSIM值有了显著提升。主观视觉方面,在去除图像噪声的同时更好地保留了边缘信息,相对于其他传统算法具有更好的去噪性能。
本文仅使用传统方法进行图像去噪,在未来的工作中,可将研究的重心转向如何将深度学习与数学优化模型巧妙融合起来。
基金项目
吉林省教育厅科学技术研究项目(JJKH20230788KJ);国家自然科学基金(12171054)。
NOTES
*通讯作者。