1. 引言
图像去噪在医学成像、卫星成像及模式识别等领域中具有重要意义。在图像去噪的开创性工作中,Perona和Malik [1] 提出了一种非线性扩散的偏微分方程用于图像去噪,复原的图像有效保留图像的线条和结构,但沿图像的线条和边缘保留了噪声。于是Weickert [2] 提出一种基于张量的图像扩散方程,基于张量扩散的原理:对平行于图像结构的区域进行平滑处理,利用一个张量场来描述局部方向,使图像平滑并与图像结构平行,利用非线性扩散函数对张量场进行变换,将变换后的张量场用于扩散方程,得到的张量为扩散张量。扩散张量包含了图像在每个点的局部邻域变化的信息,可以根据图像结构更灵活地控制和定向去除图像结构的线条和边缘处噪声,因此,受到学者的广泛认可。
由于沿张量的两个特征向量的方向,具有不同的传导系数,故张量扩散也被称为“各向异性张量扩散”。在图像处理的应用中受到广泛关注。2010年,Grasmair和Lenzen [3] [4] 提出各向异性全变分模型,将扩散方程与变分法相结合,用一个各向异性项来替代各向同性TV半范数作为模型的正则化子,复原的图像在抑制块伪影产生的同时降低阶梯效应。2013年,Roussous和Maragos [5] 提出由张量全变分和Beltrami泛函的推广导出了基于张量的图像扩散,基于结构张量来描述每个点的邻域内图像结构的几何形状,通过在包含图像块的高维空间中用嵌入表示图像来推广Beltrami函数,该模型中的扩散能有效地控制扩散方向,从而保留图像的边缘和结构。2015年,Freddie等 [6] [7] 人提出了一种基于张量的变分公式用于彩色图像去噪,引入了一个基于张量的函数—梯度能量全变分,作为新的正则化子,其复原的图像具有更清晰的边缘。然而,上述已有的基于变分法和各向异性扩散相结合的模型仅考虑了全变分 [8] [9] [10] 模型。但是全变分模型倾向于分段常数解,在平滑区域存在阶梯效应,且不能有效复原图像纹理细节信息。2007年,Bai J等 [11] 提出分数阶去噪模型,该模型通过定义图像强度函数的分数阶导数绝对值的递增函数为损失函数,再采用折叠算法来消除跨越边界的跳跃不连续,有效保留图像的纹理细节信息,抑制阶梯效应。
基于此,本文提出了一种各向异性张量加权分数阶变分模型(Tensor Weighted Fractional-order Variation, TWFO),利用分数阶的Jacobian矩阵形式和一个各向异性张量的乘积的Frobenius范数,提出了一种新的正则化子,使分数阶变分成为一个有效集成方向信息的非线性各向异性分数阶模型。我们利用高斯核来定义输入图像的每一个像素点的结构张量,求出其特征向量,再根据图像去噪的要求,利用文献 [14] 的特征值构造本文新的各向异性张量。通过大量的数值实验,我们发现TWFO模型可以根据图像的结构灵活的控制扩散的方向和去除图像中的噪声,抑制阶梯效应,增强去噪图像中物体的边缘,保留图像纹理细节信息。所提出的模型是基于变分框架的,因此ADMM可以有效地求解该模型。
2. 相关背景
2.1. 分数阶 [12] [13] 的定义
本文考虑分数阶变分作为图像先验。给定一个图像域
,将其离散为一个矩形网格
。然后图像可以表示为欧几里得空间
中的矩阵,记为
。对于特定阶
的导数,其中
可以是一个分数,
阶变分函数
通过引入分数阶导数扩展了传统的TV模型。特别地,基于Grünwald-Letnikov分数阶导数 [14],将离散分数阶梯度定义为:
其中,分数阶导数
分别为沿
方向的分数阶导数,则有
这里K是用来近似分数阶导数每个像素的相邻像素的个数。定义系数
用Gamma函数
定义为
,然后定义u的离散分数阶变分为:
,
根据
的关系,给出了
的离散分数阶散度:
。
2.2. 张量扩散 [2]
在图像处理中常用
对称矩阵
作为扩散张量,则有张量扩散方程:
。
在正交系
中:
,
可得,在固定坐标系
中,张量扩散方程不能表示为两个一维扩散之和,但利用矩阵D的两个特征向量
构成局部坐标系,设D的两个特征值为
,再由矩阵的本征分解定理,则有
,
由
,再考虑到特征向量
的正交归一化性,可得
,
上式表明,在特定的局部坐标系
中,张量扩散也可以表达为沿
和
两个相互正交方向的一维扩散之和,但沿这两个方向,具有不同的传导系数,故张量扩散也被称为“各向异性张量扩散”。
2.3. 张量的特征值和特征向量的意义
我们可知P-M方程的扩散行为只受图像的梯度的模值所控制,然而,图像的局部结构信息并不仅仅表现为图像的梯度。为了获取更丰富的局部结构信息,本文利用如下定义的散布矩阵
:
(1)
式中
表示以参数
的平滑图像,
表示以
为参数的Gaussian核。
表示输入图像的结构张量,为实对称矩阵,两个特征值
,
解得:
,
约定
对应于上式中的正号,
取负号,即
。它们对应的特征向量分别为
和
,有
。
一个二维函数与二维Gaussian核的卷积相当于在其每一点的一个尺度为
的邻域取加权平均。所以散布矩阵的特征值
所表示的是,从尺度为
的邻域平均来看,灰度变化最快的取向为
,其变化率为
。而在同一点的同一邻域内,变化最慢的取向为
,其变化率为
。以下分三种情况来讨论图像的局部特征:
1)
这表示图像在该点附近沿任何方向灰度变化都很小,即为图像平坦区。
2)
这时图像沿某一方向的变化率远大于沿垂直于此方向的变化率。这是图像具有明显边缘或流线状结构的表现。在这一局部的灰度值表现出很强的相干性,可用图像局部相干性的量度:
,显然,在(1)表示的平坦区,相干性
。
3)
这表示图像在两个相互垂直的方向上,灰度都有相当快的变化,相干性也很小
。
3. 本文模型与算法
3.1. 模型的提出
1) TWFO模型
本文利用分数阶的Jacobian矩阵形式和一个各向异性张量的乘积的Frobenius范数,提出一种各向异性张量加权分数阶变分图像复原模型:
(2)
其中,第一项
是数据保真项,用于度量待求图像u和观测图像f的接近程度,第二项
是
正则项,用于提供图像u的先验知识,
为分数阶梯度算子,表示为Jacobian矩阵的形式:
,
为分数阶的阶数,
;
是正则化参数,且
。
在正则项
中,
为
的对称半正定的扩散张量。它的四个分量是
。它们是由输入观测图像f计算出来的。正则项
是
张量
乘以
Jacobian矩阵
的Frobenius范数,其形式为:
,
其中
的两个正交特征向量张成旋转坐标系,在这个坐标系中计算输入图像的梯度。因此,
可以给有界Jacobian正则化子
引入方向,张量
的特征值度量正则化子中的各向异性扩散的程度,并在两个方向上对由 [1] 中引入的结构张量的特征向量给出的
上的导数进行加权。
2) 模型解的存在性
现在,我们考虑TWFO模型解的存在性,首先,我们需要强制泛函的定义。
强制泛函的定义:设
是线性赋范空间,
,
。若当
,
时,有
,
即
,则称f为强制的。特别地,当M为有界集时,总认为
是强制的。
定理:假设
,模型(2)存在一个全局的极小值问题。
证明:为了便于求解,将模型(2)表示为
,
其中
,在上式中,我们只需要关注函数
,显然
是有界的,因为:
.
我们假设存在一个序列
,满足:
,当
.
由强制泛函的定义可得,
是强制泛函。现在,我们为
选取一个最小化序列
,则
一定是有界的,又因为
空间的有界序列验证了弱收敛子序列的存在性,即:
。基于模型(2)的分段点意义上的可分性,则上述引理成立。证毕。
3.2. 图像局部结构张量信息提取
我们先求出输入图像u的结构张量
的两个特征向量,由2.3节我们可知
,
,则由
求解
,可解得
和
,分别为:
,
。
则我们构造新的张量
,由上述可知图像局部结构张量
的特征向量与图像u结构张量
的两个特征向量
和
平行,由于张量
的特征值
和
根据不同的图像处理应用选择,则有
,
图像局部结构张量
为实对称矩阵,本文研究的图像去噪问题目的是禁止图像边缘的扩散,并鼓励沿边缘的强扩散。因此,我们引用文献 [14] 中的两个特征值(扩散系数):
,
。
其中
为梯度幅值,C为对比参数。
3.3. 模型求解
直接求解TWFO模型是不能求解,因为:(1) TWFO模型是不光滑的;(2) 它耦合张量T和Jacobian矩阵
在
中,得到的欧拉—拉格朗日方程难以离散化计算求解。为了解决这两个难题,我们提出了一种基于ADMM [15] [16] [17] [18] 算法来最小化变分模型(2)。即利用本文模型的可分结构对模型进行分离变量求解,通过引入辅助变量
,并将其转化为下述约束优化问题。
(3)
其中
,
,
。然后构造增广拉格朗日函数,可将式(3)的最小化转化
为下面的鞍点问题。即
(4)
合并同类项得:
其中:
为拉格朗日乘子,
为惩罚参数,
定义为内积,进一步:
(5)
下面求解各个子问题
1) 求解
-子问题,即求解下面方程
(6)
该问题为光滑凸优化问题,对式子(6)关于u求偏导可得:
(7)
这里
是
的伴随矩阵,在周期边界条件下,合并同类项,再对式子(7)利用快速傅里叶变换后,再利用快速傅里叶逆变换求解。
(8)
其中
和
分别表示傅里叶变换及其逆变换,此处的:矩阵除法、平方和绝对值都是按分量运算的。
2) 求解
-子问题,利用收缩算子给出
-子问题的闭形解,即求解下面这个极小值问题
(9)
满足收缩算法的条件,可得
(10)
当
,其中算术运算符是按分量计算。
3) 最小二乘问题的定义:目标函数由若干个函数的平方和构成。一般可以写成
(11)
其中
是
中的点。我们假设
其中
是n维列向量,
是实数,我们可以用矩阵乘积形式来表达(11)式,令
,
是
矩阵,b是m维列向量。则
现在求
的平稳点。令
,则
的平稳点满足
。设
列满秩,
为n阶对称正定矩阵。由此得到目标函数
的平稳点:
。
求解
-子问题,利用最小二乘问题求解:
,
对
求偏导得
,
合并同类项可得:
,
上式满足最小二乘问题,求解即可得
(12)
对提出模型求解过程如下:
初始化阶段:输入初始图像
,设置参数的初始值:
;
;
;
;
,最大迭代次数
,迭代精度
。
算法迭代循环过程:
Step1:初始化
,
;
Step 2:通过(8)式更新子问题中的
;
Step 3:通过(9)式更新子问题中的
;
Step 4:通过(12)式更新子问题中的
;
Step 6:通过(5)式更新拉格朗日乘子:
;
Step 7:
。
终止:若迭代精度
小于10-6或者迭代次数到达800则该算法终止,否则继续上述迭代循环过程。
4. 实验及分析
实验在LAPTOP-RETV7IRD Aspire A515-516Intel(R) Core(TM) i5-7200U CPU © 2.50 GHz 2.71 GHz RAM4.0G matlab2014a环境下进行。在实验中,我们使用了六幅标准测试图像,如图1所示,分别命名为woman、ultrasonic、CT、Einstein、barbara和pepper,如图4~9所示,为了验证本文算法对图像去噪的效果,本文中对六幅原始图像分别加入了噪声方差为15、20和25的高斯噪声。我们将提出的模型与传统的变分方法和扩散方法进行比较,包括分数阶全变分正则化模型(Fractional-Order Total Variation, FOTV)、高阶全正则化模型 [19] (High-Order Total Variation, HOTV)、和广义全变分 [20] (Total Generalized Variation, TGV)、三维块匹配滤波(Block-matching and 3D filtering, BM3D)、各向异性全变分模型(Anisotropic total variation, ATV)、分数阶各向异性扩散模型(Fractional-Order Anisotropic Diffusion, FOAD)和张量加权二阶变分模型 [14] (tensor weighted second order, TWSO)。所有这些方法的初始条件都设置为输入图像。本文利用图像的峰值信噪比(Peak Singal to Noise Ratio, PSNR)和结构相似性(Structual Similarity, SSIM)两个评价标准来评价去噪后的图像,两者值越大则说明去噪效果更好。当连续两次迭代的相对误差小于
或者迭代次数等于800则该算法终止。
4.1. 对分数阶的阶数
的讨论
1) 阶数
的不自适应性
由图2的左图我们可以看出,在噪声方差为15的高斯噪声水平下,分数阶的阶数跟去噪图像的PSNR不是呈递增关系,由右图所示,在阶数
,去噪图像的PSNR值随着噪声水平的增大而减小,则说明分数阶阶数
具有不自适应性。
Figure 2. Sensitivity test of PSNR value with fractional order and noise variance
图2. PSNR值随分数阶阶数和噪声方差变化的灵敏度试验
2) 阶数
与图像纹理的关系
由图3所示,在相同的高斯噪声水平下,对于含有纹理细节信息较少的图像,其去噪图像的PSNR值在分数阶阶数
时,峰值信噪比最优,对于含有纹理细节信息较多的图像,其去噪图像的PSNR值在分数阶阶数
时,峰值信噪比最优。说明图像纹理信息越多,去噪模型的分数阶阶数越小。
Figure 3. Comparison of PSNR values with fractional order, left: images with less texture information; right: an image with more texture information
图3. PSNR值随分数阶阶数而变化的对比,左:含有较少纹理信息的图像;右:含有较多纹理信息的图像
4.2. 图像去噪模型的对比效果
1) 基于变分的图像去噪模型的对比效果
由图4~6可以看出,TV模型存在明显的阶梯效应,HOTV和TGV由于涉及高阶导数,可以减少阶梯伪影,TGV复原后的图像不连续附近的区域留下了一些噪音。FOTV可以有效保留图像的纹理细节信息,然而复原后肺部CT图像的边缘轮廓不清晰;经HOTV复原的图像可看出肺部器官的分界部分不清晰,而本文的TWFO模型不存在边缘过模糊,且能较好地复原图像的纹理信息,woman图像脸部轮廓更为清晰。且由表1可知,TWFO复原后的图像的PSNR值和SSIM值最高,其PSNR值和SSIM值分别高于TGV 1.64dB和0.02,进一步验证了本文模型的有效性。
Table 1. Comparison of PSNR and SSIM of image denoising results under different noise levels (PSNR unit: dB)
表1. 图像在不同噪声水平下的去噪结果的PSNR和SSIM对比(PSNR单位:dB)
2) 基于扩散方程的图像去噪模型的对比效果
由图7~9可看出,与其他模型相比,本文的模型通常产生更清晰的结果。即TWFO正则化可以很好地保持图像的结构和边缘,并产生令人满意的去噪结果。ATV和FOAD复原后的图片,超声图像血管部分的失真较大,且边缘部分存在一定的模糊,HOAD复原后的图像的不连续区域仍存在一些噪声,ATV重建后图像可以看到明显的“阶梯现象”。而TWFO对血管的轮廓复原效果最好,由表2可知本文模型复原图像的PSNR值和SSIM值优于其他模型,由客观指标可以看出,TWFO有效抑制阶梯效应,保留图像边缘以及较好地复原图像纹理细节信息。
Table 2. Comparison of PSNR and SSIM of image denoising results under different noise levels (PSNR unit: dB)
表2. 图像在不同噪声水平下的去噪结果的PSNR和SSIM对比(PSNR单位:dB)
3) 局部区域放大的对比结果
由图10和图11所示,当噪声方差较小时,本文模型和对比模型均有良好的去噪效果,且BM3D处理后的图片具有一定平滑效果,但结构相似性值偏低,ATV复原的图像处存在明显的块伪影,HOTV、FOTV和TGV这3种方法复原的图像无法完好保留图像边缘信息;TWFO模型较好地保留图像边缘或纹理等细节结构,抑制阶梯效应。
由图12所示,当噪声方差较大时,其他七种对比模型的SSIM值均有显著降低,造成图片中有用信息基本无法识别,边缘破坏,细节纹理信息模糊。本文模型可以有效提高这一点,在保持良好的去噪效果,同时最大限度地保留图像信息,以添加高斯噪声方差25为例,结果明显优于其他算法。
4.3. 模型在数据库Set5和Set14下的去噪效果
由图13相比之下,本文模型在噪声增加的情况下产生了更令人满意的视觉结果,其PSNR和SSIM在所有情况下都保持最高,因为在TWFO中引入张量提供了更丰富的邻域信息,由表3可得,本文模型对应的平均PSNR值和SSIM值高于其他对比模型,说明了本文模型复原的图像结构细节普遍优于其他对比模型,验证了本文模型的有更好的图像复原性能。
Table 3. Comparison of average PSNR value and SSIM value of noise results in Set5 and Set14 databases under Gaussian noise with different intensity (PSNR unit: dB)
表3. Set5和Set14数据库在含不同强度的高斯噪声下去噪结果的平均PSNR值和SSIM值对比(PSNR单位:dB)
Figure 13. Quantitative image quality evaluation of Gaussian noise removal in Table 3
图13. 表3中高斯噪声去除的定量图像质量评价
5. 结论
本文提出了一种张量加权分数阶变分模型,利用分数阶的Jacobian矩阵形式和一个各向异性张量的乘积的Frobenius范数,提出了一种新的正则化子,使分数阶变分成为一个有效集成方向信息的非线性各向异性分数阶模型,同时较好地保留了图像的纹理细节、不连续性和结构,平滑区域与TV模型不同,TWFO模型不存在边缘附近的假边缘,且抑制阶梯效应。
基金项目
基金项目:国家自然科学基金(62061016, 61561019)资助项目,湖北民族大学研究生(MYK2022010)项目。
NOTES
*通讯作者。