基于梯度的自适应非局部均值超声图像去噪方法

Gradient-Based Adaptive Nonlocal Mean Ultrasound Image Denoising Method

摘要: 为解决医学超声图像中存在的斑点噪声问题，从而影响了为临床医生提供准确病理诊断的能力。本文提出了一种基于梯度的自适应非局部均值算法，用于去除医学超声图像中的斑点噪声。该算法利用中值滤波预处理噪声图像，并且计算噪声图像的梯度，再利用一种新的非线性二值化方法对梯度图像进行处理，以获得图像自适应的衰减参数，由此确定相似度权重。最后利用到非局部均值算法中得到去噪图像。大量实验表明，在三种不同噪声强度的仿真图像上与几种经典去噪算法的效果相比，本文提出算法的峰值信噪比(PSNR)平均提高了13%，结构相似性(SSIM)平均提高了15%；在三张真实临床医学图像上与几种经典去噪算法的效果相比，本文提出算法的等效外观数(ENL)分别提高了158%、26%和88%，对比度噪声比(CNR)分别提高了15%、25%和23%。相较于几种经典的去噪算法，本文提出的算法能更有效地抑制斑点噪声、保留小结构并增强图像对比度。

Abstract: In order to solve the problem of speckle noise in medical ultrasound images, it affects the ability to provide accurate pathological diagnosis for clinicians. In this paper, an adaptive gradient-based nonlocal homogenization algorithm is proposed for de-speckling noise in Medical ultra-sound images. The algorithm preprocesses the noisy image using Median filtering and calculates the gradient of the noisy image and then processes the gradient image using a new nonlinear binarization method to obtain the image adaptive attenuation parameters from which the similarity weights are determined. Finally the denoised image is obtained by utilizing to the non-local mean algorithm. Numerous experiments show that PSNR of the proposed algorithm in this paper is improved by an average of 13% and SSIM is improved by an average of 15% when com- pared with the effects of several classical denoising algorithms on three simulated images with different noise intensities; ENL of the proposed algorithm in this paper is improved by 158%, 26%, and 88%, and CNR is improved by 15%, 25%, and 23% when compared with the effects of several classical denoising algorithms on three real clinical Medical images, respectively. Compared to several classical denoising algorithms, the algorithm proposed in this paper is more effective in suppressing speckle noise, preserving small structures and enhancing image contrast.

1. 引言

超声内镜检查是一项将超声探头与内镜技术融合的方法，通过将内镜置于消化道内，同时进行实时超声扫描，从而实现对粘膜下病变的直接观察。这一技术极大地提升了内镜和超声在诊断上的水平，为临床诊断提供更加精确和全面的信息。然而，超声成像的有效性受到一种特殊类型的噪声，即斑点噪声的影响。斑点噪声表现为外观上的颗粒状斑点，对图像质量产生影响。这主要是由于来自非均匀组织结构的后向散射信号的相消干扰造成的 [1] 。因此，减少散斑噪声对于增强超声图像是非常重要的。

到目前为止，已经提出了许多超声图像去噪方法。晏满钰和文成玉 [2] 提出了一种改进方法，基于各向异性扩散方程，并利用各方向梯度值以及图像梯度变化来选择不同的扩散函数，以进一步增强去噪效果。Rahimizadeh等人 [3] 提出了一种改进的线性最小均方误差(LMMSE)估计器，旨在降低超声医学图像的斑点噪声。这一方法在同时保持小细节的清晰度和降低图像不同区域的散斑噪声之间取得了良好的平衡，从而显著提高了超声医学图像的质量。张光华 [4] 提出了一种创新性的医学图像去噪与增强方法，基于BM3D算法，为噪声去除和图像增强提供了新的解决途径。Lin等人 [5] 提出了一种改进的BM3D算法。在传统BM3D的基础上，他们引入了一种结合块匹配的局部噪声方差估计算法，用于获取目标块的噪声方差，并将其纳入后续的去噪计算过程中。陈晓东 [6] 提出了一种改进的引导滤波算法，该算法使用分数阶微分加权，并根据像素与边缘纹理之间的关系来设计纹理因子，从而提高了引导滤波的效果。此算法经过猪胃和猪气管超声图像的实验验证，结果显示其在实际应用中具有良好的适用性。Yuan等人 [7] 提出了一种梯度控制的自适应非局部均值(GNLM滤波)方法，旨在去除超声图像中的斑点噪声。该算法在抑制斑点噪声方面表现更为有效，同时能够保留小细节结构并增强图像对比度。Verma等人 [8] 在本文中提出了一种基于局部熵的同质和异质区域分类的自适应非局部均值(NLM滤波)算法。该算法利用区域的局部熵来为每个像素选择自适应的各向同性搜索窗口，以实现同质和异质区域的有效分类。实验证明，该算法在峰值信噪比和视觉质量方面均优于传统的NLM滤波方法。Sravani等人 [9] 提出了一种基于模糊中值滤波(FBMF)的灰度图像高密度椒盐噪声去除算法。该算法的核心思想是在所选窗口中存在0、255和其他像素值时，将噪声像素替换为该窗口内的中值；而当所有像素值均为0或255，则噪声像素将被替换为所选窗口的模糊隶属度值。实验结果表明，FBMF方法在峰值信噪比和图像增强因子等指标上表现出更好的性能。

由于医学超声图像具有斑点噪声多、纹理细节丰富 [10] 的特点，上述的算法虽然在保持边缘和去噪方面有一定的成效，但很难保留图像的纹理细节 [11] [12] 。为了解决上述问题，本文提出了一种基于梯度的自适应非局部均值超声图像去噪方法。该算法首先利用中值滤波方法预处理图像，以减弱散斑噪声的影响。同时，利用一种新的非线性二值化方法对噪声图像的梯度进行处理，从而提取更精准的图像细节特征。根据处理后的梯度特征图像，确定像素衰减参数，以保证对不同局部结构的自适应性。这样的设计使得算法能够在去除散斑噪声的同时，有效保持图像细节。经过实验验证，该方法在抑制超声图像噪声方面优于现有的几种经典滤波算法。

2. 基于梯度的非局部均值去噪方法

2.1. 平滑参数

在传统的非局部均值去噪方法中，对于超声图像中的像素点 $\left(i,j\right)$ ，它处理后的像素值 $\mu \left(i,j\right)$ 为 [13] ：

$\mu \left(i,j\right)=\frac{{\displaystyle {\sum }_{\left(x,y\right)\in \Omega }u\left(x,y\right)\omega \left(i,j,x,y\right)}}{{\displaystyle {\sum }_{\left(x,y\right)\in \Omega }\omega \left(i,j,x,y\right)}}$ (1)

$\omega \left(i,j\right)={\text{e}}^{\frac{-{\Vert u\left(P\left(x,y\right)\right)-u\left(P\left(i,j\right)\right)\Vert }_{a,2}^2}{h^2}}$ (2)

其中 $\omega$ 表示相似度权重， $\Omega$ 表示搜索窗口。而 ${\Vert u\left(P\left(x,y\right)\right)-u\left(P\left(i,j\right)\right)\Vert }_{a,2}^2$ 为两个图像块 $P\left(x,y\right)$ 和 $P\left(i,j\right)$

的相似性。a为高斯核函数的标准差；h为控制过滤程度的平滑参数。从上述公式中可以看出，平滑参数h会影响去噪和细节保留的效果。在理想情况下，h应该随着局部结构的变化而调整，对于光滑区域，h值应该设置得较大，以确保足够的降噪效果；而对于边缘区域，h值应该设置得较小，以确保良好的细节效果。为了实现这种结构特征自适应的效果，我们考虑采用图像梯度来表征局部结构的特征，并据此确定衰减参数h。具体而言，设图像的像素点坐标为 $\left(i,j\right)$ ，该点的灰度值为 $f\left(i,j\right)$ ，这里梯度计算方式如下：

$g\left(i,j\right)=\max \left(\left|g_0\left(i,j\right)\right|,\left|g_{45}\left(i,j\right)\right|,\left|g_{90}\left(i,j\right)\right|,\left|g_{135}\left(i,j\right)\right|\right)$ (3)

其中 $g_0\left(i,j\right)$ 、 $g_{45}\left(i,j\right)$ 、 $g_{90}\left(i,j\right)$ 、 $g_{135}\left(i,j\right)$ 如图1所示，表达式分别如下：

$g_0\left(i,j\right)=f\left(i+1,j\right)+f\left(i+2,j\right)+f\left(i+3,j\right)-\left(f\left(i-1,j\right)+f\left(i-2,j\right)+f\left(i-3,j\right)\right)$

$g_{45}\left(i,j\right)=f\left(i+1,j+1\right)+f\left(i+2,j+2\right)+f\left(i+3,j+3\right)-\left(f\left(i-1,j-1\right)+f\left(i-2,j-2\right)+f\left(i-3,j-3\right)\right)$

$g_{90}\left(i,j\right)=f\left(i,j+1\right)+f\left(i,j+2\right)+f\left(i,j+3\right)-\left(f\left(i,j-1\right)+f\left(i,j-2\right)+f\left(i,j-3\right)\right)$

$g_{45}\left(i,j\right)=f\left(i-1,j+1\right)+f\left(i-2,j+2\right)+f\left(i-3,j+3\right)-\left(f\left(i+1,j-1\right)+f\left(i+2,j-2\right)+f\left(i+3,j-3\right)\right)$

Figure 1. Gradient in all directions

图1. 各方向的梯度

然而在这种情况下，梯度图像仍然包含大量噪声引起的梯度变化，导致噪声图像的梯度难以准确估计。但是众所周知，在梯度图像中，颜色越白，灰度值越大，表示在噪声图像中梯度越大，主要对应图像边缘和噪声较强的点；颜色越黑，灰度值越小，表示在噪声图像中梯度越小，主要对应图像的平滑区域。因此，我们需要对梯度图像进行处理，处理算法如下表1所示：

Table 1. Nonlinear binarization algorithm for gradient images

表1. 梯度图像的非线性二值化算法

基于梯度 $g\left(i,j\right)$ 每个像素在 $\left(i,j\right)$ 的衰减参数 $h\left(i,j\right)$ 公式为 [7] ：

$h\left(i,j\right)=\{\begin{array}{ll}\frac{c\cdot h_0}{1+g\left(i,j\right)/g_{\max }}\hfill & \left(i,j\right)\in mask\hfill \\ h_0\hfill & \left(i,j\right)\notin mask\hfill \end{array}$ (4)

其中 $mask$ 为梯度图像二值化处理后灰度值为1的像素位置， $g_{\max }$ 为所有像素的最大梯度值，c为调和参数， $h_0$ 为NLM滤波方法中的全局平滑参数。计算为 $h_0=\beta \cdot \sigma$ [14] [15] [16] ，其中 $\beta$ 为预定义的常数， $\sigma$ 可从散斑图像中选择的区域 $\Phi$ 来估计。因此 $\sigma$ 可以计算为：

$\sigma =\sqrt{\frac{{\displaystyle {\sum }_{\left(p,q\right)\in \Phi }{\left(u_{\Phi }\left(p,q\right)-{\bar{u}}_{\Phi }\right)}^2}}{\left(\left|\Phi \right|-1\right)\cdot {\bar{u}}_{\Phi }}}$ (5)

${\bar{u}}_{\Phi }=\frac{{\displaystyle {\sum }_{\left(p,q\right)\in \Phi }{u}_{\Phi }\left(p,q\right)}}{\left|\Phi \right|}$ (6)

其中 $\left|\Phi \right|$ 是在区域 $\Phi$ 中像素的数量，由此也可以看出平滑参数和相似度权重受图像数据局部统计量的影响。大量实验表明，当参数c设定为1时，边缘像素不能很好地保留。在这种情况下，边缘像素的平滑参数将在 $[h_0/2,h_0)$ 范围内，远远高于期望的值。将常数c设定为一个相对较小的值，以确保细节可以得到很好地保留。

2.2. 改进的相似性权重

根据式(2)，我们利用改进的相似性权重为：

${\omega }^{\prime }\left(i,j,x,y\right)={\text{e}}^{\frac{-{\Vert u^{\prime }\left(P\left(x,y\right)\right)-u^{\prime }\left(P\left(i,j\right)\right)\Vert }_{a,2}^2}{h^2}}$ (7)

其中权重 ${\omega }^{\prime }\left(i,j,x,y\right)$ 是基于中值滤波预处理后的图像u'而不是原始的散斑图像u来计算的，这有利于减弱散斑噪声对相似度计算的不利影响。将式(1)中的 $\omega \left(i,j,x,y\right)$ 替换为 ${\omega }^{\prime }\left(i,j,x,y\right)$ ，就可以得到最终的去噪图像。整体流程如图2所示。

Figure 2. The flow chart

图2. 流程图

3. 实验结果及讨论

3.1. 评价方法

在实验中，为了客观评价本文所提出的去噪算法，我们选择了峰值信噪比(PSNR)和结构相似性(SSIM)指数，分别对不同滤波算法的去除噪声和保持结构信息、边缘的能力进行量化对比。PSNR的定义为 [17] ：

$\text{PSNR}=10\cdot {\log }_{10}\left(\frac{{255}^2}{\text{MSE}}\right)$ (8)

$\text{MSE}=\frac{{\displaystyle {\sum }_{i=1}^M{\displaystyle {\sum }_{i=1}^N{\left(\mu \left(i,j\right)-v\left(i,j\right)\right)}^2}}}{M\cdot N}$ (9)

其中， $v\left(i,j\right)$ 表示无噪声图像v中 $\left(i,j\right)$ 处像素的强度，表示去噪图像u中 $\left(i,j\right)$ 处像素的强度。M和N分别表示图像的长度和宽度。SSIM定义为 [18] ：

$\text{SSIM}=\frac{\left(2\bar{\mu }\bar{v}+{\theta }_1\right)\left(2\mathrm{cov}\left(\mu ,v\right)+{\theta }_2\right)}{\left({\bar{\mu }}^2+{\bar{v}}^2+{\theta }_1\right)\left(\mathrm{var}\left(\mu \right)+\mathrm{var}\left(v\right)+{\theta }_2\right)}$ (10)

其中， ${\theta }_1$ 和 ${\theta }_2$ 是很小的常数，目的是避免分子或分母变为零。 $\mathrm{cov}\left(\mu ,v\right)$ 为协方差， $\bar{\mu }$ 和 $\bar{v}$ 为平均值， $\mathrm{var}\left(\mu \right)$ 和 $\mathrm{var}\left(v\right)$ 是图像的方差。

为了评估这些去斑方法在医学图像上的性能，使用无参考指标ENL和CNR，ENL是广泛用于衡量均匀区域的散斑减少的标准参数，CNR可以测量图像质量。ENL和CNR定义 [18] 为：

$\text{ENL}=\frac{{\mu }_b^2}{{\sigma }_b^2}$ (11)

$\text{CNR}=\frac{\left|{\mu }_b-{\mu }_o\right|}{\sqrt{{\sigma }_b^2+{\sigma }_o^2}}$ (12)

其中 ${\mu }_b$ 和 ${\sigma }_b^2$ 分别为目标周围背景中散斑噪声的均值和方差， ${\mu }_o$ 和 ${\sigma }_o^2$ 分别为目标中像素点的均值和标准差。

对于所有比较的方法，我们调整相关参数以产生良好的去噪结果。对于NLM滤波方法，将搜索窗口固定为11 × 11，相似度窗口都固定为5 × 5。分位数设置为3/5。 $\beta$ 设置为36。c被设置为0.07。

3.2. 方法性能

3.2.1. 实验仿真图像

(a) (b) (c) (d) (e) (f) (g) (h)

Figure 3. The results of simulated image denoising

图3. 仿真图像去噪结果

我们在图像上分别加入了三种不同强度的斑点噪声，其噪声方差分别为0.1、0.2和0.3。我们将本文提出的方法与经典的去噪算法进行了比较。图3为加入斑点噪声后不同算法处理下的图像，其中(a) 为原图；(b) 为加入了方差为0.3的噪声后的图像；(c) 为维纳滤波；(d) 为PM滤波；(e) 为NLM滤波；(f) 为中值滤波；(g) 为BM3D滤波；(h) 为本文算法。表2给出了加入不同强度的斑点噪声后各算法的结果比较。由表2数据可以看出，在三种不同噪声强度的仿真图像中，本文提出算法PSNR值均为最高，比其他滤波平均PSNR高12%到14%不等，其次是中值滤波、BM3D、PM滤波、NLM滤波和维纳滤波。因此本文提出的去噪算法在斑点噪声中减小图像失真程度方面优于其他去噪算法。在SSIM指标方面，本文的算法仍然优于其他算法，比其他滤波平均SSIM高14%到16%不等。这表明其他去噪算法在去除图像噪声的同时，造成了更大程度的图像结构信息破坏，使边缘和纹理区域变得更加模糊。因此，综合评价指标，本文的去噪算法在处理仿真斑点噪声时表现更优秀。

Table 2. PSNR and SSIM of each denoising algorithm

表2. 各去噪算法的PSNR和SSIM

3.2.2. 临床超声图像

本文的方法和几种经典去噪算法被应用于3个消化粘膜下肿瘤超声图像，具体如图4~6所示，其中(a) 为原超声图像；(b) 为维纳滤波；(c) 为PM滤波；(d) 为NLM滤波；(e) 为中值滤波；(f) 为BM3D滤波；(g) 为本文算法。观察结果表明，本文的算法在抑制散斑噪声取得了显著的效果，同时图像细节得到了很好的保留。

(a) (b) (c) (d) (e) (f) (g)

Figure 4. Denoising results of each denoising method in digestive submucosal tumor ultrasound image 1

图4. 各去噪方法在消化粘膜下肿瘤超声图像1的去噪结果

为了进一步量化评估算法效果，我们采用两个无监督的评价指标ENL和CNR。对于ENL，我们在3张消化粘膜下肿瘤超声图像上各选择了红、绿、蓝、紫4个颜色标记的不同区域，如图7所示，其中(a) 为肿瘤图像1；(b) 为肿瘤图像2；(c) 为肿瘤图像3。表3列出了各去噪方法的ENL。对于CNR，我们在图像上各选择了红、绿、蓝、黄4组颜色标记的不同区域，如图8所示，其中(a) 为肿瘤图像1；(b) 为肿瘤图像2；(c) 为肿瘤图像3。表4显示对消化粘膜下肿瘤超声图像进行去噪的所有方法的CNR值。从表3可以看出，本文去噪算法的ENL值比其它去噪算法的平均ENL值高12%到252%不等，这表明本文的算法对图像平滑效果更好。从表4可以看出，本文去噪算法的CNR值比其它去噪算法的平均CNR值高7%到200%不等。这表明图像的对比度更好，内外区域更能清晰的分辨。这确实说明了本文的在去噪和边缘保持方面优于其他方法。

(a) (b) (c) (d) (e) (f) (g)

Figure 5. Denoising results of each denoising method in digestive submucosal tumor ultrasound image 2

图5. 各去噪方法在消化粘膜下肿瘤超声图像2的去噪结果

(a) (b) (c) (d) (e) (f) (g)

Figure 6. Denoising results of each denoising method in digestive submucosal tumor ultrasound image 3

图6. 各去噪方法在消化粘膜下肿瘤超声图像3的去噪结果

(a) (b) (c)

Figure 7. Areas of calculated ENL in three ultrasound images of digestive submucosal tumors

图7. 三个消化粘膜下肿瘤超声图像中计算ENL的区域

(a) (b) (c)

Figure 8. Areas of calculated CNR in three ultrasound images of digestive submucosal tumors

图8. 三个消化粘膜下肿瘤超声图像中计算CNR的区域

Table 3. ENL of three ultrasonic images of digestive submucosal tumors

表3. 三个消化粘膜下肿瘤超声图像的ENL

Table 4. CNR of three ultrasonic images of digestive submucosal tumors

表4. 三个消化粘膜下肿瘤超声图像的CNR

4. 总结

为解决医学超声图像中存在的斑点噪声问题，从而为医生提供更准确病理诊断依据。本文提出了基于梯度的自适应非局部均值超声图像去噪方法。该方法对噪声图像进行预处理，同时对噪声图像的梯度图像进行一种新的非线性二值化处理，以此可以自适应计算衰减参数，最后利用传统NLM滤波方法中进行图像去噪。本文根据仿真合成图片和上海市第六人民医院所提供的消化道粘膜下肿瘤超声图片进行实验，将本文模型与几个经典去噪模型进行对比，利用PSNR、SSIM、ENL和CNR评价指标对去噪效果进行了评估，得到了较好的结果。在处理方差为0.1、0.2和0.3的斑点噪声图像时，PSNR平均提高了13%，SSIM平均提高了15%。在处理三张消化道粘膜下肿瘤超声图片时，ENL分别提高了158%、26%和88%，CNR分别提高了15%、25%和23%。表明本文算法不仅能对仿真散斑图像进行有效去噪，而且临床图像评价指标表现上性能优良。综上所述，本文模型针对消化道粘膜下肿瘤超声图像的去噪估计有良好的适用性。

致谢

此次实验数据由上海市第六人民医院消化内镜中心提供的消化道粘膜下肿瘤超声图片，在此表示衷心的感谢！