一种改进的即插即用张量纤维秩约束的高光谱图像恢复
An Improved Plug and Play Tensor Fiber Rank Constrained Hyperspectral Image Restoration
摘要: 高光谱图像(HSI)中的噪声去除是遥感技术中的一项基础而关键的任务,它对于图像的后续处理和分析至关重要。本项研究针对高光谱图像的去噪挑战,针对张量纤维秩约束优化与即插即用正则化的去噪技术对其中的不足进行了改进,即根据条带噪声的组稀疏性质,通过L2-1范数对噪声中条带噪声组稀疏性质进行描述。有效提升了以往L1范数刻画条带噪声的去噪能力。最后通过应用乘子交替方向法(ADMM)来解决这一非凸优化问题。在多个遥感图像数据集上进行的实验验证了该方法在峰值信噪比(PSNR)和结构相似度(SSIM)等评价标准上的优越性,证明了其在处理复杂噪声条件下的高效性和广泛的应用前景。
Abstract: The noise removal in hyperspectral images (HSI) is a fundamental and crucial task in remote sensing technology, which is crucial for the subsequent processing and analysis of images. This study addresses the denoising challenge of hyperspectral images by improving the denoising techniques of tensor fiber rank constrained optimization and plug and play regularization. Based on the sparsity of band noise, the L2-1 norm is used to describe the band noise in the noise. It has improved the denoising ability of previous L1 norm characterization of stripe noise. Finally, by applying the Multiplier Alternating Directions Method (ADMM) to solve this non convex optimization problem, this method achieved a significant improvement in computational efficiency. Experiments conducted on multiple remote sensing image datasets have verified the superiority of this method in evaluation criteria such as peak signal-to-noise ratio (PSNR) and structural similarity (SSIM), demonstrating its efficiency and broad application prospects in dealing with complex noise conditions.
文章引用:冉启刚, 江传富. 一种改进的即插即用张量纤维秩约束的高光谱图像恢复[J]. 应用数学进展, 2024, 13(8): 3788-3802. https://doi.org/10.12677/aam.2024.138361

1. 引言

随着高光谱成像技术的进步,高光谱图像(HSIs)因其丰富的光谱信息,在图像分类[1]-[4]、分割[5]和分解[6]-[11]等多个领域中扮演了关键角色。然而,由于硬件限制和环境条件的影响,高光谱图像常会受到诸如高斯噪声、脉冲噪声等干扰,这些噪声会降低图像质量,进而影响其在实际应用中的有效性。因此,对高光谱图像进行恢复处理变得至关重要,目的是从受到噪声干扰的图像中恢复出原始的高光谱信息。实现这一目标的关键在于准确捕捉高光谱图像的空间和光谱特性,例如,分析图像中像素点的空间分布以及不同光谱波段之间的相互关联。

在高光谱图像(HSI)的恢复领域,研究者们已经开发出多种针对特定噪声干扰的恢复技术。由于HSI的每个光谱波段本质上可以被视为一幅灰度图像,一种常见的恢复策略是利用灰度图像的恢复技术,例如通过字典学习[12]、非局部均值滤波[13]以及加权核范数最小化[14]等方法,对每个波段进行独立恢复。然而,这些方法忽略了波段间的光谱相关性,往往导致恢复效果不尽人意。为了克服这一局限,研究者们开始探索基于三维数据结构的方法,利用空间和光谱域的非局部自相似性[15] (NSS),如利用BM4D [16]算法和非局部张量字典学习[17]技术。这些方法通过在三维空间中寻找相似的局部模式,提高了恢复质量。此外,许多研究工作还利用了空间和光谱维度的分段平滑性,例如通过光谱–空间自适应高光谱总变化(SSAHTV) [18],进一步提升了恢复效果。这些方法通过在空间和光谱维度上应用不同的平滑性约束,有效地处理了图像的局部特性。低秩建模是HSI恢复中的另一种重要方法。例如,基于Tucker分解[19]的表示方法,通过空间近似和光谱降维,对HSI进行有效的压缩和恢复。然而,尽管上述方法在降低高斯噪声方面取得了一定的进展,但在现实世界的应用中,HSI往往同时受到多种噪声的干扰。这就需要更先进的恢复技术,能够同时处理多种类型的噪声,以实现更高质量的HSI恢复。未来的研究可能会集中在开发更为鲁棒的算法,以适应复杂的噪声环境,并提高恢复算法的计算效率和实用性。

近年来,在处理高光谱图像(HSI)时,混合噪声的存在给恢复工作带来了新的挑战。混合噪声通常包括非高斯噪声,如盐和胡椒噪声、条纹噪声以及截止噪声等。针对这一问题,研究者们提出了利用HSI的低秩特性和噪声的稀疏性来构建恢复框架。例如,低秩矩阵[20]恢复框架通过利用HSI在光谱模式上的低秩性,为恢复过程提供了一种有效的数学模型。Peng等人[21]进一步发展了这一框架,他们提出了结合混合加权核范数和L-1范数的方法,旨在同时增强恢复过程中的低秩度和稀疏性。这种方法通过精确地控制噪声的稀疏性,提高了恢复图像的质量。He等人[22]则从另一个角度出发,他们考虑到HSI的空间分段光滑性,提出了全变分(TV)正则化的低秩矩阵分解方法。此外,随着计算资源的增加和算法优化技术的发展,未来的HSI恢复研究可能会更加注重算法的实时性和实用性。研究者们可能会开发出更加高效和鲁棒的算法,以适应不同的应用场景和噪声条件,从而推动高光谱成像技术在环境监测、遥感探测和医学成像等领域的广泛应用。

为了保持高光谱图像(HSI)的全局结构,研究者们提出了基于张量的方法来捕捉HSI的内在张量特性,这些方法通常由不同的张量分解技术来实现。例如,Tucker分解通过考虑在所有三个维度上的对称性,为HSI提供了一种全面的表示方式。Bai [23]等人利用非局部自相似性(NSS)将相似的三维数据块组织成噪声张量,并应用非负Tucker分解来处理图像恢复问题。在另一项研究中,通过结合低Tucker秩模型和空间光谱总变差(SSTV)正则化,提出了一种新方法,该方法不仅利用了全局空间–光谱特性,还增强了对空间信息的利用。Chen [24]等人则进一步发展了这一概念,他们同时考虑了Tucker分解和加权组稀疏性,与以往的全变分方法相比,显著提高了恢复质量。然而,Tucker分解的不平衡矩阵化方案在表征全局相关性方面存在局限性。为了解决这个问题,一些方法将空间光谱总变差正则化整合到低阶张量分解框架中,利用张量核范数(TNN)的低秩性质和SSTV正则化来利用空间和光谱域的分段光滑性。尽管张量奇异值分解(T-SVD)提供了一种描述HSI不同模式相关性的方法,但其在灵活性方面仍有不足,导致恢复性能不是最优。总的来说,基于张量的方法为HSI的恢复提供了一种强大的工具,但仍然需要进一步的研究和改进,以提高其在处理复杂噪声和保持图像全局结构方面的性能。未来的工作可能会集中在开发新的张量分解技术,以及探索如何更有效地结合空间和光谱信息,以实现更高质量的HSI恢复。

为了解决HSI恢复问题,更好的去刻画条带噪声的稀疏性,我们基于嵌入式即插即用(PnP)的正则化的纤维秩约束张量恢复框架提出了新的一种描述条带噪声稀疏性的方法,即采用更好的2-1范数对条带噪声的稀疏性质进行描述。2-1范数更合适对条带噪声其稀疏性质进行描述,而基于PnP的正则化有助于保留原图像精细的细节,并获得更好的恢复结果。这两个构建块是互补的,而不是孤立的和不相关的。更具体地说,本文的贡献有三方面。

首先,我们不使用原有的1范数刻画条带的全局稀疏性质,我们引入了一种新稀疏正则化方法,该方法基于L2-1-范数,采用更好的2-1范数对条带噪声的稀疏性质进行描述。旨在更有效地捕捉在多维空间中不同波段差分图像的共享稀疏模式。相较于传统的方法,我们期望这种新方法能够显著提升恢复条带结果的质量和准确性。

其次,只考虑低秩先验,通常在保留局部细节和去除低秩噪声方面存在限制,如条纹噪声。因此,我们在即插即用框架下还是使用了一个隐式正则化器来克服其限制,它可以灵活地嵌入大量的通用去噪器。

最后,为了有效地解决所提出的模型,我们开发了一种基于交替方向乘子法(ADMM)的算法,将原始问题分解为几个简单的子问题。

2. 相关工作

2.1. 图像噪声稀疏性的刻画方法

在高光谱图像去噪中,条带噪声(stripe noise)通常是由传感器的行间不一致性、电子噪声、光照不均匀或者硬件故障引起的。这种噪声表现为图像中垂直或水平的条纹。处理条带噪声时,选择合适的范数(norm)来刻画噪声至关重要,因为它直接影响到去噪算法的效果和效率。

对于条带噪声稀疏性的刻画通常有L1范数和L2-1范数。L1范数倾向于产生稀疏解,即它能够有效地抑制那些幅度较小的噪声项,使得结果中大部分噪声被设为零,而保留较大幅值的特征。对于高光谱图像中的条带噪声。L1范数常用于稀疏表示和压缩感知中,能够较好地处理非高斯噪声和脉冲噪声。

2-1范数(Group Lasso)是一种组合范数,它在不同组内的系数上施加2范数惩罚,在组之间施加1范数惩罚。这使得算法倾向于完全保留或完全舍弃整个组的系数。当噪声按某种模式分组出现时,如图1所示,2-1范数可以有效识别并抑制这些组,比如条带噪声可能沿着某些特定的行或列形成组。如果条带噪声在高光谱图像中表现为一组连续的像素行或列,2-1范数更合适对其稀疏性质进行描述,因为它能更好地保持图像的块状结构。

2.2. 相关定义定理

定义1 (t-product):t-product介于 X R n 1 * n 2 * n 3 Y R n 2 * n 4 * n 3 ,记 X*Y 是一个尺寸为 n 1 * n 4 * n 3 的张量 Z

Z( m,n,: )= t=1 n 2 X( m,t,: ) X( t,n,: ) (1)

其中“ ”表示两个管的圆形卷积计算。

定义2 (共轭转位): X R n 1 * n 2 * n 3 的共轭转位,记为 X H ,是通过置换 X 的每个额叶切片,然后反转转位的额叶切片2到 n 3 的顺序来构建的。

定义3 (T-SVD):设 X R n 1 * n 2 * n 3 为三阶张量,则 X 可以分解

X=U*D* V H (2)

其中 U R n 1 * n 1 * n 3 X R n 2 * n 2 * n 3 D R n 1 * n 2 * n 3 ,满足 U* U H =V* V H =I D 中的项称为 X 的张量奇异值。

定义4 (张量Tubal秩): X R n 1 * n 2 * n 3 的Tubal秩,记为 ran k t ( X ) ,是分解 X=U*D* V H 的非零管数,即

ran k t ( X )=#{ i:D( i,i,: )0 }= max k rank( X ¯ k ) (3)

其中 X ¯ k 是沿 X 的第三模进行快速傅里叶变换(FFT)计算的。

3. 基于L2-1-范数组稀疏约束张量恢复模型

在本研究中,我们假设图像受到的是独立同分布的加性噪声影响,并基于以下退化模型进行分析和处理:

Y=X+S+N

其中,张量 Y X N S 表示损坏的 HSI 、干净的 HSI 、高斯噪声和条带噪声。

基于这一假设,我们在FRCTRPnP基础上提出了新的新型高光谱图像(HSI)恢复方法,该方法利用张量纤维秩约束来恢复图像的全局结构特征,采用2-1范数刻画条带噪声的全局稀疏性质,并结合基于投影到凸集(PnP)的正则化技术来保持图像的细节。根据前文的讨论,我们对新提出的模型进行了如下构建:

min X,S S 2,1 +λΦ( X ) (4)

s.t. YXS F 2 ε,ran k t [ r 1 , r 2 , r 3 ]

其中, λ 是一个调优参数, [ r 1 , r 2 , r 3 ] X 的纤维秩的上界。 Φ( X ) 是一种利用HSI的某些先验的隐式正则化器,可以从大量的去噪器(如BM3D去噪器和深度学习去噪器)中选择。通过引入辅助变量 F k ( k=1,2,3 ) L ,上式可以重写为:

min X,S, F k S 2,1 +λΦ( L ) s.t. YXS F 2 ε,X=L X= F k ,ran k f k ( F k )[ r 1 , r 2 , r 3 ] (5)

我们采用了拉格朗日乘子法来增强我们的优化问题,并在投影到凸集(PnP)框架下,设计了一种基于交替方向乘子法(ADMM)的算法。这种方法允许我们在解决高光谱图像(HSI)恢复问题时,更有效地处理张量纤维秩约束和细节保留的挑战。

在算法设计中,我们引入了增广拉格朗日函数,这是多变量优化问题中常用的一种技术,它通过结合原始目标函数和约束条件,以及引入的拉格朗日乘子,形成一个单一的优化目标。对于我们的FRCTRPnP模型,增广拉格朗日函数不仅包含了图像恢复的目标,还整合了张量纤维秩的约束,以及PnP框架下的正则化项。我们的增广拉格朗日函数为

l β k ( X, F k ,L,S, P k ) = k=1 3 { X F k , P k + β k 2 X F k F 2 } + S 2,1 + YXS, P 4 + β 4 2 YXS F 2 +λΦ( L )+ XL, P 5 + β 5 2 XL F 2 s.t. ran k f k ( F k )[ r 1 , r 2 , r 3 ]. (6)

其中, P k ( k=1,2,3,4,5 ) 为拉格朗日乘子, β k ( k=1,2,3,4,5 ) 为惩罚参数。

具体来说,这些变量的交替更新如下:

3.1. F子问题求解

F k t+1 = argmin ran k f k ( F k )[ r 1 , r 2 , r 3 ] β k 2 X t F k + P k t β k F 2 (7)

根据定义1

Z=X*Y Z k = X k * Y k

我们使用模 K 置换算子来方便地计算模 K t-product积和模k T-svd。

3.2. L子问题求解

L t+1 = argmin L λΦ( L )+ β 5 2 XL+ P 5 t β 5 F 2 (8)

σ= ( λ β 5 ) 1 2 可以重新写作

pro X Φ ( L t+1 )= argmin L Φ( L )+ 1 2 σ 2 XL+ P 5 t β 5 F 2 (9)

基于PnP框架,正则化 pro X Φ : R n 1* n 2* n 3 R n 1* n 2* n 3 被最先进的去噪器取代,从噪声图像中重建干净图像。在这里,去噪器作为一个隐式的正则化器来表达HSIs的先验,例如,分段平滑度和NSS。

BM3D是一种高效的去噪算法,它通过利用自然图像中的块匹配和三维变换域滤波技术,实现了图像的增强稀疏表示。这种方法的核心在于识别图像中相似的块(或称为“斑块”),并将它们组织成三维数据结构,以便在变换域中进行协同处理。具体来说,在BM3D算法中,相似的图像块首先通过块匹配技术被识别出来,并堆叠成三维数组。随后,这些三维数组被转换到变换域,如离散余弦变换(DCT)或小波变换域,以揭示图像的稀疏特性。在变换域中,BM3D应用硬阈值法或带系数的维纳滤波法来去除噪声。这些滤波技术能够有效地抑制噪声,同时保留图像的重要特征。在滤波过程完成后,通过逆变换将处理后的系数转换回空间域,并聚合所有估计的块以重建整个去噪图像。这种方法不仅能够显著提高图像质量,而且由于其对自然图像稀疏性和非局部自相似性(NSS)的有效利用,BM3D在去噪性能上表现出色。除了优秀的去噪效果,BM3D还因其良好的泛化能力和高效的计算实现而受到青睐。它的算法结构允许灵活地适应不同类型的图像和噪声条件,同时保持计算效率。这些优点使得BM3D成为各种图像处理任务中的首选去噪工具。在我们的FRCTR-PnP框架中,我们选择BM3D作为去噪实例,以展示其在高光谱图像恢复中的潜力。通过将BM3D集成到我们的算法中,我们期望利用其强大的去噪能力来进一步提升HSI的恢复质量。此外,我们还探索了将BM3D与其他正则化技术结合的可能性,以实现更全面的图像恢复效果。通过这种方式,我们的目标是开发出一种既能够保留图像细节,又能够有效去除混合噪声的高光谱图像恢复方法。求解的方法是

L t+1 =BM3D( X t + P 5 t β 5 ,σ ) (10)

其中, σ 是一个与噪声水平相关的参数。

3.3. S子问题求解

S t+1 =argmin S S 2,1 + β 4 2 YXS+ P 4 β 4 F 2 (11)

Y+ P 4 β 4 =C S 的tube fiber封闭解计算如下:

S( i,j,: )={ ( C( i,j,: ) 2 1 β )*C( i,j,: ) C( i,j,: ) 2 ; 1 β < C( i,j,: ) 2 0 (12)

3.4. X子问题求解

X t+1 = k=1 3 β k 2 X F k + P k t β k F 2 + β 4 2 YXS+ P 4 t β 4 F 2 + β 5 2 XL+ P 5 t β 5 F 2 (13)

这是一个最小二乘问题,其解可以精确地计算为

X t+1 = k=1 3 β k ( F k t+1 P k t β k ) k=1 5 β k + β 4 ( YS+ P 4 t β 4 ) k=1 5 β k + β 5 ( XL+ P 5 t β 5 ) k=1 5 β k (14)

3.5. 更新乘数

拉格朗日乘数更新如下:

{ P k t+1 = P k t + β k ( X t+1 F k t+1 ),k=1,2,3 P 4 t+1 = P 4 t + β 4 ( Y X t+1 S t+1 ) P 5 t+1 = P 5 t + β 5 ( X t+1 L t+1 ) (15)

算法具体步骤如算法1所示。

算法1 基于ADMM的求解算法

输入:有噪声的HIS Y 、参数 λ 、纤维等级 [ r 1 , r 2 , r 3 ] 、停止准则,和加速度参数 δ

初始化:t = 0,设置 X 0 , S 0 , L 0 , F k 0 ,( k=1,2,3 ) 和拉格朗日乘子 P k 0 ( k=1,2,3 ) 为零张量,参数 β k ( k=1,2,,5 )

1) 更新 F k t+1

2) 更新 L t+1

3) 更新 S t+1

4) 更新 X t+1

5) 更新拉格朗日乘数;

输出:恢复后的HSI X

4. 数值实验

4.1. 实验的数据集

在仿真实验中,我们使用了两个不同的遥感图像数据集:Indian Pines数据集和GF5_Shanghai数据集。Indian Pines数据集的图像尺寸为145 × 145 × 50,其中50个波段覆盖了从第一个到第五十波段。对于GF5_Shanghai数据集,我们选择了尺寸为300 × 300 × 20的图像。在进行实验之前,所有遥感图像的像素值都被标准化到了0到1的范围内。

在模拟图像退化的过程中,我们采用了一种特定的方法来向图像中添加条纹和高斯噪声,以实现更接近真实情况的模拟。我们首先向图像中添加了均值为0,标准差分别为0.01、0.03和0.05的高斯噪声。接着,在图像的底层引入了周期性和非周期性条纹,以此来创建退化的高光谱图像。这些实验步骤遵循了文献[25]中的条带噪声生成方法。

在条带噪声的生成中,“r”和“I”是两个关键参数。“r”表示图像中条纹区域所占的百分比,而“I”则代表每条条纹线的平均强度,即条纹线像素值的绝对值平均。在我们的实验设置中,"r"被设定为0.5,而“I”则分别取0.3、0.5和0.7的值,以模拟不同强度的条纹线对图像的影响。

在所有实验中,每个波段的像素值都在[0, 1]范围内进行归一化。此外,本文在MATLAB(R2022b)上进行所有实验,使用16GB RAM和Inter (R)核心(TM)CPU i5-12900h@1.60 GHz。

4.2. 实验的指标及设置

在仿真实验中,我们采用了平均峰值信噪比(Mean Peak Signal-to-Noise Ratio, MPSNR)和平均结构相似性(Mean Structural Similarity, MSSIM)作为评价图像恢复效果的定量指标。这两个指标在图像处理和计算机视觉领域极为常用。MPSNR通过计算均方误差来评估恢复图像的质量,而MSSIM则衡量恢复图像与原始参考图像的相似性。MPSNR和MSSIM的得分越高,意味着图像恢复的效果更佳。在展示实验结果时,我们特别将最优结果用加粗字体突出显示。

为了验证我们所提出算法的有效性,我们考虑了以下五种HSI恢复方法进行比较:群稀疏性正则化的方法LRTDGS [24]图,拉普拉斯正则化的FGLR [26]方法,ETPTV方法[27],利用低秩因子分解来捕获光谱相关性的FGSLR [28]方法,基于模式kT-svd的方法3DLogTNN [29]

在仿真实验阶段,我们根据每篇论文中提供的参数范围,对上述算法进行了参数设置,以确保它们在最优状态下运行。此外,我们还对这些参数范围进行了适度扩展,以探索更广泛的参数空间。通过大量仿真实验,我们收集了丰富的参数调整经验。通过这种系统性的方法,我们能够确保我们的算法在与现有技术的比较中展现出其优势和潜在的应用价值。

4.3. 实验结果

我们选取Indian Pines数据集和GF5_Shanghai数据集生成了以下不同类型的噪声进行我们的仿真实验,以验证我们方法去噪的可行性。

表1表2展示的数据是在GF5_Shanghai数据集上的实验结果:表1表2分别是对干净高光谱图像添加周期噪声和非周期噪声的情况下的实验结果。

Table 1. Average index values of GF5_Shanghai dataset with periodic stripes and Gaussian mixture noise removed by different models

1. 不同模型去除具有周期性条纹和高斯混合噪声的GF5_Shanghai数据集的平均指数值

T

addNoise

our

LRTDGS

ETPTV

FGLR

FGSLR

3DLogTNN

G = 0.01

I = 0.3

PSNR

11.473

38.504

36.739

35.719

34.963

31.652

27.914

SSIM

0.053

0.997

0.926

0.899

0.962

0.825

0.68

I = 0.5

PSNR

11.473

38.209

36.76

35.805

34.919

32.989

27.89

SSIM

0.054

0.99

0.926

0.902

0.961

0.886

0.673

I = 0.7

PSNR

8.501

36.143

33.587

20.565

34.987

29.52

28.193

SSIM

0.024

0.938

0.904

0.382

0.963

0.787

0.688

G = 0.03

I = 0.3

PSNR

11.432

37.461

35.1

34.533

34.435

32.063

26.535

SSIM

0.051

0.961

0.896

0.875

0.951

0.86

0.605

I = 0.5

PSNR

11.425

37.054

34.47

34.561

34.094

31.313

25.902

SSIM

0.05

0.957

0.883

0.878

0.944

0.833

0.572

I = 0.7

PSNR

8.48

36.609

33.168

33.644

34.327

29.4

26.909

SSIM

0.023

0.948

0.886

0.884

0.949

0.763

0.616

G = 0.05

I = 0.3

PSNR

11.307

35.571

32.475

32.774

32.097

30.593

23.209

SSIM

0.051

0.886

0.839

0.839

0.881

0.798

0.437

I = 0.5

PSNR

11.383

35.648

34.257

33.967

33.846

31.641

25.537

SSIM

0.054

0.887

0.883

0.865

0.937

0.85

0.555

I = 0.7

PSNR

8.452

31.453

30.983

31.612

33.649

28.791

25.386

SSIM

0.023

0.637

0.857

0.857

0.934

0.77

0.546

Table 2. Average index values of GF5_Shanghai dataset with non-periodic stripes and Gaussian mixture noise removed by different models

2. 不同模型去除具有非周期性条纹和高斯混合噪声的GF5_Shanghai数据集的平均指数值

NoT

addNoise

our

LRTDGS

ETPTV

FGLR

FGSLR

3DLogTNN

G = 0.01

I = 0.3

PSNR

11.173

37.229

36.202

35.589

34.87

32.324

27.066

SSIM

0.096

0.967

0.932

0.897

0.96

0.875

0.647

I = 0.5

PSNR

9.946

36.215

33.372

35.456

34.898

31.23

26.917

SSIM

0.056

0.952

0.924

0.944

0.942

0.855

0.655

I = 0.7

PSNR

8.202

34.772

28.129

32.659

34.202

26.132

25.398

SSIM

0.024

0.963

0.795

0.89

0.959

0.702

0.602

G = 0.03

I = 0.3

PSNR

11.131

36.403

35.341

34.7

34.193

31.636

25.64

SSIM

0.087

0.951

0.921

0.88

0.947

0.854

0.578

I = 0.5

PSNR

9.913

35.321

33.622

34.339

34.006

30.449

24.886

SSIM

0.051

0.907

0.893

0.877

0.943

0.818

0.545

I = 0.7

PSNR

8.18

33.246

27.256

29.626

33.848

25.504

24.821

SSIM

0.024

0.912

0.732

0.855

0.942

0.679

0.544

G = 0.05

I = 0.3

PSNR

11.045

36.089

33.284

33.354

32.813

30.661

23.925

SSIM

0.083

0.932

0.884

0.854

0.909

0.825

0.478

I = 0.5

PSNR

9.84

34.369

31.269

33.185

32.445

29.141

23.277

SSIM

0.05

0.868

0.85

0.853

0.893

0.763

0.446

I = 0.7

PSNR

8.15

33.347

27.064

30.694

33.053

26.204

23.891

SSIM

0.023

0.969

0.724

0.858

0.926

0.677

0.503

表中数据清楚地说明,在较低的噪声水平时,各个对比算法在GF5_Shanghai图像效果上均表现良好。随着噪声水平的升高,3DLogTNN算法和FGSLR算法的图像效果表现逐渐变差得较为明显。我们的方法在大多数情况之下计算出的评价指标优于其他方法,而LRTDGS方法在大多数情况下获得次优结果。上述实验结果说明我们所提出的方法在消除条纹和高斯的混合噪声方面有着较好的性能,所提出的方法可以很好地恢复了高光谱图像的结构特征。

尽管在模拟实验中存在许多退化的情况,但我们从每个实验中选择了一个去除周期条纹、高斯噪声和非周期条纹、高斯噪声的情况来进行比较。在GF5_Shanghai数据集仿真过程中,各种方法的可视化结果如图1图2所示,我们选取仿真实验数据集中第三十个波段进行可视化的展示。

在这些图中,(a)显示了基础图像,(b)显示了观察到的带有周期性条纹和非周期性条纹的GF5_Shanghai图像,而(c)~(h)展示了使用各种方法去混合噪声的比较结果。为了便于视觉比较,我们展示图像去噪后放大细节图。观察(c)~(h)表明,这些方法可以有效地去除所有可见的条纹。

(a) (b) (c) (d)

(e) (f) (g) (h)

Figure 1. GF5-Shanghaie dataset (Band 30) with Gaussian noise removed and periodic striped result images. (a) Clean images (300 × 300 × 30); (b) Noisy images (G = 0.03, I = 0.7, r = 0.5); (c) Our; (d) LRTDGS; (e) ETPTV; (f) FGLR; (g) FGSLR; (h) 3DLogTNN

1. GF5-Shanghaie数据集(Band 30)去除高斯噪声、周期条带结果图像。(a) 干净图像(300 ×300 × 30);(b) 噪声图像(G = 0.03, I = 0.7, r = 0.5);(c) Our;(d) LRTDGS;(e) ETPTV;(f) FGLR;(g) FGSLR;(h) 3DLogTNN

(a) (b) (c) (d)

(e) (f) (g) (h)

Figure 2. GF5-Shanghaie dataset (Band 30) with Gaussian noise removed and Non-periodic striped result images. (a) Clean images (300 × 300 × 30); (b) Noisy images (G = 0.03, I = 0.7, r = 0.5); (c) Our; (d) LRTDGS; (e) ETPTV; (f) FGLR; (g) FGSLR; (h) 3DLogTNN

2. GF5_Shanghaie数据集(Band 30)去除高斯噪声、非周期条带结果图像。(a) 干净图像(300 ×300 × 30);(b) 噪声图像(G = 0.03, I = 0.7, r = 0.5);(c) Our;(d) LRTDGS;(e) ETPTV;(f) FGLR;(g) FGSLR;(h) 3DLogTNN

然而,在条带噪声为周期噪声时3DLogTNN方法复原的图存在拉伸而FGSLR的复原图中存在残留噪声,两者都造成了图像的失真。观察条带噪声为非周期噪声时3DLogTNN、FGSLR方法复原的图像可以看出明显的条带残留,3DLogTNN的复原图中存在残留噪声,因此对于非周期性条纹的去除FGSLR和3DLogTNN方法的效果明显不如周期性条纹去除的效果好。而相比之下,其余方法的恢复结果相对令人满意,显示出的放大图像没有可见的条纹和高斯噪声。本文提出的方法在周期条带和非周期条带的去除实验中都能将噪声去除,图像的恢复能力相对较强并能很好地保持图像的细节信息。

表3表4为不同算法对Indian Pines数据集添加周期和非周期的条带噪声和高斯噪声去噪后的PSNR值,并将最佳数据用粗体标注。通过表中数据,我们可以看出,我们所展示的算法在不同数据集上的去噪效果都优于其他方法,并且相对于FGLR方法,我们的算法在去噪结果上并不存在较大的波动,展示出我们算法的一个稳定性。

图3(a)~(h)图4(a)~(h)各个细节展示图展示了不同算法的在添加噪声情况为(G = 0.03、I = 0.7、r = 0.5)时图像第30波段的去噪可视化结果,从图片中我们能够观察到3DLogTNN不能图像细节,图像还存在大量的高斯噪声。相比于其他的算法,本文提出的方法在一些边缘细节和空间伪影方面恢复的效果都是比较好的。

Table 3. Average index values of Indian pines dataset with periodic stripes and Gaussian mixture noise removed by different models

3. 不同模型去除具有周期性条纹和高斯混合噪声的Indian pines数据集的平均指数值

T

addNoise

our

LRTDGS

ETPTV

FGLR

FGSLR

3DLogTNN

G = 0.01

I = 0.3

PSNR

11.534

38.675

36.249

37.926

29.16

33.741

28.462

SSIM

0.18

0.98

0.954

0.975

0.942

0.922

0.687

I = 0.5

PSNR

11.539

39.041

35.767

37.32

29.07

37.272

29.03

SSIM

0.182

0.984

0.982

0.984

0.943

0.933

0.709

I = 0.7

PSNR

8.564

38.571

32.525

31.094

25.759

28.915

28.584

SSIM

0.111

0.982

0.958

0.963

0.88

0.918

0.692

G = 0.03

I = 0.3

PSNR

11.482

37.338

36.132

36.361

29.205

36.294

26.384

SSIM

0.179

0.965

0.979

0.98

0.932

0.921

0.61

I = 0.5

PSNR

11.483

37.303

34.803

36.432

28.258

36.019

26.697

SSIM

0.177

0.965

0.987

0.981

0.906

0.919

0.622

I = 0.7

PSNR

8.538

37.289

30.543

30.575

24.013

28.371

26.551

SSIM

0.113

0.966

0.775

0.946

0.763

0.913

0.617

G = 0.05

I = 0.3

PSNR

11.418

36.127

35.41

35.519

28.948

35.805

25.368

SSIM

0.18

0.942

0.989

0.976

0.922

0.915

0.576

I = 0.5

PSNR

11.4

36.164

34.438

33.575

27.21

31.746

25.428

SSIM

0.174

0.944

0.948

0.971

0.906

0.896

0.578

G = 0.05

I = 0.7

PSNR

8.512

37.212

32.776

29.511

24.146

30.386

26.612

SSIM

0.113

0.963

0.959

0.954

0.714

0.925

0.619

Table 4. Average index values of Indian pines dataset with non-periodic stripes and Gaussian mixture noise removed by different models

4. 不同模型去除具有非周期性条纹和高斯混合噪声的Indian pines数据集的平均指数值

T

addNoise

our

LRTDGS

ETPTV

FGLR

FGSLR

3DLogTNN

G = 0.01

I = 0.3

PSNR

11.134

38.761

35.347

36.297

27.441

37.456

27.423

SSIM

0.213

0.982

0.995

0.982

0.93

0.935

0.692

I = 0.5

PSNR

9.949

38.839

33.39

31.357

26.283

37.15

27.353

SSIM

0.169

0.983

0.967

0.97

0.905

0.939

0.691

I = 0.7

PSNR

8.202

38.395

28.614

30.536

22.417

28.989

25.769

SSIM

0.12

0.98

0.802

0.956

0.782

0.919

0.675

G = 0.03

I = 0.3

PSNR

11.082

37.363

35.244

35.674

29.067

36.564

25.191

SSIM

0.215

0.963

0.988

0.979

0.924

0.922

0.61

I = 0.5

PSNR

9.904

36.693

32.889

32.878

26.307

33.352

25.32

SSIM

0.169

0.957

0.931

0.961

0.886

0.919

0.592

I = 0.7

PSNR

8.181

38.087

30.623

27.567

23.943

28.647

27.15

SSIM

0.116

0.976

0.863

0.93

0.826

0.91

0.663

G = 0.05

I = 0.3

PSNR

11.007

35.88

33.593

33.686

28.433

35.6

24.227

SSIM

0.205

0.937

0.963

0.972

0.904

0.914

0.554

I = 0.5

PSNR

9.883

36.057

33.922

32.414

26.634

35.688

24.113

SSIM

0.17

0.942

0.963

0.963

0.891

0.927

0.571

I = 0.7

PSNR

8.15

35.994

28.704

27.717

22.299

28.504

23.842

SSIM

0.1156

0.944

0.796

0.926

0.773

0.915

0.564

(a) (b) (c) (d)

(e) (f) (g) (h)

Figure 3. Indian pines dataset (Band 30) with Gaussian noise removed and periodic striped result images. (a) Clean images (300 × 300 × 30); (b) Noisy images (G = 0.03, I = 0.7, r = 0.5); (c) Our; (d) LRTDGS; (e) ETPTV; (f) FGLR; (g) FGSLR; (h) 3DLogTNN

3. Indian Pines数据集(Band 30)去除高斯噪声、周期条带结果图像。(a) 干净图像(300 ×300 × 30);(b) 噪声图像(G = 0.03, I = 0.7, r = 0.5);(c) Our;(d) LRTDGS;(e) ETPTV;(f) FGLR;(g) FGSLR;(h) 3DLogTNN

(a) (b) (c) (d)

(e) (f) (g) (h)

Figure 4. Indian Pines dataset (Band 30) with Gaussian noise removed and non-periodic striped result images. (a) Clean images (300 × 300 × 30); (b) Noisy images (G = 0.03, I = 0.7, r = 0.5); (c) Our; (d) LRTDGS; (e) ETPTV; (f) FGLR; (g) FGSLR; (h) 3DLogTNN

4. Indian Pines数据集(Band 30)去除高斯噪声、非周期条带结果图像。(a) 干净图像(300 ×300 × 30);(b) 噪声图像(G = 0.03, I = 0.7, r = 0.5);(c) Our;(d) LRTDGS;(e) ETPTV;(f) FGLR;(g) FGSLR;(h) 3DLogTNN

5. 结论

本研究改良了一个基于嵌入式即插即用(PnP)的正则化的纤维秩约束张量恢复框架,采用更好的2-1范数对条带噪声的稀疏性质进行描述。2-1范数更合适对条带噪声其稀疏性质进行描述,而基于PnP的正则化有助于保留原图像精细的细节,并获得更好的恢复结果。旨在有效去除图像中的高斯噪声和条带噪声。我们的方法特别考虑了条带噪声的组稀疏性来指导去噪过程。

在实验部分,我们使用了多个遥感图像数据集进行仿真实验,包括Indian Pines、GF5_Shanghai,实验结果表明,我们的方法在视觉上和定量上都优于现有的去噪技术。通过平均峰值信噪比(MPSNR)和平均结构相似度(MSSIM)等评价指标,验证了所提方法在不同噪声水平和模式下的优越性能。

总而言之,本研究通过深入的理论分析和广泛的实验验证,证明了所提方法在去除高光谱图像噪声方面的有效性和实用性,为高光谱图像处理和分析提供了新的技术支持。

6. 展望

本文针对高光谱遥感图像中存在的噪声,提出基于2-1范数嵌入式即插即用(PnP)的正则化的纤维秩约束张量恢复框架,但通过实验部分也体现出了一些不足,还需要进一步改善,具体如下:

(1) 在子问题求解过程中,奇异值分解(SVD)对于矩阵的处理和求解花费了很多时间,可以寻找方便快速的矩阵近似函数对矩阵分解进行优化,也可结合参考子空间投影的方法,加快算法的优化时间,提升运行速度,这一点对于高光谱图像去噪也是非常重要的。

(2) 实验中可以看出参数的设置对最终的去噪效果有着最直接的影响,而在实际操作中,通过实验来选取有效的参数是一种可行方式,但却会花费较多的时间。考虑从模型本身含有的判别项出发,寻求其中可能具备的联系以简化模型,进而减少涉及到的参数,也具备一定的可行性。

(3) 可以将本文提出的约束模型引入深度学习算法中,依赖数据的驱动以及其强大的特征学习能力,将混合先验知识结合到神经网络中,从而克服传统图像的先验局限性,通过端到端的网络训练更新,对高光谱图像进行去噪。这是一项非常值得研究的内容。

致 谢

感谢我最好的朋友江传富对我完成这篇文章的鼓励与支持。

参考文献

[1] Li, D., Qiu, X., Zhu, Z. and Liu, Y. (2018). Criminal Investigation Image Classification Based on Spatial CNN Features and ELM. 2018 10th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC), Hangzhou, 25-26 August 2018, 294-298.
https://doi.org/10.1109/ihmsc.2018.10173
[2] Hou, B., Yang, C., Ren, B. and Jiao, L. (2018) Decomposition-Feature-Iterative-Clustering-Based Superpixel Segmentation for PolSAR Image Classification. IEEE Geoscience and Remote Sensing Letters, 15, 1239-1243.
https://doi.org/10.1109/lgrs.2018.2833492
[3] Dai, D. and Yang, W. (2011) Satellite Image Classification via Two-Layer Sparse Coding with Biased Image Representation. IEEE Geoscience and Remote Sensing Letters, 8, 173-176.
https://doi.org/10.1109/lgrs.2010.2055033
[4] Srinivas, U., Mousavi, H.S., Monga, V., Hattel, A. and Jayarao, B. (2014) Simultaneous Sparsity Model for Histopathological Image Representation and Classification. IEEE Transactions on Medical Imaging, 33, 1163-1179.
https://doi.org/10.1109/tmi.2014.2306173
[5] Ma, J., Li, C., Ma, Y. and Wang, Z. (2016). Hyperspectral Image Denoising Based on Low-Rank Representation and Superpixel Segmentation. 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, 25-28 September 2016, 3086-3090.
https://doi.org/10.1109/icip.2016.7532927
[6] Bioucas-Dias, J.M., Plaza, A., Dobigeon, N., Parente, M., Du, Q., Gader, P., et al. (2012) Hyperspectral Unmixing Overview: Geometrical, Statistical, and Sparse Regression-Based Approaches. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 5, 354-379.
https://doi.org/10.1109/jstars.2012.2194696
[7] Fu, X., Ma, W., Chan, T. and Bioucas-Dias, J.M. (2015) Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search Are Related. IEEE Journal of Selected Topics in Signal Processing, 9, 1128-1141.
https://doi.org/10.1109/jstsp.2015.2410763
[8] Fu, X., Ma, W., Bioucas-Dias, J.M. and Chan, T. (2016) Semiblind Hyperspectral Unmixing in the Presence of Spectral Library Mismatches. IEEE Transactions on Geoscience and Remote Sensing, 54, 5171-5184.
https://doi.org/10.1109/tgrs.2016.2557340
[9] He, W., Zhang, H. and Zhang, L. (2017) Total Variation Regularized Reweighted Sparse Nonnegative Matrix Factorization for Hyperspectral Unmixing. IEEE Transactions on Geoscience and Remote Sensing, 55, 3909-3921.
https://doi.org/10.1109/tgrs.2017.2683719
[10] Hong, D., Yokoya, N., Chanussot, J. and Zhu, X.X. (2019) An Augmented Linear Mixing Model to Address Spectral Variability for Hyperspectral Unmixing. IEEE Transactions on Image Processing, 28, 1923-1938.
https://doi.org/10.1109/tip.2018.2878958
[11] Yao, J., Meng, D., Zhao, Q., Cao, W. and Xu, Z. (2019) Nonconvex-Sparsity and Nonlocal-Smoothness-Based Blind Hyperspectral Unmixing. IEEE Transactions on Image Processing, 28, 2991-3006.
https://doi.org/10.1109/tip.2019.2893068
[12] Sofuoglu, S.E. and Aviyente, S. (2018). Sparse Discriminative Tensor Dictionary Learning for Object Classification. 2018 IEEE Global Conference on Signal and Information Processing (GlobalSIP), Anaheim, 26-28 November 2018, 1341-1345.
https://doi.org/10.1109/globalsip.2018.8646565
[13] Joshi, N., Jain, S. and Agarwal, A. (2016). An Improved Approach for Denoising MRI Using Non Local Means Filter. 2016 2nd International Conference on Next Generation Computing Technologies (NGCT), Dehradun, 14-16 October 2016, 650-653.
https://doi.org/10.1109/ngct.2016.7877492
[14] Liu, X. (2023) Simple MKKM: Simple Multiple Kernel K-Means. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45, 5174-5186.
https://doi.org/10.1109/tpami.2022.3198638
[15] Zhuang, L. and Bioucas-Dias, J.M. (2018) Fast Hyperspectral Image Denoising and Inpainting Based on Low-Rank and Sparse Representations. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11, 730-742.
https://doi.org/10.1109/jstars.2018.2796570
[16] Daneshmand, P.G. and Rabbani, H. (2024) Tensor Ring Decomposition Guided Dictionary Learning for OCT Image Denoising. IEEE Transactions on Medical Imaging, 43, 2547-2562.
https://doi.org/10.1109/tmi.2024.3369176
[17] Chen, Q., She, H. and Du, Y.P. (2021) Whole Brain Myelin Water Mapping in One Minute Using Tensor Dictionary Learning with Low-Rank Plus Sparse Regularization. IEEE Transactions on Medical Imaging, 40, 1253-1266.
https://doi.org/10.1109/tmi.2021.3051349
[18] Yuan, Y., Zheng, X. and Lu, X. (2015) Spectral-Spatial Kernel Regularized for Hyperspectral Image Denoising. IEEE Transactions on Geoscience and Remote Sensing, 53, 3815-3832.
https://doi.org/10.1109/tgrs.2014.2385082
[19] Fonal, K. and Zdunek, R. (2019) Fast Recursive Nonnegative Standard and Hierarchical Tucker Decomposition. IEEE Signal Processing Letters, 26, 1265-1269.
https://doi.org/10.1109/lsp.2019.2926845
[20] Shi, Y., Du, S. and Wang, W. (2021). Robust Low-Rank and Sparse Tensor Decomposition for Low-Rank Tensor Completion. 2021 33rd Chinese Control and Decision Conference (CCDC), Kunming, 22-24 May 2021, 7138-7143.
https://doi.org/10.1109/ccdc52312.2021.9601608
[21] Peng, Y., Suo, J., Dai, Q. and Xu, W. (2014) Reweighted Low-Rank Matrix Recovery and Its Application in Image Restoration. IEEE Transactions on Cybernetics, 44, 2418-2430.
https://doi.org/10.1109/tcyb.2014.2307854
[22] Ji, H., Liu, C., Shen, Z. and Xu, Y. (2010). Robust Video Denoising Using Low Rank Matrix Completion. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, 13-18 June 2010, 1791-1798.
https://doi.org/10.1109/cvpr.2010.5539849
[23] Bai, X., Xu, F., Zhou, L., Xing, Y., Bai, L. and Zhou, J. (2018) Nonlocal Similarity Based Nonnegative Tucker Decomposition for Hyperspectral Image Denoising. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11, 701-712.
https://doi.org/10.1109/jstars.2018.2791718
[24] Chen, Y., He, W., Yokoya, N. and Huang, T. (2020) Hyperspectral Image Restoration Using Weighted Group Sparsity-Regularized Low-Rank Tensor Decomposition. IEEE Transactions on Cybernetics, 50, 3556-3570.
https://doi.org/10.1109/tcyb.2019.2936042
[25] Chen, Y., Huang, T. and Zhao, X. (2018) Destriping of Multispectral Remote Sensing Image Using Low-Rank Tensor Decomposition. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11, 4950-4967.
https://doi.org/10.1109/jstars.2018.2877722
[26] Su, X., Zhang, Z. and Yang, F. (2023) Fast Hyperspectral Image Denoising and Destriping Method Based on Graph Laplacian Regularization. IEEE Transactions on Geoscience and Remote Sensing, 61, Article ID: 5511214.
https://doi.org/10.1109/tgrs.2023.3272906
[27] Chen, Y., Cao, W., Pang, L., Peng, J. and Cao, X. (2023) Hyperspectral Image Denoising via Texture-Preserved Total Variation Regularizer. IEEE Transactions on Geoscience and Remote Sensing, 61, Article ID: 5516114.
https://doi.org/10.1109/tgrs.2023.3292518
[28] Chen, Y., Huang, T., He, W., Zhao, X., Zhang, H. and Zeng, J. (2022) Hyperspectral Image Denoising Using Factor Group Sparsity-Regularized Nonconvex Low-Rank Approximation. IEEE Transactions on Geoscience and Remote Sensing, 60, Article ID: 5515916.
https://doi.org/10.1109/tgrs.2021.3110769
[29] Liu, H., Su, T., Du, X., Zhai, Y. and Zhao, J. (2023) Nl3dlogtnn: An Effective Hyperspectral Image Denoising Method Combined Non-Local Self-Similarity and Low-Fibered-Rank Regularization. IEEE Access, 11, 91082-91099.
https://doi.org/10.1109/access.2023.3304005