融合相关系数和超像素联合稀疏表示的高光谱图像分类

Hyperspectral Image Classification Based on the Combination of Correlation Coefficient and Super-Pixel Sparse Representation

摘要: 高光谱图像含有丰富的光谱和空间特征，在传统方法中多使用高光谱图像的光谱特征而忽略其空间特征。联合稀疏表示解决了基于表示方法中未使用空间信息的问题，但存在对噪声点敏感和空间信息利用不足的问题。为了解决这个问题，本文中提出了考虑像素间相关性和空间领域信息的高光谱图像分类方法，该方法首先使用熵率分割将图像划分成不同大小的超像素区域。然后计算测试样本与训练样本间的相关系数，并基于超像素区域进行联合稀疏表示，获得稀疏系数。最后根据最小重构残差和相关系数对测试样本进行决策融合分类。为了验证所提方法的有效性，本文使用基准高光谱数据Indian Pines进行实验。实验结果表明本文提出的方法有效提高了高光谱图像的分类精度。

Abstract: Hyperspectral images are rich in spectral and spatial features. In traditional methods, the spectral features of hyperspectral images are often used while the spatial features are ignored. Joint sparse representation solves the problem of not using spatial information in the representation method, but it is sensitive to noise points and insufficient use of spatial information. In order to solve this problem, this paper proposes a hyperspectral image classification method which considers the correlation between pixels and spatial domain information. The method firstly uses entropy rate segmentation to divide the image into different sizes of super-pixel regions. Then, the correlation coefficient between the test sample and the training sample was calculated, and the sparse coeffi-cient was obtained by joint sparse representation based on the super-pixel region. Finally, ac-cording to the minimum reconstruction residual and correlation coefficient, the test samples are classified by decision fusion. To verify the effectiveness of the proposed method, Indian Pines, benchmark hyperspectral data, was used in the experiment. Experimental results show that the proposed method can effectively improve the classification accuracy of hyperspectral images.

1. 引言

高光谱图像(Hyperspectral Image, HSI)是高光谱遥感利用很窄且连续的电子波波段对地物持续遥感成像所得。相比于传统的多光谱遥感，高光谱遥感具有更丰富的光谱和空间信息。这使其在精细农业 [1] [2] [3] [4]、地质勘测 [5]、环境监测 [6] 等方面应用广泛。

在已有的研究中已经开发了许多用于高光谱图像分类的分类器，例如支持向量机(Support Vector Machine, SVM) [7]，稀疏表示分类(Sparse Represent Classification, SRC) [8] 等。在使用SVM对HSI进行分类时，只使用了HSI的光谱信息，未利用图像的空间信息，因此会出现分类效果不佳的问题。基于稀疏表示分类方法可以在提取光谱特征的同时完成测试样本的分类，在图像处理方面应用广泛 [8] [9] [10]。稀疏表示最早在人脸识别领域中得到发展 [11]，其分类原理是近似最小重构残差原则，即 $\arg \min {\Vert y-X\alpha \Vert }_2,\text{s}\text{.t}{\Vert \alpha \Vert }_0\le M$ [9]。由于0-范数存在求解困难等问题，所以Zhang等人提取出了1-范数代替0-范数进行近似求解，即 $\arg \min {\Vert y-X\alpha \Vert }_2,\text{s}\text{.t}{\Vert \alpha \Vert }_1\le \tau$，大大减少了计算量 [12]。但应用稀疏表示对HSI图像进行分类时，并没有考虑空间信息，空间信息的加入可以有效提高HSI图像的分类精度 [13]。于是Chen等提出了联合稀疏表示(Joint Sparse Represent Classification, JSRC)，将测试样本的领域信息进行利用，有效提高了分类精度 [14]。后续有学者在JSRC的基础上，对训练样本形成的字典进行优化 [15]，取得了优于JSRC的分类精度。但是在使用JSRC时，其相邻区域选择的是固定大小W × W的窗口，这与地物分布呈不规则区域的现象不符。Zhang等在JSRC的基础上提出了基于超像素的联合稀疏表示模型(Superpixel-based joint sparse representation, SP_JSRC) [13]，克服了相邻区域内存在多个类别像素会影响分类结果的问题。

但在使用熵率对图像进行超像素分割时，由于地物覆盖的离散性，同质区域内总会存在噪声点。为了有效减小噪声对模型的影响，提高模型的鲁棒性。本文进一步提出了融合相关系数和超像素联合稀疏表示的图像分类(Fusion of correlation coefficient and superpixel joint sparse representation, FCC_SJSRC)模型，在考虑像素领域信息的同时考虑类内样本之间的相关性，以解决地物分布离散的问题。该方法首先应用熵率分割(Entropy Rate Segmentation, ERS)将图像划分成不同大小的超像素区域。然后计算测试样本与训练样本间的相关系数，并基于超像素区域进行联合稀疏表示，获得稀疏系数。最后应用最小重构残差和相关系数进行决策融合分类，并引入参数 $\lambda$ 平衡SPJSRC和CC。

本文主要结构安排如下。在第2节主要介绍了超像素分割、联合稀疏表示和相关系数方法的相关理论。第3节介绍了本文拟议的FCC_SJSRC方法。第4节通过实验和分析验证本文所提方法的有效性。最后，第5节给出结论与展望。

2. 相关理论

2.1. 超像素分割

常用的超像素分割算法主要有两种，RES和SLIC，ERS因其计算简单，简单易操作的特点，广泛用于超像素分割。ERS是一种基于图的分割方法 [16]，将图像最开始映射为 $G=\left(V,E\right)$，V表示所有图像中每一个像素点对应的顶点集，E表示V对应的边缘集。相邻边缘的权重由相邻像素点的光谱相似性来度量。超像素分割的目的是找到K个连接的子图形成新的子图 $G=\left(V,E^{\prime }\right)$，其中 $E^{\prime }\subseteq E$ 是选定的边缘集。超像素分割的目标函数可定义如下 [13]：

$\underset{E^{\prime }}{\max }H\left(E^{\prime }\right)+\lambda B\left(E^{\prime }\right)$ (1)

其中， $H\left(E^{\prime }\right)$ 为熵率函数， $B\left(E^{\prime }\right)$ 为平衡项， $\lambda \ge 0$ 为平衡项权重。

2.2. 联合稀疏表示

在高光谱图像中，来自同一类别的像素位于同一低维子空间中，因此对于任意像素都可以用来自同一类的少量像素线性表示 [14]。这为稀疏表示用于高光谱图像分类提供了理论基础。假设高光谱图像中总共有C个类别，在第i个类别中选择 $N_i$ 个样本作为训练样本，并将这 $N_i$ 个样本用于形成过完备的字典 $D_i\in R^{B\times N_i}$ (B表示光谱波段数量)，则对于第i类的任一样本 $x\in R^B$，可以通过以下等式重建 [14]：

$x=D_i\cdot {\alpha }_i$ (2)

其中 ${\alpha }_i$ 表示像素x相对于字典 $D_i$ 的稀疏系数。

若x的类别未知，就需要一个包含所有类别的过完备字典来表示像素x，即 $D=\left[D_1,D_2,\cdots ,D_i,\cdots ,D_C\right]\in R^{B\times N}$，其中 $N={\displaystyle \sum N_j},j=1,2,\cdots ,C$。因此，x可以重构如下：

$x=D\cdot \alpha$ (3)

其中 $\alpha =\left[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_i,\cdots ,{\alpha }_C\right]\in R^N$ 是x相对D的稀疏系数。上述问题可以转化为求解以下最优化问题 [14]：

$\min {\Vert \alpha \Vert }_0$ s.t. $x=D\cdot \alpha$ (4)

其中 ${\Vert \cdot \Vert }_0$ 表示 $\alpha$ 中的非零元素个数。上式是一个NP-hard问题，可以通过正交匹配追踪(Orthogonal Matching Pursuit, OMP)算法求解 [17]。获得稀疏表示稀疏后，x的类别可通过以下方式获得 [14]：

$class\left(x\right)=\arg \min {\Vert x-D_i\cdot {\alpha }_i\Vert }_F,i=1,2,\cdots ,C$ (5)

以上稀疏表示中只使用了像素的光谱特征，忽略了空间特征。单一使用光谱特征会出现分类精度低，以及对噪声敏感的问题 [18]。为了解决这个问题提出了联合稀疏表示模型，同时考虑像素的光谱信息和空间信息。对于像素x，定义其近领域为 $X\in R^{B\times K}$，K表示x的近领域像素数量。则x的联合稀疏分类表示为 [19]：

$X=D\cdot A$ (6)

其中 $A=\left[A_1,A_2,\cdots ,A_i,\cdots ,A_C\right]\in R^{N\times K}$ 表示X相对于D的稀疏系数， $A_i\in R^{N_i\times K}$ 表示X相对于 $D_i$ 的稀疏系数。为了解得A，可以通过求解以下问题 [19]：

$\min {\Vert A\Vert }_{row,0}$ s.t. $X=D\cdot A$ (7)

其中 ${\Vert .\Vert }_{row,0}$ 表示非零行的数量。以上优化问题同样也是NP-hard问题，可以用OMP求解。获得A后，x的类别可通过以下式(8)获得 [19]：

$class\left(x\right)=\arg \min {\Vert X-D_i\cdot A_i\Vert }_F,i=1,2,\cdots ,C$ (8)

2.3. 相关系数

相关系数可以有效判断两个变量是否相关。不同像素之间的相关系数可以判定两个像素是否属于同一个类别。对于任意两个像素 $x=\left[x_1,x_2,\cdots ,x_b\right]$， $y=\left[y_1,y_2,\cdots ,y_b\right]$，其相关性度量如下 [20]：

$coe\left(x,y\right)=\frac{{\displaystyle {\sum }_{i=1}^d\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}}{\sqrt{{\displaystyle {\sum }_{i=1}^d{\left(x_i-\bar{x}\right)}^2{\displaystyle {\sum }_{i=1}^d{\left(y_i-\bar{y}\right)}^2}}}}$ (9)

其中 $\bar{x}=\frac{1}{d}{\displaystyle {\sum }_{i=1}^d{x}_i}$， $\bar{y}=\frac{1}{d}{\displaystyle {\sum }_{i=1}^d{y}_i}$， $-1\le coe\left(x,y\right)\le 1$， $\left|coe\left(x,y\right)\right|$ 越接近1，表示 $x,y$ 的相关性越强。

3. 融合相关系数和超像素联合稀疏表示的高光谱图像分类

3.1. 超像素联合稀疏表示

在传统的联合稀疏表示模型中，其空间近领域X通常选择W × W固定区域。然而，在真实图像中地物的分布具有不规则性，固定大小的近领域中可能存在多个类别地物，影响分类结果。而基于超像素分割的联合稀疏表示(SP_JSRC)方法 [21]，将图像划分为不同大小的同质区域，在同质区域内使用联合稀疏表示方法可以去除部分噪声的影响，提高模型的鲁棒性。该方法首先使用PCA提取HSI的第一主成分，然后对第一主成分图像使用ERS分割，分割成不规则的同质区域 $S=\left[S_1,S_2,\cdots ,S_L\right]$，L表示超像素块数。则基于超像素的联合稀疏表示为：

$\min {\Vert A\Vert }_{row,0}$ s.t. $X_s=D\cdot A$ (10)

则测试样本x的类别，可通过下式(11)获得：

$class\left(x\right)=\arg \min {\Vert X_s-D_i\cdot A_i\Vert }_F,i=1,2,\cdots ,C$ (11)

同质区域的划分可以消除JSRC中固定大小区域内含有多个类别的影响，但是由于同类样本分布具有离散性的特点，基于超像素的联合稀疏表示模型不能完全克服噪声的影响，所以进一步考虑类内样本之间的相关性。提出融合相关系数和超像素联合稀疏表示的模型，减少噪声点影响，提高模型的鲁棒性。

3.2. 融合相关系数和超像素联合稀疏表示的高光谱图像分类

为了进一步减少噪声的影响，我们将类内之间的相关性融合到超像素联合稀疏表示模型中。对于每一测试像素x，计算其与每一类训练样本之间的相关性，并按降序排列，取前N个相关系数的均值作为测试样本与该类的训练样本的相关性，即：

$coe\left(x,D_i\right)=\frac{1}{N}{\displaystyle \underset{n=1}{\overset{N}{\sum }}coe\left(x,d_n^i\right)}$ (12)

其中 $d_n^i$ 表示第i类的第n个训练样本。

将CC与SPJSRC进行决策融合，并引入正则化参数 $\lambda$，则测试样本的标签可由下式确定：

$class\left(x\right)=\arg \min \left({\Vert X_s-D_i\cdot A_i\Vert }_F+\lambda \left(1-coe\left(x,D_i\right)\right)\right),i=1,2,\cdots ,C$ (13)

4. 实验与分析

4.1. 实验数据集

Indianpines数据集：由AVIRIS传感器在印第安纳州西北部的印第安松试验场采集，包含145 × 145像素和224个光谱反射波，波长范围为400~2500 nm。去除20条含有噪声和水汽的波段，本文使用剩余的200个波段用于分类研究。其中包含16个类别，大部分为农作物。

4.2. 分类评价指标

为了客观评价模型的性能，本文选择四种通用的分类性能评价指标，分别是总体精度(Overall Accuracy, OA)、类别分类精度(Classification Accuraryof Per Class, CA)、类别平均精度(Average Accuracy, AA)和Kappa系数。

4.3. 实验结果

在本文中选择了SVM、SRC、JSRC、SP_JSRC四种方法与本文所提出的方法FCC_SJSRC进行对比实验，实验结果如表1所示：

Table 1. Classification results of different methods (%)

表1. 不同方法分类结果(%)

从表1可以看出，本文所提出的FCC_SJSRC总体分类精度为97.01%，相比于SVM，SRC，JSRC，SP_JSRC，本文的总体进度分别高出17.97%，28.04%，1.94%，1.23%。其分类结果图如图1所示：

(a) (b) (c) (d) (e) (f)

Figure 1. Classification results (A) standard classification result; (B) SVM; (C) SRC; (D) JSRC; (E) SP_JSRC; (F) FCC_SJSRC

图1. 分类结果(A) 标准分类结果；(B) SVM；(C) SRC；(D) JSRC；(E) SP_JSRC；(F) FCC_SJSRC

5. 总结

在本文中，我们提出了融合相关系数和超像素联合稀疏表示的高光谱图像分类方法，该方法首先利用超像素分割算法将图像分割成不同大小的同质区域，然后基于同质区域进行联合稀疏表示，获得表示系数。最后计算测试样本与每类训练样本的相关系数和重构残差，并进行决策融合。从实验结果表明，该方法可以有效减少噪声点的影响，提高模型的鲁棒性，并能取得优于比较方法的分类精度。但是在实验中发现，本文算法在运算时间方面优势较弱，为进一步减少模型的计算时间，可以考虑进行字典学习，选择更具代表性的训练样本训练模型。