基于双通道混合模型的小样本高光谱图像分类

Small Sample Hyperspectral Image Classification Based on Dual-Channel Mixed Model

摘要: 高光谱遥感图像中含有丰富的地表类别信息，为了在高光谱图像分类中更好提取和表达光谱与空间的精细特征以及特征间的交互信息，提出了一种双通道混合模型的图像分类方法。由于遥感图像的样本标定工作难度大、成本高，为了在小样本情况下提高光谱分类效果，运用一种样本的扩充方法；利用主成分分析(PCA)对高维光谱向量进行降维，以消除数据的冗余，为深度学习做好数据准备；为了提高深度学习网络的学习能力，又提出了一种双通道混合模型，该模型采用二阶连接方式(下一层与其前两层连接)，有利于特征信息的传递；再通过双通道的设计，有利于植入不同的卷积技术，提高网络的灵活性。最后，在三个广泛使用的高光谱数据集上进行数值实验，在小样本情况下，分类精度分别达到了96.55%、98.77%、99.31%。结果表明，文中提出的算法有效地提高了精度。

Abstract: Hyperspectral remote sensing image contains rich information of land surface classification, and the rapidly increasing development of machine learning makes it an effective method to obtain land surface classification. Due to the difficulty and high cost of sample calibration of remote sensing images, in order to improve the spectral classification effect in the case of small samples, a sample expansion method is proposed; Principal component analysis (PCA) is used to reduce the dimension of high-dimensional spectral vector to eliminate data redundancy and prepare data for deep learning. In order to improve the learning ability of the deep learning network, a second-order two-channel hybrid model is proposed, in which the features of the current layer and the previous layer determine the features of the next layer together, which is conducive to the transmission of feature information. The design of dual channel is also good for the implantation of different convolution techniques, which can improve the flexibility of the network. Finally, numerical experiments are carried out on three widely used hyperspectral datasets, in which the classification accuracy achieves 96.55%, 98.77% and 99.31% respectively in the case of small samples. The results show that the proposed algorithm can effectively improve the accuracy.

1. 引言

随着社会的研究发展，高光谱遥感分类技术上升，更广泛地应用在各个领域当中。为了满足各个方面的需求，研究高光谱遥感分类显得尤为重要。与此同时，神经网络的快速发展，使得卷积神经网络(CNN)研究取得了很大的进步，CNN在许多需要视觉信息处理的应用中，都表现出了非常有前途的性能。CNN在高光谱遥感分类方面也表现了很大的进展。

Li等人 [1] 引入了基于像素块对的数据增强技术，将深度学习推广到HSI分类。Song等人 [2] 提出了一种深度特征融合网络，Cheng等人 [3] 使用CNN模型进行HSI分类。基于2D-CNN [4] 的HSI分类模型通过自动提取高光谱图像的特征，可以获得相当好的分类结果，但会有一定程度的空间或光谱信息丢失。Chen等人使用3D-CNN的深度特征提取进行HSI分类 [5]。Zhong等人提出了频谱空间残差网络的残差块使用单位映射连接其他每个三维卷积层 [6]。高光谱数据上应用不同尺度、不同频率的三维散射小波滤波器 [7] 提取光谱空间特征。

而Fang等人 [8] 引入了深度哈希神经网络来提取HSI特征。Feng基于CNN的高光谱图像多层空间光谱特征融合和样本增强的局部和非局部约束分析 [9]。Dong等人结合深度学习、提出了一种基于深度学习的空–谱特征提取分类算法 [10]。为了更好地利用HSI的光谱信息，Fang等人提出了在三维网络中引入光谱注意机制，增强光谱特征的识别能力 [11]。RoyDd等 [12] 提出了一个端到端的光谱空间压缩和残差学习框架，通过抑制无用信息来促进分类基于特征映射中存在的模式的特征映射提高精度。Safari等人结合不同的CNN从多个尺度学习空间–光谱特征 [13]。Swalpa等提出一种三维二维混合卷积网络(HybridSN)，在连续的三维卷积层后使用二维卷积层进一步提取出空谱特征，通过实验验证了混合卷积网络在高光谱分类的潜力 [14]。

Feng等 [15] 使用不同数量的训练样本进行了大量的实验，发现当样本量减少时，CNN模型的退化很常见。为了解决小样本问题，Chen等人使用堆叠自动编码器(SAE)模型对未标记的样本进行无监督的预训练，然后对已标记的样本进行监督微调。Lu等人 [16] 使用自适应方法训练从一个分布采样的数据，然后应用到另一个分布采样的数据。此外，Wei等人 [17] 提出了一种基于深度立方对的卷积神经网络(DCPN)，利用立方对将局部谱引入到HSI分类中。

为了进一步提升小样本高光谱分类精度，提出了改进的混合模型，通过数据扩充和网络的改进，实现网络对高光谱数据中复杂特征更高效的学习。与HybirdSN等模型在三个公开数据集上的对比试验结果表明，提出的算法有效地提高了分类精度。

2. 基本原理

2.1. 数据降维

光谱遥感图像具备光谱分辨率高，波段数目多等特点。容易造成数据冗余的特点，影响后续算法的运算效率和求解效果，为此，采用主成分分析(PCA)的对数据进行降维。

PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

设原数据集为X，n维特征的协方差矩阵为 $C={\left(c_{i,j}\right)}_{n\times n}$，显然C是正定矩阵，设其特征值为 ${\lambda }_{\text{1}}\ge {\lambda }_{\text{2}}\ge \cdots \ge {\lambda }_n\ge 0$， $\epsilon$ 为累计贡献率，k的确定如下：

$\{\begin{array}{l}k=\arg \underset{t}{\min }{\displaystyle \underset{i=1}{\overset{t}{\sum }}{\lambda }_i}\\ \text{st}.{\displaystyle \underset{i=1}{\overset{t}{\sum }}{\lambda }_i}\ge \epsilon {\displaystyle \underset{i=1}{\overset{n}{\sum }}{\lambda }_i}\end{array}$ (1)

其中贡献率 $l_i=\frac{{\lambda }_i}{{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\lambda }_i}}$ 为第i个主成分的贡献率， $\epsilon$ 为累计贡献率。

将 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_k$ 的特征向量作为行向量组成特征向量矩阵P， $Y=PX$，这样Y就是对进行降维后的k维数据集。

2.2. 数据扩充方法

由于HSI标记成本高，在具体应用中对样本扩充具有重要的意义。在遥感图像深度学习中，样本是以某点为中心的一个领域，其标签是该点的类别，于是如图1(a)所示的黄色部分任意角度对应的区域块均可作为一个样本。基于此，运用了通过图像旋转扩充样本的算法，确保CNN网络的学习精度。

具体方法是将图1(a)绕 $\left(x_0,y_0\right)$ 旋转 $\theta$ 变成图1(b)，再从图1(b)中截取以 $\left(x_0,y_0\right)$ 为中心的区块 $G_{\theta }\left(x_0,y_0\right)$，其标签为 $\left(x_0,y_0\right)$ 的地物类别，这样就得到了一个扩充样本，取不同的 $\theta$ 值就可以产生多个扩充样本。

Figure 1. Image expansion data rotation diagram

图1. 图像扩充数据旋转示意图

2.3. SOTC-HM网络结构

提出了一种基于卷积神经网络的高光谱遥感图像分类方法，该分类方法是通过一种双通道混合模型进行实现，该模型同时引入了三维卷积核(3D-CNN)和二维卷积核(2D-CNN)，3D-CNN具有提取三维信息的能力，其中两个维度为空间维，另外一维为光谱，他不仅可以提取空间的特征，还能有效提取光谱信息的特征。而3D-CNN参数多，导致训练时间增加，于是提出了3D-CNN和2D-CNN融合的模型，有效地抑制了参数增加导致的负面影响。为了更好地利用光谱的浅层特征，在网络传递上设计了二阶模型，让当前层特征和前层特征共同确定下一层的特征。最后还增加了一个网络分支，利用双通道的设计提高网络的灵活性，同时使网络具有更好的反向传播能力。综合上述设计步骤，构建了一种双通道混合模型(Second Order Two Channel Hybrid Model, SOTC-HM)如图2所示，该模型可以充分利用光谱和空间特征，增加其网络的稳定性，以实现最大可能的精度。

基于残差块思想设计的双通道混合模型，使用降维后的图像块作为整个网络的输入，首先使用3D-CNN进行空谱联合特征学习，然后使用2D-CNN进行空间信息增强。网络结构中，总共包括6层，有3个3D卷积层，1个2D卷积层，2个全连接层，其中全连接层包含Dropout层防止过拟合，最后Softmax层作为分类，最后通过增加这样的一个网络分支，可以使得网络的反向传播更新参数更有效率，达到更好的训练效果。

Figure 2. Schematic diagram of second order dual channel hybrid model

图2. 二阶双通道混合模型示意图

设计的结构大致可以分为三部分，如下图所示：

Figure 3. Network structure diagram

图3. 网络结构分图

其中图3(a)是网络的前三层，其网络可以表示为： $X_2=F_2\left(X_0,X_1\right)$ ； $X_3=F_3\left(X_2,X_1\right)$。

图3(b)将3D卷积后的特征重组为2D卷积形式的特征，即当前特征为 $\left(None,B,C,M,N\right)$ 重组为 $\left(None,B,C,M\ast N\right)$ [14]，运用不同的2D-CNN形成两个通道，有助于学习不同的特征。其中B为该特征图的宽，C为该特征图的高，M为光谱图像的通道数，N为该层卷积核的个数。

图3(c)是最后两个通道特征的拼接。

设计的网络结构利用反复利用浅层特征，增强了网络的学习能力，减少了一些特征的丢失，并且双通道的设计，是反向传播更加灵活，因此该网络结构训练学习具有较好的稳定性。

3. 硬件搭载

硬件搭载如表1所示：

Table 1. Experimental simulation platform construction

表1. 实验仿真平台搭建

4. 实验与结果分析

4.1. 数据集

数据集样本采用了Indian Pines、University of Pavia和Salinas三个高光谱遥感影像数据集来测试和检验。

4.2. 结果分析

首先对原始数据进行降维，对降维后的数据以某点为中心的一个领域进行样本构造，获得样本数据，对样本总出选出训练样本(Indian Pines、University of Pavia和Salinas分别占比5%，1%，1%)，利用数据扩充方法对训练样本样本进行扩充，保证每个类别中都含有充足的训练数据，然后利用提出的SOTC-HM算法进行深度学习，实现遥感图像分类。流程图如图4所示：

Figure 4. Flow chart of deep learning

图4. 深度学习流程图

首先对数据进行特征提取，并使用PCA方法降低数据维度。在不发生信息冗余的前提下，为充分利用有效数据，当累计贡献率达到 $\epsilon =99\%$ 以上，对Indian Pines数据降到30个维度、Salinas和University of Pavia降到15个维度。

由于Indian Pines的标定样本总量较Salinas和University of Pavia少，在保证三种数据集的训练样本数目相近的情况下，并且训练样本包含所各数据集的类别，分别选取上述三种数据集样本总数的5%、1%、1%作为训练样本。

采用三种常用指标定量衡量模型分类效果，即总体精度(Overall Accuracy, OA)、平均精度(Average Accuracy, AA)和Kappa系数。

$\text{OA}=\frac{{\displaystyle \underset{i=1}{\overset{M}{\sum }}T{P}_i}}{{\displaystyle \underset{i=1}{\overset{M}{\sum }}\left(T{P}_i+F{N}_i\right)}}$ (2)

$\text{AA}=\frac{1}{M}\cdot {\displaystyle \underset{i=1}{\overset{M}{\sum }}\frac{T{P}_i}{T{P}_i+F{N}_i}}$ (3)

$\text{Kappa}=\frac{\text{OA}-\text{Pe}}{1-\text{Pe}},\text{Pe}=\frac{{\displaystyle \underset{i=1}{\overset{M}{\sum }}\left(T{P}_i+F{N}_i\right)\left(T{P}_i+F{P}_i\right)}}{N*N}$ (4)

其中 $T{P}_i$ 代表准确识别为第i类别的样本个数， $F{N}_i$ 代表第i类别的样本没有准确识别出的个数，M代表样本中所有类别个数， $F{P}_i$ 代表不属于第i个类别但被识别为第i类别的个数，N代表所有测试样本的个数。

对于扩充之后的数据和原来的数据在相同的网络下进行训练，Indian Pines数据，采用15 × 15 × 30的分割块，选用5%的数据集的进行训练，训练效果如表2所示：

Table 2. Indian Pines data training effect comparison table

表2. Indian Pines数据训练效果对比表

在University of Pavia数据中，采用15*15*15的分割块，选用1%的数据集的进行训练，训练效果如表3所示：

Table 3. University of Pavia data training effect comparison table

表3. University of Pavia数据训练效果对比表

由表2、表3所示，数据扩充方法有显著效果，明显地提高了分类精度，以下采用数据扩充将训练集扩充一倍。

该实验采用的方法为2D-CNN [3]、3D-CNN [4]、HybridSN和提出的混合模型SOTC-HM进行对比。其中2D-CNN、3D-CNN模型网络结构是将HybridSN模型中卷积核维数分别改为2D卷积核、3D卷积核、卷积核大小相同，卷积层次相同。

选取Indian Pines、Salinas和University of Pavia数据集样本总数的5%、1%、1%作为训练样本，采用数据扩充的方法对训练数据进行扩充，在相同的条件下，用提出的混合模型SOTC-HM和较经典的模型进行对比。三个数据集每一个地物种类精度分别为图5、图6、图7，横坐标表示该数据集的地物种类序号，纵坐标表示该种类的分类精度，各数据集的OA、AA、Kappa系数如表4、表5、表6。

从表4当中可以看到，在Indian Pines数据当中，提出的混合模型相对于其他的模型分类精度整体高于90%，具有更好地稳定性。从表5、表6可以看出，提出的混合模型在各类别当中几乎整体高于其他模型的分类精度。

Figure 5. Indian Pines comparison of data accuracy

图5. Indian Pines数据各类精度对比

Figure 6. University of Pavia comparison of data accuracy

图6. University of Pavia数据各类精度对比

Figure 7. Salinas comparison of data accuracy

图7. Salinas数据各类精度对比

Indian Pines有16类，University of Pavia有9类，Salinas有16类。根据已上图可以看到，提出的SOTC-HM算法相比于其他算法在小样本上具有更大的优势，具有更好地稳定性。

Table 4. Comparison of classical network accuracy of Indian pins data

表4. Indian Pines数据经典网络精度对比

Table 5. Comparison of classical network accuracy of University of Pavia data

表5. University of Pavia数据经典网络精度对比

Table 6. Comparison of classical network accuracy of Salinas data

表6. Salinas数据经典网络精度对比

图8~10为实验中Indian Pines、Salinas、University of Pavia三个数据集依次使用各个模型得到的分类结果图。

(a) (b) (c) (d) (e)

Figure 8. Classification results of Indian Pines: (a) Ground truth; (b) 2D-CNN; (c) 3D-CN; (d) HybridSN; (e) SOTC-HM

图8. Indian Pines的分类结果图：(a) Ground truth; (b) 2D-CNN; (c) 3D-CNN; (d) HybridSN; (e) SOTC-HM

(a) (b) (c) (d) (e)

Figure 9. Classification results of PaviaU: (a) Ground truth; (b) 2D-CNN; (c) 3D-CNN; (d) HybridSN; (e) SOTC-HM

图9. PaviaU的分类结果图：(a) Ground truth；(b) 2D-CNN；(c) 3D-CNN；(d) HybridSN；(e) SOTC-HM

(a) (b) (c) (d) (e)

Figure 10. Classification results of Salinas: (a) Ground truth; (b) 2D-CNN; (c) 3D-CNN; (d) HybridSN; (e) SOTC-HM

图10. Salinas的分类结果图：(a) Ground truth；(b) 2D-CNN；(c) 3D-CNN；(d) HybridSN；(e) SOTC-HM

从图5~7的分类图可以看出，提出的网络各类的分类精度明显好于其他经典网络，各类精度都较稳定。从图8~10的分类图可以看出，而提出的卷积网络，分类图噪声较少，分类结果明显好于其他网络。

表4~6展示的结果图和分类效果图比较吻合。2D-CNN分类精度较低，表现出二维卷积在探索深度空谱特征能力方面的不足。3D-CNN相对于2D-CNN表明了三维卷积在探索深层光谱特征的优势。混合模型HybridSN结合了前两个模型的优点。相比于前几个模型，提出的SOTC-HM综合来看表现最好，在Indian Pines、University of Pavia、Salinas三个数据集上OA分别比HybridSN提高了2.1978%、2.6458%、2.0415%，表明算法具有较高的分类精度，拥有更好地提取特征的能力。

5. 结论

针对小样本高光谱数据，为充分发挥高光谱有效空间和光谱特征的价值，提出了一种SOTC-HM融合模型，且为了提高网络的反向传播的灵活性，提出双通道结构。通过Indian Pines、Pavia、University of Pavia、Salinas数据集的实验，可以得到以下结论：

相比较于2D-CNN、3D-CNN等方法，提出的融合模型由于同时利用了空–谱联合的互补信息和反向传播的灵活性，因此在总体分类精度(OA)、平均分类精度(AA)和Kappa系数3种评价指标上都有更加优异的表现。

在小样本的数据下，提出的基于双通道混合模型，在训练样本分类中，能够更好地挖掘光谱空间特征训练结果，具有较好的适应性和鲁棒特性。由于3D-CNN的局限性在于参数量大，故今后对3D-CNN的网络进行轻量化的改进有待更进一步的研究。