基于深度学习的遥感图像分类研究现状

Research Status of Remote Sensing Image Classification Based on Deep Learning

摘要: 遥感图像包含丰富的光谱和空间信息，现已广泛用于农业、林业、灾害评估等众多领域。对遥感图像进行分类是各领域进行后续研究的基础，但因遥感图像数据高维、小样本等特点给分类精度带来了挑战。近年来，在计算机视觉领域取得显著成功的深度学习已被广泛应用于遥感图像分类中。本文首先介绍了遥感图像分类的背景及目前存在的问题，然后对遥感图像分类领域中应用较为广泛的深度学习经典模型堆叠自编码器(Stacked Autoencoder, SAE)、深度置信网络(Deep Belief Networks, DBN)、卷积神经网络(Convolutional Neural Networks, CNN)、生成对抗网络(Generative Adversarial Networks, GAN)做了简要概述，接下来介绍了SAE、DBN、CNN和GAN在遥感图像分类领域中的应用发展状况，并对这些经典深度模型作了对比分析，最后对遥感图像分类的未来研究方向进行了展望。

Abstract: Remote sensing images contain rich spectral and spatial information, and have been widely used in many fields such as agriculture, forestry, and disaster assessment. The classification of remote sensing images is the foundation for subsequent research in various fields, but the high dimensionality and limited sample size of remote sensing image data present challenges to classification accuracy. In recent years, deep learning, which has achieved remarkable success in the field of computer vision, has been widely applied in remote sensing image classification. This paper first introduces the background and current problems of remote sensing image classification, and then provides a brief overview of the widely used deep learning classic models Stacked Autoencoder (SAE), Deep Belief Networks (DBN), Convolutional Neural Networks (CNN), and Generative Adversarial Networks (GAN) in the field of remote sensing image classification. Next, it introduces the development status of SAE, DBN, CNN, and GAN in the field of remote sensing image classification, and provides a comparative analysis of these classic deep learning models. Finally, it looks forward to the future research directions of remote sensing image classification.

1. 引言

遥感是通过不与物体、区域或现象接触的设备来获取调查数据，并对数据进行分析得到物体、区域或现象有关信息的科学与技术[1]。遥感图像作为对地观测所获得信息的产物，是遥感探测地物目标的信息载体，对其进行分析和处理，可以获取有用的地表信息，现已广泛应用于农业、林业、灾害评估等领域。遥感技术的不断发展，增强了遥感图像描述地物特征的能力，同时也增加了遥感图像数据分析和处理的难度。其中对遥感图像进行分类是各领域进行后续研究的基础，对后续研究内容的质量和效率起着关键性作用。遥感图像分类就是利用计算机技术对遥感图像数据进行分析和处理，选择特征，将影像中每个像元或区域按照某种规则或算法划分为不同的地物类别，以提取有价值的地物信息。遥感图像数据具有数据量庞大、数据不平衡、高维多尺度、小样本等特点，这些都对提高遥感图像的分类精度带来了难度。

最初，人们多采用统计学方法对遥感图像进行分类，但分类精度不高。随着计算机技术的不断发展，研究者们将机器学习算法逐渐应用到遥感图像分类中。常用的机器学习算法包括支持向量机、K均值聚类、稀疏表示、随机森林、决策树和主成分分析法等。虽然基于机器学习的方法相比于统计学方法，大大提高了遥感图像的分类精度，但只有在强图像特征的表达下，才能获得更好的分类精度。同时由于机器学习是浅层网络结构，表示能力受限，无法充分利用遥感图像的光谱信息和空间信息，以致于分类精度到达了一个瓶颈期。随着深度学习在计算机视觉领域的成功应用，研究者们将其引入到遥感图像分类中并取得了比机器学习更好的分类精度。

2. 典型深度学习模型介绍

深度学习来源于人工神经网络，是机器学习的一个分支领域。深度学习的核心是神经网络架构，通过建立多个层次的神经网络来表示和学习数据特征的一种方法。它可以处理复杂、大规模的数据集，在计算机视觉和自然语言处理等领域取得了显著成功。典型的深度学习模型有堆叠自编码器(Stacked Autoencoder, SAE)、深度置信网络(Deep Belief Networks, DBN)、卷积神经网络(Convolutional Neural Networks, CNN)、生成对抗网络(Generative Adversarial Networks, GAN)等。

2.1. 堆叠自编码器(SAE)

堆叠自编码器是由多个自编码器串联组成的神经网络。自编码器包含输入层、隐藏层和输出层。从输入层到隐藏层的映射称为编码，从隐藏层到输出层的映射称为解码。对于样本X经过编码之后得到Y，Y经过解码之后得到Z，若X与Z近似，那么Y就是X的抽象表达，因此自动编码器可以用于特征提取。

2.2. 深度置信网络(DBN)

深度置信网络是一个概率生成模型，由多个受限玻尔兹曼机串联组成，通过一层一层地对受限玻尔兹曼机进行单独的训练来完成整个网络的训练过程。受限玻尔兹曼机是包含可见层(也称输入层)和隐藏层，可见层与隐藏层之间是相互连接的，但两者内部节点之间均无连接。

2.3. 卷积神经网络(CNN)

卷积神经网络通常由输入层、卷积层、池化层、全连接层和输出层组成。其中卷积层用于提取不同层次的特征，池化层用于减小特征图的尺寸和参数数量，全连接层用于将提取到的特征映射到具体的类别或标签上。通过增加卷积层和池化层，可以构造更深层次的网络，全连接层也可以采用多层结构。

2.4. 生成对抗网络(GAN)

生成对抗网络是一种生成模型，包含一个生成网络和一个判别网络，通过两个网络的相互博弈来训练模型。生成网络是从训练样本中学习所对应的概率分布，然后生成更多的“伪训练样本”，而判别网络需要判断一个输入是训练样本还是“伪训练样本”。当判别网络无法区分是训练样本还是“伪训练样本”时，则训练达到最优。

除上述经典模型外，还有循环神经网络(Recurrent Neural Networks, RNN)、旨在解决CNN因池化操作导致重要信息丢失的胶囊网络(Caps Net)和基于注意力机制的Transformer等模型也得到了广泛应用。

3. 基于深度学习的遥感图像分类方法

3.1. SAE在遥感图像分类中的应用

鉴于深度学习在计算机视觉领域的成功，研究者们将其引入到遥感图像分类领域中。Chen等人首次将深度学习的方法引入到高光谱图像分类中，通过堆叠自编码器对高光谱遥感图像进行分类，实验表明，基于深度学习的方法对提高高光谱遥感图像的分类精度存在巨大潜力[2]。由于SAE在高光谱图像分类中的结果比较理想，因此研究者也提出了一些改进的SAE模型以获得更好的分类效果。Tao等人提出堆叠稀疏自动编码器遥感图像分类方法，将提取的稀疏光谱特征和多尺度空间特征导入线性支持向量机中进行分类，实验表明当训练样本有限时对于高光谱图像分类效果最佳[3]。Mughees等人提出的基于堆叠自动编码器和基于自适应边界调整分割的高光谱图像分类方法，能显著提高遥感图像的分类精度，但同时也存在小空间结构常被忽略、不被识别的问题[4]。Zhang等人采用递归自动编码器(RAE)和基于邻近像素的加权方法来提取空间和光谱特征[5]。为解决训练样本不足容易导致SAE过拟合的问题，Feng等人提出了一种新型边缘自适应空间正则化的堆叠自动编码器(ARMSAE) [6]。Zhou等人提出具有协同训练的半监督堆叠自动编码器(Semi-SAE)的高光谱遥感图像分类方法[7]。石延新等人针对CNN需要大量标注数据，而标注数据获取成本高的问题，提出了一种无监督3D卷积自编码器(3D-CAE)的高光谱图像分类模型[8]。Ghasrodashti等人提出了一种基于多尺度特征优化最小化的扩展自动编码器(MSF-EAEMM)方法，该方法同时考虑了光谱信息和空间信息，提高了遥感图像整体分类精度[9]。Bai等人提出两级多维卷积堆叠自动编码器(TMC-SAE)模型，该模型由一维自动编码器和混合自动编码器组成，前者用于降低光谱维数，后者用于提取光谱空间特征。该模型可有效地提取深层特征，并在少量训练样本的情况下保持较高的分类精度[10]。

3.2. DBN在遥感图像分类中的应用

Chen等人将深度置信网络引入到高光谱遥感图像分类中来提取特征[11]。由于DBN属于无监督学习，能够更好地提取遥感图像中的特征，随后，越来越多的基于DBN模型的方法不断被提出。Zhong等人为提高深度置信网络的性能，在深度置信网络的预训练和微调过程中引入多样性促进先验知识，提出了多样化DBN模型，提高了DBN在高光谱图像表示和分类方面的性能[12] [13]。接着，Zhong等人利用DBN和条件随机场(Conditional Random Field, CRF)的优势，提出基于DBN和CRF (DBN-CRF)的混合模型，该模型将高光谱图像的深层表示与背景信息相结合，提高了高光谱图像的分类精度[14]。Ghassemi等人提出基于支持向量机和DBN的高光谱图像分类方法，该方法首先将光谱特征和空间特征叠加，利用DBN对特征进行融合，再用支持向量机进行分类，实验表明，该方法可获得较高的分类精度[15]。Mughees等人为解决因降维而导致光谱信息丢失的问题，提出一种光谱自适应分段DBN (SAS-DBN)的分类方法，通过将原始光谱波段划分为若干的相关光谱波段组，再对每个波段组使用DBN提取特征，从而降低了计算复杂度，得到了更好的特征提取结果，提高了分类精度[16]。Chen等人提出了一种新的基于共轭梯度更新和以像素中心谱块特征的深度置信网络高光谱遥感图像分类方法。该方法将提取的光谱特征和以像素为中心的谱块特征作为输入向量，再使用共轭梯度算法和2范数计算更新变量，并在反向传播步骤中更新参数。实验表明，与经典的DBN模型相比，该方法具有更高的分类精度[17]。Li等人提出基于流形的多DBN方法以获取高光谱遥感图像的深层流形特征。该方法通过构造一个多DBN结构来提取包含在各种土地覆盖中的深层抽象特征。实验结果表明，该方法有效地提取了判别特征，显著提高了高光谱数据的分类精度[18]。Subba Reddy等人提出基于蛇蜜獾优化(SHBO)的U-Net图像分割和基于分数蛇蜜獾优化(FSHBO)的DBN高光谱图像分类方法。该方法首先将通过SHBO算法训练的U-Net图像进行分割，再利用FSHBO算法优化DBN权重来完成高光谱遥感图像分类。实验表明，在分类器中引入各种混合优化算法可以进一步提高遥感图像的分类精度[19]。

3.3. CNN在遥感图像分类中的应用

在基于深度学习方法的遥感图像分类的发展过程中，卷积神经网络因其强大的特征提取能力和共享权值，成为了遥感图像分类的主流方法。Hu等人第一次将多层卷积神经网络应用于高光谱遥感图像分类，采用含五个权重层的一维卷积神经网络(1D-CNN)提取光谱信息进行分类[20]。Yue等人先对高光谱遥感图像数据做降维处理，然后使用二维卷积神经网络(2D-CNN)提取空间特征对来进行分类[21]。Chen等人提出了三维卷积神经网络(3D-CNN)来提取高光谱图像的光谱–空间特征[22]。因为高光谱遥感图像数据本身是三维的立方体数据结构，通过使用1D-CNN提取光谱特征进行分类，忽略了空间上下文信息；通过使用2D-CNN提取空间特征进行分类，需事先对图像进行降维操作，会造成光谱信息丢失；通过使用3D-CNN提取光谱–空间信息进行分类，虽然综合考虑了光谱特征和空间特征，但存在参数多，时间复杂度高的问题。针对上述问题，结合高光谱图像自身特点，研究者们对CNN进行了改进。李冠东等人提出了基于双卷积池化结构的3D-CNN高光谱遥感图像分类方法。双卷积池化结构主要解决小样本、模型深度平衡的问题。该模型采用端到端的方式进行训练，不需要对高光谱遥感图像数据做预处理或后处理[23]。Xu等人为解决传统的3D CNN提取高光谱遥感图像光谱空间特征参数过多的问题，提出了一种具有通道和空间关注度的多尺度Octave 3D CNN分类方法，该方法设计了不同大小的3D CNN卷积核来提取不同尺度的光谱空间特征，使用Octave 3D CNN代替传统的3D CNN将特征分解为高频特征和低频特征，以减少空间冗余和扩大感受野来提高分类精度[24]。陈亨等人为解决3D-CNN计算成本过大，时间复杂度高的问题，提出了一种分解式三维卷积神经网络(Dec-3D-CNN)的高光谱遥感图像分类方法。该模型将一次三维卷积运算分解为一次二维卷积运算和两次一维卷积运算，同样采用端到端的方式训练，无需对高光谱遥感图像做降维处理[25]。魏祥坡等人提出一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法。该方法使用2D-CNN提取深层空间特征，同时使用1D-CNN提取深层光谱特征，最后将光谱特征和空间特征在连接两个CNN模型的全连接层进行融合来分类[26]。刘金香等人将3D-CNN、2D-CNN、1D-CNN相融合提出了3D-2D-1D CNN融合算法，该模型首先使用3D-CNN提取光谱–空间特征，然后将输出的信息使用2D-CNN提取空间特征，最后再将输出的信息使用1D-CNN提取光谱特征。实验证明，该融合模型相较于3D-CNN分类精度更高，更节省计算资源与时间[27]。刘翠连等人提出了一种基于混合CNN的高光谱遥感图像分类方法。该模型使用双分支结构用于提取特征，第一个分支使用3D-CNN和2D-CNN相融合提取空间特征，第二个分支使用3D-CNN提取光谱–空间特征，最后将两个分支所提取的特征信息进行多尺度融合，能有效利用光谱信息和空间信息，减少信息损失，从而提高分类的准确率[28]。针对基于CNN的遥感图像分类方法在不同区域之间无法建立全局信息的长距离依赖关系而导致分类准确率不高的问题，陈辉等人将Transformer与CNN融合，提出了一种基于轻量级卷积Transformer的遥感图像分类方法[29]。高峰等人提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。该模型包含基于Transformer的特征融合模块和多尺度动态3D卷积模块。Transformer特征融合模块解决多源遥感图像特征不一致的问题；动态3D-CNN解决当前静态提取特征方式缺乏对于不同类别地物的适用性问题[30]。金传等人为解决高分辨率遥感图像类内差异大、类间差异小导致分类难的问题，提出了将Transformer与卷积神经网络(CNN)相融合的分类方法。该模型是在CNN提取图像特征信息时向通道中嵌入空间位置注意力机制来提取感兴趣的特征区域，然后利用Transformer编码器对感兴趣区域赋予较大的权重，以重点关注显著性区域和显著性特征来提高分类准确率[31]。刘国庆等人针对高光谱图像不同地物之间的尺度差异性问题而导致的多尺度目标信息提取能力有限、参数量大等问题，提出一种改进的多尺度混合卷积模型(MH-CNN)的分类方法。该方法通过多尺度混合卷积提取空间特征和光谱特征，并嵌入空间重建模块来降低空间冗余，优化分类精度[32]。

3.4. GAN在遥感图像分类中的应用

Zhu等人开始将生成对抗网络应用到高光谱遥感图像分类中，提出了基于光谱的1D-GAN和基于光谱–空间的3D-GAN两种分类框架[33]。为充分考虑高光谱遥感图像的光谱空间特征来提高分类精度，后续研究对GAN进行了改进。Zhong等人将生成对抗网络与传统的条件随机场相结合提出了一种半监督GANCRF框架[34]。典型的GAN在对抗训练过程中不能学习生成器中的标签知识，为此Wang等人提出由分类器、类条件生成器和鉴别器组成的Triple GAN，并结合Canps Net，提出了Caps-Triple GAN框架用于高光谱图像分类[35]。Feng等人提出基于协作学习和注意力机制的GAN (CA-GAN)框架，该框架由基于联合空间–光谱硬注意力模块的生成器、基于卷积长短期记忆网络的判别器以及基于协作和竞争学习的CA-GAN分类器组成，提高了生成样本的质量，取得了更好的高光谱图像分类结果[36]。Xue将生成对抗网络和胶囊网络相结合，提出了一种基于辅助生成对抗胶囊网络(AU-Caps-GAN)。该方法使用3D CNN作为生成器，使用3D Caps Net作为判别器，并同时使用生成样本和标注样本来训练判别器，有效提高了模型泛化能力和分类性能[37]。Wang等人提出了一种双通道光谱–空间融合的胶囊生成对抗网络(Dc Caps GAN)。该模型将1-D-Caps GAN和2-D-Caps GAN分别作为光谱分类器和光谱–空间分类器，设计了光谱生成器和光谱–空间生成器用于生成和提取光谱–空间特征，设计了基于Caps Nets的光谱判别器和光谱–空间判别器，可充分利用空间的上下文信息，提高分类效率和准确性。实验表明该模型在分类精度方面表现优异，但是计算成本高[38]。Yu等人受视频分类中的双流架构技术的启发，提出了基于改进Wasserstein生成对抗网络(WGAN)的卷积双流网络(cs2GAN-FE)无监督方法用于高光谱图像空间光谱特征的提取[39]。钱园园等人将GAN与VGGNet-16相结合，提出了半监督遥感图像分类方法，该方法结合了自训练算法和协同训练算法的优势，解决了有监督分类样本量少的问题，提高了遥感图像分类的精度[40]。Zhan等人引入光谱角距离，提出了基于生成对抗网络和光谱角距离的半监督高光谱图像分类方法。该方法通过光谱角距离计算光谱之间的差异来提高GAN的收敛速度，且能更快训练模型，生成更接近真实的样本数据[41]。

3.5. 典型深度学习模型对比分析

经过多年发展，上述深度学习模型在遥感图像分类应用中各有优势。其中，SAE属于无监督学习，适合处理高维数据和提取特征。在遥感图像分类中，首先从待分类数据中提取光谱信息作为输入数据，再利用SAE提取深层次的光谱特征，最后使用深层光谱特征来进行分类。由于SAE要求输入数据必须是特征向量，在输入空间信息时，需将其拉伸为一维向量，因此无法有效利用空间信息，且模型的泛化能力较弱。

DBN同样属于无监督学习，适合处理复杂数据的分类问题。在遥感图像分类中，首先进行降维处理提取浅层光谱特征，再提取深层特征用于分类。DBN的训练复杂，但性能较好，有效解决了直接训练时容易出现局部最优解等问题，但参数的选择依赖经验。与SAE一样，要求输入是一维特征向量，同样存在无法有效利用空间信息的问题。

CNN是目前应用最广泛的深度学习模型，具有自动提取和学习特征的能力。在遥感图像分类中，能有效提取光谱特征、空间特征、光谱–空间特征，与其他模型相比较，分类效果最为显著。但CNN需要大量的标记训练样本来发挥其优势，而遥感图像的标记样本有限，且随着网络层数的增加，容易出现局部最优及过拟合的问题。

在遥感图像分类领域中，GAN是继CNN之后应用比较广泛的深度学习模型，能有效解决有限样本和过拟合问题。遥感图像的标记样本有限，而GAN能很好的利用标记样本和未标记样本，产生更好的样本，与CNN协同使用，能显著提高遥感图像的分类精度，但模型的收敛性相对较差。

综合来看，SAE、DBN应用于遥感图像分类领域较CNN和GAN早，但CNN发展最快，应用最广，GAN次之，DBN的应用则相对较少。

4. 总结和展望

遥感图像分类对于遥感数据能否更好地服务于各邻域的实际应用具有重大意义。为了更好利用遥感图像的光谱信息和空间信息来提高分类精度，研究者们在模型改进、模型融合、特征融合、多源数据融合等诸多方面进行了研究，提出了具有价值的分类方法，为后续研究奠定了基础。在这些方法中，有的只考虑了光谱信息或则只考虑了空间信息来进行分类，而光谱和空间信息都是分类是否准确的重要因素，忽略任何一方面的信息都不可取；有的分别提取空间特征和光谱特征，然后通过某种方法进行融合来分类，虽综合考虑了光谱和空间信息，但未考虑两者之间的关联性；有的采用模型融合来提取光谱–空间特征进行分类，虽然提高了分类精度，但结构相对复杂，参数多，算法复杂度高。

虽然基于深度学习的遥感图像分类方法在提取光谱特征、空间特征和光谱–空间特征方面取得了显著成功，提高了分类的精度，但在未来研究中，可考虑以下几点。

1) 提高模型的泛化能力。虽然目前通过改进现有模型，融合模型提高了遥感图像分类精度，但受限于遥感数据自身的特点以及各模型自身理论研究的制约，导致模型的泛化能力不强，推广应用受限，因此未来可考虑细化分类领域，研究泛化能力较强的通用分类模型。

2) 优化模型架构。大型的网络模型可以提取更深层次的特征，提高分类精度，但是过大的网络模型会增加时间复杂度和空间复杂度，未来可研究分布式或并行式的遥感图像分类架构模型，以降低在处理遥感图像分类时的资源消耗。

3) 解决有限标记样本。在遥感图像分类任务中，最为关键的是特征的提取，而这又依赖于标记样本的数量。遥感图像获取标记样本的成本较高，可将主动学习、迁移学习、数据增强、生成对抗网络相结合来扩充样本数据。

4) 融合多源异构数据。目前多时相、多光谱、多传感器、多平台和多分辨率的遥感图像数据从多个维度来表达图像信息，未来可考虑将这些多源异构遥感数据相融合来提高遥感图像的分类精度。