基于小样本集的SAR图像船只稳健表征学习

Learning of Ship Robustness Characterization in SAR Images Based on Small Sample Sets

摘要: 随着合成孔径雷达(Synthetic Aperture Radar, SAR)系统在军事及民用领域的广泛使用，SAR图像数据的规模开始急速扩增，不同应用场景下的SAR图像目标分类需求也不断增多。传统目标分类算法需要在分析数据集后针对图像特性手动设计特征提取器，设计过程复杂繁琐且专业知识依赖性强，难以满足实际需求，因此深度学习方法开始被引入SAR图像目标分类领域。但是，由于现有带标签SAR图像数据集规模较小，且SAR图像与光学图像在图像特征上存在一定差异，直接将光学图像卷积神经网络模型应用到SAR图像上往往很难取得理想效果。针对上述问题，本文提出了基于卷积神经网络迁移学习的SAR图像目标分类方法，相对于SAR图像而言，光学图像数据的来源更为广泛，获取也更加容易。通过迁移学习的方式，利用在大规模光学数据集上充分训练的预训练模型来辅助SAR图像分类模型的训练，从而实现对船只进行的有效分类识别。

Abstract: With the widespread use of Synthetic Aperture Radar (SAR) systems in the military and civil fields, the scale of SAR image data begins to expand rapidly, and the demand for SAR image target classi-fication in different application scenarios also increases. Traditional target classification algorithms need to manually design feature extractors for image characteristics after analyzing data sets. The design process is complex and tedious, and the professional knowledge is highly dependent, so it is difficult to meet the actual requirements. Therefore, deep learning method has been introduced into the SAR image target classification field. However, due to the small scale of the existing SAR image data set and the certain difference in image characteristics between SAR image and optical image, it is often difficult to obtain ideal results when the optical image convolutional neural net-work model is directly applied to SAR image. To solve the above problems, this paper proposes a method for SAR image target classification based on convolutional neural network migration learning. Compared with SAR images, optical image data are more widely sourced and easier to obtain. By means of transfer learning, the pretraining model fully trained on large-scale optical data set is used to assist the training of SAR image classification model, so as to realize the effective classification and recognition of ships.

1. 引言

合成孔径雷达(SAR)成像技术是雷达领域和遥感测量领域中重要的组成部分，与光学成像相比，能够适用于连续环境监测、大规模监测 [1] 和地球遥感 [2] 等需要长时间、独立于天气条件的连续成像。2014年，加利福尼亚大学的Ross B. Girshick首次将深度学习技术引入到目标检测领域并提出了RCNN (Region Convolution Neural Network，简称RCNN)检测方法 [3]，这一检测手段将近现代的深度学习和机器学习分类的理念应用到了传统的雷达侦察领域，为后续这一技术的发展提供了很大潜力，其检测精度和检测速度也大大提高。

与传统方法相比，深度学习能从大量数据中自动学习特征，并具有很强的特征表达能力。在图像识别领域，许多科研人员利用大规模带有标签的数据，通过深度卷积神经网络训练了识别性能优异的模型。但在医疗、军事等领域，由于保密机制、数据获取成本高等原因，深度学习面临一个新的问题——小样本，即由于标签注释成本太高而缺少足够的带标签数据 [4]。小样本问题主要有两个方面的体现：1) 虽有足够的数据量但数据缺少相应的标签；2) 数据量本身较小；在这种条件下，用传统的深度学习网络无法得到理想的结果，所以在目前的小样本图像识别领域中，主要的研究方法是卷积神经网络，并以该结构为基础对模型进行扩展。

本文主要是针对小样本集下的SAR图像船舶图像的分类与目标检测，采用迁移学习的相关知识–领域适应来尝试利用光学数据集训练一个小型模型并用源域数据对预训练的网络进行微调的方法，解决了带标签的SAR图像训练样本偏少的情况，实现了在少样本集下的较好的船只识别与分类效果，改善了SAR图像目标分类的问题。

2. 理论分析和介绍

2.1. 迁移学习

少样本学习需要学习者从少数的几个样例中获得学习能力，这种能力的通常需要学习者有相当可观的相关知识积累。迁移学习通常期望能从源领域中获取有用的知识并且迁移到目标域上去。迁移学习的流程是将大数据集上训练好的模型，个性化地迁移到小数据集中。迁移学习根据实现方法不同可以分为四类：基于样本的迁移学习(见图1)、基于特征选择的迁移学习、基于特征映射的迁移学习和基于权重的迁移学习。

监督学习是目前常用的机器学习的一种，他是先由人工标定一组样本，需要注意的是，该样本的大小和后续的检测概率有极大的关系，因此大部分都会选用较为合理的样本点。将这些样本输入到映射系统中，由机器进行分类划分，这些样本可以是语音，光学字符，语言翻译图像等多方面。由此完成学习的过程。传统的监督学习主要是利用了已知模型来推导未知模型的方法，但是今年来随着互联网技术的发展和科技的进步，存储量也大大增加，需要分类的目标数量也成千上万，采用人工标定的难度越来越大。因此现在也需要一种新的技术来能够尽最大努力提高标定效率和标定正确率，以进一步的提高分类任务的准确性。

按照以上的设想，Zhou等人在文献 [5] 说明，现在主要可以实现采用少量样本进行标定大量无标签样本的方法主要由以下几种：

半监督学习(semi-supervised learning)、直推式学习(transductive learning)和主动学习(active learning)，这些方法虽然都在大体上采用了以上的思想，但细分也有一些不同之处。直推式学习与半监督学习都无需人工干预，所不同的是，半监督学习在学习中不知道测试样本是什么，而直推式学习要测试的样本数据已参与到学习过程中，主动学习与半监督学习、直推式学习的最大区别在于它的学习过程需要人工干预，集中了传统学习和现在新一代机器学习的特色，这3种方法已经得到了广泛的应用。

Figure 1. Sample based migration (The left figure marks very few samples, and the auxiliary training data shown in the right figure must be found for training)

图1. 基于样本的迁移(其中左侧图标识样本极少，要训练必须找到右侧图所示的辅助训练数据)

根据上文的分析，特征选择迁徙学习方法的关键是在找到标定目标之间的共同特征，再利用这些共同特征去标定新的目标，需要注意的是，这一特征既可以是人可以识别的特征，比如物体的颜色、大小等，也可以是没有实际含义的矩阵特征值、特征向量等。其典型表现是Jiang等人 [6] 提出样本类别关联程度搞得特征应该给更高的权重，因此应该作为主要特征，而不是经常出现或者不容易观测的特征应该适当的降低权重，采用以上策略，能尽可能高的提高特征的选择性能，尽最大的程度提高分类的正确性。同时，Fang等人 [7] 也提出了利用迁移学习来完成跨网络协作分类研究工作，该算法和Jiang的方法类似，都是采用较好特征来尽可能的进行分类，降低不同源和目标之间分类错误的概率。

不同于以上思想，基于特征映射的迁移学习关注点在空间映射上，即将源空间和目标领域空间建立映射关系，利用该关系构造到新的特征空间。该空间具有的特点也应该是十分明显的，比如要求两种目标之间的分布函数相同或者近似。从而在新的空间中，可以更好的利用源特征空间的标记样本进行更加有针对性的训练分类，通过这一有针对性的分类，传递到新的领域，实现对新领域目标的分类。为了降低维度，加快运算和分类速度，Pan等人 [8] 还提出了一种降维迁徙学习方法，通过该方法在传统的高纬度空间上求特征值，忽略较小特征值或者是接近零特征值的向量影响，进而降低特征空间纬度，通过该策略虽然会有一定的精度损失，但采用者这一方法大大提高了运算效率，并且可以对具有相同或者接近数据特征进行更加合理的类别划分，预测效果不受到太大影响。在迁移学习中，考虑到是否有标签的源领域数据分布的影响，对于有标签但是标签意义不大的特征，应该适当予以剔除或者是降低其特征值。本文主要研究的就是利用迁移学习中的模型迁移知识，将丰富光学数据集下训练的模型迁移到较少的带标签的数据集的域中，改善其分类效果，图2对此做了简单展示，将深度学习与迁移学习结合。

Figure 2. Combine deep learning with transfer learning

图2. 深度学习与迁移学习结合

2.2. 领域自适应技术

领域自适应技术的关键是需要了解源域和目标域的概念，其中源域是测试样本相关的领域，虽然领域不同，但具有丰富完善的监督信息。

目标域和源域有实质性区别，目标与表示的测试样本中无标签或者是标签少或者分类错误的领域，也就是没有实际参考价值的领域。虽然两者有本质的区别，但两者有着一定的联系，其分布也不尽相同。

根据目标域和源域的类型不同，常用的自适应问题分为以下四种形式：有无监督学习，异构还是多源域问题四个方面。机器学习的流程分为以下几个方面:数据收集，特征提取，训练和测试，查看分类效果等，分类效果取决于两域之间分布的相似程度。根据以上流程，提出了以下三种自适应方法，分别为样本自适应，特征层面自适应和模型自适应。

针对三种不同的领域适应方法有三种解决思路：第一种是使源域和目标域的概率分布相似，采用概率分布适配法；第二种是提取源域和目标域共享着的某些公共特征，建立一样的模型，即特征选择法；第三种是把源域和目标域变换到相同的子空间，采用子空间学习法，分为统计特征变换和流形学习。

为了解决标签稀缺的问题，我们可以考虑一个域适应场景。我们假设一个相关的源EO域问题存在，当我们有足够的标记数据点时，训练一个可推广的模型是可以实现的。让 $\text{X}\left(\text{s}\right)\subset \text{Rd}$ 表示EO域， $\text{DS}=(,)$ 表示数据集在光电领域， $\text{Xs}\in \text{X}\subset$ 和 $\text{Ys}\in \text{y}\subset$ (N ≥ 1)是从边际分布pS中提取的。由于我们在两个域中考虑的是相同的分类问题，这种跨领域的相似性是知识转移可行的必要条件。假设源样本是从源的联合概率分布 $\text{qS}\left(\text{x},\text{y}\right)$ 中抽取的，而 $\text{qS}\left(\text{x},\text{y}\right)$ 具有边际分布pS。尽管域之间有相似性，域的边际分布是不同的。我们在EO领域进行了广泛的研究和调查后找到这样一个标记的数据集是可行的，或者标记这样的EO数据比标记更多的SAR数据点更容易。基于EO域与SAR域的相似性，我们尝试利用EO域的知识来训练SAR图像分类模型。

由于我们可以访问足够的标记源数据，因此为源域训练参数分类器是一个简单的监督学习问题。通常，我们通过求解最优参数来从参数函数族f中选择最佳模型。我们可以通过最小化训练标记数据点的平均经验风险来求解最优参数，即θ，经验风险最小化(ERM)：

$\hat{\theta }=\arg \underset{\theta }{\min }{\hat{e}}_{\theta }=\arg \underset{\theta }{\min }\frac{1}{N}{\displaystyle \underset{i=1}{\overset{N}{\sum }}L\left(f_{\theta }\left(x_i^s\right),y_i^s\right)}$ (1)

其中L为适当的损失函数(如交叉熵损失)。给定足够的训练数据点，经验风险是真实风险函数的合适替代：

$e=E_{\left(x,y\right)~ps\left(x,y\right)}\left(L\left(f\left(x\right),y\right)\right)$ (2)

这就是贝叶斯最优推理的目标函数。这意味着训练好的分类器可以很好地泛化来自pS的数据点。将EO域的知识转移到SAR域的一种直接的方法是在目标域中直接使用在EO域上训练的分类器。然而，由于两个域之间存在分布差异，即pS、pT，训练分类器在源域上可能不会推广目标域。因此，有必要让适应训练过程。最简单的方法是使用少量标记的目标数据点对EO分类器进行微调，以便在目标域中使用模型。

2.3. VGG16卷积模型

VGG网络(Visual Geometry Group Network)是在2014年提出的一种深度卷积神经网络，该网络主要是利用小的卷积滤波器来搭建网络结构 [9]。该网络模型较简单，主要包括卷积层，池化层，全连接层。

1) 卷积层

卷积层的作用是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(bias vector)，类似于一个前馈神经网络的神经元(neuron)；VGG网络提出使用2个3 × 3卷积核可以代替1个5 × 5卷积核，使用3个3 × 3卷积核可以代替1个7 × 7卷积核 [10]。VGG网络中卷积层使用大量的3 × 3卷积核滤波器来代替大尺寸卷积核，该方法减少了网络参数量，能够增加网络的深度，在一定程度上能够提升网络的表达力 [11]。

2) 池化层

池化层在卷积层之后，通常在CNN层之间添加池化层。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。VGG模型采用的方法是最大池化，在卷积层之后接入形成一个block。

Figure 3. VGG16 deep neural network structure [11]

图3. VGG16深度神经网络结构 [11]

3) 全连接层

全连接层是卷积网络的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数 [12]。VGG网络在最后使用3个全连接层，其中最后一个全连接层具有1000个神经元，并使用softmax激活函数进行分类。

如上图3示为VGG16网络结构图，该结构共包括5个Block，每个Block是由卷积层与最大池化层所组成的 [11]。

3. 实验结果与分析

3.1. 数据集

实验用于预训练的光学数据集为自主搜索的海面船只图像，共2629张，数据集按照4:1的比例划分为训练集和测试集。

微调数据集为OpenSARship数据集，是由上海交通大学高级传感技术中心(AST)开发的开放式SAR图像管理和处理平台，用于SAR图像的读取、处理、可视化和算法测试。它包含两类可以用来实验的雷达数据分别是地据监测数据GDR和单视复数据SLC。

3.2. 实验结果

首先，实验使用VGG-16网络模型对光学数据集进行预训练，其中，每个批量包含32个样本，图像大小为150 × 150，进行20次完整训练，定义损失函数为交叉熵损失函数。模型训练的结果如图4所示。

Figure 4. Accuracy and loss of ship models

图4. 船只模型的准确率与损失情况

在域训练过程中，尽管训练的早期准确率较低，但是随着训练次数的增加，准确率上升很快，达到了较好的分类效果，因此可将预训练模型用于微调。

在使用船只数据集对VGG16进行预训练后，加载训练生成的模型和权重参数，并迁移学习至SAR数据的分类模型。本次实验微调时只使用SAR数据集中的GRD数据(也可使用SLC数据)，由于给定的SAR数据集并没有进行分类，用程序按照4:1的比例随机划分，得到以下结果，见图5。

Figure 5. GRD data classification

图5. GRD数据分类

由图5知最终数据集被分成了四类，为cargo、fishing、other types、tanker。接下来进行微调，用之前训练好的权重微调新的数据集，使用SAR数据中的GRD数据对该模型进行训练分类。选择多分类交叉熵损失函数，优化器为Adam，学习率为0.0001，训练次数为20。微调阶段的训练结果如图6所示。

Figure 6. Accuracy and loss after fine tuning

图6. 微调之后的准确率与损失情况

微调之后，模型达到了约0.81的准确率，在只训练20次的情况下准确率达到了一个相对较好的结果，也没有出现过拟合的现象。

准确率(Accuracy)是分类模型最常用的性能指标，本文也是用acc来衡量，定义为正确预测的样本数与总样本数的比值，公式如下：

$acc\left(f;D\right)=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}II\left(f\left(x_i\right)=y_i\right)}$ (3)

$acc\left(f,D\right)={\displaystyle \underset{x~D}{\int }II\left(f\left(x_i\right)=y\right)p\left(x\right)\text{d}x}$ (4)

其中，D为数据集，m指数据集总样本数。

在做分类识别时，我尝试了选择自己设计的简单模型进行预训练，并将结果进行对比(表1)发现：自己设计的模型与VGG16模型在利用船只数据集做预训练后的识别效果都是比较好的，根据数据来看，VGG模型表现得识别效果明显要更好一些，同时在利用自己设计的模型做预训练时还使用了Mnist的数据集做比较，可以看出这个模型对Mnist的识别要好一些。

Table 1. Comparison of pre-training models

表1. 预训练模型对比

但在接下来的实验过程中发现：自己设计的模型在使用SLC数据进行微调之后，其表现出的准确率较低，只有68.0，没有达到实验要求，还需要继续改进，我认为可能有两点原因：一是数据集SLC的不平衡问题需要经过数据预处理步骤才能用来微调，如果用GRD数据进行微调可能识别率会高一些；二是所选择的微调方式不恰当导致的准确率不高。因此在用VGG16模型做微调时，我选用了GRD数据，达到了一个明显好于之前的准确率。

实验现在所得到的分类性能依旧有很大的提升空间，例如增加训练次数，可能会使提取到的有效特征增加；或者使用其他微调方式，得到更好的分类性能。总之，实验使用VGG16模型做预训练后微调得到的试验结果是可观的，解决了在少样本情况下SAR图像分类的优化问题，在未来的研究中，关注不同的预训练集对迁移学习的影响以及在不同预训练集下的模型表现出的对openSARship分类识别的效果是很重要的。

4. 结论与展望

本文从少样本集、SAR图像分类的角度出发，将深度学习与迁移学习相结合，并借鉴多任务学习中的领域自适应，提出基于少样本的图像分类方法。该方法采用“预训练 + 微调”的方式，首先在船只图像数据集上进行预训练，达到一个好的分类效果后将预训练模型导出；然后，使用目标任务数据集对预训练模型进行微调，实现迁移学习。从实验方面验证了在小样本背景下SAR图像舰船目标识别采用迁移学习方法的可行性，同时对于数据集的不平衡问题以及应用其他卷积模型或微调方式提出疑问，为下一步研究指明了方向。

基金项目

基于西南民族大学中央高校基本科研业务费专项资金项目(2021NYYXS67)。