基于ConSinGan模型的探地雷达病害样本生成方法

Ground Penetrating Radar Disease Image Sample Generation Method Based on ConSinGan Model

摘要: 探地雷达路基病害智能识别是探地雷达工程探测领域中的一个重要研究分支。针对目前识别任务中缺乏公开数据集，病害样本数量较少和病害类别之间样本不均衡的问题提出基于ConSinGan对抗式生成网络模型的病害样本生成算法MConSinGan。首先，算法利用特征选择的思想设计特征学习模块，并将该模块添加到生成器的头部和尾部，加强不同阶段的生成器之间的联系，提高生成器网络对主要病害特征的学习能力，提取特定区域的有效信息，解决最初模型在生成病害样本的过程中存在的特征不完整的问题；其次，根据每个阶段中图像的放缩比例，以分段函数的形式动态改变每个阶段的迭代次数，平衡因添加特征学习模块而对网络整体增加的训练开销，同时提高生成样本之间的差异性；最后，将改进后的模型应用于实际探地雷达病害图像生成问题中，通过对比实验和消融实验对生成结果进行定量和定性分析。另一方面，将原模型与本文改进模型的训练开销和每阶段训练的平均速度进行比较，从模型训练性能的角度对模型进行评估。实验结果表明，所提算法在探地雷达路基病害图像生成问题中，其生成图像的SIFID值较原模型平均降低了26.5%，MS-SSIM值平均升高了75.7%，在保证训练开销增幅不大的情况下，兼顾生成数据的真实性和生成样本间的多样性。证明了该算法在探地雷达病害样本数据生成问题中能够取得较好的效果。

Abstract: Intelligent recognition of ground penetrating radar (GPR) subgrade damage is an important research branch in the field of GPR engineering detection. Aiming at the problems of lack of public data set in current recognition tasks, small number of disease samples and unbalanced samples among disease categories, a disease sample generation algorithm MConSinGan based on ConSinGan antagonistic generation network model was proposed. First, the algorithm uses the idea of feature selection to design a feature learning module, and adds the module to the head and tail of the generator to strengthen the connection between generators at different stages, improve the learning ability of the generator network to the main disease features, extract effective information in a specific region, and solve the problem of incomplete features in the process of generating disease samples in the initial model. Secondly, according to the scaling ratio of images in each stage, the number of iterations in each stage is dynamically changed in the form of piecewise function, which balances the increased training cost of the whole network due to the addition of feature learning module and improves the difference between generated samples. Finally, the improved model is applied to the actual ground-penetrating radar disease image generation problem, and the generated results are analyzed quantitatively and qualitatively through comparison experiment and ablation experiment. On the other hand, the training cost and the average training speed of each stage were compared between the original model and the improved model, and the model was evaluated from the perspective of training performance. Experimental results show that the proposed algorithm reduces the SIFID value of the generated image by 26.5% and increases the MS-SSIM value by 75.7% compared with the original model in the problem of ground- penetrating radar subgrade disease image generation. Under the condition that the training cost is not greatly increased, the authenticity of generated data and the diversity of generated samples are taken into account. It is proved that this algorithm can achieve good results in the generation of disease sample data of ground penetrating radar.

1. 引言

随着勘探工程中检测要求的提高，探地雷达(Ground Penetrating Radar, GPR)技术在隧道施工、路基检测等方面取得了迅速的发展。雷达回传数据也因地质体的不同表现出独特的特征，为工程人员对二维探地雷达图谱进行解释提供了理论依据。然而，现场施工环境的复杂和庞大的数据量限制了解释工作的效率和准确度。在深度学习发展迅猛的背景下，探地雷达图像的智能识别成为研究的热点之一。在识别任务中，样本数据被视为模型最优化的驱动力，是增加模型鲁棒性的先决条件。因此在保证样本量充足的情况下，也应兼顾病害样本间的多样性。但由于地下环境复杂，客观条件限制，无法采集得到丰富、有效的病害样本，严重制约了深度学习模型在探地雷达病害识别中的应用。

针对探地雷达病害样本难以获取的问题，有些学者 [1] [2] [3] 利用基于有限差分时域(Finite Difference Time Domain, FDTD)原理的gprMax模拟软件，对不同类型的探地雷达病害开展正演模拟工作，以达到扩充数据集的目的。但是该方法需要大量的计算资源、长久的仿真时间和探地雷达数据仿真的先验知识，仿真得到的数据不能体现现场实验数据的复杂性。也有学者使用数据增强技术，比如几何变换、颜色空间变换、像素混叠、噪声引入等扩充样本，该方法可操作性高、易于实现，能够改进模型识别和泛化能力，但是该方法应用于探地雷达图像这类特殊的样本数据中，一些增强操作难免会不太适合，比如旋转、颜色变换 [4] 。此类操作不仅对样本数据集多样性的提升无显著作用，而且不能够起到完备样本特征的作用，有可能引入一些无关的特征，诱导模型进行无效学习 [5] [6] 。

近年来，生成式对抗网络(Generative Adversarial Networks, GAN)的发展对无监督学习的研究起到了颠覆性的作用。特别是其样本生成的能力引起了众多研究者的关注。2019年，欧阳雯琪 [7] 将mask图像与不同的高斯噪声作为条件对抗式生成网络(Conditional Generative Adversarial Nets, CGAN)的部分输入，并在生成器中的U-Net结构中添加残差网络，实现了生成具有丰富多样性的人物图像。2020年，张凯等人 [8] 利用VGG-16对GAN模型结构进行改进，加快模型收敛速度，强化模型的特征提取能力，并将改进后的模型用于医学复杂图像的小样本生成任务中，取得了较好的效果。但是作者并没有验证最终生成样本的主要特征是否符合医师的判断，缺乏说服力。同年，颜贝等人 [9] 在深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks, DCGAN)网络模型的基础上，结合残差网络结构对网络进行加深，并向网络中引入标签信息，替换判别器中的批归一化层为谱约束层，使得整个网络能够得到充分的训练，提高了生成图像的质量。2021年，蔡高勇 [10] 在DCGAN中的BN层和卷积层之间加入自定义的Mute层，缓解了判别器对真假样本进行鉴别的严格程度，扩充植物病害的数据量。2022年，肖思哲等人 [11] 为了扩充激光焊接缺陷样本集，采用基于样式风格和数据增强的对抗式生成网络模型styleGAN2-ada作为基础模型，将最初的类间风格混合替换为类内风格之间的混合，并设计OCM模块，提高噪声与数据集之间的分布近似度，有效扩充了焊接缺陷数据的样本集数量。以上实例的研究背景虽各有不同，但都是基于对抗式生成网络进行的小样本扩充算法的研究，这为探地雷达领域内的病害样本扩充提供了解决思路。

以探地雷达目标体智能识别研究任务为中心，Zhang Xin等人 [12] 利用转置卷积模块构成生成器、在判别器中使用LeakyReLu函数作为激活函数，减少模式崩坍现象，在判别器结构的最后一层中使用Lambda块对真假样本进行判别，作者将最终构建的模型用于探地雷达B-SCAN图像的生成，并将生成的样本数据用于识别任务中，识别模型的平均精度提高到97%，证明了该模型生成的训练数据具有优越性。但是作者并未将模型用于生成复杂的样本数据，仅仅针对具有简单的双曲线特征的探地雷达图像，因此对于模型的泛化能力尚待商榷。岳云鹏等人 [13] 在传统对抗网络的基础上，引入卷积神经网络(Convolutional Neural Networks, CNN)，提出了一种基于深度卷积的生成对抗网络模型，该方案经800张图片训练后，能够准确模拟数据集中双曲线特征并生成高精度图片。王星等人 [14] 通过采用金字塔结构，对并行式单样本生成对抗网络(Concurrent Single Image GAN, ConSinGan)进行多阶段训练，并引入新的尺寸调整策略、解决了煤岩图像数据紧张、生成样本单一的问题。白旭等人 [15] 利用SinGan对探地雷达地下空洞目标图像进行数据增广，提高了现有方法识别地下空洞目标的准确度。其中上述方法中涉及到的SinGan和ConSinGan [16] [17] 都属于非条件式的单样本生成对抗网络模型，也是目前生成式对抗网络发展的趋势。二者在结构明显的自然场景图片生成任务中，能够生成多样性丰富、真实度高的样本，但是对于目标区域占比小，纹理结构严格、形态变化多端的探地雷达病害图像而言，原始的ConSinGan网络模型生成的样本往往缺乏多样性，甚至会受到背景的干扰而不符合实际探地雷达样本数据中目标体的纹理特征。

针对以上讨论中存在的问题，本文提出了一种基于单样本对抗式生成网络的MConSinGan模型，该模型以ConSinGan网络模型为基础模型，并对原始网络结构和模型训练的迭代次数进行改进，使得网络在单样本图像的条件下进行多阶段训练，生成高质量、具有多样性的探地雷达病害图像。

本文的主要创新点概括为：

1) 将ConSinGan应用于探地雷达病害样本数据生成，提出一种改进的样本生成方法，该方法能够在保证病害特征完整的同时，具备多样性。

2) 为了提高网络对特征图中高响应区域的提取。保证病害的整体形态不发生严重的改变，设计了特征学习模块，并将其加入到生成器中。

3) 将原有的固定迭代次数重新设计为动态变化的迭代次数，以分段函数的形式，根据当前所在的阶段计算训练迭代次数，减少模型训练耗时，增加生成图像的多样性。

2. 基于ConSinGan的探地雷达病害样本生成模型

2.1. 模型框架和基本原理

ConSinGan模型是在单个图像上进行多阶段并行式训练的生成模型，其能够捕捉图像整体的结构，折衷生成具有多样性和真实性的图像。

该网络使用金字塔模型，多尺度迭代式结构进行单样本特征学习，模型从低分辨率的图像开始训练，逐阶段增大图像分辨率并额外增加生成器的个数。生成器之间以串联的方式进行关联，并以随机噪声向量 $Z_n$ 和上一尺度生成的样本 $X_{n-1}$ 经上采样后进行叠加生成的图像为输入。噪声向量 $Z_n$ 提高了生成器的稳定性和样本的多样性。

$X_n=Z_n+X_{n-1}{\uparrow }^r$ (1)

式中的 ${\uparrow }^r$ 代表上采样。

默认情况下，在同一个训练时期内，只允许同时训练三个生成器，更新生成器 $G_{n-2}$ 、 $G_{n-1}$ 、 $G_n$ 的参数，设置其学习率分别为0.01 lr，0.1 lr和lr，其中lr是人为设置的学习率参数。对较低的生成器采用较低的学习率，其目的是增加生成图像之间的差异。当该阶段迭代次数结束， $G_n$ 的输出则是 $X_n$ 。 $G_n$ 生成的样本继而送入与之对应的判别器 $D$ 中， $D$ 试图将同尺度的生成样本与真实样本区分开来，二者之间进行对抗性的训练，直至尺度达到最大分辨率。整个训练结束 [18] 。

其整体网络架构如图1所示。该架构核心内容主要为生成器、判别器和损失函数。

Figure 1. The network architecture of ConSinGan

图1. ConSinGan的整体网络架构

2.2. 生成器网络结构

生成器G采用了和ConSinGan相似的网络结构。对输入的一个特征图F，依次通过卷积块ConvBlock进行样本生成。在最后一个卷积块中，设置卷积层的输出通道数为3，此卷积层起到降低通道数的作用，将LeakyRelu激活函数替换为tanh函数并舍弃批归一化层(BN层)。其中卷积块由卷积层、BN层、激活函数组成。这种全卷积的网络结构可以帮助实现生成各种大小的病害图像。卷积块中每一层的卷积核大小为 $3\times 3$ ，除最后一个卷积块中的激活函数为tanh激活函数外，其余均为Leakyrelu函数。

为了提高G的特征学习能力。本文在ConSinGan的生成器网络结构中设计并添加了特征学习模块，从融合了噪声的特征图中提取出需要关注的信息，加强模型对目标特征的表达能力，防止生成样本中病害特征丢失或融合进背景中的现象。改进后生成器的网络结构如图2所示。为了简单表示，G中的上采样和填充操作没有在图中详细表示。

Figure 2. The network structure of generator G

图2. 生成器G的网络架构

FLM模块

在模型的生成任务中，判别器通过对抗损失函数指导生成器将随机噪声矢量逼近真实图像的特征分布。但由于低阶段的生成器能力较弱，因此无法保证在低阶段学习到高质量的目标整体结构。而且对于背景纹理性和目标结构特异性较强的探地雷达病害图像而言，强化生成器的学习能力避免其对病害目标关注较弱，导致生成样本图像中出现病害目标结构不完整甚至完全消失的现象。

为了提高G网络的学习能力，关注图像中病害区域的高响应特征，保证能够完整地生成病害的特征结构。本文设计了特征学习模块(Feature Learning Module, FLM)。

Figure 3. The network structure of the FLM module

图3. FLM模块的网络结构

FLM由多个卷积层、池化层、激活函数和通道注意力模块组成。采用多路分支的方式学习有效特征信息。其网络结构如图3所示。对于输入的特征图F，首先通过SubMoudle 1和SubMoudle 2模块，对F分别采取最大池化和平均池化两种不同角度的方式进行特征学习。将SubMoudle 1模块和SubMoudle 2模块得到的特征图，分别与输入特征图 $F$ 做点乘运算，以此减弱 $F$ 中非关注区域的响应。将结果 $F_r$ 继续与经过SubMoudle 2模块得到的特征图 $F_l$ 进行特征融合，将不同角度下的输出特征图有效利用起来。融合方式采取最大值策略融合。融合操作可描述为式(2)。

$F^{\prime }\left(i,j\right)=\{\begin{array}{c}{F}_r\left(i,j\right),F_l\left(i,j\right)<F_r\left(i,j\right)\\ F_l\left(i,j\right),F_l\left(i,j\right)\ge F_r\left(i,j\right)\end{array}$ (2)

融合后的结果继续通过SubMoudle 3模块的卷积层以降低特征图的通道数目，经过Sigmoid函数非线性激活得到输出，最后将此输出与输入特征F进行点乘运算得到最终的结果 $F_{out}$ ，上述过程可概括为公式(3)~公式(6)。

$F_r=S_1\left(F\right)\otimes F$ (3)

$F_l=S_2\left(F\right)\otimes F$ (4)

$F_{lr}=\left(F_r\oplus F_l\right)$ (5)

$F_{out}=S_3\left(F_{lr}\right)\otimes F$ (6)

其中 $S_i\left(i=1,2,3\right)$ 表示子模块SubMoudle $i$ ， $F$ 表示模块的输入， $F_r$ 表示SubMoudle 1的输出与 $F$ 点乘后得到的结果， $F_l$ 表示SubMoudle 2的输出与 $F$ 点乘后得到的结果， $F_{lr}$ 表示 $F_r$ 与 $F_l$ 特征融合后的结果， $F_{out}$ 表示模块的输出， $\otimes$ 表示矩阵的点乘操作，在本节中 $\oplus$ 表示最大值策略融合操作。表1为FLM模块的网络结构表。

Table 1. Structure of FLM

表1. FLM模块网络结构

实验中发现在判别器中放置该模块会导致在模型未达到训练停止时，就会生成单一的样本图像。因此为了保证整个网络模型能够生成具有一定差异性的图像样本，避免模式崩溃，FLM模块不能放入判别器中。对于单个GPR图像而言，其病害整体结构的完整性直接影响了生成质量，FLM模块在生成器网络中头部和尾部位置可以让FLM模块在每个尺度中获取更加丰富的结构信息，使得整个模型的对病害区域的学习能力得到提升。

2.3. 判别器网络结构

判别器D主要用于区分G网络的生成图像与真实图像，通过判别器掌握到的图像特征信息，指导生成器提高重建图像质量。D的输入为G网络的输出。本文改进模型中使用了和ConSinGan相同结构的判别器。均由5组卷积块组成，前4组卷积块用来提取图像特征，通道数均为32。最后一组卷积块中卷积层的输出通道数为1，未使用激活函数，主要用于判断图像的分布。D网络的结构如图4所示。

Figure 4. Discriminator D network structure diagram

图4. 判别器D网络结构图

2.4. 损失函数

网络中的损失函数采用复合损失函数，即对抗损失和重建损失之和 [19] [20] [21] 。当模型按照顺序进行第 $n$ 个尺度的学习时，模型的损失函数有以下定义：

$Loss=\underset{G_n}{\min }\underset{D_n}{\max }{L}_{adv}\left(G_n,D_n\right)+\alpha L_{rec}\left(G_n\right)$ (7)

其中 $G_n,D_n$ 表示训练阶段为 $n$ 时的生成器和判别器， $\alpha$ 表示重建损失的权重，这个参数是人为设置，初始值为10， $L_{adv}$ 和 $L_{rec}$ 分别表示对抗损失和重建损失。

模型中采用WGAN-GP损失作为对抗损失，该损失在WGAN的基础上增加了惩罚项，目的是为了约束梯度值，增强训练的稳定性。最小化 $L_{adv}\left(G_n,D_n\right)$ 可以使得模型能够在训练过程中关注图像的细节。

重建损失的目的是为了找到一组随机噪声输入 $z^{\ast }$ ，希望该输入能够通过G网络生成原图。该噪声向量在训练前随机选取。设尺度为 $n$ 时原图的下采样图像为 $X_n^{real}$ ，重建损失可以定义为：

$L_{rec}=\{\begin{array}{l}{\Vert G_n\left(0,X_{n-1}{\uparrow }^r\right)-X_n^{real}\Vert }^{2}n<N\hfill \\ {\Vert G_n\left(z^{*}\right)-X_n^{real}\Vert }^{2}n=0\hfill \end{array}$ (8)

其中 $n=N-1$ 。

2.5. 动态变化的迭代次数

SinGan中生成器的规模随着训练阶段的往后推进而逐渐变大，这种多阶段分层级的训练方式直接导致了其效率低下。ConSinGan在SinGan的基础上，固定部分生成器只训练少数的生成器，提高了整个网络模型的效率。由于在探地雷达病害图像生成中病害目标的整体结构特征比细节纹理更为重要。且实验发现，训练越往后，生成的样本图像质量就会越高，但其缺乏多样性。因此，为了保证生成器能够适应探地雷达病害图像的特点之外，增加多样性，减少改进模型的训练时间，本文提出了根据当前所处的阶段数，动态改变迭代次数的方法。

$a={\left[m/\min \left(h,w\right)\right]}^{1/\left(N-1\right)}$ (9)

$nite{r}_i=\{\begin{array}{l}niter\times a^i+1000,i<N-1\hfill \\ niter,i=N-1\hfill \end{array}$ (10)

其中，公式(10)用于计算每轮的迭代次数，在上述式子中i代表当前阶段， $nite{r}_i$ 表示阶段i时的迭代次数，N为训练阶段总数，h，w分别为原始图像的长和宽， $m$ 表示模型训练过程中最小尺度图像的尺寸， $niter$ 为训练时设置的固定迭代次数。当训练至最后一个阶段时，迭代次数保持原设置中固定的迭代次数不变，当处于其他阶段时，迭代次数随当前阶段数而发生变化。

3. 实验结果及分析

本节实验重点放在对单张探地雷达病害图像的生成上，并与最初的ConSinGan模型在结果上进行比较，以验证模型的有效性。实验所用的数据均由中国矿业大学(北京)煤炭国重实验室提供。生成的目标图像包括疏松病害图像和脱空病害图像。实验环境包括：软件环境是Python3.9，Pytorch1.10.1，CUDA 11.3；硬件环境使用NVIDIA GeForce RTX 3060 Laptop GPU训练网络。本次实验部分重要参数设置如表2所示。

3.1. 生成样本质量客观评价指标

为了定量分析模型生成图像的质量与多样性，本文采用MS-SSIM [22] [23] ，感知图像块相似度(LPIPS)

Table 2. Some parameter settings required for the experiment

表2. 实验需要的部分参数设置

[24] ，SIFID [25] 作为评价指标。其中SSIM [26] [27] 是一种单尺度结构的图像质量评价指标，它通过图像的结构信息，主要从亮度、对比度和结构来度量图像之间的相似性，但是其缺乏鲁棒性，对多尺度变换后的图像不能够很好的得出评价，因此本文采用多尺度结构的图像质量评价方法MS-SSIM，MS-SSIM的值越大表明生成图像与真实图像之间就越相似，图像质量越高，失真程度越低。本文对多张图像分别求取MS-SSIM值，求和后作平均得到最终的结果。LPIPS是一种更符合人类感知的图像评价指标，值越低表示两张图像越相似，越高则表示与原图有更多的不同，本节中计算LPIPS值选用VGG网络。SIFID是一种单图像的FID [28] ，其主要计算生成图像与真实图像特征分布之间的偏差。由生成模型生成的多张图像计算FID后求平均得到，较低的值对应着较高的图像质量。

3.2. 无条件探地雷达病害样本生成

在GPR病害图像的生成任务中，生成器的输出是由随机采样的高斯噪声生成。模型采用全卷积网络实现，可以通过调整随机噪声向量的大小，从而获得尺寸不同的生成图像。本文采用改进后的模型对疏松病害图像和脱空病害图像进行生成。如图5所示，利用改进后的MConSinGan模型能够生成病害结构完整、图像质量较好的图像，不同尺寸的图像均能够近似与真实的病害图像，由此可以说明，生成器真正从训练中学习到了真实病害图像的分布特点。并且从图中可以发现，在保证生成图像接近真实图像的前提下，提高了其生成图像的多样性。图5中前三行为脱空病害生成图像，后三行为疏松病害图像，其中有蓝色边框的图像为原图，橙色边框图像为模型重构图像，无边框图像为不同尺寸下的生成样本图像。

在生成的图像中病害目标的结构布局特征较为明显，没有发生病害结构扭曲或者消失的现象。这主要是因为ConSinGan虽然有一定的结构特征提取能力，但是模型的设计对于探地雷达病害图像而言，忽略了其背景中与目标对比度相近的区域所带来的影响，使得模型在学习过程中缺乏对有效目标信息的关注，从而导致有效信息的丢失。而改进后的模型使得生成器在每个训练阶段中能够保持对病害区域的定位和学习，掌握其整体结构。另外，从图中可以发现，生成器能够在单张图像中生成多个形态不同的病害目标，这为病害识别提供了丰富的样本集。整体而言，改进后的模型在不同尺度下的病害图像生成任务中表现较好，但是在疏松病害和脱空病害生成图像中尺寸最大的图像虽然能够成功生成病害，但是其纹理没有其他小尺度的图像丰富，效果没有其他图像好。

Figure 5. Example of unconditionally generating disease images

图5. 无条件生成病害图像示例

实验中使用3.1节介绍的指标对生成图像结果进行评估。将图5中的两类病害图像分别采取原始的ConSinGan模型和改进后的模型进行病害样本生成，每种病害图像均生成100张样本进行量化分析。其量化结果如表3所示。

Table 3. Quantitative indicators of images generated by different models

表3. 不同模型生成图像的量化指标

从表3可以看出，经本文改进的模型相比于ConSinGan模型，量化指标SIFID和LPIPS降低了，MS-SSIM升高了。相比于ConSinGan模型的SIFID，两种病害类型平均降低了26.5%，LPIPS值平均降低了22.3%，MS-SSIM值平均升高了75.7%。MS-SSIM的升高并不代表本文模型的生成多样性没有ConSinGan高，过低的MS-SSIM值意味着图像失真程度严重，因此表3中的MS-SSIM值不高不低，可以从另一方面说明本文模型生成图像在图像质量和多样性方面均优于ConSinGan模型。另外，将SIFID值与LPIPS值综合来看，ConSinGan生成图像的LPIPS值较高的原因是因为其失真程度较严重，导致其生成图像的特征分布与真实图像的分布差距较大，故其SIFID值也较高。所以综合而言，本文改进的模型能够在保证质量的同时，保证生成样本的多样性。

3.3. 消融实验

本文所提出的FLM模块对GPR图像中的病害区域加大了权重。使得模型能够提高生成器对病害区域的提取，成功学习到病害的特征。在固定迭代次数的情况下，为了分析FLM模块在整个网络模型中所起到的作用，图6展示了无FLM模块与有FLM模块的两种不同形态的脱空病害生成图像。从原图1和原图2的左侧图像中可以看出，经ConSinGan模型生成的图像中背景纹理分布自然，但图像层次混乱，病害特征丢失，如原图1红框内图像所示。在原图2红色区域内隐约可以看见病害，但是该病害结构不清晰，与背景区域对比度较低，难以辨认。以上问题究其原因是生成器学习能力不足，在训练前期未能定位病害区域，且后期感受野的感知范围变小，开始关注图像细节，未能对病害特征加以补偿。而本文改进的模型能够在病害结构生成上表现优异，图中的细节也较为逼真(如图中白色框区域所示)。

Figure 6. Comparison of images generated by two models

图6. 两种模型生成图像对比

同时为了获取该模块对模型生成结果的影响程度，通过两种模型分别生成50张和100张样本，计算对应生成样本中含有病害的百分比。从表4中明显可以看出改进后的模型在病害生成上的成功率高于ConSinGan模型。

Table 4. FLM corresponding disease generation

表4. FLM对应病害生成情况

3.4. 对比实验

图7是固定迭代次数的MConSinGan模型在脱空病害图像生成过程中不同阶段下的图像。

Figure 7. Generated images at different stages under fixed iterations

图7. 固定迭代次数下不同阶段的生成图像

从图中可以看出在阶段1时模型就已经学习到基本的病害轮廓，背景也初步具备一些纹理。对比阶段2的4张生成图像，可以发现阶段1的样本之间的差异性大于阶段2。当继续训练至阶段3时，病害的空间位置虽然多样，但是图像内病害的数量较为单一，病害之间的结构差异缩小，特别是每幅图像之间的纹理特征比较相似。另外，病害生成图像的多样性体现在病害保持其独有特征不变的情况下，发生形态和位置的改变、结构的扩展以及图像内病害数量的改变和背景纹理的不同等。

如图8所示，模型使用了动态变化的迭代次数替代原有的固定迭代次数。从图中能够看出模型在训练阶段为3时，阶段1中的生成样本之间的差异性仍然存在。不仅在病害结构的形变方面可以体现，背景的纹理相较于图7而言也出现了不同。这种情况的发生主要是由于训练过程中，减少了训练后期的迭代次数，导致模型在分辨率高的原始图像上无法学习更丰富的纹理细节，但是在低阶段时，能够进行较多的训练，故模型能够很好保证图像整体结构的完整性。

Figure 8. Generated images at different stages under dynamically changing iterations

图8. 动态变化的迭代次数下不同阶段的生成图像

此外，由于在生成器中添加了FLM模块，致使模型的参数量和计算量增加，造成模型训练开销变大。动态变化的迭代次数计算方法能够通过减少模型总的训练次数来减轻FLM模块对模型性能的影响。表5为三种模型在相同阶段总数的条件下，训练同一个图像生成任务时的耗时比较。由此可以看出，将FLM模块与动态变化的迭代次数计算方式相结合，能够在训练时间小范围增长的情况下，显著提升模型的生成效果是非常值得的。

Table 5. Model performance comparison

表5. 模型性能比较

4. 结束语

本文提出一种基于ConSinGan模型的探地雷达病害样本生成方法MConSinGan，通过设计FLM模块对其进行改进，提高模型的生成性能，解决了ConSinGan模型在探地雷达图像生成中有效信息特征丢失的弊端。在训练阶段，设计了动态变换的迭代次数，在不影响生成质量的前提下，对FLM模块增加的训练开销起到了缓解作用，而且一定程度上提高了生成图像的多样性。最后，将改进后的模型应用到探地雷达病害样本生成中，通过对比分析验证了其在病害样本生成中性能和效率的优越性，为探地雷达病害智能识别研究中样本量不足的问题提供了数据扩充的新思路。

本文论述的工作还有待于进一步的扩展。比如基于单个图像生成的样本，其多样性是非常受限的，故下一步的主要工作是结合风格迁移等方法继续研究模型在探地雷达病害图像生成中多样性不足的问题。针对当前缺少探地雷达病害图像数据的问题，另一个工作是将本文模型用于扩充病害数据集，验证其在下游工作中的实际可用性。

基金项目

山东省自然科学基金项目(ZR2019MF060)，山东省高等学校科技计划项目(J18KZ01)。

NOTES

^*通讯作者。