提升地震相边缘和不规则体识别效果的半监督识别方法

A Semi-Supervised Recognition Method to Improve the Recognition of Earthquake Phase Boundaries and Irregular Bodies

摘要: 近年来随着深度学习的快速发展和地震相识别智能化研究深入，国内外提出了多种基于深度学习的地震相识别方法。但深度学习方法需要大量标注信息学习网络参数，实际上地震数据标注成本高，困难大。鉴于此，提出半监督地震相识别方法。利用少部分标注数据训练基于语义分割网络的地震相识别模型，并用模型对未标注的数据进行类别推断。该方法可扩展训练数据集规模，降低标注成本，提高模型的准确性和泛化能力。相较于仅用有限标注数据的模型性能有显著提升。该模型采用Deeplabv3+网络，在复杂深层相带存在边缘不清晰以及类内预测不一致问题，针对该问题，提出提升地震相边缘和不规则体识别效果的半监督识别方法。该方法在Deeplabv3+编码部分引入双注意力机制改善同类预测不一致现象，同时解码部分加入了有效通道注意力模块，结合低层特征进一步改善预测目标边界不清晰问题。改进后的Deeplabv3+网络有效改善存在的问题。

Abstract: In recent years, with the rapid development of deep learning and indepth research on seismic phase recognition intelligence, various deep learning-based seismic phase recognition methods have been proposed both domestically and internationally. However, deep learning methods require a large amount of labeled information to learn network parameters, and in fact, the cost of seismic data labeling is high and difficult. In view of this, a semi-supervised seismic phase recognition method is proposed. The seismic phase recognition model based on a semantic segmentation network is trained using a small number of labeled data, and the model is used to infer categories for unlabeled data. This method can expand the training dataset scale, reduce the labeling cost, and improve the accuracy and generalization ability of the model. Compared with models that use only limited labeled data, the performance of this method has significant improvements. This model uses the Deeplabv3+ network, which has problems such as unclear edges in complex deep phase bands and inconsistent predictions within classes. To address these issues, a semi-supervised recognition method for improving the edge detection and irregular body recognition effect of seis-mic phases is proposed. This method introduces a double attention mechanism into the Deeplabv3+ encoding part to improve the problem of inconsistent predictions among similar classes, while adding an effective channel attention module to the decoding part to further improve the problem of unclear prediction targets by combining low-level features. The improved Deeplabv3+ network effectively improves the problem.

1. 引言

地震相是特定沉积相的地震响应，能够代表产生其反射的沉积物的岩性组合、层理和沉积特征。地震相识别是根据沉积相的差异对沉积相进行分类。早期地震相识别需要解释人员结合经验和专业知识给出合理的识别结果。这一过程人工工作量巨大，导致解释效率低、结果主观性强。必须利用自动化方法减少人工解释的不确定性。

近年来，深度学习在计算机视觉领域取得巨大进展，并在地球物理领域得到了广泛应用，如初至拾取 ‎[1] 、断层识别 ‎[2] 、地震数据去噪 ‎[3] 等。深度学习的地震相识别模型主要分为两类，一类是基于图像分类的模型，此类模型是以待分类样本为中心的小尺度(patch)数据，将整个patch的类标签分配给中心样本。Chevitarese等 ‎[4] 提出将地震剖面图像分割成大小不超于50 × 50的小图像(patch)，每个patch只属于一个类别，并在AlexNet和VGG分类网络上训练，达到很高准确度。Zhao等 ‎[5] 比较了基于patch和基于编码器–解码器的两种模型，认为前者提供了更好的分类质量。另一类是基于语义分割方法的模型，以完整的地震剖面数据进行预测，实现了地震数据采样点的分类。Zhang等 ‎[6] 使用Deeplabv3+语义分割网络进行地震相识别，取得了不错的效果。Wu等 ‎[7] 首先将UNET网络应用于断层和盐丘识别。闫星宇等 ‎[8] 在UNET网络末端加入金字塔池化模块(Pyramid Pooling Module, PPM)提高了模型获取全局信息能力。上述监督学习算法表现良好，然而这种出色效果严重依赖大量良好标注数据，需要大量解释工作。这在一定程度上增加人的工作量，导致成本高、耗时长、主观性增强。

上述问题可以通过半监督学习和无监督学习算法缓解，使用无标注数据减少对标注数据的依赖。贺粟梅等 ‎[9] 利用余弦相似度量化地震数据特征域的相似性，寻找当前使用的训练样本邻域中的最大差异样本，扩展训练数据集。比使用监督学习更准确。Liu等 ‎[10] 比较传统监督卷积神经网络和半监督生成对抗网络，在训练样本不足情况下，生成对抗网络提高识别性能更显著。Coléou等人 ‎[11] 使用了K均值聚类方法对地震相进行分析，但该方法存在一些问题。首先，K均值方法需要预先定义生成的簇的数目，这对于地震数据来说可能并不合适。其次，K均值方法容易受到噪声和孤立点的影响，导致产生不准确的聚类结果。此外，K均值方法无法保持数据的拓扑结构，这在连续、低维、高噪声的地震数据中尤为严重。张等人 ‎[12] 结合了自组织神经网络和粒子群多属性动态聚类方法，以改进地震相分析技术。这种方法不仅减少了计算工作量，还具有全局寻优能力，有效避免了陷入局部极小值的问题，从而能够获得更准确的聚类结果。该方法在模型数据和实际资料的应用中都取得了较好的聚类效果，并能够较好地揭示地震相的特征。半监督学习相较于无监督学习能同时利用有限标注数据和未标注数据训练，更符合实际拥有少量标注地震数据。

半监督学习中Yang等 ‎[13] 提出了一种改进的自训练范式(Self-Training, ST++)研究半监督语义分割。其中网络采用Deeplabv3+，重新思考多段式子训练范式，提出基于第一阶段训练过程中伪标签的稳定性来选取可靠伪标签方法。ST++在地震相识别中对深层相带识别存在边缘不清晰和同类分割不一致现象。刘文祥等 ‎[14] 采用双注意力机制改善Deeplabv3+网络存在的问题，在遥感数据上取得较好的结果。但是该方法忽略了低层特征影响。鉴于此，本文针对Deeplabv3+网络在地震数据语义分割方面存在的问题，将双注意力机制(Dual Attention Mechanism, DAM)模块引入Deeplabv3+网络同时，对底层特征使用有效注意力机制(Efficient Channel Attention, ECA)模块，提出基于Deeplabv3+的半监督地震相识别模型，以期改进后的网络在地震数据深层相带语义分割的精度有所提升。

2. 基于半监督语义分割网络的地震相识别方法

本节首先介绍基于半监督地震相识别模型中改进的Deeplabv3+网络，并描述伪标签筛选策略和模型算法，最后给出模型的优化目标。

2.1. 改进的Deeplabv3+算法

Deeplabv3+算法在Deeplabv1-3 ‎[15] ‎[16] ‎[17] 基础上发展而来。本文在Deeplabv3+编码区和解码区均做了一定的改进，总体结构见图1。

1) 编码区，首先原Deeplabv3+网络模型结构的骨干网络换为resnet50网络进行特征提取，然后引入DAM模块与ASPP串联，改善因过大的扩张率无法较好的对图像边缘目标特征进行准确提取，以及不能完整地模拟出大尺度目标局部特征间的联系，使大尺度目标分割存在空洞现象。模型通过深度特征提取网络得到特征图后，将特征图送入DAM模块中进行特征图的位置及通道间像素特征强化，然后将特征图输入ASPP模块中进行多尺度目标分割，最后按照原网络方法进行特征图的解码恢复工作。

2) 解码区，引入ECA模块结合低层特征，进一步改善预测边缘不准确问题，模型通过深度特征提取网络得到低层特征图后，将特征图送入ECA进行通道间像素特征强化，最后按照原网络方法进行解码操作。

Figure 1. Improving the decoder structure diagram of Deeplabv3+ networ

图1. 改进Deeplabv3+网络结构

ECA结构见图2，高效通道注意力(ECA)模块一种不降维的局部跨通道交互策略，有效避免了降维对于通道注意力学习效果的影响，该模块只涉及少数几个参数，但具有明显的效果增益。

Figure 2. ECA module structure

图2. ECA模块结构

DAM结构见图3，由通道注意力机制模块和空间注意力机制模块组成的双注意力模块。这两个模块并行操作，以提升分类精度。通道注意力模块利用不同通道的相关类别特征之间的关联性，对不同类别特征进行强化。通过这种方式，可以提高分类精度。空间注意力模块则通过模拟不同局部特征之间的联系，促进这些特征之间的分类精度。这种模块可以帮助不同局部特征相互促进，从而提升分类精度。

Figure 3. DAM module structure

图3. DAM模块结构

2.2. 伪标签筛选策略

训练过程中比较简单的图像在训练前期就会达到比较高的正确率，且训练后期伪标签变化很小；相反，对于比较复杂的图像，模型在训练的不同迭代次数预测出的伪标签往往有较大差异。通过度量伪标签在不同迭代次数的稳定性来确定无标签图像及其伪标签的可靠性。为了这种度量策略更加稳定，基于不同迭代次数的整图伪标签之间的平均交并比(mean Intersection over Union, mean IOU)来计算。具体做法是，在第一阶段有标签图像上的预训练过程中保存K个检查点，通常最后一个检查的质量最高，因此对于一张无标签图像 $x_u$ ，用前K − 1个检查点在 $x_u$ 上预测出的伪标签和第K个检查点的预测结果算mean IOU，mean IOU越大，说明预测出的伪标签的重合度越高，也就是伪标签在训练过程中越稳定，其质量也越可靠。形式化描述如下。

$s_i={\displaystyle \underset{j}{\overset{K-1}{\sum }}\text{meanIOU}\left(y_{ij},y_{iK}\right)}$ (1)

其中 $s_i$ 为稳定性得分，即伪标签质量得分。

2.3. 半监督语义分割网络模型训练算法

假设标注训练集为 $D_L={\left\{x_i\in R^{\left(H,W,1\right)},y_i\in R^{\left(H,W,1\right)}\right\}}_{i=1}^{M_L}$ ，未标注训练集为 $D_U={\left\{x_i\in R^{\left(H,W,1\right)}\right\}}_{i=1}^{M_U}$ ， $M_U$ 其中远大于 $M_L$ 。伪标注过程中因教师和学生之间具有相同的网络结构和相似的初始化，会对未标记的图像做出相似预测，所以引入数据增强 $D^s$ ，如改变图像亮度、饱和度、对比度，模糊化图片等。

ST++简化了最普通的自我训练形式。它包括三个步骤：

1) 监督学习，采用交叉熵损失在 $D_L$ 上训练一个教师模型T。

2) 伪标注，根据公式(1)用T预测 $D_U$ 的one-hot伪标签，得到 $D_U={\left\{x_i,T\left(x_i\right)\right\}}_{i=1}^{M_U}$ ，并计算标签质量分数 $s_i$ 。最后根据 $s_i$ 选择可靠伪标签数据集 $D_U^1$ ，当前不可靠伪标签数据表示为 $D_U^2=D_U-D_U^1$ 。

3) 再训练， $D_U^1$ 经过数据增强后在 $D_L\cup D_U^1$ 上重新训练一个学生模型S，重复伪标注操作，用S预测 $D_U^2$ 的one-hot伪标签。重新初始化S，在 $D_L\cup D_U^1\cup D_U^2$ 上训练一个最终学生模型S。

算法1 半监督语义分割网络模型伪代码

输入：标注训练集 $D_L$ ，未标注训练集 $D_U$ 数据增强 $D^s$ 。

输出：经过充分训练的学生模型S。

1) for ${\left\{\left(x_i,y_i\right)\right\}}_{i=1}^B\subset D_L$ do，

2) for $j\in \left\{1,\cdots ,B\right\}$ ，

3) ${\hat{y}}_i=T\left(x_i\right)$ ，

4) 更新T使得 ${\left\{\left({\hat{y}}_i,y_i\right)\right\}}_{i=1}^B$ 的 $L_{CE}$ 最小化，

5) return T，

6) 同时在 $D_L$ 上训练时保存T网络的K个检查点 ${\left\{T_j\right\}}_{j=1}^K$ ，

7) for $x_i\in D_U$ do，

8) for $T_j\in {\left\{T_j\right\}}_{j=1}^K$ do，

9) $y_{ij}=T_j\left(x_i\right)$ ，

10) 结合公式(1)和 $y_{ij}$ 计算 $s_i$ 选择个分数最高的图像组成 $D_U^1={\left\{x_i,T\left(x_i\right)\right\}}_{x_i\in D_U^1}$ ，

11) 在 $D_U^1$ 数据增强 $D^s$ ，在 $\left(D_L\cup D_U^1\right)$ 训练S，

12) $D_U^2={\left\{x_i,T\left(x_i\right)\right\}}_{x_i\in D_U^2}$ ，

13) 重新初始化S，

14) 在 $D_U^1$ 和 $D_U^2$ 数据增强 $D^s$ ，最后在( $\left(D_L\cup D_U^1\cup D_U^2\right)$ )训练S，

15) return S。

2.4. 半监督语义分割网络优化目标

损失函数包括两部分，分别用于训练半监督语义分割模型的有标签数据和无标签数据。

有标签数据，采用标准交叉熵损失，同时引入数据增强。则有：

$L_{CE}=-\frac{1}{N}{\displaystyle \underset{j}{\overset{N}{\sum }}{\displaystyle \underset{k}{\overset{C}{\sum }}\left(y_{jk},\log \left(T{\left(x\right)}_{jk}\right)\right)}}$ (2)

其中N代表像素点个数，即H × W；C代表类别数； $y_{jk}$ 代表真实标签；预测网络T的输出为 $T(\cdot )$ 。

$L_U=-\frac{1}{N}{\displaystyle \underset{j}{\overset{N}{\sum }}{\displaystyle \underset{k}{\overset{C}{\sum }}\left(S{\left(D^S\left(x\right)\right)}_{jk},\log \left(T{\left(x\right)}_{jk}\right)\right)}}$ (3)

其中网络S输出为 $S(\cdot )$ ； $D^s$ 数据增强。

3. 实验与结果分析

3.1. 数据集

数据集为荷兰北海F3数据集，工区数据总大小为16 km × 24 km，主测线从100到750，共651道主测线，联络测线从300到1260，包含951道联络测线，每个地震道采样点为462个，采样间隔为4 ms。用来训练和测试网络模型的最终地震模型并不是F3的全部区域。结合工区的整体数据存在缺失等情况，使用在Inline 100至701、Crossline 300至1246之间。地震数据及标签示意图见图4。

Figure 4. F3 Netherlands datasets

图4. F3荷兰数据集

3.2. 数据预处理

通过分析数据集，发现数据集在侧线相距较远时深层相带差异较大，训练数据集中在某一区域模型容易出现过拟合。为防止过拟合，数据集划分过程选择深层相带较为平缓的剖面 $x_S$ 与剩余剖面计算峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)，PSNR值越高，表示图像之间差距越小。并遵循正态分布选择用于训练的剖面。

由于Inline和Crossline的尺寸不一样，为防止直接缩放产生失真，只将最短的边缩放到统一尺寸，得到一个缩放比例，该缩放比例来缩放另一边，以此保证地震剖面不出现失真问题。除此之外，为了让神经网络更容易对图像进行处理和学习，在输入剖面中找到一个短边的最小值一个长边的最大值，形成一个宽高一致的模板容器，将缩放后的地震剖面放入该容器内，确保输入地震剖面的在不失真的同时大小也保持一致 ‎[18] 。

3.3. 模型评价指标

本文采用语义分割中常用的评价指标平均交并比(Mean Intersection over Union, MIOU)。IOU (Intersection over Union)表示预测结果和真实标签之间的交集与并集之比。如果预测结果完全准确，则IOU为1；如果完全错误，则IOU为0。

$\text{MIOU}=\frac{1}{C}\frac{{\displaystyle {\sum }_j^C\left|Y_j\cap P_j\right|}}{{\displaystyle {\sum }_j^C\left|Y_j\cup P_j\right|}}$ (4)

其中， $Y_j$ 为是输入第j类采样点集合， $P_j$ 是预测属于第j类采样点集合， $j\in C$ ，共C类地震相。

3.4. 实验结果

在半监督学习中，将训练集按照一定比例划分为标注数据集和未标注数据集两部分，在实验中训练集保留1/8、1/4训练集作为有标注数据，其余为无标注数据。伪标注过程中首次对可靠标签筛选为无标注数据的1/2，筛选检查点选择在迭代次数的1/3、2/3和最后一次的迭代。部分剖面预测结果见图5。从表1数据和图上表示结果可得经过半监督训练后，仅用少量标注数据就能达到大量标注数据的监督学习性能。

Table 1. This article compares the results of the method with Deeplabv3+ in the data set

表1. 本文方法与Deeplabv3+在数据集结果对比

Figure 5. This article describes the performance of the method on the data set

图5. 本文方法在数据集表现

本文采取在Deeplabv3+编码区串联一个双注意力机制模块，利用不同通道的类内关联性使分割目标类内一致，同时在解码区添加有效注意力机制进一步改善预测边缘模糊问题。部分地震剖面预测结果见图6。

Figure 6. This article compares the performance of the method with Deeplabv3+ on the data set

图6. 本文方法与Deeplabv3+在数据集表现

图6中每行为不同辅助侧线地震剖面和其对应预测结果，第一行从圈出的部位可以看出，改进后的Deeplabv3+网络预测结果在边缘预测有明显改进；第二行预测结果中深层相带上孔洞明显消失，并且边缘预测更贴近真实标签结果；第三行预测结果也对空洞和边缘预测有很好的改善。

4. 结论

本文针对基于Deeplabv3+网络的半监督地震相识别模型预测结果存在类内预测不一致和边缘模糊的问题，在网络编码部分串联一个双注意力机制，同时在解码部分引入有效通道注意力机制，此方法可有效模拟出图像之间的长期上下文依赖信息，获取更为精确的边界信息，有效去除分割孔洞和边缘预测不准确现象。

在实验中，发现深层相带与浅层相带相比预测结果存在较大差异，深层相带特征提取困难。如何在保证浅层相带预测准确的前提下，提升深层相带预测结果准确度是接下来研究方向。同时，半监督学习依然需要标注信息，无标注情况下实现地震相识别是将来研究重点。

基金项目

河北省高校基本科研业务费资助。河北地质大学创新团队项目编号：KJCXTD-2021-11。

河北省重点研发计划项目(项目名称：基于时空大数据及深度学习的地质灾害风险识别关键技术研究编号：22375415D)。

NOTES

^*通讯作者。