几种提取内波波峰线的高精度检测方法分析

Analysis of Several High-Precision Detection Methods for Internal Wave Crest Line Extraction

摘要: 海洋内波观测对于海洋学方面具有重要价值，海洋内波提取为进一步研究内波生成及预测提供了前提条件。本文就三种经典的传统图像处理方法及两种深度学习方法进行了比较，通过ERS-1、ENVISAT-1以及SENTINEL-1等合成孔径雷达遥感卫星获取的不同时刻、不同地点的数据来进行实验，采用F1分数、MACC及MIoU值验证不同方法的性能。通过实验发现传统图像处理方法与深度学习方法均能识别内波波峰线，其中Canny算法和自适应阈值方法更关注图像全局信息，光束曲线二叉树方法能够提取主要波峰线并且忽略一些细小且不明显的内波条纹，深度学习方法U-net与U2-net适应性强，在不同背景、噪声的情况都能提取较完整的内波波峰线。

Abstract: Observation of internal waves in the ocean holds significant importance in the field of oceanogra-phy. The extraction of oceanic internal waves serves as a prerequisite for further research into their generation and prediction. This paper compares three classical traditional image processing meth-ods and two deep learning methods. Experiments were conducted using data obtained from Syn-thetic Aperture Radar (SAR) remote sensing satellites such as ERS-1, ENVISAT-1, and SENTINEL-1, captured at different times and locations. Performance evaluation was carried out using F1 score, accuracy (MACC), and Mean Intersection over Union (MIoU) values. Experimental results indicate that both traditional image processing methods and deep learning methods are capable of identi-fying the internal wave crest line. The Canny algorithm and adaptive threshold method prioritize global information in the images. The beam curve binary tree method can extract major internal wave crest lines while ignoring some smaller and less conspicuous internal wave patterns. The deep learning methods, U-Net and U2-Net, exhibit strong adaptability, successfully extracting compre-hensive internal wave crest lines under different backgrounds and noise conditions.

1. 引言

海洋内孤立波(ISWs)是出现在稳定分层的海洋中的一种非线性波动现象，通常是由于海底的扰动使得水体发生波动。目前合成孔径雷达(Synthetic Aperture Radar, SAR)图像通常用于内波的研究。从SAR图中识别并提取内波波峰线为进一步研究内波生成、传播机制提供了前提条件。

基于海洋内波SAR图像，人们已经在内波提取方面做了大量研究。汤琦璇提出了一种应用于SAR图像海洋内波识别的新方法，结合边缘性质建立边缘特征向量并采用FCM聚类算法得到边缘点，进而提取出内波波峰线 [1] 。孙丽娜等人对日本海内波进行内波波峰线的提取，获得了内波波峰线的长度和传播速度，并反演了内波振幅 [2] 。郭薇等人利用小波变换阈值去噪方法对图像进行预处理，验证了小波变换可应用于内波特征提取 [3] 。郑应刚等人采用列分离领域处理和Canny算子边缘检测算法对内波条纹检测，依据内波特征对条纹进行了筛选 [4] 。Zheng等人则是先采用Gamma滤波对内波图像噪声进行处理，然后采用支持向量机(SVM)对SAR图像进行分离，最后采用Canny算法对内波条纹检测与识别 [5] 。Xu等人利用高斯滤波、Canny算子对SAR图像中多簇海洋内波进行检测，并结合聚类分析对内波波包进行识别与分离 [6] 。Chen等人通过多区域分割和方向检测对SAR图像进行识别，与地面传输数据进行比较对所提出方法进行了验证 [7] 。Magnier等人提出了一种基于多尺度旋转高斯半滤波器差分的图像岭/谷检测方法，能够非常精确地检测不同宽度的脊/谷 [8] 。

边缘检测的目的是标识数字图像中亮度变化明显的点，内波波峰线提取则为获得图像中显著变化的部分，因此可将边缘检测的方法应用于内波提取。在边缘检测方面，Yu等人基于FCN的边缘学习建立了一个同时进行边缘对齐与学习的概率模型，该模型在网络训练中可以端到端学习且在边缘检测方面取得了很大的改进 [9] 。Liu等人提出了一种使用更丰富卷积特征(RCF)的精确边缘检测器。RCF充分利用目标的多尺度和多层次信息，进行图像到图像的整体预测 [10] 。Kelm等人采用基于ResNet的多路径细化卷积神经网络进行目标轮廓检测，得到了边缘检测结果 [11] 。

目前深度学习方法已成为遥感图像处理、内波提取的高效方法之一。为了从内波SAR图中获得亮暗条纹，Zheng等人提出了一种基于Mask R-CNN的海洋内波条纹分割算法。研究结果表明，该方法不仅可以识别海洋内波，而且还可以获得内波图像中亮暗条纹的各自位置和方向角 [12] 。Zheng等人还提出了一种基于SegNet的海洋内波条纹分割算法。该方法能够识别SAR图像中海洋内波，并获得海洋内波的亮暗条纹的各自位置及相对位置 [13] 。

在本论文中，我们针对内波波峰线提取问题，采用三种传统图像处理方法和两种深度学习方法对内波波峰线进行提取，并对提取结果进行了对比，表明这些方法对于内波提取均有一定的作用。

2. 几类边缘检测方法介绍

2.1. 边缘检测方法

在传统图像处理边缘检测方法中，常采用Sobel边缘检测算子、Scharr算子、拉普拉斯(Laplacian)算子以及Canny算子等。由于内波SAR图存在噪声大、波峰线有断裂等特点，采用传统图像处理方法具有挑战性。下面介绍三种常用传统图像处理方法，并将其运用到SAR图像内波提取任务中提取内波波峰线。

(1) Canny算子边缘检测算法

Canny算子是一种应用广泛的边缘检测算法 [14] ，在很多应用场景中都适用，具体流程如下：

第一步：进行高斯卷积平滑滤波，去除图片存在的噪声，得到平滑图像。内波SAR图存在大量噪声，因此在使用Canny算子对其进行内波波峰线提取时，需要去除噪声影响。在Canny边缘检测算法中采用高斯滤波对像素点进行加权平均从而去除噪声点。高斯滤波函数在二维情况下的表达式如下：

$G\left(x,y,\sigma \right)=\frac{1}{2\pi {\sigma }^2}\exp \left(\frac{-1}{2{\sigma }^2}\left(x^2+y^2\right)\right)$ (1)

设原图为 $f\left(x,y\right)$ ，经过高斯平滑滤波之后的图像为：

$g_G\left(x,y\right)=f\left(x,y\right)\ast G\left(x,y,\sigma \right)$ (2)

第二步：计算x和y方向的幅度和梯度方向，图像梯度在 $\left(x,y\right)$ 处的模为 $\sqrt{g_x^2+g_y^2}$ ，在该点的梯度方向为 $\arctan \frac{g_x}{g_y}$ ，与梯度垂直的方向即为边缘方向 $g_{xy}$ 。

第三步：四个方向进行比较，进行非最大抑制，筛除错误检测的边缘。

第四步：双阈值监测与边缘连接。通过上一步，图像的强边缘与弱边缘都已经被筛选出来，作为边缘检测的结果。弱边缘可能由噪声产生，也可能是由图像的实际边缘得出，因此采用高低阈值来区分弱边缘是由哪种情况产生，仅保留高于强阈值的边缘。

以上就是Canny边缘检测算法的流程，为了与文献 [15] 中的方法进行对比，本文在实验中选取的阈值为[0.28,0.7]。

(2) 光束曲线二叉树边缘检测算法

内波SAR图的成像特点决定了其存在大量的相干斑乘性噪声，这不仅会破坏图像的真实特征，同时也会产生不清晰的视觉效果。光束曲线二叉树边缘检测算法旨在从具有较大噪声图像中提取主要特征。光束曲线二叉树边缘检测算法主要由两部分组成：波束曲线提取与构造边缘图。为了计算内波图像I所对应的具有统计学意义的边缘，构造光束曲线二叉树，这一步采取自下而上的先序遍历法计算。从几何角度考虑，树的每个结点对应于图像I中的一个特定区域，树形结构以矩形为分块区域，并依次递归，直到小矩形的边长为 $n_{\min }$ 时停止，此 $n_{\min }$ 可自行设定，本文实验中设定 $n_{\min }=5$ 。建树的具体流程见文献 [16] 算法1、算法2和算法3。由建树得到内波SAR图连接曲线中响应值最高的曲线集合。

Ofir等人 [17] 给出响应值的公式为：

$\varphi \left(\gamma \right)=\left[R,L,C,P\right],$ (3)

其中R为直线响应的匹配滤波器的值，L为候选曲线集的总长度，C为平均对比度，且 $C=\frac{R}{2\omega L}$ ， $\omega$ 为

直线滤波器的宽度，P为像素值。

由光束曲线二叉树得到内波图像I的曲线集合，然后构造边缘图E。将内波SAR图中所有像素设置为0，筛除响应值低于阈值T的曲线，得到候选曲线集 $\gamma$ 。阈值T的公式如下：

$T\left(L,K_L\right)=\sigma \sqrt{\frac{2\ln K_L}{\omega L}},$ (4)

其中， $K_L$ 为搜索空间的大小。

对于每一条长度为L的候选曲线 $\alpha \in \gamma$ ，计算其边缘分数 $\phi \left(\alpha \right)$ ， $\phi \left(\alpha \right)>0$ 表明候选曲线 $\alpha$ 是显著边缘曲线，予以保留。边缘分数 $\phi \left(\alpha \right)$ 的公式如下：

$\phi \left(\alpha \right)=C\left(\alpha \right)-T\left(L,K_L\right)$ (5)

对 $\phi \left(\alpha \right)>0$ 的曲线 $\alpha$ 按边缘分数大小进行排序，对于排序列表中的每条曲线 $\alpha$ ，其像素为 $p\in P$ ，并采用 $E\left(p\right)$ 来保存其对应的分数。对这些正得分中的重叠曲线，采用非最大抑制方法筛选出需要去除的曲线，进而得到我们的边缘图像。

(3) 自适应阈值法

自适应阈值法，其主要思想不是计算全局图像的阈值，而是根据该像素的邻域块的像素值分布来确定该像素位置上的二值化阈值。对于自适应阈值法，每个像素位置处的二值化阈值由其周围领域像素的分布来决定。不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值。对于全局图像的阈值，该算法也能自适应计算不同的阈值。内波SAR图存在明显的明暗条纹，符合自适应阈值法的应用条件，因此可采用该方法提取内波波峰线。

2.2. 深度学习方法

语义分割是图像处理和计算机视觉的一个重要分支。与分类任务不同，语义分割需要判断图像每个像素点的类别，从而进行分割。本文将两种语义分割的经典模型运用到内波波峰线提取问题中，分析其提取内波的效果，并与上述传统图像处理方法进行对比。

(1) U-net

U-net网络模型可在很少的训练图像下工作，产生更精细的分割 [18] 。U-net的网络架构由Encoder和Decoder两部分组成，先输入512 × 512的内波图片进行四次池化，得到256 × 256、128 × 128、64 × 64、32 × 32四种不同尺寸的内波特征图，然后对32 × 32的内波特征图做上采样，得到64 × 64的内波特征图。上采样得到的64 × 64的内波特征图与之前池化得到的64 × 64的内波特征图进行通道连接，再进行卷积和上采样，得到新的128 × 128的内波特征图。依次进行，经四次上采样之后得到512 × 512的内波提取效果图。

U-net网络模型采用公式(6)所示的损失函数，

$E={\displaystyle \underset{x\in \Omega }{\sum }\omega \left(x\right)\log }\left(p_{l\left(x\right)}\left(x\right)\right),$ (6)

其中，x为像素值， $p_{l\left(x\right)}$ 表示x在真实标签所在通道上的输出概率， $\omega \left(x\right)$ 为权重项。

(2) U²-net

U²-net作为一种改进U-net的深度网络架构，可用于显著性目标检测(SOD) [19] 。与U-net相比，U²-net在其基础上，提出了RSU (残差U块)，从不同尺度获取更多的上下文信息。RSU主要由三部分构成：卷积层、Encoder-Decoder结构、局部特征和多尺度特征融合机制。首先，将输入特征x映射为中间特征 $F_1\left(x\right)$ 。其次，在Encoder-Decoder结构中，以 $F_1\left(x\right)$ 为输入，学习提取和编码，得到多尺度上下文信息 $U\left(F_1\left(x\right)\right)$ 。最后，将中间特征 $F_1\left(x\right)$ 与多尺度特征 $U\left(F_1\left(x\right)\right)$ 结合起来，得到丰富的全局特征。此外，U²-net网络为双层嵌套的U型结构，并且架构建立在RSU块上，可灵活适应不同的工作环境。U²-net网络结构的特征允许其拥有丰富的多尺度特征和相对较低的计算量及内存成本。损失函数方面，采用标准的二进制交叉熵来计算，

$l=-{\displaystyle \underset{\left(x,y\right)}{\overset{\left(H,W\right)}{\sum }}\left[P_{G\left(x,y\right)}\log P_{S\left(x,y\right)}+\left(1-P_{G\left(x,y\right)}\right)\log \left(1-P_{S\left(x,y\right)}\right)\right]}$ (7)

其中 $\left(x,y\right)$ 为像素值， $\left(H,W\right)$ 是图像大小， $P_{G\left(x,y\right)}$ 为真实图像的像素值， $P_{S\left(x,y\right)}$ 为预测图像的像素值。

3. 实验

3.1. 实验设置

由于没有公开的内波遥感数据集，我们构造了具有180张测试集、20张验证集与200张标签的数据集。本文仅关注内波的波包和主要波，因此标签标注了主要波峰线。对于传统方法，本文采用Matlab进行了代码实现，得到了对应的内波波峰线提取结果。对于深度学习方法，本文模型的实现和验证是在64位Ubuntu 18.04.6的系统上使用PyTorch和NVIDIA A100 GPU进行。

3.2. 评价指标

为了评估不同方法的性能，本文计算了语义分割中常用的指标：F1分数、平均准确率(MACC)和平均交并比(MIoU)。F1分数作为用来衡量二分类(或多任务二分类)模型精确度的一种指标，它同时兼顾了精确率(Precision)和召回率(Recall) (公式(10))。精确率(Precision)以预测结果为判断依据，从预测为边缘的样本中得到预测正确的比例(公式(8))。召回率(Recall)以实际样本为判断依据，在实际为边缘的样本中，得到被预测正确的边缘占总实际边缘样本的比例(公式(9))。平均准确率(MACC)为所有类的平均准确率(公式(11))。平均交并比(MIoU)为数据集中的每一个类的交并比的平均(公式(12))。不同方法的评价指标对比见表1。

$\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}},$ (8)

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}},$ (9)

$\text{F}1=2\times \frac{\text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}},$ (10)

$\text{MACC}=\frac{\frac{\text{TP}}{\text{TP}+\text{FN}}+\frac{\text{TN}}{\text{TN}+\text{FP}}}{2},$ (11)

$\text{MIoU}=\frac{\frac{\text{TP}}{\text{TP}+\text{FP}+\text{FN}}+\frac{\text{TN}}{\text{TN}+\text{FP}+\text{FN}}}{2},$ (12)

其中，TP (True Positives)表示预测为边缘且实际为边缘的像素值，FP (False Positives)表示预测为边缘实际为非边缘的像素值，FN (False Negatives)表示预测为非边缘实际为边缘的像素值，TN (True Negatives)表示预测为边缘实际为非边缘的像素值。

Table 1. Comparison of evaluation indicators of different methods

表1. 不同方法的评价指标对比

3.3. 实验结果

本文选取了背景深浅度不同、主要波峰线条数不同的内波图像作为测试集，得到了表1和图1。从表1可得知，U²-net网络与自适应阈值方法的F1值较高，其他三种方法F1值较低，这是因为F1分数旨在使精确率和召回率同时达到最高，前两种方法满足这一特性，因此数值较高。光束曲线二叉树边缘检测算法与U-net网络的MACC值较高，其他三种方法的MACC值较低。这是因为我们所绘制的标签为主要波峰线，Canny和自适应阈值方法检测出的内波图像存在较多干扰部分，噪声偏大；而U²-net网络提取出的内波图像中主要波峰线存在条数不够及单条波峰线不完整等问题，使其平均准确率较低。Canny、光束曲线二叉树边缘检测算法与U-net网络的MIoU值相对较高，另外两种检测方法其MIoU值较低。MIoU值计算真实值和预测值两个集合的交集和并集之比，是全局的评价值。前三种方法检测得到的内波图像整体准确性与泛化能力较好，对各种类别的分割效果明显，因此MIoU值也相对较高。

从图1中能够发现，Canny与自适应阈值算法更关注全局信息，图像中噪声相对较大；光束曲线二叉树边缘检测方法可自动滤波，提取主要波峰线。与传统图像处理方法相比，深度学习方法更能适应多种情况，既能有效滤波又能关注主要波峰线信息，更符合所研究重点，在不同场景下对主要波峰线的提取均取得了较好的效果。

Figure 1. Effect diagram of internal wave extraction by different methods

图1. 不同方法的内波提取效果图

4. 结论

本文对几种内波波峰线提取方法进行了综述，针对合成孔径雷达遥感卫星获取的不同时刻、不同地点的数据进行实验，发现所选取的5个方法均能检测到内波的主要波峰线。模型比较采用F1分数、MACC及MIoU等三个评价指标，结果显示U²-net和自适应阈值方法的F1值较高，U-net与光束曲线二叉树边缘检测算法的MACC值较高，U-net、Canny与光束曲线二叉树边缘检测算法的MIoU值相对较高。研究结果表明，Canny算法和自适应阈值算法对噪声较为敏感，检测到细小且不明显的内波条纹和其他非内波纹理；光束曲线二叉树方法对噪声不敏感，能较好提取主要波峰线；U-net与U²-net能适应不同灰度值和灰度不均匀的内波SAR图像，提取出的内波波峰线也较为完整，断裂较少。从提取效果观察得出深度学习方法在内波提取方面表现较好，今后将构造各类深度学习方法深入研究海洋内波提取、预测等问题。

基金项目

国家自然科学基金(62161044, 11962025)；内蒙古自然科学基金(2023MS06003)。

参考文献