基于遥感影像的滑坡图像检测方法的研究
Research on Landslide Image Detection Method Based on Remote Sensing Images
DOI: 10.12677/CSA.2023.1311204, PDF, HTML, XML, 下载: 208  浏览: 363  科研立项经费支持
作者: 侯梦媛, 李明亮, 吕梅洁:河北地质大学信息工程学院,河北 石家庄;智能传感物联网技术河北省工程研究中心,河北 石家庄
关键词: 滑坡检测遥感影像Faster RCNN卷积神经网络目标检测Landslide Detection Remote Sensing Images Faster RCNN Convolutional Neural Network Object Detection
摘要: 滑坡是全球主要的自然灾害之一,危害极大,其影响不可忽视。深度学习进行滑坡检测的进程不断发展,Faster RCNN有较大的贡献,但仍存在检测速率慢和精度低的问题。对Faster RCNN模型进行改进,首先,在Faster RCNN模型中增加inception模块,增加网络的宽度及深度,使模型能充分提取遥感影像的特征;再次,在Faster RCNN模型中增加残差注意力网络,加深网络,提高图像检测精度,从而优化算法检测效果。采用毕节市公开的滑坡数据集进行测试,结果表明,对于同一测试数据,改进的Faster RCNN算法模型与现有的Faster RCNN、VGG16、inception v3模型相比,在精度、召回率、准确率等方面有2%~5%的提升。由此可得出,改进后的算法模型能够准确有效地对遥感影像中的滑坡区域进行检测。
Abstract: Landslide is one of the major natural disasters worldwide, with great harm and its impact cannot be ignored. The process of deep learning for landslide detection is constantly developing, and Faster RCNN has made significant contributions, but there are still problems with slow detection speed and low accuracy. To improve the Faster RCNN model, firstly, an insertion module is added to the Faster RCNN model to increase the width and depth of the net-work, enabling the model to fully extract features from remote sensing images; once again, add residual attention networks to the Faster RCNN model, deepen the network, improve image detection accuracy, and optimize the algorithm’s detection performance. The test was conducted using the publicly available landslide dataset in Bijie City, and the results showed that for the same test data, the improved Faster RCNN algorithm model showed a 2% to 5% improvement in accuracy, recall, and accuracy compared to the existing Faster RCNN, VGG16, and inception v3 models. From this, it can be concluded that the improved algorithm model can accurately and effectively detect land-slide areas in remote sensing images.
文章引用:侯梦媛, 李明亮, 吕梅洁. 基于遥感影像的滑坡图像检测方法的研究[J]. 计算机科学与应用, 2023, 13(11): 2051-2061. https://doi.org/10.12677/CSA.2023.1311204

1. 引言

滑坡是一种频发的自然灾害现象,其具有损毁性大、危害性大等特点 [1] 。中国是滑坡灾害频发的国家,地质灾害灾情的统计数据显示2021年中国发生滑坡灾害的数量占地质灾害数量的48.93% [2] ,且滑坡数量仍在不断增加。滑坡不仅会对居民建筑、道路等服务设施造成损害,还会对人身安全造成重大危害 [3] ,其危害不容小觑,其影响不可忽视。因此,进行滑坡检测对于提前预防、保证人身安全及财产安全等具有重要意义,也对滑坡发生后能及时进行抢险应急指挥具有重要意义。

滑坡检测的技术不断发展,至今已经历了五个阶段,分别为:人工目视判读 [4] [5] 、基于像素检测方法 [6] 、基于对象检测方法 [7] 、基于机器学习技术检测方法 [8] [9] [10] [11] 、基于深度学习技术检测方法 [12] - [20] 。人工目视判读 [4] 的结果更依赖专业人员的主观性且费时费力。虎振兴 [6] 等运用基于像素的方法通过比较滑坡区域和非滑坡区域的植被恢复速率进行滑坡检测。张毅 [7] 等运用面向对象分类法对滑坡信息进行提取,在一些地形复杂的区域实验效果不理想。张福浩 [8] 等运用XGBoost模型并综合多种地理因子数据进行滑坡识别。巨袁臻 [14] 等运用深度学习技术对谷歌地球影像数据进行检测,实现了对黄土地区滑坡的自动识别,该方法局限于黄土地区的滑坡识别。

从人工判读到基于机器学习技术检测的过程中,对图像中滑坡区域检测的准确率不断提高、检测的时间不断减少,但这些仍不能满足现实情况的要求。近年来深度学习技术不断发展,将其应用到遥感图像检测中成为了一种趋势。利用深度学习技术进行检测,是以遥感影像中的滑坡作为目标区域,以卷积神经网络为基础,不断改进模型的网络结构,旨在能更加有效地挖掘出滑坡图像中的深层特征信息,以此实现检测精度增加、花费时间减少的效果。

2. 模型基础

基于深度学习的目标检测算法较好地解决了传统算法存在的复杂度较高、窗口冗余等问题 [21] [22] ,目前基于深度学习的目标检测算法 [23] [24] 主要分为单阶段和双阶段检测算法。单阶段目标检测算法的检测速度快、检测精度相对较低,包括YOLO [25] 、SSD [26] 等。双阶段目标检测算法相对于单阶段算法虽然检测速度会降低,但检测精度有明显提高,包括RCNN [27] 、Fast RCNN [28] 、Faster RCNN [29] 等。其中,Fast RCNN弥补了RCNN的不足之处,而Faster RCNN基于Fast RCNN进行了改进,在精度和检测速率上明显得到了提高,并且Faster RCNN和YOLO、SSD相比,鲁棒性更强,占用的空间更小,但深度学习的网络模型不够新颖等问题,仍导致模型对滑坡的检测准确率较低。此外,在现有的滑坡检测实验中存在着使用的部分遥感影像数据分辨率较低等情况,这也影响着滑坡检测的准确率,因此,本文以双阶段的Faster RCNN算法作为基础模型并对其进行改进,以期提高对滑坡检测的精度及准确率。

Faster RCNN是Ren在RCNN和Fast RCNN基础上提出的一种深度学习模型,该模型网络包括从图像中获取图层信息,框选出候选区域,对候选框中的内容进行回归和分类等操作。Faster RCNN进行滑坡图像的检测流程,首先将要检测的图片输入到骨干网络中,骨干网络会从输入的图片中提取特征地图,根据网络建议框选出目标候选框,并对候选框中是否有滑坡进行验证分类。Faster RCNN网络模型图如图1所示。

Figure 1. Network model diagram of Faster RCNN

图1. Faster RCNN的网络模型图

具体步骤如下:

1) 滑坡隐患特征提取

利用主干特征提取网络获得图片不同特征层的信息。对于输入网络的每张图片,Faster RCNN网络首先需要对输入进行一系列的卷积和池化操作,生成该输入对应的特征图。

2) RPN检测

区域建议网络(RPN)主要通过神经网络处理,获取准确的候选区域,采用多任务损失,损失函数的公式为:

L ( { P i } { t i } ) = 1 N c l s i L c l s ( P i , P i * ) + λ 1 N r e g P i * L r e g ( t i , t i * ) (1)

L c l s ( P i , P i * ) = log [ P i * P i + ( 1 P i * ) ( 1 P ) i ] (2)

L r e g ( t i , t i * ) = R ( t i t i * ) (3)

其中,参数R为smooth函数,表达式为:

smooth L 1 ( x ) = { 0.5 x 2 , | x | < 1 | x | 0.5 , otherwise (4)

3) ROI Pooling

ROI Pooling (感兴趣区域池化)是依据确定的滑坡精确位置,从特征图中选择用于分类的目标数据,利用pooling修改图片尺寸大小,然后输入全连接层进行分类和回归。

4) 分类和回归

主要利用softmax函数进行分类,判断候选框中的物体是否为滑坡,并多次精细调整候选区域位置,获取最终目标检测结果。

5) 残差注意力模块

本文采用ResNet50网络提取图像特征。ResNet50的网络架构如图2所示。

Figure 2. ResNet50 network architecture

图2. ResNet50的网络架构

当网络层数增多时,对图像的特征信息提取效果越好,模型性能越好。但当网络深度到一定水平时,其性能会变差,这是由于梯度消失和梯度爆炸导致模型训练困难,残差网络可以很好地解决网络深化带来的问题。

注意力机制通过专注于感兴趣的区域而忽略其他背景信息来模仿人类视觉,从而达到提高深度学习模型性能的效果。大量实验表明,添加注意力机制后模型的准确性将大大提高。协同注意力机制可以同时关注位置信息和信道信息,并且给网络带来更少的开销,可以分别从水平和垂直两个方向聚合要素。它不仅可以在捕获通道信息时保留关键位置信息,还可以捕获远程相关信息。

为了深化网络,同时提高模型获取位置信息和信道信息的能力,将协同注意力机制与残差模块相结合,形成残差注意力模块,将其添加到特征提取网络中以更加充分地提取滑坡特征。残差注意力模块的结构如图3所示。

(a) 残差模块 (b) 残差注意力模块

Figure 3. Structure of residual attention module

图3. 残差注意力模块的结构

3. 实验数据

3.1. 训练数据集

训练数据集用于训练本文提出的改进模型,包含滑坡样本和非滑坡样本,数据集中的图像由自己收集得到,在充分考虑滑坡类型和分布多样性的前提下选取了15个研究区域,并利用Google Earth软件提取了这些区域的光学遥感图像,选择了500张包含山体滑坡的图像作为滑坡样本,选择了500张不包含山体滑坡的图像作为负样本,最后,由专家对上述研究样本进行视觉解读,以确保图像类别的准确性。阴性样本用于提高模型对滑坡和非滑坡的分类能力,包括山脉、丘陵、农田、河流、道路和城市等。

3.2. 测试数据集

测试数据集用于测试改进模型的性能及不同模型间的对比分析,使用毕节市公开的滑坡数据集 [30] ,该数据集的研究区域覆盖毕节市全境,面积26,853平方公里。毕节市位于中国贵州省西北部,地处高原向丘陵的过渡地带,地质不稳定,山坡多,是我国滑坡最严重的地区之一。该数据集中滑坡图像的收集主要是通过以下两种方法:① 通过卫星光学图像和DEM进行室内人工判读,再进行实地测量;② 通过居民汇报进行测量。数据集包含滑坡图像和非滑坡图像两类,其中滑坡图像有770张,非滑坡图像有2000张。本文的研究选取其中770张滑坡图像和500张非滑坡图像构成测试数据集。毕节市地形图如图4所示。

选取了测试集和训练集共45张图像,对滑坡图像将其中的滑坡区域边界框出。训练集和测试集的图像如图5所示。

另外,为进一步增大样本量,更好地训练模型,在训练和测试时采用了图像翻转的数据增强策略,包括水平、垂直、水平垂直等三种翻转。

Figure 4. Topographic map of Bijie city

图4. 毕节市地形图

Figure 5. Images from training and testing sets. The landslide image contains one or more landslides, while negative samples do not include landslides. Training set samples (a1~a15), landslide samples from test set (b1~b15), and non landslide samples from test set (c1~c15)

图5. 训练集和测试集图像。滑坡图像包含一个或多个滑坡,而负样本是不包含滑坡。训练集样本(a1~a15)、测试集的滑坡样本(b1~b15)、测试集的非滑坡样本(c1~c15)

4. 实验与分析

4.1. 实验设备

为了验证本文提出的改进Faster RCNN算法模型的性能,分别采用基础的Faster RCNN算法、VGG16算法、inception v3算法与改进的Faster RCNN算法进行对比。所有实验均在处理器AMD Ryzen7 5800HS Creator Edition 3.20 GHz下进行,算法的实验环境为torch1.12.1和tensorflow1.13.2。

4.2. 评价指标

本文采用精度(Precision)、召回率(Recall)和准确率(Accuracy)作为模型性能的评价指标。精度表示模型预测为滑坡样本中真正是滑坡样本的比例。召回率是模型预测为滑坡样本占所有滑坡样本的比例。准确率表示正确预测的样本占所有样本的比例。

精度P、召回率R、准确率A可分别表示为:

P = TP TP + FP (5)

R = TP TP + FN (6)

A = TP + TN TP + TN + FP + FN (7)

TP是图像实际是滑坡样本,并且模型认为图像是滑坡样本的例子;TN是图像实际是非滑坡样本,并且模型认为图像是非滑坡样本的例子,FP是图像实际是非滑坡样本,但是模型认为图像是滑坡样本的例子,FN是图像实际是滑坡样本,但是模型认为图像是非滑坡样本的例子。

4.3. 实验流程及结果

实验的整体流程分为三个步骤:① 收集高分辨率图像,对收集到的图像进行裁剪等预处理,将其处理为相同大小,并对图像进行翻转等数据增强操作,以增加训练样本的容量;② 对训练数据集进行划分,其中70%对改进的Faster RCNN模型进行训练,30%用于测试。设置100轮次,训练过程和测试过程的损失值如图6所示。由实验结果可看出,训练和测试结果都较好的情况(Best Point)在第80~100轮次之间,经验证第94轮为最好情况,保留此次训练的参数值并进行后续模型对比;③ 使用改进的Faster RCNN、Faster RCNN、VGG16、inception v3等四种模型对毕节市滑坡数据集的图像进行特征提取,得出实验结果并分析四种模型的表现。

本文整体的实验流程图如图7所示。

本文的实验结果如图8所示,主要分为单一目标区域、多目标区域、较昏暗区域等三种情况。由于篇幅限制,所以每种情况只选取了其中三张原始图像和实验结果展示。

正确实验的实验结果分为三种情况,单一目标区域、多目标区域、较为昏暗区域,经实验证明,三种图像中的滑坡区域均可以被很好地检测出来,但仍存在部分错误识别和未识别区域。本文提出的改进算法的准确率为98.5%,与其他三种算法相比对遥感影像中的滑坡检测具有更高的准确性。

对存在错误识别的滑坡区域进行对比、分析得出结论:多数错误预测的图像位于滑坡边缘类似的梯田或山脊交汇地带,这些地方纹理特征复杂,地表较为裸露,易导致错误识别。

对部分未识别出的滑坡区域进行对比、分析得出结论:未被识别的图像主要是两种特征,第一种特征是滑坡区域与周围环境相似,且边界比较模糊;第二种特征是滑坡区域处在山脊或坡顶的地方,阳光照射下被阴影覆盖,显得十分昏暗的区域。

Figure 6. Loss values during training and testing processes

图6. 训练过程和测试过程的损失值

Figure 7. Experimental flowchart

图7. 实验流程图

Figure 8. Experimental results of single target, multiple targets, and darker areas

图8. 单一目标、多目标、较昏暗区域的实验结果

本文分别从Precision、Recall和Accuracy三个评价指标对改进的Faster RCNN、Faster RCNN、VGG16、inception v3等四种算法模型进行对比。对比结果如表1所示。

Table 1. Comparison of results of four models

表1. 四种模型结果对比

综上,改进后的模型在增加网络深度和宽度的同时尽可能地减少了网络层数,具有更高的效率与提取精度,对大规模滑坡识别提供了技术支撑。在实验过程中发现,滑坡具有多样性的特点,全面详尽地提取滑坡的特征会较困难,因此,会存在部分滑坡未检测成功的现象。

5. 结束语

国产高分辨率卫星技术、深度学习技术、计算机硬件设备不断快速发展,为滑坡图像智能识别提供高分辨的数据资料、更简洁高效的网络结构和更强的硬件性能。本文在基础的Faster RCNN目标检测算法中加入inception模块和残差注意力网络进行改进,采用自己采集到的1000张遥感影像数据并对其进行数据增强操作后对模型进行训练。此外,还使用毕节市公开的滑坡数据集进行测试,准确率为98.5%。本文的研究共得到以下两点主要结论:

a) 采用改进的Faster RCNN滑坡检测模型能有效地识别滑坡隐患,可提高滑坡图像的检测精度和准确率,可有效减少实地巡查,节约了人力物力,对滑坡隐患的巡排查有重要的指导意义。

b) 改进的滑坡检测模型对地表特征较明显的滑坡具有较高的识别率,但对滑坡不完整、光线较弱等图像的检测精度较低。如:位于滑坡边缘类似的梯田或山脊交汇地带,易错误识别;位于山脊或坡顶的被阴影覆盖十分严重的区域,不能检测出滑坡。

以上问题发生的原因可能是由于模型训练效果不够好,后续会继续改进网络,尝试向网络中引入多模态实例分割技术,来解决对于滑坡边缘区域、存在遮挡及存在阴影区域不能检测或错误检测的问题,以此来提高模型的检测精度及准确率。

基金项目

河北省重点研发计划项目(项目名称:基于时空大数据及深度学习的地质灾害风险识别关键技术研究,编号:22375415D)、河北地质大学第十九届学生科技基金科研项目(项目名称:基于深度学习技术的滑坡图像检测算法研究,编号:KAY202334)。

参考文献

[1] 李郎平, 兰恒星. 滑坡运动路径复杂度研究: 综述与展望[J]. 地球科学, 2022, 47(12): 4663-4680.
[2] 自然资源部地质灾害技术指导中心. 全国地质灾害通报(2021年) [R]. 北京: 中国地质环境监测院, 2022.
[3] 杨成生, 董继红, 朱赛楠, 等. 金沙江结合带巴塘段滑坡群InSAR探测识别与形变特征[J]. 地球科学与环境学报, 2021, 43(2): 398-408.
[4] 陆会燕, 李为乐, 许强, 等. 光学遥感与InSAR结合的金沙江白格滑坡上下游滑坡隐患早期识别[J]. 武汉大学学报(信息科学版), 2019, 44(9): 1342-1354.
[5] 姚纪华, 吕慧珠, 赵文刚, 等. 基于遥感与地质耦合法的水库滑坡群特性解译研究[J]. 工程勘察, 2021, 49(1): 47-53.
[6] 虎振兴, 徐泓, 汪超亮, 等. 基于时间序列遥感影像的滑坡检测方法[J]. 航天返回与遥感, 2018, 39(2): 104-114.
[7] 张毅, 谭龙, 陈冠, 等. 基于面向对象分类法的高分辨率遥感滑坡信息提取[J]. 兰州大学学报(自然科学版), 2014, 50(5): 745-750.
[8] 张福浩, 朱月月, 赵习枝, 等. 地理因子支持下的滑坡隐患点空间分布特征及识别研究[J]. 武汉大学学报(信息科学版), 2020, 45(8): 1233-1244.
[9] Yi, Y., Zhang, Z., Zhang, W., et al. (2019) Comparison of Different Machine Learning Models for Landslide Susceptibility Mapping. 2019 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Yokohama, 28 July-2 August 2019, 9318-9321.
https://doi.org/10.1109/IGARSS.2019.8898208
[10] Ghorbanzadeh, O., Blaschke, T., Gholamnia, K., et al. (2019) Evaluation of Different Machine Learning Methods and Deep-Learning Convolutional Neural Networks for Landslide Detection. Remote Sensing, 11, Article 196.
https://doi.org/10.3390/rs11020196
[11] Wang, H.J., Zhang, L.M., Yin, K.S., Luo, H.Y. and Li, J.H. (2021) Land-slide Identification Using Machine Learning. Geoscience Frontiers, 12, 351-364.
https://doi.org/10.1016/j.gsf.2020.02.012
[12] Mohan, A., Singh, A.K., Kumar, B. and Dwivedi, R. (2020) Review on Remote Sensing Methods for Landslide Detection Using Machine and Deep Learning. Transactions on Emerging Telecommunications Technologies, 32, e3998.
https://doi.org/10.1002/ett.3998
[13] 周俊宇, 赵艳明. 卷积神经网络在图像分类和目标检测应用综述[J]. 计算机工程与应用, 2017, 53(13): 34-41.
[14] 巨袁臻, 许强, 金时超, 等. 使用深度学习方法实现黄土滑坡自动识别[J]. 武汉大学学报(信息科学版), 2020, 45(11): 1747-1755.
[15] Ju, Y.Z., Xu, Q., Jin, S.C., et al. (2022) Loess Landslide Detection Using Object Detection Algorithms in Northwest China. Remote Sensing, 14, Article 1182.
https://doi.org/10.3390/rs14051182
[16] 李准. 基于深度学习的林芝地区滑坡图像检测方法的研究[D]: [硕士学位论文]. 拉萨: 西藏大学, 2021.
[17] Cheng, L.B., Li, J., Duan, P. and Wang, M.G. (2021) A Small Attentional YOLO Model for Landslide Detection from Satellite Remote Sensing Images. Landslides, 18, 2751-2765.
https://doi.org/10.1007/s10346-021-01694-6
[18] 张康, 黑保琴, 周壮, 等. 变异系数降维的CNN高光谱遥感图像分类[J]. 遥感学报, 2018, 22(1): 87-96.
[19] Bui, T.A., Lee, P.J., Lum, K.Y., Loh, C. and Tan, K. (2020) Deep Learning for Landslide Recognition in Satellite Architecture. IEEE Access, 8, 143665-143678.
https://doi.org/10.1109/ACCESS.2020.3014305
[20] Xu, W.J., Xu, Q., Liu, G.Y. and Xu, H.Y. (2021) A Novel Parameter Inversion Method for an Improved DEM Simulation of a River Damming Process by a Large-Scale Landslide. Engineering Geology, 293, Article ID: 106282.
https://doi.org/10.1016/j.enggeo.2021.106282
[21] Romero, A., Gatta, C. and Camps-Valls, G. (2015) Unsuper-vised Deep Feature Extraction for Remote Sensing Image Classification. IEEE Transactions on Geoscience and Remote Sensing, 54, 1349-1362.
https://doi.org/10.1109/TGRS.2015.2478379
[22] Can, R., Kocaman, S. and Gokceoglu, C. (2019) A Convolu-tional Neural Network Architecture for Auto-Detection of Landslide Photographs to Assess Citizen Science and Volun-teered Geographic Information Data Quality. International Journal of Geo-Information, 8, Article 300.
https://doi.org/10.3390/ijgi8070300
[23] Jiao, L.C., et al. (2019) A Survey of Deep Learning-Based Object Detec-tion. IEEE Access, 7, 128837-128868.
https://doi.org/10.1109/ACCESS.2019.2939201
[24] Zou, Z.X., Shi, Z.W., Guo, Y.H., et al. (2019) Object Detec-tion in 20 Years: A Survey. Proceedings of the IEEE, 111, 257-276.
https://doi.org/10.1109/JPROC.2023.3238524
[25] Redmon, J., Divvala, S., Girshick, R. and Farhadi, A. (2016) You Only Look Once: Unified, Real-Time Object Detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, 27-30 June 2016, 779-788.
https://doi.org/10.1109/CVPR.2016.91
[26] Liu, W., Anguelov, D., Erhan, D., et al. (2016) SSD: Single Shot Multibox Detector. In: Leibe, B., Matas, J., Sebe, N. and Well-ing, M., Eds., Computer Vision—ECCV 2016, Springer, Cham, 21-37.
https://doi.org/10.1007/978-3-319-46448-0_2
[27] Girshick, R., Donahue, J., Darrell, T. and Malik, J. (2013) Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. 2014 IEEE Conference on Computer Vi-sion and Pattern Recognition, Columbus, 23-28 June 2014, 580-587.
https://doi.org/10.1109/CVPR.2014.81
[28] Girshick, R. (2015) Fast R-CNN. 2015 IEEE International Confer-ence on Computer Vision (ICCV), Santiago, 7-13 December 2015, 1440-1448.
https://doi.org/10.1109/ICCV.2015.169
[29] Ren, S., He, K., Girshick, R. and Sun, J. (2017) Faster R-CNN: To-wards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Ma-chine Intelligence, 39, 1137-1149.
https://doi.org/10.1109/TPAMI.2016.2577031
[30] Ji, S.P., Yu, D.W., Shen, C.Y., Li, W.L. and Xu, Q. (2020) Landslide Detection from an Open Satellite Imagery and Digital Elevation Model Dataset Using Attention Boosted Con-volutional Neural Networks. Landslides, 17, 1337-1352.
https://doi.org/10.1007/s10346-020-01353-2