无人机在煤矿采空塌陷多源数据融合探测的应用研究
Application Research of UAV in Multi-Source Data Fusion Detection of Coal Mine Cave-In
DOI: 10.12677/me.2024.124106, PDF, HTML, XML,   
作者: 张 凯:国能亿利能源有限责任公司黄玉川煤矿,内蒙古 鄂尔多斯;王海滨, 钱茂冬, 肖素枝:星逻智能科技(苏州)有限公司,江苏 苏州
关键词: 无人机激光雷达光学遥感自动化巡查自动机库人工智能三维点云UAV LiDAR Optical Remote Sensing Automated Inspection Automatic Hangar Artificial Intelligence Three-Dimensional Point Cloud
摘要: 矿山资源开采以后,采空区上覆岩层的原始应力平衡状态受到破坏,依次发生冒落、断裂、弯曲等移动变形,最终涉及地表,形成一个比采空区面积大得多的近似椭圆形的下沉塌陷区盆地。针对矿山采空区周边地质情况进行监测传统的方法包括星载SAR、无人机LiDAR、光学遥感、三维激光扫描仪、地基InSAR、远程激光测振、微芯传感等设备以及实地踏勘等。为满足高效常态化的巡检探测要求,采用适配自动机库的航测无人机综合无人机机载激光雷达和光学遥感技术相融合的方法来高效探测采空区的地质灾害情况。利用光学遥感融合AI识别实时监测采空区塌陷情况,再兼容激光雷达的三维点云数据对塌陷区域进行三维建模,在LiDAR成果中圈定出塌陷形态边界、面积、体积等信息。对比星载SAR,航测无人机具有实时性、精度高、成本低的优势;对比实地踏勘,航测无人机的自动化、智能化及高空视角具有高效性、常态化的优势。
Abstract: After mining resources, the original stress balance of the overlying strata in the goaf is destroyed, and the movement deformation such as caving, fracture and bending, occurs in turn, and finally involves the surface, forming an elliptical subsidence basin which is much larger than the goaf area. The traditional methods for monitoring the geological conditions around the mined-out area include spaceborne SAR, UAV LiDAR, optical remote sensing, 3D laser scanner, ground-based InSAR, remote laser vibration measurement, micro-core sensing and other equipment as well as field survey. In order to meet the requirements of efficient and normal inspection and detection, the method of integrating aerial survey UAV with automatic hangar, airborne Lidar and optical remote sensing technology is adopted to efficiently detect geological hazards in goaf. The optical remote sensing fusion AI was used to identify and monitor the gob collapse situation in real time, and then the three-dimensional point cloud data of LiDAR was compatible to conduct three-dimensional modeling of the collapse area, and the information of collapse form boundary, area and volume was defined in the LIDAR results. Compared with spaceborne SAR, aerial survey UAV has the advantages of real-time, high precision and low cost. Compared with field survey, the automation, intelligence and high-altitude perspective of aerial survey UAV have the advantages of high efficiency and normalization.
文章引用:张凯, 王海滨, 钱茂冬, 肖素枝. 无人机在煤矿采空塌陷多源数据融合探测的应用研究[J]. 矿山工程, 2024, 12(4): 912-922. https://doi.org/10.12677/me.2024.124106

1. 引言

黄玉川煤矿井田位于准格尔煤田中西部,距薛家湾镇20 km,距呼和浩特市约120 km,向西至鄂尔多斯市约150 km,行政区划隶属于准格尔旗薛家湾镇长滩乡。井田为多边形,东西长约8.9 km,南北宽约5.5 km,面积约42.6794 km2。黄玉川煤矿位于内蒙古鄂尔多斯市准格尔煤田,煤层赋存条件好,具有埋藏浅、厚度大、基岩薄和松散层厚的特点,煤炭开采条件优越,矿井采用大采高、放顶煤采煤工艺,具有高产、高效和高强度开采的特点,上覆岩层破坏严重,容易诱发采空塌陷和地裂缝等灾害,造成地表生态损伤,地面房屋开裂倒塌,甚至诱发采空区遗煤自燃、威胁矿井安全生产。黄玉川煤矿随着井下采煤工作面开采推进,地表采空面积逐年增加,且采空区地表为沟壑,传统的人工步行巡检方法工作量大,所花时间长、人力成本高,不能全方位无死角覆盖采空区范围,不能及时发现地表采空区塌陷情况,存在安全风险隐患。

因此,采用科学合理的手段查明采空区的空间分布情况迫在眉睫,目前,市面上采用常用的采空区地质形变探测方法包括星载SAR、无人机激光雷达LiDAR (以下简称LiDAR)、光学遥感、三维激光扫描仪、地基InSAR、远程激光测振、微芯传感等设备以及实地踏勘等[1]。从空(太空卫星遥感)、天(低空无人机遥感)、地(地表)、内(滑坡体内部)四个方面对当前滑坡监测技术进行了总结和评价,重点对分布式光纤感测技术在滑坡监测中的应用方法及效果进行了叙述。研究结果表明:对滑坡体内部进行多源多场监测可获取滑坡多场信息,进一步分析可建立多场信息的关联模型,为滑坡稳定性评价与治理提供可靠的数据支撑,具有良好的研究潜力和应用前景。最后,对实现滑坡变形的精准可靠监测和预测预警的新思路进行了展望[2]

为满足高效常态化的巡检探测要求,采用适配自动机库的航测无人机综合无人机机载激光雷达和光学遥感技术相融合的方法来高效探测采空区的地质灾害情况。利用光学遥感融合AI识别实时监测采空区塌陷情况,再兼容激光雷达的三维点云数据对塌陷区域进行三维建模,在LiDAR成果中圈定出塌陷形态边界、面积、体积等信息。对比星载SAR,航测无人机具有实时性、精度高、成本低的优势;对比实地踏勘,航测无人机的自动化、智能化及高空视角具有高效性、常态化的优势[3]

2. 技术方法

2.1. 无人机光学遥感检测技术

无人机遥感技术属于遥感技术在低空领域的具体应用,一般使用感光度强、色彩深度的CCD数码相机,对地面进行连续拍摄、快速摄影,其载片量大、传输快,通过传感器输出至处理系统进行图像分析,效率高。

与其他遥感监测方法相比,无人机航拍具有很高的机动性、灵活性和安全性,且无人机拍摄影像视野广、分辨率高、拍摄角度自由。无人机航摄技术的影像成果具有非常高的空间分辨率,地质灾害体的细节特征就能够清楚地识别,通过正射校正以后,获得了高精度的遥感影像图,非常适合作为地质灾害遥感解译的遥感数据源。

目前,分析无人机航拍和遥感监测影像的方法主要通过人工判读方式,借助案例和经验,识别和分类提取灾区反映灾情的地物目标,采用定性或大致定量的方式描述灾情。同时,结合不同时相、不同来源数据的对比和交叉验证,分析灾害特征目标的空间位置、地理分布、形态变化和灾害损失情况,流程如图1所示。

Figure 1. UAV remote sensing technology work flow chart

1. 无人机遥感技术工作流程图

1) 无人机航摄

无人机相对于地面人工勘测具备机动灵活、视野宽阔、视角自由、速度快、移动障碍干扰少,可代替人完成不方便到达、存在危险的区域;相对于有人机,无人机起降要求小、作业成本低、作业风险低,可实现快速响应。

无人机机动灵活的特点,特别是应急突发地质灾害响应的技术优势令其他传统方式无法比拟。所以,应急响应时,有效的进行组织航摄、数据处理、实时传输、如何应用成果等方面融合管理和技术,以达到提高减灾救灾的水平的目的,为地质灾害的应急响应和减灾防灾做好技术支撑工作是工作的关键。

2) 无人机影像的后期处理

近些年来,无人机机载的多为小型的数字相机,它所获得的影像与传统方式获得的影像存在着像幅小,数量多的缺点。针对这一问题,定标相机的参数,无人机飞行的姿态,校正模型的选择就尤为重要。因此,交互式处理软件及技术是关键。无人机飞行时的抖动会影响航拍遥感影像效果,处理技术需要能对遥感影像图片进行必要的几何纠正。同时,拼接遥感影像形成灾区整体监测图,也需要一定的影像处理,如地理定位、镶嵌合成和分类提取等。

3) 无人机影像

传统影像一般在其大小,形状,色彩,阴影要素的基础上,结合有关的地形地貌,植被分布特征进行解译。而地质灾害影像因为其特殊性,无人机遥感影像需要一定的专业分析,通过历史经验,结合监测对象在其他时间段或其他渠道中的相关信息,才能准确判读出遥感影像中灾害监测对象的真实状况。

2.2. 无人机激光雷达检测技术

无人机机载激光雷达测量技术是激光测距仪器主动发射脉冲信号,可部分穿透植被到达真实地表,通过点云数据去噪、滤波,剔除植被点云层数据后,可快速构建高精度地形地貌,在无地面控制点情况下数据的相对精度可达厘米级,最后利用生成的高精度地形地貌模型,结合光学影像、三维场景,或者数字地形分析算法等分别进行地质灾害解译。

地质灾害利用传统方式监测不易发现变化点,但表现在高分点云上往往是地形的急剧变化,所以利用无人机机载激光雷达进行地质灾害监测是对传统监测方法的一种有效补充,能提高地质灾害监测的可靠性与精确度,对于灾害预警、防治等应用具有很重要的意义[4],如图2所示。

Figure 2. UAV LiDAR detection process

2. 无人机激光雷达检测流程

1) LiDAR数据获取

无人机LiDAR监测方法用于对塌陷隐患点进行定期检测,无人机航摄区也即塌陷隐患区,往往是人迹罕至的山区、困难区,为保证激光点云坐标精度,航摄架设地面基站,并且同步收集地面CORS基准站数据(如有)作为后差分处理数据。在现场飞行之前,还需要进行系统检校和飞行检校以消除系统误差。当数据获取后,经过后差分POS数据与激光测距数据联合解算获得激光点云Las格式数据。

2) LiDAR数据预处理及精细化处理

基于自动化处理平台,完成大批量点云数据快速去噪、滤波、分类、裁剪等各种运算以及DSM、DEM、DOM成果的快速输出。

在矿场采空区地表塌陷裂缝调查应用中,点云所捕获的一些小斜坡、大型石块、小陡坎等微小地貌信息是非常重要的成灾前兆特征,在利用地面粗糙度、曲率、坡向、坡度、山体阴影等因子研究地质灾害时,该类信息的精度直接决定地质灾害评价的准确度,所以不能简单的进行提出或者“平滑”,应予以保留并进行精细化处理。保留了微小地貌的DEM其纹理特征更加突出,在地质灾害预测因子提取、模型预测和地质灾害评价等方面都具有一定的应用价值。

3) 无人机机载LiDAR监测塌陷

基于高精度机载LiDAR数据生成的高保真地形数据,利用定量地貌学、数字地形分析方法、形态学分析方法开展地质灾害的精细和定量化研究。

基于成熟算子对点云数据异常变化的高程信息进行提取。由于非裂缝处高程与邻域高程变化不大,而裂缝处高程与邻域高程相比具有较大的变化,故裂缝处点云计算结果会出现较大的数值。通过以上特征提取处理,裂缝处点云数据作为特征被提取出来,然后对应三维模型找到裂缝所在空间位置,通过激光点云数据切取某一裂缝剖面图,可以看到裂缝口的宽度、深度。

利用无人机机载LiDAR监测滑坡体的方法,利用点云用三角形生长算法构建TIN,并加入高程差值判断;按照以上方法构TIN,在没有发生滑坡的局部区域,由于高程变化是连续的,将构成一个由三角形构成的三维面片。如果发生滑坡,由于高程差值的限制,将构成两个三维面片,且在滑坡处明显分离,从而自动判断出采空区塌陷情况,如图3所示。

Figure 3. Digital terrain analysis technology assisted gob collapse detection

3. 数字地形分析技术辅助采空区塌陷探测

4) 无人机机载LiDAR监测优势

相比无人机光学遥感,无人机LiDAR地质灾害监测,具有一定的技术优势。

① 可穿透植被:无人机LiDAR对植被的穿透能力可有效地去除植被覆盖对地面高程测量的影响,增加了对地面数据的有效测量,大大提高了测量精度。

② 主动测量:与光学遥感相比,无人机LiDAR技术不限于单一光照,不受阴影和太阳高度角的影响,在传统摄影测量方式无能为力的山区和植被等阴影地区以及夜晚光照极弱的情况,不会导致测量作业无法进行及影响到测量数据的精度。

③ 远距离高精度三维测量:无人机LiDAR系统可以对传统手段束手无策的植被覆盖茂密地区、沙漠、滩涂地及高差较大的地形复杂地区等进行远距离测量获取高精度DEM数据。

④ 直接连续定位测量:在无人机LiDAR系统进行测量过程中同步进行地面点连续GPS定位和机载GPS系统差分处理,获取的数据具有真实的地理坐标,是对地表三维坐标进行直接测量;相对传统摄影测量手段通过间接方法获取的数据更加高效和准确。

3. 无人机煤矿地表采空塌陷区多源融合探测方法

当前,融合高分辨率光学遥感、卫星InSAR、无人机摄影测量、无线传感网络(WSN)等多种新技术方法,地表塌陷检测已从传统点式人工监测逐步发展成为多维协同监测,在我国地质灾害风险识别与监测预警方面取得显著成效

3.1. 无人机自动化巡检系统设计

将无人机飞控技术、网络通信技术、高精度定位技术、流媒体传输技术、集群调度技术、快速充电技术等先进技术应用于煤矿地表采空区巡检工作中去,具体体现为能为无人机提供快速充电、数据交互、通信导航等基础服务的无人机地面机库,搭载全高清大光学变焦云台的无人机这一天空端载具,能实现路线规划、自动排班、图像传输与采集、结果生成与输出等功能的无人机调度中台与终端,地、空、云、端四位一体的无人机自动化作业体系,从而实现对整个目标区域的快速、机动、高频的巡检。

① 无人机机库

工业无人机优势明显,在实际应用过程中,存在人员编制不足、技术水平参差不齐引发精度和一致性差等系列问题,所以工业无人机从生产线到作业场景遇到了一些阻碍,近几年多家公司研发了自动化停机坪(也叫做自动化机场,无人机一体机等名称)借无人值守、自主充电的全自动作业方式,配套深入行业的自动飞行算法和自动识别系统,赋能无人机产品,比较典型的解决方案是和无人机进入深度融合,使无人机逐步摆脱对人的依赖,让无人机的规模部署、常态化飞行成为可能。也让无人值守日常巡检体系得以形成。无人机光伏巡检系统可通过无人机机库将无人机放飞,通过前期对光伏场站信息的采集,提前将场站信息录入后,针对地形的不同,生成适应场地的光伏巡飞航线,无人机自动出库,自动起飞(如图4所示),自动任务,自动返航及降落(如图5所示),返航后将自动上传任务数据[5]

无人机机库是由以下部件组成:框架组件、对中组件、升降机构、充电系统、电控系统,具体如下功能特点:

航线指挥:无人机智能机库在接收到中心端系统发送的任务指令后,指挥无人机按照航线飞行;

数据传输:无人机完成飞行后,无人机智能机库自动读取无人机采集到的各类数据并上传至中心端系统进行数据分析处理;

无人机存放:无人机智能机库通过机库框架组件、箱体降温系统的设计,为无人机创造全天候恒温恒湿的存放空间;

Figure 4. Automatic takeoff process

4. 自动起飞流程

Figure 5. Automatic landing process

5. 自动降落过程

配合无人机起落:当无人机需要出库及已经出库的时候升降平台就处于上升状态、自动门处于打开状态,无人机已出库后机库门自动关闭。当无人机入库时,机库自动开启,升降平台处于上升状态。当无人机处于库内及准备对电池充电时,升降平台就处于下降状态;

无人机电池充电:无人机智能机库内置电池充电系统,能够同时对无人机配备的冗余电池组进行充电。

由机场、射频气象地面站等固定设备和配套软件组成的无人飞行器自动机场主要完成飞行器的收纳、释放、遥控、导航、充电和数据传输、转储等功能。

机场监测所在区域的环境数据、判断适飞条件,机场与云端服务器通信组成无人飞行器机场网络管理系统,汇总机场、气象、飞行、载荷、任务数据,智能调度和管理机场、飞行器,同时接受用户的远程指令和实时监控。

无人机结束任务返航后,机场会自动打开舱门,等待飞行器降落。飞行器在接近无人机机场后云台调整到垂直朝下,拍摄起降平台上的降落识别图标,飞控获取相机图像,利用识别库识别视觉图标,解算无人机位姿;根据实时解算的位姿结果,控制无人机飞行,更新精降阶段及无人机状态数据,帮助无人机准确降落到机场起降平台区域。

机场在确认飞行器降落到有效位置后将迅速捕获飞行器、识别/修正其姿态并收纳入封闭平台以提供适宜的受控环境(可定义的最佳温度、湿度、气流量,无沙尘、雨雪及冰雹危害)和保障物理安全(防盗及防止人为或动物的损伤、破坏)。根据飞行器的电池状态、飞行任务的时效要求和最大化电池循环使用寿命的原则,机场将使用优化定制的充电曲线对飞行器施加快速、安全、可靠的充电电流,同时用户可以通过选配的无线数据传输附件并行下载、清空其飞行任务期间存储的应用载荷数据(如图像、视频文件等),转储到云端。

完成充电及数据卸载后,机场会根据任务要求自动开启、释放飞行器并控制其完成下一次任务。对于没有飞行任务的机场,机场会通过对飞行器电池健康状态及历史飞行、充电数据的诊断和分析自动进行电芯单元的平衡修复,校准电池的剩余容量数据,使飞行器在最佳状态中准备好接受机场管理系统安排、匹配的任务。

② 无人机飞行平台

无人机的飞行动力系统和飞行控制系统是构成其最基本单元的组成部分。为了实现高精度数据采集、高效率数据传输和自动化巡检能力,需要在该平台上安装高精度传感器系统、自稳定云台控制系统、定位姿态系统(POS)以及避障等其他设备。本文中选用多旋翼无人机进行数据获取,其中飞行动力系统主要由碳纤维机体、螺旋桨、电调电机以及电池组成。

同时,飞行控制系统也被划分为地面控制平台和机载飞航计算机两大部分。地面控制平台包括遥控器、飞航软件和数据处理系统等;而机载则由自主驾驶计算机,传感器以及执行部件组成。当无人驾驶对煤矿采空区进行航空摄影时,传感器会收集并测量其姿态信息,并将此信息发送至飞航计算机。同时通过无线通信技术也可以接收到来自地面站点发出的指令信号,在经过计算转换之后输出至电调或者电动模块中从而完成无人驾驶导航与数据采集任务。

③ 多传感器数据采集系统

数据采集传威器的整体结构主要由数据采集传感器、自稳定云台和POS系统等部分组成。为了降低无人机动力系统带来的震动干扰,自稳定云台一般都配备三轴减震装置,并且可以安装不同类型的数据采集设备(如相机、激光雷达、红外线或紫外线),以实现对应种类的数据采集任务。此外,该云台内置有自稳定控制系统,可避免因无人驾驶飞行或者外界环境影响而引起的误差[6]。POS系统能够将实时位置和姿态信息传输到机载平台上,在经过处理后返回至云台控制器。惯性自稳定云盘根据接收到的姿态信息隔离各种外界干扰,并获取运动误差量提供飞行过程中所需补偿参数。

④ 数据通讯链路系统

数据通信系统是由机载数据终端、地面数据终端等组成的,其主要应用于无人机飞行平台与地面站之间的实时数据传输。该系统需要具备高度可靠性和抗干扰能力。数字图传系统以较高的成本为代价,提供了较好的传输速度和质量,并适用于高分辨率图像数据的实时传输。

3.2. 综合光学遥感与LiDAR成果对煤矿地表采空塌陷区的地质灾害解译

进行地质灾害特征信息提取,利用机载LiDAR技术的可穿透植被优势,快速识别出植被覆盖下的古滑坡形态边界、泥石流沟、陡坎、陡崖等易发生地质灾害的信息。结合光学遥感影像圈定的发生滑坡、崩塌地质灾害区域,在LiDAR成果中圈定出滑坡形态边界、面积、体积等信息,如图6所示。

Figure 6. Comprehensive analysis of fusion optical image and LiDAR data results

6. 融合光学影像与LiDAR数据成果综合分析

3.3. 基于三维场景的地质灾害解译

利用无人机激光雷达数据搭建监测区三维灾情解译环境,在三维环境下,解译人员可更加逼真的还原地形坡度、坡向、植被覆盖度、海拔高度、岩层产状等信息。同时在该环境下,还可叠加水文、气象、地质等其他专题数据,综合开展多维、多视角下的灾情解译,如图7所示。

Figure 7. Construction of 3D environment based on LiDAR data results for disaster interpretation

7. 基于LiDAR数据成果构建三维环境开展灾情解译

4. 成果展示

通过借助无人机煤矿地表采空塌陷区多源融合探测方法,采用适配自动机库的航测无人机机载激光雷达和光学遥感技术相融合的手段,对滑坡矿区内部进行多源多场监测,以获取滑坡信息,对实现滑坡变形的精准可靠监测和预测预警提供新思路,以达到高效探测采空区的地质灾害情况的目标。

建立天、空、地一体化地质灾害监测预警体系地表形变信息调查监测工作流程利用开源或国产雷达卫星SAR数据,通过D-InSAR、PSInSAR等技术提取地表形变速率或形变量。区域性地质灾害隐患识别目前主要应用免费开放的欧空局哨兵-1号卫星数据。植被覆盖密度高的地区综合应用哨兵-1号与ALOS-2 (L波段)卫星数据,如图8所示。

西安市地质灾害监测采用3 m分辨率ALOS-2 InSAR数据进行西安市地面沉降监测。监测时间为2020年03月13日~2020年04月11日;监测结果为:区域内最大沉降量6 cm,包括道路及建筑物周边,如图9所示。

黄玉川煤矿开采地表隐蔽灾害无人机遥感排查项目借助无人机煤矿地表采空塌陷区多源融合探测方法,自动机库航测无人机搭载激光雷达和光学遥感技术的融合手段成果,如图10所示。

5. 结束语

通过无人机自动巡检的方式可以有效提升煤矿采区塌陷探测巡查的效率,通过无人机机库完成无人机起飞至降落的任务全过程,完全脱离对人的依赖。无人机自动化巡检技术和人工智能技术实现部分煤矿开采监管系统的智慧化和精准化。

为满足高效常态化的巡检探测要求,采用适配自动机库的航测无人机综合无人机机载激光雷达和光学遥感技术相融合的方法来高效探测采空区的地质灾害情况。利用光学遥感融合AI识别实时监测采空区塌陷情况,再兼容激光雷达的三维点云数据对塌陷区域进行三维建模,在LiDAR成果中圈定出塌陷形态边界、面积、体积等信息。对比星载SAR,航测无人机具有实时性、精度高、成本低的优势;对比实地

Figure 8. Flow chart of surface information monitoring

8. 地表信息监测工作流程图

Figure 9. Geological disaster monitoring map of Xi’an City

9. 西安市地质灾害监测图

Figure 10. Surface cracks in Huangyuchuan mine

10. 黄玉川矿山地表裂缝

踏勘,航测无人机的自动化、智能化及高空视角具有高效性、常态化的优势。

未来,智慧无人机巡飞将更关注数据整合,对矿山全方位、无死角定期巡逻,建成一体化、全方位、多模式协同的无人机巡飞信息服务体系。智能化将成为智慧矿山建设运营中的主旋律,在巡飞的同时,注重与其他数据的结合,图像的分析,结果的呈现等方面。

参考文献

[1] 包妮沙. 露天矿山环境与灾害空天地协同监测关键技术及应用[J]. 科技成果管理与研究, 2018(3): 89-90.
[2] 徐靓, 程刚, 朱鸿鹄. 基于空天地内一体化的滑坡监测技术研究[J]. 激光与光电子学进展, 2021, 58(9): 90-103.
[3] 赵星涛,胡奎, 等. 无人机低空航摄的矿山地质灾害精细探测方法[J]. 测绘科学, 2014, 39(6): 49-52+64.
[4] 刘岩, 李俊超, 张保刚. 无人机LiDAR场地勘测及BIM规划设计研究与实践[J]. 城市周刊, 2019(5): 20.
[5] 星逻人工智能技术(上海)有限公司. UltraHive-MK4无人机自动机场产品说明书SDUM004R04.2020.02.18 [EB/OL].
https://www.skysys.cn/Mk4/, 2024-10-29.
[6] 刘小龙. 基于无人机遥感平台图像采集处理系统的研究[D]: [硕士学位论文]. 杭州: 浙江大学, 2013.