像素级和目标级耦合的三维建筑物变化检测方法

Pixel-Level and Object-Level Combined 3D Building Change Detection Method

摘要: 城市建筑物三维变化检测可以服务于城市精细化管理、基础数据库更新以及灾害评估。随着城市的快速发展，城市建筑物变化类型更加复杂，现有变化检测方法难以满足需求。本文提出了一种像素级与目标级耦合的三维建筑物变化检测方法。本方法首先将两时相机载激光点云格网化并利用对应格网高度差异定位像素级变化区域；然后利用机载激光点云生成建筑物目标；最后联合像素级和目标级的变化信息，基于监督学习的方法判断建筑物目标的变化类型。利用本文方法在机载激光点云数据集上实验并进行定量评价，召回率和准确率分别为90.3%和84.8%。实验结果表明提出的方法可以对复杂城市场景建筑物变化做出精准定位及类型判断，并可以应用于违建发现。

Abstract: The 3D building change detection can be used for urban refinement management, basic database updating and disaster assessment. With the rapid development of cities, the change types of urban buildings have become more complex, and the existing change detection methods can hardly meet the requirements. In this paper, a pixel-level and object-level combined change detection method is proposed. Firstly, the height difference obtained by gridding the two temporal airborne point clouds is used to locate the pixel-level change area; then the building point cloud is used to generate building objects; finally, the change information at the pixel-level and object-level is combined and the change type is determined based on a supervised learning method. Using the proposed method to detect building changes in the airborne point cloud dataset, the recall and accuracy were 90.3% and 84.8% respectively. The experimental results show that the proposed method can accurately determine the building change types in complex urban areas and can be applied to illegal building detection.

1. 引言

随着城市的发展以及城镇化进程的推进，城市中建筑物的变化类型也更加复杂。因此如何快速、自动、大范围地获取城市建筑物变化成为城市智能管理、地理数据库信息更新的难点。

土地利用变化调查通常采用二维影像数据，但易受光谱的高可变性及视角遮挡的影响。除此之外，缺少获取体积变化的能力使得二维变化检测难以满足城市动态变化监测的需要 [1] 。激光雷达作为一种主动式遥感观测技术，其不受天气、视角影响，可以直接获取三维坐标和属性 [2] ，使机载点云成为城市变化检测和动态监测的重要数据源。

现有建筑物变化检测方法，可以由变化检测的单元分为像素级变化检测方法以及目标级变化检测方法。像素级变化检测方法通常先将点云划分为格网并生成数字表面模型(Digital Surface Model, DSM)，再以对应的格网为单元进行高度差异的判断 [3] [4] [5] ，并联合影像光谱等地物类别信息对非建筑物部分进行剔除，最终得到像素级别的变化类型 [6] [7] 。但像素级建筑物变化检测不顾及建筑物整体信息，较易受到多期数据配准残差以及数据噪声的影响，产生错误的变化检测结果。目标级变化检测方法通常先计算高度差异并探测变化区域，再针对变化区域进行建筑物目标的提取，然后结合重叠度、形状、高度等特征对两期建筑物分割目标进行变化类型的判断 [8] [9] 。但此类方法中建筑物目标多基于二维变化差异图生成，未考虑多时相建筑物的结构多样性，且易受不准确的变化差异结果影响，得到错误的变化检测结果。

现有变化检测方法中变化类型的判断多基于规则或阈值的设置，如地物类别、形状、光谱信息等，从而得到变化类型 [10] [11] [12] 。但规则以及阈值的设置与场景相关，仅依靠经验阈值设置容易产生错检或漏检。除此之外，城市违建发现是城市健康监测的重要需求。建筑物变化的类型更加复杂，对已有的算法提出挑战，如建筑物变化类型中的增高，既包含正在建设中的建筑物，也包含已有建筑物屋顶上的新建附属物等。许多学者开始利用点云或影像数据，对城市范围内违法建筑进行探测 [13] [14] 。文献 [15] 利用无人机影像生成的DSM、影像的颜色以及形状信息，发现新增建筑物以及建筑物新增附着物。

为了克服现有像素级变化检测方法和目标级变化检测方法的不足，并满足复杂城市场景精准变化检测，本文提出一种像素级与目标级耦合的变化检测方法，利用两时相机载激光点云高度差异定位像素级变化区域，再提取建筑物目标，最后联合像素级和目标级变化信息，基于监督的方法判断建筑物目标的变化类型。

2. 三维建筑物变化检测

本文联合像素级和目标级变化检测方法，将两期机载激光点云格网化并根据对应格网的高度差异定位像素级变化区域，然后在两期机载点云中分别提取建筑物目标，并根据定位的变化区域得到候选建筑物变化目标。最后计算候选建筑物变化目标的特征，利用监督学习的方法判断建筑物的变化类型。本文提出的三维建筑物变化检测方法总流程如图1所示。

Figure 1. General flow of 3D building change detection

图1. 三维建筑物变化检测总流程

2.1. 变化区域定位

首先将机载点云以分辨率r划分格网，并利用文献 [16] 提出的布料模拟滤波方法提取地面点并拟合每个格网的数字地面模型(Digital Terrain Model, DTM)。为克服机载点云噪声的影响，采用中值采样，选取距离中值最近的点作为该格网的DSM，并结合已计算的DTM，由式(1)得到格网对应的归一化数字表面模型nDSM：

$nDSM=DSM-DTM$ (1)

为减少两时相点云配准误差及噪声的影响，本文采取窗口滤波的方式计算两时相点云间的高程差异。对于第一时相的格网 $\left(i,j\right)$ ，计算其与第二时相对应格网和邻域网格的高程差异，取最小高程差异值为dDSM，计算公式如下：

$dDSM\left(i,j\right)=\min \left\{nDS{M}_{t1}\left(i,j\right)-nDS{M}_{t2}\left(i\pm w,j\pm w\right)\right\}$ (2)

其中， $i,j$ 分别表示格网的行列号， $\left(i\pm w,j\pm w\right)$ 为该格网的八个邻域， $nDS{M}_{t1}\left(i,j\right)$ 代表 $t\text{1}$ 时相格网 $\left(i,j\right)$ 的高程， $nDS{M}_{t2}\left(i\pm w,j\pm w\right)$ 代表 $t\text{2}$ 时期格网的高程， $dDSM\left(i,j\right)$ 为格网对应的高程差异值。

给定高程差异阈值 $T_{diff}$ ,两时相格网高程差异值的绝对值大于 $T_{diff}$ 将被定位为变化区域。

2.2. 建筑物结构化目标提取

首先将点云经逐点分类方法分别标记为地面点、植被点、建筑物点。为处理如建筑物屋顶新增附着物等变化类型，本文中目标级变化检测的单元是具有不同高度的建筑物结构。同一建筑物根据建筑物结构的高度不同将被分为多个目标。

建筑物目标提取的过程基于区域生长算法，对建筑物点云进行精细分割。建筑物目标提取过程中区域生长的约束条件分别为邻域点间的三维距离阈值 $T_{3d}$ 、高度距离阈值 $T_h$ 将以及强度差异阈值 $T_I$ 。三维距离和高度距离可以区分不同建筑物结构，强度差异可以区分材质不同的建筑物目标。均小于 $T_{3d}$ 、 $T_h$ 、 $T_I$ 阈值的两点将生长为同一建筑物结构化目标。建筑物目标提取流程如图2所示。

Figure 2. Flow of extracting building objects

图2. 建筑物结构目标提取流程

如图3所示，对建筑物点云进行区域生长后，不同颜色的点云代表各自独立的建筑物结构化目标，具有不同高度的建筑物结构为变化检测的独立单元，可以获得更精准的多类别变化检测结果。

Figure 3. Structured building objects

图3. 建筑物结构化目标

2.3. 基于监督学习的变化类型判断

经过步骤2.1定位出变化区域后，变化区域格网对应的建筑物目标将作为候选建筑物变化目标，如图4所示。将像素级变化信息作为建筑物目标的变化特征，可以克服像素级变化误差并联合建筑物目标的整体特征，有效耦合像素级和目标级变化信息。接着对候选变化目标进行特征计算，通过监督学习的过程，实现对复杂变化区域准确的变化类型判断。最后将建筑物类型分为：新建、拆除、增高、降低。

Figure 4. Candidate change objects located in change area

图4. 变化格网定位候选变化目标

本方法将两时相建筑物目标的面积重叠比例、高度差异、建筑物形状以及像素级变化检测结果共同作为变化类型判断的特征。

建筑物群落的更替以及建筑物的部分结构改变在城市变化中较为常见。不同时相建筑物结构间的重叠面积比例信息可以区分已有建筑物上的新增附着物或是两时相不同建筑物但具有重叠度的情况。重叠比例可由公式

$Overla{p}_A=\frac{Intersaction\left(A,B\right)}{Area\left(A\right)}$ (3)

其中，A、B分别为两时相结构化目标， $Intersaction\left(A,B\right)$ 为两时相间重叠区域面积， $Area\left(A\right)$ 表示建筑物结构化目标面积。

不同时相数据间会存在配准误差，多期数据扫描角度的不同会导致未发生变化的区域出现条带状的建筑物边檐的伪变化。因此，采用建筑物的面积周长比 $SideRatio$ 作为特征，其计算公式如下：

$SideRatio{n}_A=\frac{Length\left(A\right)}{Area\left(A\right)}$ (4)

其中， $Length\left(A\right)$ 表示建筑物结构在二维投影面上的周长。

同时计算建筑物目标变化对中每个建筑物目标的变化比例：

$ChangeRatio=\frac{Grid{s}_{change}}{Grid{s}_{all}}$ (5)

其中， $Grid{s}_{change}$ 、 $Grid{s}_{all}$ 分别表示建筑物结构化目标定位到变化格网的数量和变化目标总的格网数量。

通过随机森林分类器，对变化区域内的候选建筑物变化目标进行变化类型的分类，以分类过程替代了基于阈值或规则的变化类型判断过程，不受场景限制，且可以有效的去除数据噪声、误差所导致的伪变化。

利用本文方法，变化区域若对应为单一时相的建筑物目标，则变化类型将被判断为：新建、拆除及伪变化。已有建筑物顶上的新建附着物、建筑物群落的交替会使两时相建筑物存在水平重叠的现象，所以若两时相建筑物目标具有重叠区域，则建筑物变化目标的变化类型会判断为：增高、降低、更替及伪变化。

3. 数据结果处理与分析

3.1. 实验数据

实验数据采用的是2010年及2016年的两期机载激光雷达点云，点密度分别为1.5点/m²和2.2点/m²。两期机载点云数据经地面点检核，其绝对精度均达到30 cm。将数据集分为训练区域和测试区域，如图5所示。两个区域的面积分别为10.1 km²和8.2 km²。数据涵盖了不同的城市街区，包括工业区、乡镇、城市中心区。数据集中不同类型街区的建筑物结构类型多样：工业区建筑样式单一，多为高度统一的平顶棚房；乡镇区域建筑物为结构简单、层高较低的低矮平房；而城市中心区建筑物顶部结构复杂且高低错落，密集分布。

Figure 5. The experimental dataset

图5. 实验数据

3.2. 实验参数设置及定量评价指标

实验采用Visual C++实现所提出的方法，所使用的硬件配置为CPU:Intel Core i7-8750H，主频2.21 GHz，内存24 G。本文中变化检测算法的参数设置如下：格网分辨率r为2 m， $T_{3d}$ 为3 m， $T_h$ 为2 m， $T_I$ 为30，高度差异阈值 $T_{diff}$ 为2 m。

定量评价方法采用了被广泛应用的评价指标：召回率Recall、准确率Precision和F1-score。其计算公式如下：

$Recall=\frac{TP}{TP+FN}$ (6)

$Precision=\frac{TP}{TP+FP}$ (7)

$F_1=\frac{2\left(Recall\cdot Precision\right)}{Recall+Precision}$ (8)

其中TP (True Positive)表示对应格网正确检测到变化且类别正确，FP (False Positive)表示变化类型判断错误以及伪变化被当作变化的情况，FN (False Negative)代表场景中未检测出的变化。

3.3. 实验结果

基于本文所提出方法的实验结果如图6所示。由实验结果看，所提出的方法结果与真值对比能够准确的识别建筑物不同变化类型，且有效的去除伪变化。

为验证所提出方法的有效性，本文分别选取经典的目标级变化检测方法 [17] 和像素级变化检测方法 [18] 进行对比实验，并与所提出的方法进行比较。所用像素级变化检测方法的基本原理是以格网为单位，由点云生成的两期DSM进行差异分析，联合类别信息得到像素级变化检测结果。目标级变化检测方法的基本原理是以平滑度为约束条件利用DSM做高度差异检测，在高度差异区域进行聚类得到地物目标，去除植被目标后基于规则判断建筑物变化类型。

Figure 6. Experimental results of the proposed method

图6. 本文方法实验结果

三种变化检测方法的定量评价结果如表1，三种方法的结果如图7所示。由对比实验以及定量评价结果可以总结出：

Table 1. Quantitative evaluation results of comparative experiments

表1. 对比实验定量评价结果

Figure 7. Comparative experimental results

图7. 对比实验结果

第一，本方法的结果均优于两种对比方法，像素级方法因缺少建筑物整体信息较易受多时相数据间配准误差以及数据噪声的影响，造成较多的伪变化检测结果和较低的准确率。目标级变化检测方法会受到建筑物目标错误提取的结果影响，变化类型出现较多的错误判断。

第二，基于本方法的变化检测结果相较于像素级变化检测方法以及目标级变化检测方法召回率和准确率高。所提出的方法结合了像素级变化检测和目标级变化检测的优势，可以准确判断建筑物变化类别。依靠像素级高程差异信息定位变化区域，但不依赖于单一的差异结果，考虑了建筑物的整体信息，有效的去除了由噪声及配准误差造成的伪变化。同时，建筑物结构化目标提取的错误，可以由像素级变化检测的差异信息进行剔除。

3.4. 城市建筑物违建发现

城市场景下的建筑物变化检测，不仅需关注建筑物在水平方向的减少或扩张，对竖直方向的变化也应该加以重点监测。本文方法可以准确定位并判断多种变化类型，为潜在的违建情况提供结果支撑。基于所提出的方法进行变化检测，检测到增高的种类较多，包括：处于建设过程中的工地、加盖斜顶的建筑物、建筑物顶部加盖的棚房等，其结果如图8所示。

Figure 8. Urban complex change detection results

图8. 城市复杂变化检测结果

4. 总结

本文提出了一种像素级以及目标级耦合的三维建筑物变化检测方法，克服了像素级变化检测方法易受噪声和配准错误的影响，以及目标级变化检测方法错误聚类导致的误检，实现建筑物变化的准确发现以及变化类型正确判断。本方法可以广泛应用于复杂城市场景变化检测，并可以为违建发现提供支持，动态监测城市水平和纵向的发展情况。

基金项目

第四批中国博士后科学基金特别资助(站前)2022TQ0234。

NOTES

^*通讯作者。