卫星可见光多视角影像的表面重构综述

A Review of Research on 3D Reconstruction from Satellite Visible Light Imagery

摘要: 在卫星多视角影像三维重构领域的关键技术领域中，主流的方法主要为基于立体匹配的点云生成与表面重构方法，包括三角化方法、模板先验、建模先验及深度学习等方法。而对于新兴的重构技术神经辐射场，特别探讨了其原理与工作流程，及其在稀疏视角和复杂光照条件下的优势与研究进展。最后，文章总结了未来的发展趋势，并提出了未来的研究方向，涵盖了3DGS大规模场景重建技术、语义感知辅助建模等方面。

Abstract: This paper reviews key technologies in satellite image 3D reconstruction, focusing on stereo matching-based point cloud generation, triangulation, modeling priors, and deep learning methods. It discusses the principles and advantages of Neural Radiance Fields (NeRF) in sparse views and complex lighting. The role of geometric information extraction in surface reconstruction and the current research status of traditional and deep learning methods are also highlighted. Future research directions include 3DGS for large-scale scene reconstruction and so on.

1. 引言

随着遥感技术的不断发展，卫星影像在地表监测、环境保护、城市规划等领域的应用越来越广泛。近年来，利用卫星可见光影像进行表面重构成为了一个重要的研究方向。卫星影像具有较高的空间分辨率和覆盖范围，尤其是可见光波段的影像，在颜色和细节的呈现上有较强的优势，因此是探讨内容关注的重点。选择可见光影像作为研究对象，主要是由于它能够提供更直观的地表细节，对于地表特征提取和三维重建具有重要意义[1]。

本综述将重点讨论基于立体匹配的表面重构方法以及近年来兴起的神经辐射场(NeRF, Neural Radiance Fields)方法。立体匹配技术通过分析多视角影像中的视差，能够有效地恢复出地物的三维结构。其基本思想是在不同视角下提取影像特征，并利用几何学原理计算相对位置，从而获得精确的三维重建效果[2]。而神经辐射场(NeRF)则采用深度学习技术，通过训练神经网络，生成能够模拟光线传播的三维场景。与传统的基于图像特征的重构方法相比，NeRF不仅能够处理更复杂的场景，还能在较少视角下进行高质量的三维重建，具有较强的潜力和应用前景。

2. 基于立体匹配的视差信息重构方法

立体匹配技术是卫星可见光领域中三维重构的关键技术。其基本原理是通过分析和匹配来自不同视角的影像中相对应的相似点，结合几何和辐射信息，推算出物体的深度和空间位置。这一过程通过计算视图间的视差，获取视差图，从而为三维重建提供必要的深度信息的前置条件。

2.1. 基于三角测量的视差信息初步点云生成

基于三角测量的视差信息三维重构主要指通过双视图和多视图立体匹配得到的视差图，信息的初步提取首先需要将视差值转换为深度信息，这是三维重构的基础环节。效果如图1所示。

Figure 1. Disparity map of satellite image pair generated based on SGBM algorithm

图1. 基于SGBM算法生成的卫星影像对的视差图

表面重构是从二维影像恢复三维结构的核心步骤。通过立体匹配生成的视差图，可以将图像中的深度信息转化为三维点云数据，并进一步用于构建三维模型[3]。视差图作为核心中间结果，提供了每个点的深度信息。通过解析视差图，可以生成稠密点云，并对其进行降噪[4]。结合多种建模技术，能够构建出连续的三维几何结构。本章将重点讨论基于视差图生成三维模型的流程及优化方法，特别是表面重构技术，并展示在Open3d环境中的重构效果。

2.2. 点云表面重构方法

表面重构技术通过点云数据生成三维表面，适用于不同的数据场景，无论是稠密数据还是稀疏数据。根据近十年内整理的表面重构综述论文[5]-[9]，目前针对这些问题的解决方案中，最常见的四种方法分别是三角化方法、模板先验、建模先验和深度学习方法。这些方法在不断发展和优化，能够更好地应对各种不同的应用需求。

2.2.1. 三角化先验

三角化先验方法假设表面是局部连续的，并可以通过三角网格表示，这使其在处理复杂形状时具有灵活性[7] [8]。Delaunay三角化是这种方法的典型代表，通过“空球性质”确保生成的三角网格不包含其他点。尽管该方法适用于复杂形状的初步近似，但在三维空间中的定义存在局限性。因此，许多重构方法将Delaunay三角化作为初始步骤或正则化手段。例如，贪婪Delaunay方法(Greedy Delaunay)通过拓扑约束选择有效的三角形[10]，而球形旋转算法(Ball-Pivoting Algorithm)利用滚动球生成三角面片[11]。

随着深度学习的兴起，三角化先验方法与深度学习的融合越来越多，具有代表性的方法如下主要有以下几种。PointTriNet [12]利用深度网络学习点云的局部几何关系，通过候选生成和分类网络优化三角网格质量，提升噪声点云和复杂形状的重构效果。DeepDT [13]在Delaunay三角剖分基础上结合深度学习提取几何特征，标记目标三角形，生成优化表面网格。两者结合了几何算法的稳健性和深度学习的适应性，为处理不均匀分布和噪声点云提供新思路，代表了三角化技术的前沿方向。Delaunay三角剖分，DMNet [14]通过双图结构建模和几何约束损失捕捉薄结构和尖锐边缘，适用于高精度网格重构。图2展示了基于Delaunay三角化生成的重构效果。

Figure 2. Points cloud from disparity map

图2. 基于视差图生成的点云效果

基于Delaunay三角化的重构方法虽具备处理复杂形状和噪声点云的优势，但在点云分布不均或噪声较多的情况下，容易生成质量较差的网格。此外，该方法的计算复杂度较高，难以扩展到高维或动态场景，且对局部不连续性特征的捕捉能力有限。

2.2.2. 模板先验

基于模板的先验方法在表面重构领域中占有重要地位，其核心思想是利用预定义的形状模板，通过拟合或优化生成点云的表面结构[8]。这类方法依赖于几何原语或从形状数据库中检索的模板，并通过结合点云的几何特性或语义信息，实现高效而精确的表面重构。

$\underset{\left\{\omega \right\},\left\{\theta \right\}}{\min }D\left({\displaystyle \sum _{i=1}^{\left|\left\{M\right\}\right|}{\omega }_i{M}_i\left(\theta \right)P}\right)$ [11] (1)

其中，表示预定义的模板集合，每个模板可能由参数化，并由加权；表示形成的曲面与之间的最佳距离。通过最小化拟合误差，由确定或者的重构曲面。

几何原语方法

几何原语方法使用简单几何形状(如球体、立方体等)作为模板，通过拟合点云生成表面[8]。经典的几何拟合算法包括基于RANSAC的方案，如Schnabel等人优化的RANSAC算法[15]，以及Nan和Wonka基于加权能量函数的平面模板提取方法[16]。偏微分方程(PDE)方法通过拟合分段几何原语模板实现高精度重构[17]。近年来，研究者结合法向量和高斯分布的3D表面重构方法，不仅提高了几何拟合精度，还优化了渲染效果，适用于复杂场景的动态显示[18]。

基于检索的模板方法

基于检索的模板方法通过从一个形状数据库中检索与点云最相似的模板形状，并通过刚性或非刚性变形将其与点云更好地对齐[8]。检索阶段通常通过形状特征匹配(如几何特征和语义类别)来实现，而模板变形则通过优化或学习方法进行调整。

具有代表性的经典方法中，有研究提出利用多个检索到的对象形状进行融合，最终形成目标表面[19]在场景重构中，也有方法通过对点云进行语义分割，为每个语义类别的子区域检索匹配模板，并通过局部优化调整模板与点云的一致性[20]。最新的研究集中在提高检索效率和重构复杂性。例如，有研究提出了一种神经网络驱动的3D场景重构方法，通过检索数据库中的最优模板并结合优化机制，实现了复杂场景的高效重构[21]。另有研究探索了分块嵌入学习技术，能够从单张图像中检索复杂形状模板，并动态调整以适应实际应用需求[22]。还有研究提出了基于装配的神经隐式重构技术，通过多模板融合和隐式表示模型，实现了模板重构精度和效率的显著提升[23]。这些研究表明，基于检索模板的方法在结合数据库技术和神经网络优化方面取得了重要进展，为复杂场景和自由形状的表面重构提供了新的解决方案。

2.2.3. 建模先验

建模先验(Modeling Priors)利用几何模型的内在特性，通过优化策略或深度学习方法生成符合假设的表面。对于建模先验的方法，本文根据其约束的形式将其进一步分为显式和隐式两种方式[8]。显式方式可以表现为以下数学形式：

$z=f\left(x,y\right)$ [11] (2)

其中，直接表示每个点的表面高度的是显式函数。显式先验通过明确的数学规则(如最小化曲率)对表面生成进行约束，典型方法如泊松表面重构，基于光滑性假设求解泊松方程生成连续表面，适用于规则且噪声较低的数据[24]。最近的研究提出的多视图特征先验几何融合技术，能够处理复杂平面和非规则表面拓扑，并通过优化显式几何规则显著提升重构的精度与鲁棒性[25]。这些方法以几何规则为核心，通过优化特定公式生成表面，适用于规则数据或具有显著几何特征的场景。

隐式先验利用深度学习的隐式函数，通过函数零集合表示表面。同样以长方体为例，公式(3)展示了用隐函数表示的数学形式：

$f\left(x,y,z\right)=0$ (3)

正因为零集合表示表面的这种特性，隐式建模能够表现更加复杂的拓扑结构。DeepSDF通过多层感知机(MLP)学习符号距离函数，能够生成复杂拓扑和非规则形状的表面[26]。目前最新的研究结合随机偏微分方程(SPDE)和神经网络建模，通过概率分布的隐式定义生成表面，显著提升了复杂场景重构的鲁棒性和精度[27]。近几年主流的扩散模型也被应用到该领域，有研究提出了一种生成扩散模型作为隐式先验，利用神经网络还原图像复杂表面形状，特别适用于图像修复和生成任务[28]。隐式方法以神经网络和隐式几何模型为核心，特别适用于非规则或复杂拓扑的重构场景。建模先验抽象性程度较高尤其是隐式模型，图3通过具象化该方法，直观地展示了从点云生成的该方法的模型的几何形式。

Figure 3. Comparison of display modeling and implicit modeling effects of modeling priors

图3. 建模先验的显示建模与隐式建模效果对比

图中展示了两种建模形式的对比图，可以发现该方法存在的问题主要是在稀疏点云的情况下，隐式建模的表面完整性效果不佳但是局部平滑，而显示建模的表面完整性高但是粗糙不平滑。

2.2.4. 深度学习方法

在近年来的研究中，深度学习方法因其在复杂几何形状建模和高效点云处理中的卓越表现，成为表面重构领域的重要发展方向。根据方法的学习目标和数据组织形式，可以将基于深度学习的表面重构技术分为两类：语义先验学习(Learning Semantic Priors)和局部几何先验学习(Learning Priors as Local Shape Primitives) [8]。语义先验学习侧重于从具有明确语义类别的对象实例中提取全局形状特征，为特定类别对象的表面重构提供深度编码支持。局部几何先验学习则更强调对局部表面块的建模效果，适用于无语义类别的复杂形状或大规模场景。

1) 语义先验

语义先验学习通过提取全局几何模式，指导三维表面重构，展现了全局语义信息在形状建模中的重要作用。基础模型与早期探索阶段奠定了语义先验学习的基础，例如PointNet [29]使用全局池化操作提取整体形状特征，是语义建模的开创性工作，而IM-NET [30]则通过隐式场解码器将点云压缩到全局潜在空间，提升了复杂形状的建模能力。随后，基于隐式表示的增强方法进一步结合隐式场和深度学习技术，如Deep Marching Cubes将经典Marching Cubes与深度学习结合，采用差分体素网格实现高效表面重构[14]，而DeepSDF通过优化潜在表示生成有符号距离场(SDF)，显著提升了建模精度[26]。

近年来，Transformer引入与全局建模成为语义先验学习的重要进展。Point Transformer通过自注意力机制和位置编码捕捉全局上下文信息，优化了点云的全局特征表达[31]。Point Transformer V2进一步改进了这一机制，通过分组向量注意力和分区池化策略提升了建模效率[32]。多样化的创新探索在语义建模上融合了新技术，PointMLP通过残差多层感知机(MLP)和几何仿射模块扩展感受野，实现高效分类与分割[33]；Stratified Transformer [34]结合分层采样与自注意力机制，同时捕捉局部细节和全局上下文信息；而RGIS-Nets [35]则通过神经网络与核岭回归的结合，优化了隐式形状的泛化能力，增强了复杂形状的适应性。这些研究从不同角度丰富了语义先验学习的技术方法，为复杂形状的表面重构提供了多样化的解决方案。

2) 局部几何先验

局部几何先验学习是深度学习中的重要研究方向，旨在提高局部建模精度。在这一领域，PointNet++ [36]作为开创性工作，通过分层抽象模块聚合局部特征，为局部几何建模奠定了基础。KPConv通过灵活的核点卷积，适应点云的局部结构特性，成为点卷积技术的经典代表[37]。

在基于隐式表示的局部建模中，ConvOCCNet [38]结合卷积特性与隐式技术，实现了复杂表面的高效重构。Deep Local Shapes [39]和Local Implicit Grid Representations [40]则通过隐式SDF或局部网格插值，进一步提升了对大规模复杂场景的建模能力。Points2Surf [41]则通过局部形状补丁生成隐式表面，兼顾局部精度与全局一致性。

针对稀疏点云和大规模场景的优化，近期研究得到广泛关注。PointNeXt [42]在PointNet++的基础上，优化训练策略增强了稀疏点云的重构能力。POCO [43]通过点卷积计算潜在向量并插值，提高了局部细节捕捉精度。SSRNet [44]采用八叉树分割策略并行处理局部区域，在大规模点云处理中具有高效率。DMNet [14]基于Delaunay三角剖分，通过双图结构捕捉薄结构和尖锐边缘，优化了特殊几何的建模。DeepDT [13]利用Delaunay三角剖分和图卷积网络(GCN)，对点云局部几何特征进行学习和整合，尤其在复杂拓扑和开放场景中表现优异。MDG-OccNet [45]通过点云去噪和特征聚合，提升了稀疏数据的重构精度。

最近有研究引入了无监督学习技术。Ouasfi [46]利用无监督占据场方法和不确定性边界监督，增强了对稀疏点云的推断能力。无监督方法的出现扩展了局部几何先验学习的研究领域。

3. 基于神经辐射场的表面重构方法

传统三维重构方法如多视图立体(MVS)和点云重构依赖稠密视角和显式几何建模，常在稀疏数据或复杂场景下表现受限，难以兼顾精度和细节。近年来，神经辐射场(NeRF)技术凭借隐式建模的优势，能够在稀疏视角下生成细节丰富的三维模型，特别在处理光照变化和复杂纹理方面展现出卓越表现。其革新性特点使其成为三维重构领域的研究热点。

3.1. NeRF技术的基本原理与工作流程

Figure 4. Flowchart of nerf

图4. 神经辐射场流程图

神经辐射场(NeRF, Neural Radiance Field)由Mildenhall等人于2020年提出，是一种通过神经网络隐式建模的三维场景表示方法[47]。与传统的显式建模方法不同，NeRF利用多层感知器(MLP)将三维空间中的点坐标和光线方向映射为体积密度和颜色信息，从而实现高质量的视角合成与三维重构。下图展示了神经辐射场的基本流程：

NeRF的三维重构流程包括三个阶段(图4) [47]：首先，输入多视角影像及相机参数，提供几何和纹理信息；其次，模型训练阶段，神经网络根据三维坐标和视角，使用体渲染方程生成三维密度场和颜色场；最后，表面提取阶段，通过密度阈值从密度场中提取三维表面模型。NeRF的核心体渲染公式描述了光线颜色的计算过程如下：

$C\left(r\right)={\displaystyle {\int }_{t_n}^{t_f}T\left(t\right)}\sigma \left(t\right)c\left(t\right)dt$ (4)

其中，$T\left(t\right)$ 的具体含义是光线在位置t前没有被吸收的剩余强度，公式中的积分是体积密度的累积，表示从起点$t_n$ 到位置t之间吸收效应的累积，这个指数形式反映了光线穿过高密度区域时，累积吸收效应呈非线性增长的特性。

3.2. 神经场辐射场研究现状

神经辐射场(NeRF)技术近年来在卫星可见光影像的三维重构领域中展现出广泛的应用潜力。由于卫星影像的多视角数据通常具有稀疏性且光照条件复杂，传统的显式建模方法(如多视角立体重建(MVS)和点云)在纹理捕捉与细节重建方面面临较大的挑战。而NeRF的隐式建模能力能够高效地利用卫星影像的多视角信息，生成更加精细和真实的三维模型，极大提升了重构质量，特别是在纹理和细节的表现上。

针对数据特性的模型改进与计算效率提升的研究比如Xie团队[48]提出的改进型NeRF框架通过引入卫星摄影测量约束，有效克服了稀疏视角数据带来的建模瓶颈。与此同时，Zhou等学者[49]研发的SatelliteRF系统采用轻量化网络架构，在保持建模精度的同时将计算效率提升两个数量级，为大规模卫星影像处理提供了可行性方案。

面对复杂光照环境，Behari等[50]开发的SUNDIAL框架创新性地融合大气散射模型，成功解决了强光照不均场景的三维重建难题；Derksen团队[51]提出的Shadow-NeRF通过光线传播路径的物理建模，实现了亚像素级的光影变化解析；Adams等[52]则针对低照度卫星影像开发了动态曝光补偿算法，填补了夜间遥感三维重建的技术空白。这些突破性研究不仅拓展了NeRF的技术适用边界，更构建起全天候卫星三维建模的技术体系。值得关注的是，Sun团队[53]近期发表于IEEE的研究开创了多维度信息解耦的新范式。其提出的内在分解模型通过解耦反射率、表面法线、阴影等物理属性，配合密度感知采样技术，在复杂光照和非朗伯体表面场景中实现了95%以上的几何重建精度。该技术突破不仅将训练效率提升40%，更衍生出数字表面模型生成、多光谱融合等创新应用场景(图5)。

Figure 5. Preliminary processing results of neural radiance fields and information decomposition

图5. 神经辐射场初步处理效果图及分解能力图

4. 未来发展趋势

未来，卫星影像的表面重构将结合3D高斯Splatting (3DGS)和神经辐射场(NeRF)等先进技术，推动精度和应用范围的提升。3DGS通过高效处理大规模、高分辨率影像，利用3D高斯分布模型渲染三维场景，能够真实再现复杂地形，特别适用于大范围地表重建。与此同时，NeRF通过深度神经网络建模光照和视角信息，生成逼真的三维表面，尤其在复杂光照和天气条件下表现优越。NeRF还可高效处理大规模数据集，适应广泛的地理信息重构需求。随着计算能力和深度学习技术的进步，未来卫星影像的表面重构将在精度、效率及应用范围上取得显著提升，为灾害监测、环境评估和城市规划等领域提供精准可靠的数据支持。

基金项目

十四五某部科研项目，编号(BHJ22SS1R048)。

NOTES

^*通讯作者。