基于深度学习的点云上采样算法研究

Research on Point Cloud Upsampling Algorithms Based on Deep Learning

摘要: 点云上采样能够提高点云分辨率并保持点云的特征，近年来越来越受到人们的重视。基于深度学习的点云上采样算法相较于基于优化的算法，能够更有效地学习点云的特征和结构，且对数据的先验要求不高，取得了先进的上采样效果。因此基于深度学习的点云上采样是当前许多学者主要研究的方向之一。本文综述了基于深度学习的点云上采样算法，阐述了点云上采样的整体框架以及改进的策略，并介绍了点云上采样效果的评价指标以及常用的数据集，最后探讨了点云上采样的未来的几个极具潜力的发展方向。

Abstract: Point cloud upsampling improves the resolution of point cloud and maintains the feature of point cloud, which has attracted more and more attention in recent years. Compared with the optimization-based algorithms, the point cloud upsampling algorithms based on deep learning can more effectively learn the feature and structure of the point cloud and have low prior requirements for data, leading to the advanced effect of upsampling. Therefore, the point cloud upsampling based on deep learning is one of the main research directions of many scholars at present. In this paper, we summarize the point cloud upsampling algorithms based on deep learning and expound the holistic framework and improved strategies of point cloud upsampling. Then the evaluation metrics of point cloud upsampling effect and commonly used data sets are introduced. We finally discuss several potential development directions of point cloud upsampling in the future.

1. 引言

点云是3D场景的最基本和最常见的表达方式，在3D重建 [1] [2] [3] [4]，自动驾驶 [5] [6] 和地质、建筑的勘测等领域均有广泛的应用。然而，由于硬件和计算的限制，3D传感器经常产生稀疏和嘈杂的点云，对于小物体或远离相机的物体，这种现象更为明显。这限制了在点云上开展的后续工作和任务。点云上采样是在保留点云的几何、拓扑、形态等特征的前提下，把稀疏的、不完整的和有噪声的点云转换成密集的、完整的和干净的点云，能够提高点云的分辨率，已经成为点云这一研究方向中的热点问题之一。

传统的点云上采样算法是基于优化的。这些算法虽然能够取得良好的上采样效果，但它们不是数据驱动的，且严重依赖先验知识。PointNet [7] 和PointNet++ [8] 证实了利用深度神经网络处理点云的可行性和有效性。由此，出现了一大批基于深度学习的点云上采样算法。基于深度学习的算法可以有效地从数据中学习到特征和结构，且对数据的先验要求不高。本文主要对基于深度学习的点云上采样算法进行研究。

早期的点云上采样算法对输入点云进行多层特征提取，并多以复制的策略在特征空间中完成点集的扩展，最后以简单的全连接层完成点集坐标的回归。这些算法对点云的边缘、结构等信息的敏感性不强，上采样得到的点云易出现轮廓不清晰、结构丢失等问题。此外，这些算法往往规模较大，需要训练的参数较多，训练成本较大。随着深度学习的不断发展，一些新的技术与思想被融合到点云上采样工作中。包括引入级联网络实现超大倍率上采样、引入生成对抗网络(Generative Adversarial Network, GAN)实现点云上采样、将点云视为图并引入图卷积网络(Graph Convolutional Network, GCN)实现点云潜在图结构的深入挖掘、通过拓扑映射学习点云的曲面结构并实现任意倍率的上采样等，一定程度上解决了上述的点云上采样算法存在的问题。

2. 基于深度学习的上采样整体框架

2018年，Yu等学者提出了第一个点云上采样网络PU-Net [9]，它的结构可以被概括为特征提取、特征扩展、坐标重建这三个部分，如图1所示。其中，特征提取部分将输入点云映射到特征空间，得到点云的特征向量；特征扩展部分将特征向量的维度扩展，并通过重组的方式将多余的维度转化为点数，实现了点集的扩展；坐标重建部分将特征空间中的点集映射到三维欧氏空间，完成了点云的固定倍率的上采样。PU-Net的网络结构较为简单，上采样的整体框架合理。目前的许多点云上采样算法处于这一整体框架内，对这一框架出现的一些问题进行改进。

Figure 1. Architecture of PU-Net

图1. PU-Net网络结构图

同年，PU-Net的作者针对网络对边缘的敏感性不足的问题，提出了第一个边缘感知合并网络EC-Net [10]，通过设计一个同时回归点坐标和点到边的距离的回归组件，以及一个边缘感知的联合损失函数，使网络可以关注检测到的尖锐边缘，实现了更精确的上采样。这一算法效果显著，但其要求有标注的边缘，这往往是难以获取的。

2020年，Qian等学者将离散微分几何巧妙地融入到点云上采样中，提出了点云上采样算法PUGeo-Net [11]。该算法学习每个点及其法线方向的局部参数化。具体地，该算法首先在2D参数域中生成密集点，然后使用线性变换将它们映射到3D空间。最后扭曲切面以获得物体表面上的3D点。该算法同时还实现了点的法向量的回归。

2021年，Rajat等学者 [12] 提出了一种综合考虑点与法向量的复合损失函数，只使用深度神经网络完成了点云上采样以及法向量的回归。

同年，Qian等学者提出了一种基于图卷积网络的点云上采样算法PU-GCN [13]，将点云视作图，将点视作图中的节点，以挖掘点云存在的拓扑信息。该算法将GCN与Inception模块相结合，提取点云的多尺度图结构信息。该算法还提出了应用于特征扩展的新的重组机制NodeShuffle，在重组时可以更好地编码来自邻居节点的信息。

2022年，Long等学者探索了点云的片到片和点到点的相关性，提出了点云上采样算法PC²-PU [14]。该算法将相邻的点云片作为补充输入，以补偿单个点云片内损失的结构信息，并引入一个片相关模块来捕捉片之间的差异和相似性。该算法进一步引入了一个点关联模块来揭示每个片内部点的关系，以保持局部空间的一致性。

同年，Zhong等学者提出采用动态残差图卷积的点云上采样算法PSR-DRGCN [15]。该算法提出的DRGCN模块利用多层图卷积操作将三维空间中每个点的局部几何特征抽象为语义特征，在每一层对点的近邻空间进行动态调整以增加感受野范围，并通过残差连接融合多层次语义信息，从而对局部几何信息高效提取，以此改善上采样的效果。

同年，Gu等学者提出使用加权图卷积网络的点云上采样算法PU-WGCN [16]。该算法巧妙地设计了一个用于降低不同节点之间的相似度的图特征增强模块，以及一个综合考虑了节点的空间和特征信息的边界信息加权模块，以较低的训练代价较大程度地解决了上采样点云存在的空洞过度填充和边界模糊的问题。

3. 点云上采样算法的改进策略

目前，还有许多点云上采样算法并不处于PU-Net的特征提取、特征扩展、坐标重建的整体框架内，它们多以这个框架为基础，采用一些策略对这个框架进行改进，包括级联网络策略、生成对抗策略、任意倍率上采样策略、自监督训练策略和公式化策略等。

3.1. 级联网络策略

2019年，Wang等学者提出了一个在不同的细节级别上端到端地逐步训练级联的基于点云片的上采样网络MPU [17]。该算法通过一系列架构改进，包括用于逐点特征提取的新型密集连接、用于特征扩展的代码分配以及用于层间特征传播的双边特征插值，实现了超大倍率的点云上采样。

2021年，Li等学者将点云上采样考虑为一个多目标任务，提出了点云上采样算法Dis-PU [18]。该算法提出两个级联的子网络，即密集生成器和空间细化器。密集生成器推断出粗略描述潜在表面的粗略但密集的输出，空间细化器通过调整每个点的位置进一步微调粗略输出。

2022年，Du等学者 [19] 提出了一个简单而有效的级联优化网络，由三个具有相同网络架构但实现不同目标的生成级组成。具体地，前两个阶段实现点云上采样，它们渐进地生成密集但粗糙的点；最后的阶段对上采样结果进行细化，进一步将粗糙点调整到更好的位置。此外，该算法还提出了一个基于变换的特征提取模块来学习有用的全局和局部形状上下文。

3.2. 生成对抗策略

2019年，Li等学者第一次提出基于生成对抗网络的点云上采样算法PU-GAN [20]。该算法在生成器中构造了一个上–下–上扩展单元，用于对具有误差反馈和自校正的点特征进行上采样，并构造了一个自关注单元来增强特征聚合。此外，该算法还提出了一个包含对抗项、均匀项和重构项的复合损失，以鼓励鉴别器学习更多的潜在模式，提高输出点分布的均匀性。

同年，Wu等学者提出了一种基于图网络和对抗损失的数据驱动的点云上采样算法AR-GCN [21]，利用点云的局部相似性以及低分辨率输入和高分辨率输出之间的相似性，设计了一个具有图卷积的深度网络，在图卷积中加入残差连接，并在输入和输出之间引入跳过连接。该网络采用一种新的损失函数进行训练，该损失函数结合倒角差异和图对抗损失，实现了对高分辨率点云特征的自动捕捉。

2022年，Zhou等学者提出了一种整体水平的内部点云上采样方法ZSPU [22]。该算法是基于特定点云的生成对抗网络，仅依赖于特定点云提供的内部信息，无需在自我训练和测试阶段进行修补。这种单流设计通过学习低分辨率点云与其高分辨率对应物之间的关系，显著减少了训练时间。当原始点云作为输入加载时，这个关系将提供超分辨率输出。

3.3. 任意倍率上采样策略

2021年，Ye等学者认为现有的方法将不同比例因子的点云上采样视为独立的任务，这些方法需要为每个比例因子训练一个特定的模型，这对于实际应用中的存储和计算来说既低效又不切实际。为了解决这一限制，他们提出了支持用单一模型对任意比例因子的点云进行上采样的算法Meta-PU [23]。该算法使用剩余图卷积块组成骨干网络，并学习一个元子网来动态调整剩余图卷积块的权重，采用最远的采样块来采样不同数量的点，实现了以任意比例因子上采样点云。

2022年，Feng等学者 [24] 提出了一种新的点云表示方法神经点(Neural Points)，并将其应用于任意倍率的上采样任务。在传统的点云表示中，每个点仅表示三维空间中的一个位置或局部平面，而神经点中的每个点则通过神经场表示局部连续的几何形状。该算法提取点的深层局部特征，并通过2D参数域和3D局部面片之间的局部同构来构造神经场。最后，局部神经场被整合在一起形成全局表面。通过在学习到的全局表面上进行采样，即可实现点云的任意倍率的上采样。

3.4. 自监督训练策略

2019年，Liu等学者提出了局部–全局自动编码器L2G-AE [25]，通过局部–全局重建来学习点云的局部和全局结构。该算法可以应用于点云上采样。L2G-AE采用编码器同时对局部区域中多个尺度的几何信息进行编码，并引入了一种新的分层自我注意机制，以突出编码器在信息聚合中不同级别的重要点、尺度和区域。同时，L2G-AE算法采用循环神经网络(Recurrent Neural Network, RNN)作为解码器，在局部区域重建尺度序列，在此基础上增量重建全局点云。

2022年，Liu等学者认为现有的点云上采样算法基本都需要Ground Truth密集点集作为监督，这使得它们局限于在合成成对训练数据下训练，并不适合在真实扫描的稀疏数据下训练，而从实际扫描的稀疏数据中获得大量成对的稀疏密集点集作为监督是昂贵且繁琐的。为了解决这个问题，他们提出了一个自监督的点云上采样网络SPU-Net [26]，用于捕获位于潜在表面的点的固有上采样模式。该算法提出了一个由粗到细的重建框架，包含两个主要部分：点特征提取和点特征扩展。在点特征提取中，该算法将自我注意模块与图卷积网络相结合，同时获取局部区域内部和之间的上下文信息。在点特征扩展中，该算法引入了一种分层学习的可折叠的策略，用可学习的2D网格生成上采样点集。此外，为了进一步优化生成的点集中的噪声点，他们提出了一种新的自投影优化方法，该方法将均匀项和重建项作为联合损失，以利点云的自监督上采样。

同年，Zhao等学者 [27] 将点云上采样公式化为在隐式曲面上寻找最近的投影点作为种子点的任务，实现了自监督和放大倍率灵活的点云上采样。该方法设计了两个隐式神经函数来分别估计投影方向和距离，这两个函数可以通过两个前置学习任务来训练。该方法获得了与基于监督学习的现有方法相当甚至更好的性能。

3.5. 公式化策略

2022年，Qian等学者提出了一个新的端到端的基于学习的点云上采样框架MAFU [28]。该算法从公式化的角度分析点云上采样问题，并明确地将问题的目标归结为确定插值权重和高阶逼近误差。该算法设计了一个轻量级神经网络，通过分析输入点云的局部几何结构，自适应地学习统一和排序的插值权重以及高阶细化。该算法新生成的点分布在相邻点的凸包中，并通过基于自我注意的细化模块进一步细化点的坐标以接近潜在表面。该算法可以由显式的公式来解释，因此比现有的方法更节省内存。此外，该算法所提出的框架仅需要具有一次性训练的单个神经网络即可处理典型范围内的各种上采样因子。

同年，Mao等学者结合归一化流和权重预测技术，提出了一种新的点云上采样算法PU-Flow [29]，以产生均匀分布在潜在表面上的密集点。该算法利用归一化流的可逆特性来变换欧几里德空间和潜在空间之间的点，并将上采样公式化为潜在变量的局部集合，其中的插值权重是从局部邻域上下文中自适应地学习的。

4. 评价指标

在点云上采样任务中，常见的评价指标包括倒角差异(Chamfer Discrepancy, CD) [30]、豪斯多夫距离(Hausdorff Distance, HD) [31]、点到表面距离(Point-to-Surface Distance, P2F)、搬土距离(Earth Mover Distance, EMD) [32]、标准化均匀系数(Normalized Uniformity Coefficient, NUC)、F-score [33] 和JS散度(Jensen-Shannon Divergence, JSD) [34]。

4.1. 倒角差异

倒角差异衡量两个点云的不相似的程度，被广泛用于点云深度学习中。给定两个点云P和Q，它们的倒角差异为

$d_{CD}\left(P,Q\right)=\frac{1}{\left|P\right|}{\displaystyle \underset{x\in P}{\sum }\underset{y\in Q}{\min }{\Vert x-y\Vert }_2^2}+\frac{1}{\left|Q\right|}{\displaystyle \underset{y\in Q}{\sum }\underset{x\in P}{\min }{\Vert x-y\Vert }_2^2}.$

倒角差异不是一个距离。对于两个差别非常大的点云，它们的倒角差异可以非常接近零。因此，倒角差异对两个点云的不相似程度的反映存在一定偏差，但由于其较高的计算效率仍被广泛使用。此外，倒角差异的计算并不要求P和Q的元素个数相同。

4.2. 豪斯多夫距离

豪斯多夫距离同样被用于衡量两个点云的不相似的程度。给定两个点云P和Q，它们的豪斯多夫距离为

$d_{\text{HD}}\left(P,Q\right)=\max \left\{\underset{x\in P}{\max }\underset{y\in Q}{\min }{\Vert x-y\Vert }_2,\underset{y\in Q}{\max }\underset{x\in P}{\min }{\Vert x-y\Vert }_2\right\}.$

豪斯多夫距离与倒角差异在定义上具有较高的相似性，它们都只关心P中的点在Q中的一个最近邻居而不是这些最近邻居的分布情况，反之亦然。豪斯多夫距离的计算同样不要求P和Q的元素个数相同。

4.3. 点到表面距离

点到表面距离是一种用于衡量点云与3D物体表面的不相似程度的方法。给定点云P和3D物体表面Q，为每个点 $x\in P$ 找到Q中的最近的点y，即

$y\left(x\right)=\underset{\tilde{y}\in Q}{\arg \min }{\Vert x-\tilde{y}\Vert }_2.$

计算所有的P中的点与相应的Q中的点的距离平均值作为P和Q的点到表面距离，即

$d_{\text{P2F}}\left(P,Q\right)=\frac{1}{\left|P\right|}{\displaystyle \underset{x\in P}{\sum }{\Vert x-y\left(x\right)\Vert }_2}.$

点到表面距离被用于评价点云重建、补全、上采样的效果好，但计算复杂度高，且需要相当准确的3D物体表面的数据。这些3D物体表面往往是由大量细小的平面拟合得到的，人工制作这样的数据集是昂贵而繁琐的。

4.4. 搬土距离

搬土距离是一种用于计算两个点云的不相似的程度的方法。给定两个点云P和Q，它们的搬土距离为

$d_{\text{EMD}}\left(P,Q\right)=\underset{T:P\to Q}{\min }{\displaystyle \underset{x\in P}{\sum }{\Vert x-T\left(x\right)\Vert }_2},$

其中，T是一个双射。搬土距离通过寻找最佳的双射来更精确地衡量两个点云的不相似的程度，其被用于评价点云重建、补全和上采样的效果非常好，但计算代价相当昂贵。由于T是一个双射，因此搬土距离的计算要求P和Q的元素个数相同。

4.5. 标准化均匀系数

标准化均匀系数被用于衡量点云在表示物体表面时的均匀性。给定点云P，在物体表面上随机放置D个大小相等的圆盘，计算圆盘内部点数的标准差。随后，标准化每个物体的密度并计算所有物体的点云的整体一致性。点云P的圆盘面积百分比p的归一化均匀系数为

$NUC=\sqrt{\frac{1}{K\ast D}{\displaystyle \underset{k=1}{\overset{K}{\sum }}{\displaystyle \underset{i=1}{\overset{D}{\sum }}{\left(\frac{n_i^k}{N^k\ast p}-avg\right)}^2}}},$

其中，

$avg=\frac{1}{K\ast D}{\displaystyle \underset{k=1}{\overset{K}{\sum }}{\displaystyle \underset{i=1}{\overset{D}{\sum }}\frac{n_i^k}{N^k\ast p}}},$

$n_i^k$ 是第k个物体的第i个圆盘内的点数， $N^k$ 是第k个物体的点的总数，K是物体的总数，p是圆盘面积占总物体表面积的百分比。标准化均匀系数越小，则点云的分布越均匀。

4.6. F-score

F-score是精确度(Precision)和召回率(Recall)的调和平均数，在点云上采样任务中可以使用F-score来衡量两个点云的相似的程度。给定两个点云P和Q，检查P或Q中能够在阈值 $\tau$ 内从另一个点云中找到邻居的点的百分比来估计精度和召回率。然后计算它们的F-score

$\text{F-score}=\left(1+{\beta }^2\right)\frac{\mathrm{Pr}\text{ecision}\ast \mathrm{Re}\text{call}}{{\beta }^2\ast \mathrm{Pr}\text{ecision}+\mathrm{Re}\text{call}}.$

对于这个指标，越大表明两个点云的相似程度越高。

4.7. JS散度

JS散度从体素分布的角度衡量两个点云的不相似的程度。给定两个点云A和B，假设它们的坐标轴已经对齐，且有标准的体素网格，可以测量A倾向于占据与B的位置相似的位置的程度。为此，计算A的每个体素内的点数，并相应地为B计算所获得的经验分布 $\left(P_A,P_B\right)$ 之间的JS散度：

$JSD\left(P_A\Vert P_B\right)=\frac{1}{2}D\left(P_A\Vert M\right)+\frac{1}{2}D\left(P_B\Vert M\right),$

其中， $M=\left(P_A+P_B\right)/2$， $D\left(\cdot \Vert \cdot \right)$ 表示两个分布的KL散度。

5. 数据集

在基于深度学习的点云上采样任务中，常见的数据集包括ModelNet [35]、ShapeNet [36]、SHREC15 [37]、Sketchfab [38] 和PU1K等。

ModelNet收集了若干个世界上最常见的物体的干净的三维CAD模型。ModelNet共有662种目标分类，127,915个CAD模型，以及10类标记过方向的数据，旨在为计算机视觉、计算机图形学、机器人和认知科学的研究人员提供全面的物体3D模型。这个数据集包含3个子集：ModelNet10为10个标记朝向的子集数据；ModelNet40为40个类别的三维模型；Aligned40为40类标记的三维模型。

ShapeNet是一个由物体的三维CAD模型构成的形状存储库，注释丰富，规模较大。ShapeNet包含来自多种语义类别的3D模型，并按照WordNet分类法组织它们。它是一组数据集，为每个3D模型提供许多语义标注，如一致的刚性对准、零件和双边对称平面、物理尺寸、关键字以及其他计划的标注。注释通过基于web的公共接口提供，以支持对象属性的数据可视化，促进数据驱动的几何分析，并为计算机图形学和视觉研究提供大规模定量基准。ShapeNet已经索引了超过300万个模型，其中22万个模型被分为3135个类别。

SHREC15是一个非刚性三维模型数据集，共有50个不同类别的物体，每个类别包含24个形状，其中大部分是生物的姿势，如马、猫等。

Sketchfab由极其细致的3D模型组成，其数据是从SketchFab下载得到的，包含90个训练样本和13个测试样本。

PU1K由1147个3D模型组成，分为1020个训练样本和127个测试样本，覆盖了3D物体的大语义范围以及复杂形状。

6. 研究展望

近年来，点云上采样领域发展迅速，相关算法也层出不穷。点云上采样作为点云分割、目标检测等任务的预先工作，在不断发展的过程中，其也将被逐渐应用于实际生活中的场景。因此，点云上采样的发展必须要充分考虑且尽量满足实际应用中的情况和需求。

点云上采样的公式化，是完成这一任务的可行性、有效性的理论保障，同时也是将点云上采样应用于实际场景的理论支撑。此外，公式化揭示了算法更多的可改进之处。因此，公式化是点云上采样最具潜力的发展方向之一。

当前的许多算法将不同倍率的点云上采样视为独立的任务，需要为每个比例因子训练一个特定的模型，这对于实际应用中的存储和计算是困难且繁琐的。在实际应用中，根据需求和环境，点云上采样倍率随时可能变动，需要一个通用的算法快速、高效地完成任意倍率的上采样。因此，任意倍率的上采样是点云上采样极具潜力的发展方向之一。

现有的许多算法都是监督学习算法，即需要Ground Truth密集点集作为监督，这在合成成对训练数据下训练是可行的，但从实际扫描的稀疏数据中获得成对的训练数据进行监督学习是昂贵而繁琐的，因此并不适合在真实扫描的稀疏数据下训练。在实际应用中，获取成对的训练数据进行监督学习是难以实现的，需要一个仅依据输入的稀疏点云就能完成上采样的自监督学习算法。因此自监督训练同样是点云上采样极具潜力的发展方向之一。

近年来，深度学习中的一些机制与结构，如Transformer，被证明在许多领域均取得了先进的效果。随着并行处理能力以及对深度网络和大型数据集的可扩展性的不断提升，越来越多的视觉Transformer在图像相关任务上取得了优异的性能，包括超分辨率 [39] [40] 或分类 [41] [42]、检测 [43] [44] 等。由于3D和2D数据之间的固有差异性，基于Transformer的点云分析方法的发展尚不成熟。Qiu等学者首次在点云上采样中尝试引入Transformer模型，提出了点云上采样算法PU-Transformer [45]，其主体为Transformer编码器的一般结构。和包括Transformer结构在内的深度学习中的先进的机制与结构相结合，有利于提高上采样的各项指标与重建效果，推进上采样理论在实际中的应用与发展，因此也是点云上采样颇具潜力的发展方向之一。

基金项目

国家自然科学基金(No. 62072024)；北京建筑大学北京未来城市设计高精尖创新中心资助项目(UDC2017033322, UDC2019033324)；北京建筑大学市属高校基本科研业务费专项资金资助(No. X20084, ZF17061)；北京建筑大学研究生创新项目(PG2022144)；北京高等教育本科教学改革创新项目(201910016004)。

NOTES

^*通讯作者。