装船作业中基于深度神经网络的激光雷达点云语义分割研究

Deep Neural Network-Based Semantic Segmentation of LiDAR Point Clouds for Ship Loading Operations

摘要: 高效处理与分割激光雷达采集的点云数据是无人装船作业中的关键挑战。针对传统分割方法难以直接对原始雷达点云进行有效分割的问题，本文设计了一种基于深度神经网络的语义分割系统，适用于装船机场景下的点云数据处理。该系统通过“人工小规模标注与半自动大规模标注相结合”的策略构建标注数据集，并依托深度神经网络模型实现点云的语义分割。实验结果表明，该研究适用于大规模、显存受限的装船机场景点云分割任务。

Abstract: Efficient processing and segmentation of point cloud data acquired by LiDAR is a critical challenge in unmanned ship loading operations. To address the difficulties traditional segmentation methods face in directly segmenting raw LiDAR point clouds, this paper designs a deep neural network-based semantic segmentation system tailored for point cloud processing in ship loader scenarios. The system builds a labeled dataset using a combined strategy of small-scale manual annotation and large-scale semi-automatic annotation, and performs semantic segmentation of the point clouds with a deep neural network model. The experimental results show that this method is suitable for large-scale, memory-constrained point cloud segmentation tasks in ship loader environments.

1. 引言

在散货港口作业中，传统装船作业模式高度依赖人工操作，装船机作为高空作业设备，需与重型机械协同运作，人身安全风险显著[1]。随着全球港口自动化进程的加速推进，构建集感知、决策、执行于一体的自主作业系统已成为行业发展核心方向，无人值守装船机由此成为散货装船领域的主流趋势[2]。

作为无人值守装船机的核心感知设备，激光雷达(LiDAR)生成的点云数据具备三维空间精度高、抗恶劣环境能力强、实时性好的突出优势。其关键感知功能主要体现在三方面：一是能够精确监测装船机本体结构如臂架、输送皮带、卸料溜筒的实时位姿，确保设备自身运行状态可控；二是可精准测量船舱内部轮廓与剩余空间，为装船作业规划提供基础数据；三是能实时感知舱内物料堆积形态，为后续自动布料策略制定与设备防碰预警提供可靠数据支撑，是保障无人装船机稳定运行的核心技术支撑。

然而，激光雷达获取的原始点云数据通常是“装船机本体–船体结构–舱内物料–背景环境”的混合集合，若不对其进行有效处理，将直接制约后续系统决策与执行环节的性能。因此，设计一套对原始点云数据进行有效分割处理的系统，成为无人值守装船机感知环节的关键技术。传统的点云分割技术难以对雷达获取的原始点云数据直接进行分割。鉴于此，本文设计了一套基于深度神经网络的装船机场景下激光雷达点云语义分割系统，主要包括数据采集和处理，深度分割网络两部分，旨在为无人值守装船机场景下雷达获取的原始点云数据进行有效分割提供一套解决方案。

2. 激光雷达点云数据处理

本实验所采用的点云数据由激光雷达采集获取。具体而言，通过在无人装船机现场部署的激光雷达设备，于装船机运行期间对其作业场景进行持续扫描，并由核心感知系统生成原始点云数据，以供后续实验使用。然而，激光雷达直接采集的原始数据无法直接应用于点云分割任务，需经过逐帧处理并对每个点进行精确标注，方可作为分割实验的有效输入。由于所获取的数据规模庞大、结构复杂，若完全依赖人工进行标注和处理，不仅耗时较长，流程也较为繁琐。为此，本研究采用“人工小规模标注与半自动大规模标注相结合”的策略，以显著提升点云分割数据集的构建效率。

首先，利用CloudCompare软件进行人工标注，通过多边形框选为点云赋予类别标签，并以少量精确标注数据构建初始模板。随后，自主开发的“模板匹配及预标注跟随模块”基于几何特征识别与配准方法，实现模板在未标注点云中的自动迁移。具体流程为原始点云经坐标系旋转与空间裁剪去噪后，利用RANSAC提取船体甲板平面，结合PCA计算三维姿态并生成最小包围框；再通过DBSCAN与层次聚类确定船舱数量与位置，获得船体与舱室的分割模板。在此基础上，结合装船机运动模型和PLC传感器坐标数据，对码头及溜筒部分进行剔除；剩余点云通过KISS-ICP [3]配准得到模板位姿转换关系，实现船体与物料舱的自动分割，其他部分统一标记为“背景”类别。最后，人工逐帧修正自动标注结果，确保精度与一致性。该模式在保证标注准确性的同时显著提升了大规模点云数据处理效率。对于标注过程中的三类核心目标，具体定义如表1所示。

Table 1. Core categories of the dataset

表1. 数据集三类核心目标

标注类别	目标描述	核心特征
背景	码头地面及与船体结构无关的设施，例如送料车、溜筒等	与作业无关、动态或静态
物料堆	煤炭、矿石以及船舱底部	不规则堆积、反射率低且均匀
船体结构	舱壁、舱口边缘、肋骨	刚性结构、边界清晰

本系统所采集的激光雷达数据，完整覆盖了装船机的自动化作业流程。该流程始于物料经送料车输送至溜筒，随后由溜筒进行移动，将物料均匀布撒于船舱内部。作业过程呈现连续的循环特性：单艘船舶完成装载后即驶离港口，随后后续船舶依序进港并进入新一轮装船作业。所处理物料以煤炭、矿石等散货为主，其在舱内形成的料堆呈现不规则几何形态，且因物料表面特性导致点云反射率普遍较低。整个装船作业环节繁多、时序连贯，使得所构建的数据集涵盖了丰富的场景变化与复杂的空间结构。

将激光雷达采集的数据利用上述标注策略生成点云数据，该数据即为本文数据集。数据标量域类别数值(SF Value)设定如下：船体结构-0.0；物料堆-1.0；背景-2.0。总样本量为789个，每个样本中点云数量在六十万左右，其中背景、船体结构、物料堆的比例大致为5:3:2。将这些数据集按照模型训练与评估的常规划分比例，分为训练集、测试集与评估集，其中训练集包含552个样本，测试集包含119个样本，评估集包含118个样本，确保数据分布符合实验验证的科学性要求。其中一帧点云数据可视化如图1所示。图中红色部分为背景、蓝色部分为船体、绿色部分为物料堆。

Figure 1. Visualization of point cloud data

图1. 可视化点云数据

3. 点云分割网络与实验

3.1. 分割网络介绍

点云数据分割网络是指用于对三维点云数据进行逐点分类的深度学习模型。其目标是为点云中每个点分配语义标签(语义分割)，从而把原始的无结构三维点集合变为具有语义信息的结构化输出，便于后续感知、测量或决策模块使用。

本文的分割网络模型是基于RandLA-Net [4]深度神经网络所设计，该网络设计目标是以较低的计算与内存开销处理大规模点云，同时尽量保留局部几何与上下文信息。网络采用逐层稀疏化的编码器–解码器结构：输入点云先经若干次随机下采样，每次下采样后在稀疏化的点集上执行局部特征聚合，最后通过上采样与跨层跳跃连接恢复到原始点级分辨率并进行点级分类。这样的“下采样–聚合–上采样”流程在保持语义表达能力的同时大幅降低了算力需求。然而该网络并不能直接对处理后的雷达点云直接进行有效分割，因此本文在此网络模型基础上进行修改以适配本文数据集与后续实验。

本文点云数据由每个点云坐标与其对应的标签值组成。修改后的网络可以直接加载数据，提取三维点云坐标并将其转换为适合模型计算的浮点类型，同时提取标签值转换为整数类型用于分类任务，在此过程中统计数据集中包含的样本数量，方便了解数据集规模。对于网络下采样方法，原始网络模型中下采样数量与方式较为单一，修改后的模型可以适配多种下采样策略，在后续实验中可利用不同的下采样方法对数据进行预处理并对比分割结果。

总之，本文分割网络的设计使其能简洁且高效地对大场景点云进行语义分割，在需要处理大规模点云或受限显存的应用场景中表现较好。

3.2. 分割实验

利用上述数据集与深度神经网络分割模型进行实验，验证本文所设计系统的可行性。该实验主要分为以下两个部分：测试分割网络在数据集中的分割性能，并将其与其他经典分割网络进行对比；分析在对数据进行预先下采样和模型自行采样两种预处理后对于分割方法精度的影响。

3.2.1. 实验评估指标

本实验采用3D点云分割领域通用的评价指标，包括准确率(Accuracy)、平均交并比(mIoU)、显存占用以及单帧处理时间。

准确率用于衡量整体分类结果的正确性，定义为所有被正确分类点数占总点数的比例，其表达式为

$\text{Accuracy}=\frac{{\displaystyle {\sum }_{i=1}^C{\text{TP}}_i}}{N}$ (1)

其中C为类别总数，${\text{TP}}_i$ 表示第i类中被正确分类的点数，N表示点云总点数。

平均交并比是语义分割任务中最常用的指标之一，交并比(IoU)定义为预测结果与真实标签之间的重叠程度，表达式为

${\text{IoU}}_i=\frac{{\text{TP}}_i}{{\text{TP}}_i+{\text{FP}}_i+{\text{FN}}_i}$ (2)

公式中${\text{TP}}_i$ 为预测为i类且真值为i的点数，该类为真阳性点，分割正确的核心点；${\text{FP}}_i$ 为预测为i类但真值不是i的点数量，该类为假阳性点，误将其他类归为i；${\text{FN}}_i$ 为预测为非i类但真值为i类的点数量，该类为假阴性点，漏将i类归为自身。

平均交并比(mIoU)则对所有类别的IoU取均值

$m\text{IoU}=\frac{1}{C}{\displaystyle {\sum }_{i=1}^C{\text{IoU}}_i}$ (3)

显存占用用于评估模型在GPU上运行时的资源消耗情况，数值越小，表示模型对硬件的依赖越低，更利于大规模点云的实时处理。

单帧处理时间用于衡量模型的推理效率，定义为模型处理单帧点云数据所需的平均时间，能够反映其在实际应用中的实时性。

3.2.2. 对比实验

在实验中主要采用本文深度神经网络分割模型对训练集数据进行训练，另外本实验采用点云分割领域经典的分割方法PointNet++ [5]作为对比，在同样的数据集上进行训练和评估，待模型收敛后，使用测试集进行分割性能评估，重点对比两种网络的各个实验评估指标。

两种模型在测试集上的整体评估结果如表2所示。

Table 2. Comparative experimental results of segmentation methods

表2. 分割方法对比实验结果

方法	总准确率	IoU				显存占用(M)
		mIoU	船	船舱	背景
本文分割模型	0.97	0.93	0.90	0.91	0.98	4476
PointNet++	0.96	0.82	0.68	0.81	0.97	4263

由表2可得，本文分割模型在总准确率、mIoU及核心类别“船”的分割精度上均显著优于PointNet++，仅“背景”类别交并比与PointNet++接近，整体表现更优。

3.2.3. 下采样实验

该实验将原始数据集分别通过随机下采样与本文分割方法自行下采样两种方法进行预处理，再用本文分割方法进行测试并对比测试结果，观察哪种采样分割效果更好。

随机下采样方法先设定目标采样点数，读取点云文件中的点云坐标与标签后，若原始点云数量小于等于设定采样点数则全部保留，若超过则随机选择，最后将下采样后的坐标与标签合并保存文件。利用此方法将原始点云数据分别下采样到5万点云、10万点云、30万点云。

模型自行下采样首先将3D空间按网格下采样体素尺寸划分为立方体网格，统计每个网格内的所有点；然后对网格内点的坐标取均值作为该网格的代表性点坐标，对标签取众数作为代表性点标签。在实验中利用此方法将原始点云下采样到5万点云。具体实验结果如下。

(1) 整体测试集性能评估

各下采样数据在本文分割模型上整体评估结果如表3所示。

由表中结果可得，先将数据随机采样再用本文分割方法训练，从整体趋势来看采样点越多精度越好，mIoU从5万点云的0.34到30万点云的0.43，但总体结果表现不佳，无论是总准确率还是mIoU，整体结果偏低；而用模型自行将点云下采样到5 w，总准确率可达0.95，mIoU为0.91，结果与原始数据较为接近，显存占用与单帧处理时间也明显降低。由此可见，模型内置采样策略可有效保留关键特征，预先下采样会破坏点云几何结构，导致精度下降。

Table 3. Experimental results of downsampling

表3. 下采样实验结果

采样方法	总准确率	IoU				显存占用(MiB)
		mIoU	船	船舱	其他
随机采样5万	0.46	0.34	0.39	0	0.64	1879
随机采样10万	0.54	0.41	0.31	0.13	0.77	1869
随机采样30万	0.65	0.43	0.18	0.32	0.79	0947
自行下采样5万	0.95	0.91	0.88	0.87	0.97	2223
未经采样数据	0.97	0.93	0.90	0.91	0.98	4476

(2) 典型样本可视化

图2~5为不同采样方法测试集中部分样本的分割结果，将其可视化并进行比较。点云颜色严格对应预设类别标识(船：红色、船舱：绿色、背景：蓝色)。

Figure 2. Prediction results of randomly sampled 50,000 point clouds

图2. 随机采样5万点云预测结果图

Figure 3. Prediction results of randomly sampled 100,000 point clouds

图3. 随机采样10万点云预测结果图

Figure 4. Prediction results of randomly sampled 300,000 point clouds

图4. 随机采样30万点云预测结果图

Figure 5. Prediction results of model-sampled 50,000 point clouds

图5. 模型自行采样5万点云预测结果图

由可视化结果可得，随机采样的数据集进行分割实验总体效果都较差，图2中几乎将所有的船舱分割为船，图3与图4则将大部分船分割为船舱，对于背景部分的识别也都不理想；而图5中模型自行采样的预测结果表现较好，误分割部分相较于前者明显减少。

4. 总结与展望

本文针对无人装船机作业场景中由激光雷达采集到的混合点云，提出并验证了一套基于深度神经网络的点云语义分割系统，利用“人工小规模标注与半自动大规模标注相结合”的数据构建流程，构造了789帧数据集，每帧约60万点，分为背景、船体结构和物料堆三类标签。将该数据集在本文分割网络模型上进行对比实验与下采样实验测试，结果表明该模型分割效果较好且模型自带采样机制能在保留关键特征的前提下显著降低显存与推理时间，从而更适合大规模、受限显存的装船机场景点云分割任务。

本系统构建的三类划分体系在装船机作业场景中具有明确的物理意义与任务导向性，能够覆盖核心作业对象与关键结构，具备良好的工程实用性。然而，该分类体系仍存在一定局限性，主要体现在“背景”类别的语义覆盖范围过于广泛。本文中将“码头、送料车、溜筒等非船体结构”统一归为“背景”，虽简化了标注流程，却忽略了这些实体在几何形态、空间分布与功能属性上的差异性。未来研究可考虑引入更细粒度的分类层级，例如将“背景”进一步划分为“码头”、“溜筒”等子类。此类细化不仅能提升点云语义信息的丰富度，也有助于支持更复杂的下游作业任务如多设备协同调度等，从而全面提升无人装船系统的智能化水平。

基金项目

本论文受国家自然科学基金项目资助，项目名称：“融合透视投影几何与深度学习的多关节体三维位姿求解稳定性分析”(62273318)。

本论文受中国电力建设股份有限公司科技项目经费委托，受中国水利水电第八工程局有限公司科技项目资助，项目名称：“中电建关于绿色智慧矿山关键技术应用研究”重大科技专项课题11——“智慧码头关键技术研究”。

NOTES

^*第一作者。

^#通讯作者。