基于医学影像图像的深度学习在肝脏语义分割和体积测量中的研究进展

Research Progress of Deep Learning in Liver Semantic Segmentation and Volume Measurement Based on Medical Image

摘要: 肝脏疾病对全球医疗系统构成了重大挑战。肝脏结构的准确分割和测量对于肝脏疾病的诊断和治疗规划至关重要。近年来，深度学习技术已经成为医学影像领域的强大工具，为自动化和准确的肝脏语义分割和体积测量提供了一种具有潜力的工具和方法。通过分析和总结当前的最新技术和挑战，本综述旨在为这个快速发展的领域的进展和未来方向提供有价值的见解。

Abstract: Liver diseases pose significant challenges to the global healthcare system. Accurate segmentation and measurement of liver structures are crucial for the diagnosis and treatment planning of liver diseases. In recent years, deep learning techniques have emerged as powerful tools in the field of medical imaging, offering a potential solution for automated and accurate liver semantic segmenta-tion and volume measurement. By analyzing and summarizing the latest techniques and challenges, this review aims to provide valuable insights into the progress and future directions of this rapidly evolving field.

1. 引言

肝脏疾病对全球医疗系统构成了重大挑战，影响着全球数百万人的健康 [1] [2] 。肝脏结构的准确分割和测量对于肝脏疾病的诊断和治疗规划至关重要 [3] 。传统的手动分割和测量方法耗时、主观且容易受到观察者之间的差异影响。近年来，深度学习技术已经成为医学影像领域的强大工具，为自动化和准确的肝脏语义分割和体积测量提供了一种具有潜力的工具和方法 [4] [5] 。深度学习是机器学习的一个子领域，利用具有多层结构的神经网络从数据中自动学习层次化的表示。卷积神经网络(conventional neural network, CNN)在包括物体识别、图像分类和分割在内的各种计算机视觉任务中取得了显著的成功 [6] [7] 。借助CNN的优势，研究人员已经开发出复杂的深度学习模型来对肝脏图像进行分析，如预后预测等 [8] [9] 。Chaudhary等 [8] 使用深度学习识别出了与肝细胞癌患者生存相关的多组学特征，可用于肝细胞癌患者的预后预测。本综述旨在概述基于医学图像的深度学习方法在肝脏语义分割和体积测量方面取得的研究进展。通过分析和总结当前的最新技术和挑战，本综述旨在为这个快速发展的领域的进展和未来方向提供有价值的见解。

2. 肝脏体积的传统测量方法

在肝移植领域，肝脏体积的准确测量对于移植治疗决策的选择至关重要 [10] [11] 。同时，对于肝脏肿瘤的手术切除，测量残肝比有助于指导手术方案和预测术后肝脏功能储备 [12] [13] [14] 。因此，对于肝脏体积的准确测量在临床实践中具有重要价值。传统的肝脏体积测量方法涉及使用计算机断层扫描(computed tomography, CT)或磁共振成像(magnetic resonance imaging, MRI)等医学影像技术。这些影像技术通过以下流程可以用于观察和量化肝脏组织：1) 影像图像获取：患者接受肝脏的CT或MRI扫描，生成肝脏的横断面图像。2) 图像分析：采集到的图像通过专用软件或手动技术进行处理和分析。确定肝脏的边界，并将肝脏从周围结构中分割出来。3) 体积计算：一旦完成分割，软件会通过将每个图像切片中的肝脏面积相加并乘以切片厚度来计算体积。切片厚度是扫描期间获得的图像之间的距离。4) 验证和修正：根据所使用的软件，可能还需要额外的步骤来验证和修正肝脏体积测量。这可能包括手动调整分割或纠正某些伪影。5) 报告：最终的肝脏体积测量通常以立方厘米或毫升为单位进行报告。需要注意的是，肝脏手动分割或半自动体积测量可能因特定的影像技术、分割方法和所使用的软件而有所不同 [15] [16] [17] 。此外，患者的体形、肝脏疾病或肝脏病变的存在等其他因素都可能影响测量结果的准确性 [18] [19] 。

除了手动分割肝脏横断面图像计算得到肝脏体积外，还可以通过公式粗略获取肝脏体积。这些公式基于肝脏的形状和尺寸的统计数据，并且可以根据患者的性别、年龄和体重等因素进行修正 [20] [21] [22] 。一种常用的公式是根据肝脏的长、宽和高来计算体积，即体积 = 长 × 宽 × 高。这种方法假设肝脏形状近似为一个椭球体，并且忽略了肝脏内部的异质性。这种粗略估计方法可能会有一定的误差，但在某些情况下仍然可以提供有用的信息。另一种常用的公式是根据患者的体表面积来估计肝脏体积。这种方法利用身高和体重等参数来计算体表面积，然后根据体表面积与肝脏体积之间的相关性，估计肝脏的体积。这种方法也存在一定的误差，但在一些研究和临床应用中被广泛使用。需要注意的是，这些公式只能提供肝脏体积的粗略估计，并且其准确性受到多种因素的影响。对于精确的肝脏体积测量，手动分割肝脏横断面图像仍然是最常用的方法。

3. 深度学习算法

肝脏语义分割是深度学习在医学图像处理领域的应用，用于将肝脏图像中的每个像素标记为肝脏组织或非肝脏组织，其主要目标是准确地勾画医学图像中的肝脏结构边界，如肝实质、血管、病变和肿瘤等。深度学习方法在语义分割任务中表现出了出色的性能，通过有效地捕捉局部和全局的上下文信息 [23] [24] [25] 。这些方法有望克服传统分割算法的局限性，提高肝脏结构分割的准确性和效率。此外，准确测量肝脏体积对于评估肝功能、评估疾病进展和监测治疗反应至关重要。基于深度学习的体积测量方法利用分割后的肝脏区域来估计肝脏的整体体积，与手动测量相比具有更高的精度和重复性。使用基于CT图像深度学习的全自动肝体积分割方法得出的、基于体重的肝肿大阈值比线性测量方法更客观，能更准确地评估肝脏大小 [26] [27] 。以下是一些常用的深度学习算法和架构，用于肝脏语义分割：

1) U-Net：U-Net是一种经典的卷积神经网络架构，广泛用于医学图像分割任务。它具有一个编码器路径和一个解码器路径，通过跳跃连接(skip connections)在不同分辨率上连接编码器和解码器的层，以融合不同层级的特征信息 [28] 。

2) FCN (Fully Convolutional Network)：FCN是一种全卷积网络，可以对输入图像的每个像素进行分类。它将传统的卷积神经网络的全连接层替换为卷积层，使得网络能够处理任意尺寸的输入图像。FCN通常使用反卷积层来进行上采样，以生成与输入图像相同分辨率的分割结果 [29] 。

3) DeepLab：DeepLab是一种语义分割网络，采用了空洞卷积(dilated convolution)和空间金字塔池化(Spatial Pyramid Pooling)等技术来扩展感受野并捕获不同尺度的上下文信息。它在分割结果中使用条件随机场(Conditional Random Field, CRF)进行后处理，以进一步提高分割的准确性 [30] 。

4) UNet++：UNet++是对U-Net的改进版本，通过逐级上采样和下采样路径的重复组合，构建了一个多分辨率的层级结构。UNet++在多个尺度上提取特征，并通过级联连接来聚合不同分辨率的特征信息，以提高分割性能 [31] 。

5) 3D U-Net：3D U-Net是针对三维医学图像进行分割的扩展版本。它在U-Net的基础上使用了3D卷积和3D上采样层，以处理具有体积信息的三维图像。3D U-Net在肝脏体积分割等任务中具有很好的效果 [32] 。

这些算法只是深度学习在肝脏语义分割中的一些典型代表，实际应用中还有其他变种和改进的网络架构。具体选择哪种算法取决于应用场景、数据集特点和性能需求等因素。

4. 深度学习算法用于肝脏语义分割

在过去的几十年里，从三维体积图像中分割肝脏和肝脏肿瘤一直是医学图像处理领域的一个活跃研究领域。由于心脏、脾脏、胃和肾脏等其他器官在形状、质地和强度值方面具有相同的特性，因此使肝脏分割和肿瘤识别任务复杂化。近年来出现了许多自动化和半自动技术，试图建立一个可靠的肝脏疾病，特别是肝脏肿瘤的诊断和检测系统。随着深度学习技术的发展及其在医学图像处理领域的卓越表现，利用深度学习技术对体积图像进行医学图像分割得到了广泛的重视。在选择性内放射治疗(selective internal radiation therapy, SIRT)中，准确的全肝分割需要用于活性处方和吸收剂量计算，Tang等研究了基于CNN的自动肝脏分割在SIRT中用于CT成像的可行性，以及CNN减少分割的观察者间可变性的能力 [33] 。在该研究中，人工卷积神经网络分割的Dice系数值为0.94，人工校正卷积神经网络分割的Dice系数值为0.98，表明卷积神经网络模型在图像质量较好的CT图像上实现了较好的肝脏分割。

CT图像中肝脏的智能分割是计算机辅助决策支持系统和精确医学诊断的定量生物标志物的重要一步。为了克服肝脏分割中受到模糊边界影响的困难，应用堆叠自编码器(stacked autoencoder, SAE)学习腹部图像中肝脏与其他组织最具区别性的特征。Ahmad等提出了一种基于补丁的深度学习方法，用于使用SAE从CT图像中分割肝脏 [34] 。与传统的机器学习方法不同，该研究的算法不是逐像素学习，而是利用斑块来学习表征并识别肝脏区域，且实验结果证明了该算法的有效性。虽然深度学习可以自动分割医学图像的感兴趣区域，但无法达到所要求的分割精度是一个亟待解决的问题。为了提高医学图像分割的性能，Lee等提出了基于U-Net的残余注意力V-Net (Residual Attention V-Net, RA V-Net)算法 [35] 。该模型在肝脏分割方面表现突出，没有明显的过分割和欠分割。肝脏器官的边缘被高精度地削尖，因此该项研究提出的深度学习分割模型为外科医生设计手术方案提供了可靠的依据。Chen等提出了一种自动分割肝脏和肿瘤的两级方法，在分割过程中使用级联框架，并使用全连接条件随机场(conditional random field, CRF)方法对肿瘤分割结果进行细化 [36] 。首先，采用分形残差U-Net对肝脏进行定位和初始分割。然后，进一步从肝脏感兴趣区域识别肝脏肿瘤。最后，使用三维CRF对肿瘤分割结果进行细化。在这项研究中，改进的分形残差结构有效地保留了更多有效的特征，提高了深度网络的分割性能，改进的深度残差块可以更有效地利用特征信息，三维CRF方法平滑了病灶轮廓，从而避免了肝脏肿瘤的过分割问题。

5. 深度学习算法用于肝脏体积自动测量

虽然基于CT图像手动分割或半自动分割的体积测量被认为是测量肝脏体积的最可靠的无创方法，但由于分割过程耗时，在临床中的应用受到限制。Ahn等开发和验证了一种深度学习算法，用于在各种肝脏状况下使用门静脉期CT图像对肝脏进行全自动分割 [37] 。在测试数据集中，深度学习算法对肝脏分割的平均Dice系数为0.973，并且在不同肝脏状况下的Dice系数无显著差异，所以深度学习算法能够通过门静脉期CT图像对各种肝脏疾病患者的肝脏进行高度精确的分割和体积测量。

目前，对于肝脏肿大的最佳影像学评估方法尚无一致共识，使用最多的是单维测量，而测量肝脏体积为评估肝脏肿大提供了更直接的方法。Perez等使用经过验证的深度学习人工智能模型用于确定肝脏体积并建立肝脏肿大的评估阈值，并且该模型可以自动分割肝脏 [38] 。因此，通过使用基于深度学习的全自动CT图像的肝脏体积分割得出的简单的基于体积的肝肿大阈值，提供了比线性测量更客观和准确的肝脏大小评估。

肝脏的体积测量和健康评估对于避免肝切除手术后不良后果至关重要。目前没有任何方法可以同时且准确地测量Couinaud分段的体积，以用于未来肝脏残留物的估计和利用非侵入性影像评估肝脏健康。Mojtahed等展示了使用新的医疗软件Hepatica™进行分段体积测量的准确性和精确性，结果显示Hepatca™提供准确和精确的全肝和Couinaud节段体积和肝组织特征测量，而经过训练的技术人员和经验丰富的放射科医生的测量结果是一致的 [39] 。

6. 小结与展望

基于医学影像图像的深度学习在肝脏语义分割和体积测量方面取得了显著的研究进展，为肝脏疾病的诊断和治疗提供了强有力的工具。传统的肝脏手动或半自动分割方法耗费时间，但深度学习模型能够自动学习特征和规律，从而实现更精确的分割结果 [40] [41] [42] 。此外，深度学习在肝脏体积测量方面也取得了显著的进展。肝脏体积是评估肝脏功能和监测疾病进展的重要指标。传统的体积测量方法通常需要人工干预和耗费大量时间，而深度学习模型可以通过学习大量的医学图像数据，自动准确地估计肝脏体积。这种自动化的体积测量方法不仅减轻了医生的工作负担，还提供了更快速和可靠的结果。

展望未来，基于医学影像图像的深度学习在肝脏语义分割和体积测量领域还有许多挑战和机遇。首先，模型的可解释性是一个重要的问题，特别是在医疗决策中需要理解模型的决策依据。其次，数据的多样性和标注质量也是需要解决的问题，更大规模和多中心的数据集将有助于提高模型的泛化性能。此外，与其他临床信息的集成和模型的实时性也是未来的研究方向。

基金项目

重庆市科卫联合项目，编号2021MSXM059。

NOTES

^*通讯作者。