基于深度学习的乳房MRI体积分割框架

Breast MRI Volume Segmentation Framework Based on Deep Learning

摘要: 乳腺癌是女性常见恶性肿瘤之一，严重威胁女性健康。在乳腺癌手术中，准确测量乳房和切除组织的体积对于手术规划和乳腺重建至关重要。本研究构建了一个基于深度学习的分割框架，用于乳房和切除组织的MRI体积分割。该框架不仅展现了良好的分割精度，还涵盖了偏置场矫正这一关键预处理步骤。我们收集并手动标注了一个包含47例患者的MRI数据集，这些数据涵盖了不同的年龄、乳房大小和四类采集参数。在交叉验证中，U-Net网络在全乳分割和切除组织分割任务中表现最佳，平均Dice系数分别为96.54和92.37。在测试集上，U-Net网络同样展现了优异的分割效果，平均Dice系数分别为94.23和84.53。实验结果表明，所提出的框架能够精准且高效地量化全乳体积和切除组织体积，为临床乳腺手术提供数据支持。

Abstract: Breast cancer is one of the most common malignant tumors in women, which seriously threatens women’s health. In breast cancer surgery, accurate measurement of breast and excised tissue volume is critical for surgical planning and breast reconstruction. This study developed a deep learning based segmentation framework for MRI volume segmentation of breasts and excised tissues. This framework not only demonstrates good segmentation accuracy, but also covers the key preprocessing step of bias field correction. We collected and manually annotated an MRI dataset containing 47 patients, covering different ages, breast sizes, and four types of acquisition parameters. In cross validation, the U-Net network performed the best in both whole milk segmentation and excised tissue segmentation tasks, with average Dice coefficients of 96.54 and 92.37, respectively. On the test set, the U-Net network also demonstrated excellent segmentation performance, with average Dice coefficients of 94.23 and 84.53, respectively. The experimental results indicate that the proposed framework can accurately and efficiently quantify total breast volume and excised tissue volume, providing data support for clinical breast surgery.

1. 引言

乳腺癌位列女性常见恶性肿瘤前列，在美国，它已成为致使女性因癌症死亡的第二大因素(43,250例)，对女性健康构成了严重威胁[1]。虽然借助早期乳房X光筛查，乳腺癌女性的生存率有所提升，但依旧有高达90%的患者在接受治疗后面临着长期的身体、心理以及情感方面的后遗症，极大地削弱了患者的生活质量[2]。当前标准的乳腺癌手术方式包括全乳房切除术以及保乳手术(乳房肿瘤切除术) [3]。乳房切除术会将全部乳房组织予以切除，这其中包括覆盖的皮肤、乳头、乳晕以及淋巴结[4]。据统计，超过40%接受乳房切除术的女性，会选择进行乳房重建[5]，旨在恢复身体形象，进而获得对称且完整的乳房[6]。

在乳腺MRI定量分析中，乳房分割是癌症风险评估环节中的关键任务，它主要包含气乳界面定位以及胸壁线定位。然而，这一任务极具挑战性，究其原因，在于图像对比度的变化、强度的不连续性以及偏置场的影响，致使胸壁线难以被精准定位[7]。于乳房切除术中，乳房体积分割能够助力外科医生挑选合适的手术方案，并确定适宜的植入物体积。与此同时，乳腺体积为乳腺密度测量提供了重要依据，而乳腺密度的增加已被视作乳腺癌的主要风险因素之一[8]。

近年来，众多自动化方法被相继提出，用于测量乳房体积。Wang等人[9]提出了一种基于片状结构增强的全自动乳房分割方法。Wu等人[10]开发了一种自动算法，该算法基于边缘提取以及候选评估集成方案，用于检测胸壁线。他们的算法在60个T1加权非脂肪抑制乳腺MRI扫描上完成了定量验证，在乳腺分割方面，骰子相似系数达到了0.95，而在胸壁线边界的分割上，平均偏差距离为2.3 mm。Ivanovska等[11]应用水平集方法对偏置场进行校正，并同时对乳房和腺体进行分割，在37次MRI扫描中，实现了0.96的平均Dice值。Gubern-Merida等[12]、Khalvati [13]等以及Lin等[14]，采用基于图集的方法对乳房进行分割，分别获得了平均Dice值0.94、0.94 ± 0.4、0.87 ± 0.65。Martel等[15]提出了一种定义乳房表面的方法，借助随机森林分类器并结合泊松重建方法，在包含8个T1加权图像的小训练集上，获得了0.96的Dice值。

过去的十年里，基于卷积神经网络(CNN)的深度学习方法已在各类医学问题中斩获了卓越的成果，其中，以U-Net [16]为代表的编码器–解码器结构，在医学图像分割领域得到了极为广泛的应用。聚焦于乳腺分割问题，Dalmis等[17]对2C U-Net和3C U-Net的分割精度展开了对比研究。2C U-Net是指两个连续的二分类U-Net，第一个网络用于分割全乳和背景，第二个网络用于分割乳房内切除组织和脂肪。而3C U-Net是一个三分类U-Net，用于同时分割背景、脂肪和切除组织。研究结果表明，2C U-Net在全乳分割上取得了更高的精度，3C U-Net在切除组织分割上表现更为出色，全乳分割的Dice系数分别为0.94和0.93，切除组织的Dice系数分别为0.81和0.85。此外，Dalmis等还发现深度网络能够学习到数据强度的非均匀性。Zhang等[18]利用全卷积残差神经网络U-Net，在286例乳腺MRI数据中自动分割乳腺和纤维腺组织，经十倍交叉验证，Dice系数平均值为0.95，而在28例验证集中，Dice系数为0.86。Ma等[19]开发了一种基于生成对抗网络(GAN)的改进U-Net方法，与传统的U-Net方法相比，Dice系数和JI系数分别提升了5.9%和8.6%。与此同时，也有研究直接针对三维数据开展乳腺分割[20] [21]，但由于医疗数据集中通常可用的数据量有限，相较于二维方法，三维网络的潜在优势较难得以充分发挥[22]。

本研究致力于应对乳腺手术中切除组织体积预测的挑战，为此提出一个完备的针对乳腺切除手术的分割框架。我们的主要贡献体现在以下几方面：

1. 研发了一种端到端的乳腺体积分割框架，同时实现整个乳房和手术切除组织的端到端分割，为手术规划和植入体积计算提供一体化解决方案。

2. 对比了五种深度学习方法，计算了Dice系数等七类语义分割指标，并对乳房体积进行了皮尔逊相关性检验。

2. 数据与方法

2.1. 数据集与人工标注

在本项研究中，我们精心挑选了47例3D乳腺MR扫描数据，以此为基础构建了一个数据集，该数据集涵盖了乳房大小范围在123.63 ml至1437.26 ml (均值590.24，标准差228.42)以及年龄跨度从27岁到74岁(均值47.98，标准差10.17)的多样情况，总共包含274个乳房。所有参与研究的数据均为双侧矢状位T1加权非脂肪抑制图像。

针对每一位患者的MRI图像，我们运用3D slicer交互式分割平台来手动执行乳房和切除区域的分割操作。具体操作流程为：首先在横切面上描绘出乳房轮廓边界，以此来精准识别每一个乳房。乳房轮廓的左右边界被确定为从乳房的左右两侧边界至胸肌延长线的位置，下边界则界定为胸肌轮廓以上的全部组织，这样的设定旨在将胸肌排除在分割范围之外，而上边界则为乳头根部的中心位置，以便排除乳头部分的干扰。在每一个切片当中，切除体积被明确划定为乳房内部包含最大腺体组织以及临床切除所需脂肪组织的区域。手动分割所得的结果会交由来自不同小组的放射科专家进行交叉检查，在必要情况下实施手动修正，最终由放射科专家所确认的结果被视为神经网络训练以及分割性能客观量化评估的最终依据。

在本项研究中，全乳腺体积的界定方式是：依据手动分割所获得的真实标签中像素的总数，再结合不同设备的像素大小(也就是比例尺)，将其精准映射到真实空间，由此计算得出相应的体积。

$V=N_i\cdot x\cdot y\cdot z,i=1,2$

$N_i$ 代表被归类为脂肪组织或切除组织这一类别范畴内像素的数量。而x、y、z这三个变量则分别对应着不同MRI成像采集参数所对应的像素间距。

2.2. 数据预处理

许多研究将分割问题作为单个乳房的分割任务[17]，将整个MRI从中间分开后镜像右乳房，最后对镜像后的右乳房和左乳房进行分割。这些研究是针对纤体纤维组织的分割，因此网络只需要学习单侧乳房的形状和位置信息。在我们的任务中，实际上在同一切片上左右切除体积大小是有相关性的，临床医生在乳房重建手术中对单侧乳房填充物体积的估计也会参考对侧乳房体积，因此网络需要学习双侧乳房的形状和大小。

MRI存在空间非均匀性，即偏置场损坏。N4偏置校正是一种广泛应用的基于回顾性直方图的方法[23]，有助于消除扫描仪效应，提高放射学特征的再现性，以优化基于核磁共振的量化[24]。在大量分割问题中[25]-[28]作为一个预处理步骤。因此，我们采用N4偏置场校正作为分割流程的第一步。

我们使用所有二维轴向切片作为样本按照随机顺序提供给网络。由于MR设备成像采集参数的差异，输入图像的分辨率不同。因此，在图像进入网络之前，我们用零值填充图像至512 × 512以统一图像分辨率大小。最后我们将所有MRI扫描的灰度等级在进入网络前归一化为[0, 255]。

2.3. 深度学习分割乳腺和切除组织

本研究的核心目标是精准分割完全位于乳腺内部的切除组织，并力求实现高度精确的体积预测。根据Dalmis等[17]的研究，3C U-Net取得了更高的纤维腺体组织(FGT)分割精度，他们的研究表明2C U-Nets获得的FGT分割的平均Dice值分别为0.850和0.811，同时基于3C U-Net和手动分割的乳腺密度值之间的相关性为0.974，这个值显著高于2C U-Net获得的0.957 (P < 0.0001，Steiger Z检验)。此外，三类分割方法可以集成到多任务学习框架中，模型可以同时执行分割和其他相关任务，例如病变检测或乳房密度估计，展现了多任务学习的潜力，与仅限于单个任务的二元分类方法相比，这可以提高模型的性能和泛化程度。因此本研究选用三分类的分割方法用于同时分割背景、脂肪和切除组织。在研究过程中，我们对比分析了多种医学图像分割模型，涵盖了五种基于编码器–解码器架构的网络，具体包括FCN、U-Net、U-Net++、PSPNet以及DeepLabV3+。

3. 实验和评估

3.1. 实验

我们采用五折交叉验证的方法进行模型的训练与测试。具体到47例患者的乳腺MRI数据，我们将其中36例划分为训练集，剩余11例作为测试集。为了充分验证模型在不同数据上的泛化能力，我们额外标注了10例样本作为外部测试集。在每一折的交叉验证过程中，从训练集中进一步划分出9例作为内部验证集。为了确保对比实验不受数据集划分差异的影响，我们固定了交叉验证划分的随机种子。我们选择将交叉熵损失与骰子损失相结合，以此有效提升训练过程的稳定性以及分割结果的准确性。损失函数$L$ 被确定为骰子损失$L_{Dice}$ 和交叉熵损失$L_{CE}$ 的加权平均。

$L=p_{Dice}{L}_{Dice}+p_{CE}{L}_{CE}$

$Dic{e}_k={\displaystyle \sum }_{n\in N}\frac{2\left|X_n^k\cap Y_n^k\right|}{\left|X_n^k\cup Y_n^k\right|}$

$L_{Dice}=1-\frac{1}{K}{\displaystyle \sum }_{k\in K}Dic{e}_k$

$L_{CE}=-\frac{1}{N}{\displaystyle \sum }_{k\in K}{\displaystyle \sum }_{n\in N}{Y}_n^k\ln \left(X_n^k\right)+\left(1-Y_n^k\right)\ln \left(1-X_n^k\right)$

其中，$k\in K$ 是类别编号(本研究中$K\in \left[0,1,2\right]$ ，分别对应背景，乳腺内脂肪组织，乳腺内切除组织)，对于每一个类别$k$ ，$Dic{e}_k$ 是训练批次中属于类别$k$ 的骰子系数，$X$ 是经过独热编码的真实标签，$Y$ 是网络的Softmax输出，$X$ 和$Y$ 都具有$\text{batch}\times N\times K$ 的形状。$p_{Dice}$ 是骰子损失的权重，$p_{CE}$ 是交叉熵损失的权重，其中$L_{Dice}$ 仅计算非背景区域的损失。在本研究中，我们固定$p_{Dice}$ 和$p_{CE}$ 的值为0.6和0.4。

在训练期间，使用Dice系数来测量验证集上的性能。当性能没有进一步提高时停止训练，并选择与验证集中最高性能值相对应的网络作为此折的最终网络。在测试阶段，输出同一模型的五折网络参数对每个病例的测量结果，最终结果被确定为五折的平均值。我们分别测试了全乳房和切除组织的Dice系数。所有的实验在Ubuntu20.04操作系统的虚拟环境下，使用NVIDIA A30，Python 3.8，Pytorch 1.13.1，CUDA 11.6。

3.2. 评估

为了比较不同分割算法的性能，除了Dice系数以外，我们还计算了每一折的Jaccard系数(JI)，精确率(PPV)、灵敏度(SEN)、特异性(SPEC)。使用95分位数Hausdorff距离(HD_95)与平均表面距离(ASD)作为边界分割的度量。

$\text{PPV}=\frac{\text{TP}}{\text{TP}+\text{FP}}$

$\text{SEN}=\frac{\mathrm{TP}}{\text{TP}+\text{FN}}$

$\text{SPEC}=\frac{\text{TN}}{\text{TN}+\text{FP}}$

$\text{JI}=\frac{\text{TP}}{\text{TP}+\text{FP}+\text{FN}}$

$\text{HD}\left(X,Y\right)=\max \left({\sup }_{x\in X}{\inf }_{y\in Y}d\left(x,y\right),{\sup }_{y\in Y}{\inf }_{x\in X}d\left(x,y\right)\right)$

其中TP表示真阳性(预测和真实标注都是前景像素)，TN表示真阴性(预测和真实标注都是背景像素)，FP表示假阳性(预测是前景像素而真实标注是背景像素)以及FN表示假阴性(预测是背景像素而真实标注是前景像素)。$X$ 表示预测边界像素点集合，$Y$ 表示真实标注边界像素点集合。$d\left(x,y\right)$ 表示曲线$X$ 中的像素点$x$ 到曲线$Y$ 中的像素点$y$ 的欧几里德距离。$\sup$ 表示上确界，$\inf$ 表示下确界，${\sup }_{x\in X}{\inf }_{y\in Y}d\left(x,y\right)$ 表示上确界取点集$X$ 中所有点到点集$Y$ 中点的距离的最小值，下确界取点集$Y$ 中所有点到点集$X$ 中点的距离的最小值。

4. 结论

4.1. 交叉验证分割性能

在进行36例患者的五折交叉验证过程中，我们选用ResNet34作为所有网络编码器部分的骨干。实验结果显示，U-Net网络在分割任务中表现最佳，全乳分割的Dice值为96.57，而切除组织分割的Dice值为93.40。表1详细列出了五种网络的交叉验证结果。

Table 1. Cross-validation performance comparison of whole breast and excised tissue segmentation (using ResNet34 as the backbone), the results are shown as the Dice average of all samples, with the best performance shown in bold

表1. 全乳和切除组织分割的交叉验证性能比较(以ResNet34作为骨干)，结果展示为所有样本的Dice平均值，粗体表示最好的性能

	Fold	FCN	U-Net	U-Net++	PSPNet	DeepLabV3+
全乳	1	94.38	96.76	96.83	96.14	96.75
	2	94.72	97.03	96.96	96.41	96.85
	3	94.92	96.67	96.67	95.59	96.52
	4	93.46	95.25	95.21	94.68	95.06
	5	95.39	97.01	96.95	96.23	96.98
	平均	94.57	96.54	96.52	95.81	96.43
切除组织	1	89.66	92.80	92.55	91.70	92.26
	2	90.26	92.69	92.41	91.88	92.20
	3	91.95	92.51	92.52	90.83	92.11
	4	91.48	90.83	90.50	89.54	90.46
	5	93.64	93.04	92.72	91.56	92.46
	平均	91.40	92.37	92.14	91.10	91.90

4.2. 测试集分割性能

在测试集上，我们运用评估部分所提及的七个指标，对全乳分割以及切除组织分割的性能进行了量化评估，结果表明U-Net网络同样展现出了最为优异的分割效果。如表2，表3所示，在全乳分割任务中，最优Dice系数达到了94.01 ± 2.61 mm，与之对应的HD_95距离为10.76 ± 8.25像素；而在切除组织分割任务中，最优Dice值为84.63 ± 4.2，HD_95距离为19.55 ± 10.76像素。较高的Dice系数和较低的HD_95距离充分表明，自动分割结果与手动标注结果不仅具有较高的重叠程度，还实现了高精度的边界检测。

Table 2. Comparison of the performance (mean ± standard deviation) of the whole milk segmentation network on the validation set, with the best performance shown in bold

表2. 验证集上全乳分割的网络的性能比较(平均值 ± 标准差)，粗体表示最好的性能

	Dice	JI	PPV	SEN	SPEC	HD_95	ASD
FCN	93.24 ± 2.4	88.47 ± 3.76	93.55 ± 2.00	93.06 ± 3.27	99.81 ± 0.09	12.33 ± 9.25	4.52 ± 3.45
U-Net	94.23 ± 1.88	90.24 ± 3.52	94.98 ± 2.01	93.83 ± 2.47	99.88 ± 0.08	10.36 ± 8.05	2.86 ± 2.43
U-Net++	93.22 ± 2.56	89.55 ± 3.23	94.16 ± 1.57	93.05 ± 3.76	99.84 ± 0.09	10.82 ± 8.61	2.31 ± 2.01
PSPNet	92.06 ± 1.52	88.23 ± 4.53	94.05 ± 2.00	92.04 ± 3.32	99.85 ± 0.09	12.33 ± 9.01	3.22 ± 2.97
DeepLabV3+	92.54 ± 3.00	89.31 ± 4.22	93.39 ± 2.26	92.95 ± 3.99	99.87 ± 0.08	11.63 ± 9.54	3.21 ± 2.46

Table 3. Comparison of performance (mean ± standard deviation) of the network for excision tissue segmentation on the validation set, with the best performance shown in bold

表3. 验证集上切除组织分割的网络的性能比较(平均值 ± 标准差)，粗体表示最好的性能

	Dice	JI	PPV	SEN	SPEC	HD_95	ASD
FCN	82.31 ± 4.44	74.29 ± 5.07	85.68 ± 5.05	82.33 ± 5.95	99.80 ± 0.20	21.45 ± 11.98	8.78 ± 6.68
U-Net	84.53 ± 3.21	77.01 ± 5.16	88.02 ± 5.52	84.72 ± 5.52	99.83 ± 0.17	20.05 ± 10.68	6.18 ± 5.63
U-Net++	84.21 ± 4.02	75.98 ± 5.23	86.96 ± 5.23	83.24 ± 5.61	99.83 ± 0.18	20.60 ± 10.92	6.21 ± 5.35
PSPNet	82.53 ± 4.31	73.26 ± 5.53	85.68 ± 6.14	83.68 ± 5.21	99.80 ± 0.18	21.57 ± 13.22	8.29 ± 6.28
DeepLabV3+	83.02 ± 4.73	76.67 ± 5.02	87.66 ± 6.04	83.12 ± 5.53	99.81 ± 0.18	21.88 ± 12.53	7.21 ± 5.95

5. 总结

在本项研究中，我们构建了一个基于深度学习的框架，用于乳房以及切除组织的分割任务。该框架不仅展现出了良好的分割精度，还涵盖了偏置场矫正这一预处理关键步骤。我们收集并手动标注了一个包含47例患者的MRI数据集，这些数据涵盖了不同的年龄、乳房大小以及四类采集参数。随着方法的持续优化与验证，这种基于深度学习的分割手段能够精准且高效地量化全乳体积和切除组织体积，进而为临床乳腺手术提供有力的数据支撑，同时估算乳腺重建过程中所需填充物的体积。实验结果显示，针对整个乳房和切除组织的分割任务，所选用的U-Net网络实现了较高的分割精度，在交叉验证中，平均Dice系数分别达到了96.54和92.37；而在测试集上，平均Dice系数分别为94.23和84.53。