基于两阶段全卷积神经网络的冠状动脉分割研究

A Study of Coronary Artery Segmentation Based on Two-Stage Fully Convolutional Neural Networks

摘要: 计算机断层扫描血管造影(Computed tomography angiography, CTA)由于其成像具有高分辨率以及无创性而被用于冠状动脉疾病诊断和治疗中，精准的冠状动脉分割对冠状动脉病变的诊断和治疗具有重要的作用。本文提出了一种基于两阶段全卷积神经网络的冠状动脉分割方法，有效地利用粗分割指导切块分割并进一步提升分割准确率。实验表明，本文的方法相比于其他常规的分割方法有一定的性能提升。

Abstract: Computed tomography angiography (CTA) is used in the diagnosis and treatment of coronary artery disease due to its high resolution and non-invasive nature. Accurate coronary artery segmentation plays an important role in the diagnosis and treatment of coronary artery lesions. In this study, a two-stage fully convolutional neural network-based coronary artery segmentation model is proposed to effectively use coarse segmentation to guide fine segmentation, thereby improving accu-racy. Experiments show that the method in this paper has a large performance improvement compared to other single-stage segmentation methods.

1. 引言

心血管疾病(Cardiovascular disease, CVD)是心脏和血管疾病的统称，为当今世界主要的健康问题之一。根据《中国心血管健康与疾病报告2020》 [1]，随着我国经济的发展，国民生活方式的改变，尤其是人口老龄化及乡村城镇化进程的加快以及不健康生活方式日益突出，心血管疾病危险因素对居民健康的影响越加显著，心血管病的发病率仍不断增高。目前心血管疾病的死亡率占城乡居民在各种疾病中死亡率的首位，农村为46.66%，城市为43.81%。冠状动脉性心脏病，简称冠心病，属于心血管疾病发病率最高的类型之一。大多数的冠心病直接原因为冠状动脉狭窄问题，由于狭窄限制了血液流动，影响心肌细胞的氧气供应，而导致心肌梗死。在临床上，计算机断层扫描血管造影(Computed tomography angiography, CTA)由于其成像具有高分辨率以及无创性而被用于冠状动脉疾病诊断和治疗中，精准的冠状动脉分割对冠状动脉病变的诊断和治疗具有重要的作用。然而在实际中，冠状动脉的分割主要还是靠专家手动分割，耗时较长且效率低。

2. 相关工作

随着计算机视觉的发展，各种各样的方法被用于基于CTA图像的冠状动脉分割中，主要可以分为传统图像分割方法以及深度学习图像分割方法。在传统图像处理方面，一些基于边缘和区域的算法被用于CTA图像中冠状动脉中。刘昊等人 [2] 提出了对预处理过后的CTA图像利用分水岭算法得到冠状动脉子区域，再对其使用区域生长方法进行区域合并，最后实现冠状动脉的三维分割。黄山等人 [3] 利用水平集方法对CT图像进行冠脉的识别与分割处理从而生成三维模型，相比手动方法而言时间有显著的提升。姜伟等人 [4] 先利用基于阈值的区域生长算法将图像划分为若干区域，并对对图像进行无关区域的处理，最后使用图割理论实现网络图分割，得到冠状动脉分割图像。黎丽华等人 [5] 先采用阈值方法对三维双源CT图像进行预分割，采用交互式的策略分割出与主动脉相连的左、右冠状动脉始端，最后根据冠状动脉始端的位置，利用形态学方法和三维断层图像相邻层间的关系分割出三维冠状动脉。

近年来，深度学习方法飞速发展，其中卷积神经网络 [6] (Convolution Neural Network, CNN)在图像处理中的各个任务上都取得了不错的效果。在图像分割中，全卷积神经网络 [7] (Fully Convolution Networks, FCN)由于其端对端的输入输出结构特点以及自动的提取有效的分割特征并形成输出大小一致的分割图，在分割领域通常能达到较好的结果。然而由于3D CTA图像通常为高分辨率的图像，而且3D CNN结构以及其中产生的中间特征都将需要大量计算资源，所以在深度学习冠状动脉分割方法中都采用了降低分辨率直接分割冠状动脉，或者通过将图像分解为较小的三维切块(Patch)或者二维的切片(Slice)在原图像分辨率下完成冠状动脉分割。康皓贝 [8] 等人基于灰度信息的搜索提取心脏外轮廓，融合先验信息使用三维全卷积神经网络完成对CTA图像的切块进行预分割，最后使用条件随机场完成冠状动脉的完全分割。冯雪聪等人 [9] 应用增加了注意力机制的U-Net [10] 网络进行对CTA图像进行切片级别上的分割，具有一定的效果。沈烨等人 [11] 使用一种结合了注意力机制门(Attention Gate, AG) [12] 的3D FCN网络对CTA图像下采样再进行分割并使用水平集算法完成后处理。Huang 等人 [13] 使用3D U-Net [14] 到冠状动脉的分割中，将原图像分割为若干个小的切块，对切块进行小区域的分割后重构组合为三维冠状动脉的结果。除了使用CNN来进行直接分割，一些研究根据冠状动脉的结构来构造数据结构来辅助分割，例如树结构。Kong等人 [15] 使用预分割提取中心线，根据预测的中心线并构造树结构数据，在FCN结构下加入TreeConvGRU模块对构造树结构数据进行分割处理。

然而现有深度学习分割冠状动脉的方法存在着分割精度低，忽略了全局信息以及需要大量计算资源的问题。针对这些问题，本研究提出了一种两阶段全卷积神经网络的冠状动脉分割方法，有效降低对高分辨率的3D CTA图像分割所需的计算资源。相比于其他在与原分辨率上分割的方案，如切块分割以及切片分割，通过粗分割指导的细分割得到了全局信息有效的提升冠状动脉分割的准确率。

3. 基于两阶段的冠状动脉分割模型

本文提出了一种基于两阶段的冠状动脉分割方法，该方法主要分为粗分割以及切块分割两个阶段。其主要流程图1所示：

Figure 1. The framework of two-stage fully convolutional neural networks

图1. 两阶段全卷积神经网络分割框架

本方法流程主要分为两部分，粗分割阶段以及切块分割阶段。1) 粗分割：进行对整张图像进行整体上的分割，由于在这一阶段得到的分割由于图像分辨率较高，受到计算资源限制，得到整体的分割准确率并不高；2) 切块分割：经过第一阶段的粗分割，根据粗分割结果，采用形态学处理得到分割的简略结构用于切块的制作。相比粗分割，切块分割更能捕捉到局部的细节部分，同时在该部分使用了加入注意力门的U-Net。

3.1. 粗分割

在粗分割阶段，本文采用了常用的3D U-Net结构作为该部分的分割网络。由于3D CTA为高分辨率的图像，若将其直接输入至3DCNN中得到高纬度的中间特征将占用大量的计算资源，通常将插值后的图像作为输入到神经网络中。然而经过下采样后的图像将损失一部分图像的信息，这对于分割冠状动脉细小管状物体而言是相当不利的。在该阶段使用了一种折中的方案，将图像放缩至低分辨率空间，同时降低神经网络的参数量，来达到粗分割的减少计算资源的消耗。本阶段采用分割网络的结构如图2所示。

Figure 2. Network architecture of U-Net

图2. U-Net网络结构

U-Net整体呈“U”形，主要分为两部分。第一部分为局部降低特征图像分辨率的编码器部分，在每一个分辨率尺度下都通过两个Conv + ReLU + BN模块，再通过Max Pooling池化层来降低特征图的空间大小而增加其通道数。第二部分为恢复图像分辨率的解码器部分，通过上采样操作来扩大图像的空间特征同时减少通道数。在解码的过程中，解码器通过拼接的操作融合了来自编码过程中每一个尺度下的特征以恢复图像的细节部分。在最后一个卷积层使用卷积核大小为1 × 1 × 1的卷积层和Sigmoid层输入预测的概率图。除了最后一层的卷积层外，其他卷积层的卷积核大小为3 × 3 × 3，而且所有卷积操作步长为1，网络中每一层特征图的通道数如图2中的C表示。网络输入为插值后的图像，输出为同等分辨率下的分割图。

3.2. 三维切块分割

3.2.1. 制作切块

制作合适且包含分割目标的切块是完成切块分割的重要部分，这关系到在切块分割中的结果是否完整。由于冠状动脉为细小的管状结构，在粗分割阶段中损失的细节需要在原分辨率上的切块分割进行完善。为了减少产生不包含分割目标的切块，制作切块的过程以粗分割的结果作为先验区域。

制作切块的流程如图3所示。在第一阶段得到了冠状动脉的粗分割，对其进行骨架化的形态学骨架化处理，将粗分割的标签细化为骨架线。骨架线代表了管状物体的中心区域，即管状截面的圆心区域。将骨架线点作为切块的中心来得到切块，切块集合将包含了粗分割中的冠状动脉区域，然而会产生大量的重叠区域。本文使用了一种“挖除式”的切块合集制作。具体来说，首先通过某个骨架线点作为切块的中心，在切块包含的其余骨架线点不会作为中心来获得切块，即该切块中的所有骨架线点被“挖除”。通过循环，骨架点全部被挖除，则完成单个样本的切块制作。该方式能够有效的保证所有来自粗分割冠状动脉的区域被切块合集所包含。对每一个的粗分割结果使用这种方式获得多个切块从而形成切块合集。

Figure 3. Flow chart for making patches

图3. 制作切块流程图

3.2.2. 注意力门机制

最近几年，注意力机制在机器视觉方面中被广泛应用，注意力机制与人类专注于某些信息相似，用于聚焦输入图像关键部位而忽略与任务不相干的信息。一些注意力机制模块被加入到卷积神经网络中，使网络对关键空间物体信息进行重点关注，提升结果的准确性。注意力门模块(Attention Gate)被提出并结合到全卷积神经网络中，该注意力门采用了一种深层特征与浅层特征结合机制，融合两种特征为当前特征提供注意力机制的方式。

如图4所示，注意门模块有两个输入特征X和G，其中X为输入特征，G为门控特征，其中X，G的大小一致。注意力的具体的计算方式如式(1)所示：

Figure 4. Attention gate

图4. 注意力门机制

$X_{att}={\sigma }_2\left(\psi \ast {\sigma }_1\left(W_g\ast G+W_x\ast X+b_g\right)+b_{\psi }\right)\cdot X$ (1)

其中 $W_g$， $W_x$， $W_{\psi }$ 为卷积核大小为1 × 1 × 1的卷积操作， $b_g$， $b_{\psi }$ 为偏置。 ${\sigma }_1$， ${\sigma }_2$ 分别为ReLU，Sigmoid激活函数。*为卷积运算，为矩阵每个元素对应相乘。

3.2.3. 分割网络

在切块分割中，本文使用了加入了注意力门模块(Attention Gate)的3D U-Net模型。对于切块分割而言，由于输入的切块远远小于整张原始图像，使用复杂以及更多参数量的模型变得可行。

如图5所示，该网络的整体框架与2.1中的网络框架类似，在U-Net的跳接操作中加入了注意力门来增强跳接特征，深层特征经过上采用作为门控特征输入到注意力门中。深度特征具有更宽广的感受野，用于指导浅层特征的注意力集中区域。在整个网络结构中每个跳接层都加入了一个注意力门机制，同时在参数量上相对粗分割而言，除了最后一个卷积层，每个卷积层中卷积核的个数为粗分割的2倍，网络的拟合能力更强。将2.2.1中的切块输入网络中得到切块级别上的分割，同时根据制作时切块在原图像的位置，对切块进行重构。在重构的过程中存在着切块重复的部分，对于重复的部分使用预测中多个切块中产生概率最大值作为最终结果的生成概率。

Figure 5. Network architecture of attention gate U-Net

图5. Attention gate U-Net结构

4. 实验设计与分析

4.1. 数据集

CTA图像数据由某医院提供，一共有200例。图像大小为512 × 512 × (206 − 275)，平面分辨率为0.29~0.43 mm²，扫描层的间距为0.25~0.45 mm。每个图像中的左冠状动脉和右冠状动脉都由两个放射科医生独立标记，并且他们手动分割的结果通过交叉验证确定。如图6所示给出了图像的例子，a和b为3DCTA图像和标签的3D展示，c和d为图像以及标签的截断面展示，展示软件为开源软件3D Slicer。

Figure 6. CTA image and label

图6. CTA图像以及标签

4.2. 实验参数设置

所有图像数据被用于方法训练以及测试，训练集和测试集的比例为3:1，其中训练集为160例，测试集为40例。所有的实验均在RTX 3090的GPU平台上运行。考虑到数据量的规模，将所有网络训练的epoch设置为50，优化器为Adam，学习率被设置为0.002。在粗分割阶段，网络训练的损失函数为交叉熵，输入图像大小为256 × 256 × 128，具体计算如式(2)所示：

$L_1\left(\hat{Y},Y\right)=-\left[Y\log \hat{Y}+\left(1-Y\right)\log \left(1-\hat{Y}\right)\right]$ (2)

在切块分割阶段，输入切块大小为32 × 32 × 32，损失函数为Dice损失函数具体计算如式(3)所示：

$L_2\left(\hat{Y},Y\right)=1-\frac{2\left|\hat{Y}\cap Y\right|+1}{\left|\hat{Y}\right|+\left|Y\right|+1}$ (3)

其中 $\hat{Y}$ 为网络输出的预测概率，Y为真实标签。最后使用Dice系数评估分割结果。

4.3. 实验结果分析

为了验证模型的有效性，本文设计了常规的分割方法作为对比实验。

1) 切片分割：将3D CTA图像沿Z轴方向大小为512 × 512的切片作为分割网络2D U-Net的输入，完成分割重组为3D图像。

2) 直接分割：与粗分割类似，将3DCTA图像放缩至较低的分辨率空间，使用3D U-Net进行分割。

3) 切块分割：将3D CTA图像整齐的切割为若干个32 × 32 × 32小切块，输入分割网络中得到切块分割结果再进行重组，并得到最后的分割结果。

所有对比实验的网络使用同一规模的U-Net，损失函数使用Dice损失函数。

实验结果表明，本文的两阶段粗细分割在3D CTA图像中分割冠状动脉有一定效果。同时，使用两阶段分割方法相比于其他的常规分割方法结果有一定的提升。

5. 总结

本研究提出了一种两阶段全卷积神经网络的冠状动脉分割方法。该模型通过3D U-Net粗分割在整体上得到冠状动脉位置，根据粗分割的结果制作三维切块，使用三维Attention Gate U-Net对切块进行分割得到最后的分割结果。与常规直接分割模型结果对比，两阶段分割方案较优。说明本文的基于两阶段全卷积神经网络模型在冠状动脉的分割中有一定的效果。