基于卷积神经网络的乳腺癌病理图像分类

Classification of Breast Cancer Pathological Images Based on Convolutional Neural Network

摘要: 乳腺癌已经超过肺癌，成为世界第一大癌症。因此，乳腺癌的诊断就显得十分重要。为了提高对乳腺癌病理图像分类的准确率，提出了一种基于卷积神经网络的诊断方法。这种方法的出现，能做到快速对乳腺癌病理图像进行良恶性分类。一般来说，乳腺癌的病理图像结构十分复杂，为了增强网络的特征提取的能力，在卷积神经网络的基础上引进随机函数链神经网络和CA注意力机制。因为乳腺癌数据集太少，使用数据增强去扩充数据集。分别进行横向实验与消融实验，实验结果表明，优化后的卷积神经网络能有效提高分类的准确率。

Abstract: Breast cancer has already overtaken lung cancer as the No. 1 cancer in the world. Therefore, the di-agnosis of breast cancer is of great importance. To improve the accuracy of classifying pathological images of breast cancer, a diagnostic method based on convolutional neural network (CNN) is pro-posed. This method makes a quick and automatic benign and malignant diagnosis for breast cancer pathology images. In general, the structure of pathological images of breast cancer is very complex. In order to enhance the capability of feature extraction, Random Vector Functional Link Neural Network (RVFLNN) and Coordinate Attention (CA) are introduced based on CNN. Because there are too few breast cancer datasets, data enhancement is used to augment the datasets. Ablation ex-periments and horizontal experiments were conducted. The experimental results show that the op-timized CNN can improve the accuracy of classification effectively.

1. 引言

随着人工智能的蓬勃发展，其在医学图像领域扮演着越来越重要的角色 [1] [2] 。目前对乳腺癌的诊断是医学领域的热门研究课题。在医疗工作中，病理图像对于医生的诊断具有重要的辅助作用，医生通过应用人工智能技术对乳腺癌病理图像进行分类，这进一步提高了医生的工作效率。

近些年来，计算机人工智能取得了与日俱增的进步，为科研人员在处理病理图像的问题上开辟了新的方向。国内外专家在乳腺癌组织病理学图像分类方面已经取得了一些研究成果。Spanhol等人 [3] 根据82例乳腺癌病理信息构建了名为BreakHis的乳腺癌组织病理学图像数据集，该数据集中包含不同放大倍数的良性与恶性乳腺癌病理切片图像，并且通过提取多个放大倍数乳腺癌病理图像中的切片，训练AlexNet网络并结合三种融合规则进行分类任务。Han等人 [4] 利用该数据集训练分类器，并利用该分类器区分乳腺肿瘤，采用数据增强的方法，增加模型的训练量，以防止过拟合现象的发生。Cruz-Roa等人 [5] 通过构建一个神经网络，对乳腺癌全视野数字切片进行分类，共使用400张人工注释区域标签的切片训练模型，并在200张切片上验证其性能，这些切片具有来自癌症基因组图谱的类似注释，乳腺癌分类的水平又提升了一步。Krizhevsky [6] 提出一种非常出色的深度卷积神经网络AlexNet网络，提高了图像的识别率，获得了我们所需要的实验结果。以此为基础，Zisserman [7] 提出VGG-Net的深度卷积神经网络模型，以更小的卷积核和更深的网络层数，进一步提高了分类的精度。随后，Szegedy [8] 提出了包含Inception模块的深度卷积神经网络GoogleNet，在ImageNet数据集上测试的错误率更小，结果证实了深度学习在图像识别上具有很大的潜力。人们越来越意识到，以卷积神经网络为代表的深度学习可以很好地解决医学图像中的图像分类等问题。

卷积神经网络避免了对图像的复杂前期预处理，可以直接输入原始图像。因此，Byra等人 [9] 开发了一个结合成像技术的模型，从图中直接提取乳腺组织的离散特性，使用卷积神经网络对乳腺癌进行分类，提升了模型的分类效果。一般，在进行乳腺癌分类时，只需要单独考虑它的局部特征和全局特征中的一种，Guo等人 [10] 提出混合CNN单元可以充分兼顾图像的局部和全局特征，从而做出更准确的预测。为了提高分类器的性能，他还提出了装袋策略和分层投票策略，这两种策略在乳腺癌分类中都获得了87.5%的准确率。为了突出乳腺癌图像的特征，Das等人 [11] 提出了CNN的多实例学习框架，并引入了一个新的池化层。它从整个幻灯片中捕获信息量最大的特征，而不必在补丁之间重叠，最终分类准确率达到88%。Akba等人 [12] 提出了一种新的CNN正则化技术，并将其命名为转换模块。该模块以多种不同的方式捕获过滤器，并应用全局平均池化来简化从卷积层到全连接层的网络结构，最终实现了91.9%的分类精度。SIMONYAN [13] 在论文中提出了VGG。VGG [14] [15] [16] [17] 的出现表明，小型卷积网络可以通过增加深度来提高网络的性能。CNN构建的图像处理系统可以有效减少过拟合，He [18] 等人提出了ResNet，并开创了一种新的网络结构，称为残差单元。Huang [19] 等人提出了一种基于密集块的DenseNet，进一步提高了网络性能。此外，Szegedy [20] 等人提出了Inception-ResNet-v1和Inception-ResNet-v2。这两个模型是通过将初始与残差单位相结合生成的。它们提高了培训效率和分类的准确性。

由此可见，卷积神经网络的出现为医疗领域做出了巨大的贡献，所以本文在卷积神经网络的基础上增加随机向量函数链神经网络和CA注意力机制来加快模型训练的速度，增加模型的特征，从而提升模型的分类效率。

全文的组织分配如下：第二章介绍了随机向量函数链神经网络，卷积神经网络和CA注意力机制，分析了它们的原理。第三章分别进行横向与纵向实验，将实验结果和本文所提出的模型实验结果进行对比。第四章得出实验结果，提出新想法。

本文做出以下贡献：1) 随机向量函数链神经网络RVFLNN模型和CA注意力机制具有简洁性、特征提取能力强以及高准确性的特点，提出了RVFLNN-CNN-CA的分类模型。2) 公开乳腺癌数据集的数量少，采用数据增强对原来的数据集进行扩充。3) 进行横向和纵向实验，证明RVFLNN-CNN-CA的分类模型分类精度更高。

2. 方法

2.1. RVFLNN

深度结构所产生的力量十分强大，可是几乎所有该结构的网络都含有很多的参数量，它的训练过程会很复杂。所以为了提高网络训练的准确度和效率，我们基本会采用提高网络的深度和调整参数这两种方法，随机向量函数链神经网络(Random Vector Functional Link Neural Network, RVFLNN)的出现解决了这个问题。在学习宽度学习的时候，发现了这个神经网络，RVFLNN实际上是宽度学习的左半部分。它的结构图如图1。

Figure 1. RVFLNN

图1. RVFLNN

确定一共有K个样本数据 $D={\left(X_i,Y_i\right)}_{(i=1)}^K$ ，其中 $X_i=\left\{x_{i1},x_{i2},\cdots ,x_{iM}\right\}$ 是M维输入向量， $Y=\left\{y_1,y_2,\cdots ,y_N\right\}$ 为N维输出向量。第i个输入向量经过输入层附着随机权重后，其第j个隐含层节点的值为：

$h_j=g\left({\displaystyle \underset{m=1}{\overset{M}{\sum }}{w}_{mj}{x}_{im}}+b_{ij}\right),i=1,2,\cdots ,K$

结合输入层与隐含层节点的输出，RVFLNN中输出层节点的值可表示为：

$z_i={\displaystyle \underset{i=1}{\overset{L}{\sum }}{\beta }_j}{h}_j\left(X_i\right)+{\displaystyle \underset{i=L+1}{\overset{L+M}{\sum }}{\beta }_j}{x}_{ij},i=1,2,\cdots ,K$

$\beta \in R^{(L+M)\times N}$ 是隐含节点的输出权重矩阵，L为隐含层数， $h_j\left(x_i\right)$ 是第j个隐含层节点的输出值， $x_{ij}$ 是第i个输入向量的第j个特征， $z{}_i$ 是第i个输出层节点的值。矩阵表示为：

$H\beta =Y$

在RVFLNN中，权重 $\omega$ 和偏差b在学习过程中是被随机设置的，而权重β是通过学习确定的。使用均方误差作为目标函数，输出权重矩阵可以根据网络输出误差E对进行建模：

$\beta =H^{+}Y$

$H^{+}$ 被定义为广义逆，利用正交投影，在对角线添加一个小的正值，以防止β产生奇点。

2.2. CNN

一般来说，CNN主要由输入层、卷积层、池化层和全连接层和输出层组成。CNN的结构图如图2所示。

输入层主要是用来载入图像，本文的输入图像就是经过数据增强后的乳腺癌数据集。卷积层主要用来提取图像的特征，在每个卷积层中都用到Relu激活函数。池化层又称下采样层，一般放在连续的卷积层之间，用于压缩数据和参数。池化层的作用主要有两个，一是特征不变性，二是特征降维。常见的池化方式有最大池化和平均池化，本文用的是最大池化。

Figure 2. CNN

图2. CNN

2.3. CA

注意力机制类似于人类的视觉注意力机制，利用有限的注意力资源从繁复的信息中快速筛选出有价值的信息，帮助模型训练以更好地完成任务。因此，本文引入了可以同时获取通道信息和方位信息的CA注意力机制(Coordinate Attention)。

CA注意力机制的操作主要分为两步，第一步是坐标信息的嵌入。在输入维度为C × H × W的特征图之后，分别利用尺寸为(H, 1)和(1, W)的平均池化从水平X方向和垂直Y方向对通道进行编码，得到高度为h的第c个通道和宽度为w的第c个通道的输出，如下式所示：

第二步是坐标信息特征图生成，将上面两个输出沿两个方向的聚合特征 $z^h$ 和 $z^w$ 沿空间维度串联，然后进行卷积核大小为1 × 1的卷积运算，最后通过非线性激活函数，得到包含水平和垂直方向空间信息的中间特征图f，如公式(3)：

$f=\delta \left(F_1\left(\left[z^h,z^w\right]\right)\right)$

然后沿空间维度分解f为两个张量 $f^h$ 和 $f^w$ ，分别沿水平和垂直方向进行卷积和激活函数的处理，公式如下：

$g^h=\sigma \left(F_h\left(f^h\right)\right)$

$g^w=\sigma \left(F_w\left(f^w\right)\right)$

最后将两个方向的输出结果作为注意力权重扩展，最终得到如下输出：

$y_c\left(i,j\right)=x_c\left(i,j\right)\times g_c^h\left(i\right)\times g_c^w(\; j\; )$

2.4. 提出的新模型RVFLNN-CNN-CA

为了提高乳腺癌分类的准确率，本文提出了一种基于RVFLNN-CNN-CA的新模型。这里面的卷积神经网络有六个卷积层，五个池化层，一个全连接层组成。选择卷积神经网络作为基础网络是因为它具有良好的分类性能，网络结构也非常完整，适合对网络进行进一步优化。构建RVFLNN-CNN-CA模型算法的主要过程如下：

Figure 3. The flowchart of RVFLNN-CNN-CA

图3. RVFLNN-CNN-CA的流程图

1) 进行随机连接。将原始的数据集进行数据增强，使用RVFLNN算法进行训练，来提升模型的训练效率，增加数据的特征属性。

2) 将RVFLNN算法训练的结果放入CNN。在训练CNN之前，我们首先保存RVFLNN的结果，然后将它们放入一个新文件夹中，这是CNN的输入。

3) 将CA添加到CNN。对于添加注意力模块的模型的哪一部分可以提高网络性能，没有固定的陈述。因此，我们可以尝试将CA添加到不同的位置以比较实验效果。从后面的实验中，我们可以看到，通过在激活函数的后面加入注意力机制，可以获得最高的分类精度。

RVFLNN-CNN-CA模型的工作流程如图3所示。

3. 实验

3.1. 数据的获取和增强

乳腺组织病理学图像数据集来源于Kaggle，由Janowczyk等人创建。该数据集包含乳腺癌细胞和正常细胞两大类。部分数据如图4所示。

Figure 4. Some data sets are presented

图4. 部分数据集展示

尽管原始数据集包含162张图像，但对于神经网络来说还远远不够。因此，我们需要使用数据增强技术来扩充数据集。数据增强具有许多优点，它不仅在一定程度上解决了过拟合的问题，而且提高了模型的泛化能力。数据增强的主要方法包括随机旋转、放大和缩小、添加噪声等。

肉眼看来，这几张都是相同的图片。但对于神经网络来说，它们是完全不同的。图5显示了几种数据增强方法。数据集扩充后总共有16,083张图像，其中80%是训练集，20%是测试集，如图6所示。

(a) (b) (c) (d) (e)

Figure 5. Several methods of data enhancement (a) dark (b) bright (c) rotate (d) salt and pepper noise (e) amplify

图5. 几种数据增强的方法(a)变暗 (b)变亮 (c)旋转 (d)添加椒盐噪声 (e)放大

Figure 6. Data set segmentation

图6. 数据集划分

3.2. 实验准备

本文对目标检测模型的评价指标有准确率(Precision, P)、召回率(Recall, R)、均值平均精度(mean Average Precision, mAP)、参数量(Parameter)和帧率((Frames Per Second, FPS)。其中准确率P、召回率R和均值平均精度mAP的计算方法如下式：

$P=\frac{TP}{TP+FP},R=\frac{TP}{TP+FN}$

$F1=\frac{2PR}{P+R},A=\frac{TP+TN}{TP+TN+FP+FN}$

3.3. 关于CA的实验

本文这个关于CA的实验只在卷积神经网络中进行。本文将CA添加到输入层、卷积层、激活函数、池化层和全连接层，以比较乳腺癌分类的效果。这些过程被命名为CA1-CNN，CA2-CNN，CA3-CNN，CA4-CNN和CA5-CNN。结果显示，在激活函数的后面添加CA效果最好，这样不仅有利于网络特征信息的提取，而且可以减少网络的体积。表1和图7显示了有关CA的实验结果。

Table 1. Experiments on CA

表1. 关于CA的实验

Figure 7. Histogram of indicators for evaluating the CA experiment

图7. 关于CA实验评价指标柱状图

3.4. 消融实验

消融实验的核心就是控制变量法，本文对乳腺癌病理图像的分类，对原始的CNN模型进行了优化，分别为RVFLNN和CA。由于相关乳腺癌数据的样本太少，本文通过数据增强扩充了数据集。在CNN的基础上，单独添加每种改进的方法，以测试每种方法对原网络的影响。验证每种改进方法对最终网络的影响，表2和图8显示了消融实验结果。

Table 2. Ablation experiment

表2. 消融实验

Figure 8. Histogram of evaluation indicators for ablation experiments

图8. 消融实验评价指标柱状图

3.5. 横向实验

所谓横向实验，就是在同一环境下比较RVFLNN-CNN-CA模型和不同模型的分类效果。实验结果如表3和图9所示。

Table 3. Cross-sectional experiments

表3. 横向实验

Figure 9. Histogram of evaluation indicators for cross-sectional experiments

图9. 横向实验评价指标柱状图

3.6. 实验补充

为了突出RVFLNN-CNN-CA模型的优势，使用混淆矩阵以及Accuracy与Loss曲线将其与没有进行优化过且没有进行数据增强的CNN进行比较，我们可以在混淆矩阵和Accuracy与Loss曲线中清楚地看出来本文提出优化模型在分类效果取得了一定进步。如图10和图11所示。

Figure 10. Confusion matrix

图10. 混淆矩阵

Figure 11. Accuracy and Loss curve

图11. Accuracy与Loss曲线

4. 总结

实验在公共的乳腺癌数据集上完成，使用数据增强来扩展数据集。我们使用CNN来训练数据集。利用RVFLNN和CA提高模型的特征提取能力和训练效率。根据关于CA的实验、消融实验和纵向实验的结果来看，准确率也从85.21%提高到93.56%，充分证实了实验方法的可行性和实用性。从上面的实验结果中，我们可以得出以下结论：

1) 根据表1和图7中的实验结果来看，很明显处于各种位置的CA对模型的训练精度是有影响的。可以得出结论，将CA添加到激活函数的后面效果最好。

2) 根据表2和图8中的实验结果可以得出结论，添加不同的一个或两个模型也可以相应地提高分类准确率。但是提出的RVFLNN-CNN-CA模型具有最好的效果。

3) 根据表3和图9中的实验结果，可以得出结论，RVFLNN-CNN-CA模型比其他模型具有更好的分类准确率。

未来的工作包括：

1) 本文是属于乳腺癌的二分类实验，只能区分是不是癌，并不能细分它到底是哪种癌，未来可以完成这个工作。

2) 将RVFLNN-CNN-CA模型应用于其他医学疾病，以验证该模型在其他疾病上是否具有普遍性。

3) 本文实验中所采用的卷积神经网络有六个卷积层，五个池化层，一个全连接层组成。未来可以用更复杂的卷积神经网络去验证乳腺癌分类的准确率。

NOTES

^*通讯作者。