1. 引言
乳腺癌是全球范围内影响女性健康最主要的恶性肿瘤之一，在女性恶性肿瘤致死率中排名第一，中国女性乳腺癌发病率和死亡率分别占全球的11.2%和9.2%，世界范围内位居前列。当前肿瘤发病原因不明，并且缺乏有效的筛查手段，导致大部分患者确诊时已为中晚期，已经错失了最佳治疗期，因此，乳腺癌的早诊断早治疗对提高女性健康水平起着至关重要的作用。目前，乳腺癌的临床诊断通常依靠医生观察患者乳腺癌组织病理学图像来实现，不但耗时耗力，而且诊断准确性极度依赖于医生的专业知识和经验，具有主观性。因此，实现基于乳腺癌病理学图像的医学图像分类对帮助医生提高诊断效率具有重要意义。
目前有关乳腺癌病理学图像的分类可以分为两大类，一类是基于人工特征提取和传统机器学习算法的医学图像分类。Spanhol [1] 等公开了乳腺癌组织病理图像数据集BreakHis，研究了6种基于手工提取的纹理特征，并结合包含SVM在内的4种分类器来区分良性和恶性肿瘤；Ojalat [2] 提出了局部二值模式(LBP)，它是一种用来描述图像纹理特征的算子，进而实现对纹理特征分类的改善，从而区分乳腺癌的良性和恶性图像；李慧 [3] 使用Lasso方法对从乳腺钼靶钙化图像提取到的特征进行特征筛选，获得74个与良恶性鉴别相关度最高的特征，接下来结合算法，进行分类模型的交叉验证训练，最后进行了预测计算，实验结果表明，基于SMOTE-Lasso-RF方法的模型具有更好的AUC和准确性；Rezazadeh A [4] 提出一种可解释的基于超声图像诊断乳腺癌的机器学习方法，通过提取超声图像的一阶和二阶纹理特征，将其用来构建决策树分类器的概率集合。每个决策树通过学习一组用于图像纹理特征的稳健决策阈值来学习对输入超声图像进行分类，并通过分解学习的决策树来解释模型预测的决策路径。结果表明提出的框架在可解释的同时实现了高预测性能
传统的机器学习方法一方面由于缺乏经验丰富的病理学专家进行图像特征的标注，另一方面分类特征的提取和选择往往会花费大量的时间和精力，最终导致分类的准确度并没有达到理想的效果。相比于传统的机器学习分类算法，深度学习一方面能够自动从图像中学习特征，从而避免了传统算法中人工提取特征的复杂性和局限性，另一方面，深度学习现在广泛应用于自然语言处理、物体识别、图像分类识别等领域，为其在乳腺癌病理学图像中的应用奠定了基础。例如Pawwer M M等人 [5] 提出了结合ResNet与注意力机制的多尺度多通道特征网络(MuSCF-Net)，并采用知识共享策略，在乳腺病理组织图像二分类任务中，分类准确度高达98.85%；Kavitha T [6] 等人提出了一种基于最佳多级阈值分割和胶囊网络(OMLTS-DLCN)的乳腺癌诊断模型，在Mini-MIAS数据集和DDSM数据集上的准确率分别为98.50%和97.55%；李赵旭 [7] 通过改进Inception网络，优化网络模型，在1774张癌症病理图像中二分类任务取得了96%的准确度。
目前研究已经表明，采用深度学习的方法对乳腺癌组织病理学图像进行分类可以极大地提高分类的准确性，从而帮助医生进行诊断，使病人得到及时的治疗 [8] [9] [10]。然而，深度学习一方面对数据有着极大地依赖性，数据集越大对网络的分类精度越有帮助，然而现实中较大的医学图像数据集是难以获得的：另一方面，深度学习中网络深度的增加并不能提高分类的准确度，反而会出现分类性能退化的现象。针对以上不足，本研究提出了一种基于深度迁移学习的乳腺癌病理学图像分类方法。
2. 深度迁移学习
2.1. 迁移学习
在医学图像分类中，数据依赖是最需要考虑的问题。因为医学图像的特殊性，可用于研究的医学数据十分有限且稀缺。然而，当使用少量的数据去训练卷积神经网络(CNN)这样的深层网络结构时，因为数据过少可能会导致过度拟合现象，进而影响实验效果。因此在本研究中引入了迁移学习。
迁移学习是一种利用数据、任务、或模型之间的相似性，将在旧领域(源域)学习过的知识，应用于新领域(目标域)的学习过程 [11]。我们可以利用迁移学习将训练好的模型参数传递给新模型，以帮助新模型的训练，即在一个非常大的数据集上训练网络，然后将其预先训练的学习参数，特别是权值，转移到目标网络模型中。通过预训练模型的参数传递，可以为新的目标模型提供一个强大的特征提取能力，减少计算时间和存储。迁移学习在医学影像学中得到了广泛的应用，在准确性、训练时间和错误率方面表现出了巨大的功效 [12]。
在迁移学习中，参数微调可解决预训练神经网络模型在目标域中特征参数与任务的不匹配问题，是迁移学习的最重要步骤。在本研究中，目标域数据集比较小，且与源域数据集图像差异性较大，所以本研究主要采用冻结方式对模型进行微调 [13]。
2.2. 深度迁移学习
在本研究中，提出了一种深度迁移学习方法。考虑到当使用ImageNet数据集作为源域进行迁移学习时，因为ImageNet数据集数量大，种类基本不涉及癌症，而癌类数据集数量少，二者数量差值大，相似度低，使用迁移学习会出现负迁移现象，影响了分类精度。
通俗的来说，在卷积神经网络中，浅层网络用来提取基础特征，深层网络负责提取抽象特征。在图像中基础特征是通用的，那么浅层网络部分采用ImageNet数据集进行预训练，而深层网络在ImageNet网络训练完后再采用其他癌类数据集进行二次预训练，利用网络深浅不同的性质分开进行迁移训练，进而避免因为数据集相似度低而出现的负迁移。
本研究提出一种基于深度迁移学习的乳腺癌医学图像分类算法，首先选择DesneNet网络为本研究使用的网络，并通过加入注意力机制对网络模型性能进行改进。然后通过ImageNet自然图像数据集对改进后的DesneNet网络进行第一次迁移学习，在第一次迁移学习后，使用LC2500肺癌数据集对网络进行第二次迁移学习，其次使用预处理和数据增强过后的BreakHis乳腺癌数据集通过微调的方式训练网络，最后使用测试集测试训练好的网络模型的分类精度，其流程如下图图1所示。
3. 数据收集和预处理
3.1. BreakHis数据集
外国学者Spanhal公开了一个名为BreakHis的乳腺癌组织病理图像数据集，该数据集包含82个病例，共计7909幅乳腺癌图像，其中良性图像2480幅，恶性图像5489幅，每幅图像的尺寸为700 × 460，格式为PNG，通道数为3。图像由活体组织检查得到，活体组织检查将收集到的乳腺癌组织切片放在显微镜下，通过不同的放大倍数来成像，最后通过经验丰富的病理学家对这些图像做出诊断，将图像分为良性和恶性。图2展示了四种放大倍数下的病理学图像，表1是数据集数据统计内容。
Figure 1. Flow chart of deep transfer learning
图1. 深度迁移学习流程图
(a) 40× 
(b) 100× 
(c) 200× 
(d) 400×
Figure 2. Image of breast cancer pathology at four magnification
图2. 四种放大倍数下的乳腺癌病理图像
Table 1. Data set data statistics
表1. 数据集数据统计内容
3.2. 图像预处理和数据增强
在病理学组织图像中，为减小噪声对实验分类精度的影响，我们需要对数据集进行预处理，此外，预处理可以简化数据，提高网络模型的训练速度。在BreakHis数据集中，其病理学图像进行了染色处理，颜色的差异可能会对最终分类结果带来很大的影响 [14]。因此本研究中，首先对原始图像进行染色归一化处理，预处理以后，再对Breakhis数据集进行数据增强，通过数据增强增大数据量，减少网络模型训练中的过拟合现象。一般的数据增强方式包括：翻转、旋转、缩放、裁剪、平移、调整颜色和对比度等。本研究中数据集通过旋转90˚、180˚、270˚、水平翻转、垂直翻转这5种方式获得5倍于原数据集的数据。如图3所示为部分预处理后数据集，图3(a)为原始图像，图3(b)为染色归一化后的图像，图3(c)为旋转180˚后图像。
(a) 原始图像 
(b) 染色归一化后的图像 
(c) 旋转后的图像
Figure 3. Comparison of the original and pre-processed images
图3. 原始图像和预处理后图像对比
4. 深度学习模型
4.1. DenseNet
DenseNet网络采用了一种特殊的连接方式，即密集连接，对于密集连接的每一层，在其前面所有层产生的特征图都用作该层的输入，然后由该层产生的特征图则用作后续所有层的输入 [15] [16] [17] [18]。DenseNet网络通过这种方式，重复利用来自前面多层特征图的特征信息，在减少参数的同时提升网络的效率。
DenseNet网络主要由稠密块(DenseBlock)和过渡层(Transition Layer)组合而成。其中稠密块中具有多个子模块，子模块之间通过密集连接将不同子模块之间的特征图通道进行合并。而过渡层是连接两个相邻的稠密块，并且通过池化层使特征图大小降低，增大感受野的同时减少网络参数。其结构图如图4所示。
Figure 4. DenseNet network structure
图4. DenseNet网络结构
4.2. 网络改进
在传统的卷积神经网络中，其卷积变换，即输入变为输出是在各个通道的卷积结果的基础上进行求和，实现了对一个局部区域空间上的特征融合，然而这种方式忽略了通道间的特征融合，毕竟每个通道也携带者重要程度不一的特征信息。考虑到传统卷积没有利用通道特征信息的问题，本研究在DenseNet模型基础上加入了注意力机制，即压缩–激励(SE)模块，其结构图如图5所示。
SE模块利用反向传播来学习每个特征通道的权重系数，这个权重系数代表着该通道的重要程度，然后依照这个权重系数提取通道的特征信息，实现通道间的特征融合，从而提升网络的性能。
通过在DenseNet基础上引入压缩和激励操作，改进了网络，使得网络既可以实现空间上的特征融合也可以学习到特征通道之间的关系，进一步提高网络的性能。
改进后的网络结构图如图6所示，将压缩–激励(SE)模块分别嵌入DenseNet网络稠密块的子模块和过渡层的后面。
Figure 6. Schematic diagram of the attention mechanism embedding position
图6. 注意力机制嵌入位置示意图
5. 实验
5.1. 实验环境与实验指标
5.1.1. 实验环境
实验使用的计算机配置为：64位win10操作系统，CPU为 Intel Core i5-9400F，内存64 GB，GPU显卡是NVIDIAGeForce RTX 2080 Ti，深度学习框架使用的是Pytorch。
5.1.2. 实验评判指标
在本实验中，实验结果采用从病患角度和乳腺癌病理学图像两个角度进行评价，以分类准确率为评判指标，这样有助于分析所提出模型的分类效果，进而去改进模型。从病患角度计算分类准确率如式(1)所示，从整体数据集患者角度计算分类平均准确率如式(2)所示。
(1)
(2)
其中：
表示某个患者的总病理图像数量，
表示该名患者所有病理图像中正确分类的数量，Prp 表示单个患者所有病理图像分类准确率，
表示数据集上所有患者平均分类准确率，
表示数据集的整体患者数量。
从乳腺癌病理图像角度计算分类准确率如式(3)所示：
(3)
其中：
表示正确分类的病理图像数量，
表示数据集扩充后的图片数据总量。
5.2. 实验策略
将经过处理后的数据集按照训练集、验证集、测试集7:1:2的比例随机进行划分，其中，训练集用于模型训练，包括参数学习；验证集用于模型验证，通过训练不断验证模型的泛化能力并自动微调参数，随时保存最佳模型；测试集用于测试模型的识别率以及泛化能力。此外，训练时需要将所有训练数据打乱后再进行处理。
在实验中，相关参数的设置至关重要，接下来对相关参数的设置进行讨论。在深度学习中，学习率设置过大容易出现损失值爆炸，学习率设置过小会导致过拟合现象，使得网络模型收敛速度慢，通常来说初始学习率以0.1~0.001为宜，因此本研究中初始学习率设为0.01。
对于实验中训练批量和迭代次数的设置中，训练批量过小，会使得网络模型难以收敛，训练批量过大，会使得网络模型陷入局部最优，而且训练批量的增大，达到相同精度所需要的训练批次也会随之增大。综合考虑，本研究的训练批量设为16，迭代次数设为200。综上所述，本研究实验中的相关参数设置如下表2所示。
在本研究中，训练将在二分类任务下进行，即良性，恶性乳腺癌病理学图像分类。
Table 2. Related parameter settings
表2. 相关参数设置
5.3. 实验结果及分析
通过训练集，验证集对本研究提出的基于迁移学习和深度学习的分类模型不断训练和优化，该网络在验证集和训练集中的准确率如下图7所示。通过图像可知，本研究所提出的分类模型在最优处的训练准确率达到83%，验证集的准确率达到74%，二者相差9个百分点。一般情况下，在训练过程中没有对原始数据进行数据预处理和数据增强，会使得训练集上的准确率很高，验证集上的准确率却比较低，且效果不稳定易波动。通过实验可知，对乳腺病理图像进行数据预处理和数据增强可以避免过拟合，提高分类准确率。
Figure 7. The training accuracy and the validation accuracy of the module
图7. 模型的训练准确率和验证准确率
本研究使用三种网络模型分别在乳腺癌病理图像不同放大倍数下进行对比验证实验，三种网络分别是DenseNet，DenseNet + SE以及本研究提出的基于迁移学习和深度学习的分类模型，分别在BreakHis数据集中40×，100×，200×，400×四种放大倍数下进行二分类任务，其实验结果如表3所示。
Table 3. Classification results of the three network models
表3. 三种网络模型分类结果
表3可以看出，本研究提出的基于迁移学习和深度学习的分类模型无论是从患者角度，还是从图片图像角度进行评判，其分类效果相比于改进前的网络模型提高了2%~7%。
另外，以400×放大倍数为例，三种网络模型的分类准确度如下图8所示，本研究所提出的分类模型在DenseNet + SE基础上加入了迁移学习，如图所示，迁移学习为模型提供强大的特征提取能力，对模型分类精度的提高是有作用的。
Figure 8. Experimental classification accuracy at 400× magniation
图8. 400×不同放大倍数下实验分类准确度
三种网络模型的参数量和模型大小如表4所示。
Table 4. Number of parameters and model size of the network models
表4. 网络模型的参数量与模型大小
由表4可知对比实验中三组网络模型的参数和模型大小，与DenseNet和DenseNET + SE相比，我们的模型参数略多，模型尺寸较大，这对于乳腺癌分类取得的改进是可以接受的。
Table 5. Convergence times of the network model
表5. 网络模型的收敛时间
如上表5所示三种网络模型的收敛时间，迁移学习是在较小的训练样本下解决问题的有效方法，利用预先训练的模型提高网络的训练效率和泛化能力。如果没有通过大数据集预先训练CNN网络的权值，初始权值就会随机设置，网络收敛速度会比较慢。在本研究中，我们使用迁移学习方法选择初始化权值，并根据图像进行微调调整，这样可以加快模型训练的网络收敛速度。
6. 结语
本文针对医学病理组织图像复杂多样、数据集规模小的特点提出了一种基于迁移学习和深度学习的医学图像分类方法，该模型将BreakHis乳腺癌组织病理图像分为良性和恶性两类，实验结果表明本研究所提出的方法有效的将迁移学习与深度学习进行结合，使得分类效果相比于改进前的模型有了改进，但是本文不足之处一方面是设计的模型只对乳腺病理组织做简单良性与恶性二分类，不能对乳腺癌所属分级、分型做出鉴别，另一方面本文提出的模型参数略多，模型尺寸较大，未能在这方面对其进性优化，这是未来需要研究的方向。
基金项目
安徽省高校自然科学研究项目(gxyqZ021113)。