深度学习在肝癌病理诊断中的研究进展

Research Progress of Deep Learning in Pathological Diagnosis of Liver Cancer

摘要: 原发性肝癌是对人类健康威胁最大的恶性肿瘤之一，其发病率和死亡率一直居高不下。病理诊断是恶性肿瘤诊断的金标准，传统病理诊断依赖于诊断医生的视觉观测，难以充分利用病理图像信息，并且易受诊断医师主观情绪的影响，深度学习的出现有望弥补这一缺憾。深度学习在图像处理方面具有天然优势，将深度学习方法用于肝癌病理图像分析，可充分利用图像特征，减少病理医生主观感受带来的诊断误差。本文就深度学习在肝癌病理诊断中的应用进展加以归纳总结，以期为后续研究带来启发，推动深度学习辅助医疗应用于临床。

Abstract: Primary hepatic carcinoma is one of the most threatening malignant tumors to human health, and its morbidity and mortality are always high. Pathological diagnosis is the gold standard for the di-agnosis of malignant tumors. Traditional pathological diagnosis relies on the visual observation of diagnostic doctors, which is difficult to make full use of pathological image information, and is easily affected by the subjective emotions of diagnostic doctors. The emergence of deep learning is ex-pected to make up for this shortcoming. Deep learning has natural advantages in image processing. Applying deep learning method to liver cancer pathological image analysis can make full use of im-age features and reduce diagnostic errors caused by pathologists’ subjective feelings. This paper summarizes the application progress of deep learning in the pathological diagnosis of liver cancer, in order to bring inspiration for subsequent research and promote the application of deep learn-ing-assisted medical treatment in clinical practice.

1. 引言

原发性肝癌是指起源于肝细胞或肝内胆管上皮细胞的恶性肿瘤，其病理类型包括肝细胞癌(hepatocellular carcinoma, HCC)、肝内胆管癌以及混合细胞癌，其中HCC占原发性肝癌的90%是最主要的病理类型，我们日常生活中所说的“肝癌”通常指HCC [1] 。HCC的发病率和死亡率双高，是最常见的恶性肿瘤之一，截至2020年，HCC的发病率居全球恶性肿瘤发病顺位的第6位；HCC预后极差，死亡率位居全球癌症相关死亡的第3位，并且呈持续上升趋势 [2] 。HCC早期阶段无明显症状诊断困难，对常规的放、化疗不敏感且术后易复发都是HCC预后较差的原因 [3] 。

人工神经网络(Artificial Neural Network, ANN)构成了各种学习算法的基础，ANN由各种数学公式层相互连接组成，使得ANN有分析复杂非线性关系的能力 [4] 。深度学习(Deep Learning, DL)是由多层人工神经网络组成的复杂人工智能模型，是机器学习算法中的一种，归属于人工智能领域；DL是学习数据的内在规律和表示层次的一种表示学习方法，当模型被输入原始数据，就可以开发出识别模式所需的多层次算法，每个层次通过大量原始的、非线性的操作后被传入下一层，并转换为更高级、更抽象的算法，当操作足够多，就可以学习非常复杂的函数进而处理复杂的数据 [5] 。DL可以应用到大型数据集的处理并随着输入数据的增多而持续改进，随着卷积神经网络(CNN)、全卷积网络(FCN)、循环神经网络(RNN)、生成式对抗网络(GAN)等计算处理能力的提升和算法的蓬勃发展，使得DL模型在准确度上已经大幅超越传统的机器学习 [6] [7] 。与传统机器学习相比，深度学习具有学习能力强、覆盖范围广，适应性好、数据驱动好以及可移植性好等优点 [8] 。目前DL已经在物体识别与检测、图像分类和语音识别等领域有较为成熟的应用 [9] ，DL也逐渐应用于分析各种复杂的高维度的医疗数据，例如使用深度学习直接分析结直肠癌病理切片开发预后生物标志物，用于指导辅助治疗的选择 [10] 、检测乳腺癌女性前哨淋巴结的转移 [11] 、基于面部照片预测冠状动脉疾病风险 [12] 等都表现出了相当不错的准确性。DL可以综合分析肝癌患者的临床资料、实验室检查、影像学参数和病理学图像等数据并从中提取隐藏的非线性关系，找到变量之间的关联并有效准确地做出决策，为肝癌的诊疗提供了新的思路 [13] 。

2. DL辅助肝癌病理诊断

肿瘤标志物(AFP)联合典型的影像检查表现可诊断肝癌，但术后病理诊断也相当重要 [14] 。肝癌病理诊断与鉴别诊断，一直以来都是临床病理的重点与难点，研究者一直在致力于寻找提高诊断率的方法，从人工智能辅助诊断到机器学习辅助诊断，再到DL辅助诊断，随着技术的迭代升级其诊断的准确率也在相应提高。2020年，Wang等人 [15] 构建了一维卷积神经网络，分析HCC切片的高光谱数据，从病理图像上进行无标记肿瘤组织和正常组织识别，在实验中该模型的灵敏度、特异性和受试者工作特征曲线下面积分别为0.871、0.888和0.950，且优于其他模型，有良好的性能表现。同年，Chen等人 [16] 采用基因组数据共享数据库的组织病理学HE染色图片训练神经网络用于肝癌的病理诊断，鉴别肿物的良恶性及分化程度，其肿瘤良恶性鉴别准确率高达96.0%，肿瘤分化程度判断准确率达89.6%，该模型的判断水平表现接近5年经验病理学家的能力；此外该模型还被训练从病理图像上预测预后突变基因，结果显示可以从病理图像中预测CTNNB1，FMN2，TP53和ZFX4预后基因的表达量，说明卷积神经网络可用于协助病理学家对肝癌中的基因突变进行分类和检测。HCC病理诊断的准确性依赖病理学家的经验，为解决这一问题，Feng等人 [17] 在2021年，收集了2015年至2020年间浙江大学医学院附属第一医院592例HCC患者的HE染色病理切片的全玻片图像，根据经验丰富的病理学家手动标注图像，训练深度学习模型，用于HCC的诊断和分类，除测试集数据外，还使用了癌症基因组图谱的157张HCC病理切片数据验证了模型的适应性能，并达到了87.90%的准确率。2022年，Chen等人 [18] ，使用正常肝组织和有HCC的肝组织病理图像训练和验证卷积神经网络分类框架，开发了一种使用迁移学习进行病理图像分类的诊断工具，可用于肝细胞癌和其他癌症病理图像分类，在和人工检查图像的对比中，算法的灵敏度为98.0%和特异性为99.0%，而人类专家的灵敏度在86.0%~97.0%之间，特异性在91.0%~100%之间，模型灵敏度和特异度均高于人工，在用结直肠组织和乳房组织学图像验证该模型的通用性时，学习框架对结直肠癌和乳腺浸润性导管癌进行分类的准确性分别为96.8%和96.0%。肝细胞结节性病变中部分有进展为肝癌的倾向，因此早期对于肝脏结节性疾病的病理诊断就显得尤为重要。目前深度学习可用于辅助肝脏结节性病变的鉴别诊断，2022年，Cheng等人 [19] ，开发深度学习模型，基于全玻片病理学图像对肝细胞结节病变(HNL)进行分类。他们从738名患者的1115张全幻灯片图像中获得213,280个补丁斑块，使用四个深度神经网络(ResNet50、InceptionV3、Xception和Ensemble)训练，最终根据F1评分和曲线下面积值选择了一个最佳模型——肝细胞结节人工智能模型(HnAIM)，在独立的外部验证队列中，曲线下面积为0.935。在活检标本的检测中，与9名病理学家的预测结果进行比较，HnAIM的检测结果优于9位病理学家，并且该模型(HnAIM)在斑块水平识别有显著优势，有助于提高早期HCC的诊断率和HNL患者的风险分层。以上研究表明DL在肝脏病灶识别中有很大的潜力，并且有一定的通用性，在未来应用到多种癌症的诊疗当中有相当大的前景。

3. DL辅助病理分型

原发性肝癌的病理类型包括HCC、ICC以及混合细胞癌，其中HCC是原发性肝癌最常见的病理类型 [1] 。不同病理类型的治疗方式和预后截然不同，其传统病理诊断方法需要经过取材、冷冻、切片、HE染色，然后再由经验丰富的病理学家进行目视分析检查，限制了诊断过程的速度及准确度 [20] 。HCC的准确分类对患者的预后判断和治疗方式选择至关重要，2019年，Lin等人 [21] ，将多光子显微镜和深度学习算法相结合，使用217张组合双光子激发荧光和二次谐波生成图像训练基于VGG-16框架的卷积神经网络，该研究表明多光子显微镜和深度学习结合可以实现针对各种组织、疾病和其他相关分类问题的无标记自动化分类。同样2020年，Kiani等人 [22] ，也开发了能够帮助病理学家在HE染色的全玻片图像上区分HCC和ICC的深度学习模型。该模型在26个WSI的验证集上实现了0.885的准确度，在80个WSI的独立测试集上达到了0.842的准确度，但是在辅助病理学家诊断时，该模型诊断的正确与否，会影响病理学家的诊断准确度，该实验表明，DL模型对病理医师的诊断准确性有着双面的影响，在把计算机辅助技术转化为临床应用还存在一定技术难关需要攻克。在对算法进行升级后，有学者尝试开发能够基于病理切片直接识别细胞成分及空间分布的DL模型，进而区分HCC的各种亚型。2020年，Wang [23] 等人，通过训练多任务深度学习网络，对HE染色切片单细胞进行分割和分类，在确定其准确性后，将模型用于全玻片图像分析细胞核、肿瘤细胞和淋巴细胞之间的空间关系，根据空间关系揭示了三种可重复的组织学亚型，完善了分子分类，该研究还量化了肿瘤与免疫微环境之间的空间关系。2021年，Aatresh [24] 等人，在Togacar等人在已经提出的分类乳腺组织病理学图像的BreastNet架构的基础上改进算法，提出一种深度学习模型，模型能更有效的获取肝脏病理图像数据中的多尺度特征，对HCC肿瘤组织病理学图像进行分类，该架构可以处理各种HCC亚型之间的多类HCC组织病理学图像，与传统人工方法相比其在分辨速度和分类质量上都有显著的提升。

4. DL预测微血管浸润

微血管浸润(MVI)是指癌细胞出现在血管腔内，且数目在50个以上，MVI是HCC术后远期生存率低的重要原因之一 [25] 。目前术前预测MVI的方法主要有像学检查、宏观的肿瘤特点以及血清标志物，但都不能准确判断患者MVI的发生情况。早期发现和治疗MVI对于提高患者远期生存率至关重要，当前基于超声、计算机断层扫描以及磁共振成像的深度学习研究已经开始 [26] [27] [28] ，2021年，Liud等人 [29] ，基于中国医科大学患者的CT图像，利用动脉期(AP期)图像和患者的临床因素(CFs)构建深度学习(ResNet-18)和机器学习(支持向量机)模型，结果显示使用AP图像和患者临床因素构建的ResNet-18模型优于其他模型(AUC 0.845)，在外部集上评估时，模型的AUC为0.777，接近其在验证集上的性能。同年，Zhang等人 [30] 运用3D CNN开发深度学习模型，分析患者术前增强MRI扫描图像，发现基于MRI图像的深度学习模型可预测患者MVI。2022年，Li等人 [31] 回顾性研究纳入1116例术前接受过CECT和根治性肝切除术的HCC患者，基于临床信息、术前CECT和深度卷积神经网络(DCNN)模型预测微血管浸润，训练集中放射组、DCNN组及组合模型的AUC值分别为0.809、0.929、0.94，验证集中分别为0.837、0，865、0.897。以上研究证明了利用深度学习分析患者CT、MRI等影像图像可进行无创MVI预测。

DL结合病理图像能更好的判断MVI，有望成为新的MVI诊断方法。HCC与MVI在病理图像上差异很小识别困难，在2022年，Sun等人 [32] ，为了解决HCC对MVI检测的干扰，根据MVI边界组织病理学特点将CNN方法与视觉转换器相结合，构建深度学习模型(PCformer)，用于识别MVI边界组织病理学图像特征以提高MVI病理检测效率。根据临床统计，约一半以上的HCC患者没有肿瘤周围组织样本，极大的阻碍了MVI的病理识别，为解决这一难题2022年，Chen等人 [33] ，建立了肝癌组织MVI深度学习(MVI-DL)模型，该模型可用组织学全玻片图像(WSI)中的肿瘤组织来评估MVI状态；应用无监督聚类和类激活映射来可视化关键组织学特征，结果表明，丰富血窦、丰富肿瘤基质和高肿瘤内异质性的巨小梁结构与MVI相关，而严重的免疫浸润和高度分化的肿瘤细胞与MVI相关性较小。以上研究表明，DL在MVI的识别尤其是组织病理图像信息不完整的图像识别上展现出巨大的潜力。

5. DL从病理上评估预后

肿瘤病理学包含丰富的信息，例如组织结构、细胞形态、微血管浸润以及部分基因激活状态等 [34] ，利用DL分析相关信息可以反映疾病进展情况和进行预后风险评估。2020年，Saillard等人 [35] ，建立了基于WSI的深度学习模型预测HCC患者手术切除后的生存率。使用预训练的神经网络提取图像特征，第一种(SCHMOWDER)利用深度学习算法分析由病理学家注释过的肿瘤区域，而第二种(CHOWDER)不需要人为干预，在训练集中SCHMOWDER和CHOWDER生存预测的指数分别达到0.78和0.75，两种模型的表现都优于包含与生存相关的所有基线变量的综合评分，并且在TCGA数据库中得到了验证，最后经过病理回顾发现血管间隙和免疫浸润情况等可以用以预测生存率差异。2021年，Shi等人 [36] 构建可解释、弱监督的深度学习模型，分析了中山1125名HCC患者的2451张WSI和TCGA数据库中320名患者的320张WSI，从WSI上分析HCC新的预后表型，建立“肿瘤风险评分(TRS)”来评估患者的预后，生存分析显示，TRS在中山队列(p < 0.0001)和TCGA队列(p = 0.0003)中均是独立的预测因子，其预测能力优于临床分期系统。用风险激活图(RAM)来可视化TRS的病理表型，结果显示毛细血管形成、核仁突出、细胞核/细胞质比值和炎症细胞浸润为TRS的主要指标。该模型基于病理图像为HCC风险分层以及预测预后提供了新的有效手段。2021年，Yamashita等人 [37] 开发并验证了一个深度学习系统(HCC-SurvNet)，该模型能直接从HE染色的WSI中提供患者初次手术切除后疾病复发的风险评分，在内部和外部测试队列上的一致性指数分别为0.724和0.683，超过了标准肿瘤–淋巴结–转移分类系统的性能。该模型可以提供复发风险评分，这可能会增强当前的患者分层方法，并有助于完善接受肝癌初次手术切除的患者的临床管理。

MVI是肝细胞癌(HCC) R0肝切除术后预后的已知危险因素，2022年，Wang等人 [38] ，首先回顾性研究了东方医院2016年1月~12月接受R0肝切除术的肝癌患者，根据MVI面积大小将受试者分为小MVI组和大MVI组，经过对比，发现大MVI组的患者总生存期(OS)更差(p = 0.009)，接着Wang等人基于MVI分期和面积、肿瘤直径以及是否存在肝硬化等危险因素开发了深度学习模型，该模型将最大MVI面积作为其他已知的独立危险因素的附加预后因素，能更准确地预测患有MVI的HCC患者R0肝切除后的总生存期，预测结果优于传统COX风险模型。2022年，Qu等人 [39] 开发了一种新的深度学习模型，根据病理特征预测HCC复发，并研究了病理特征与局部免疫微环境之间的关系。通过弱监督卷积神经网络鉴定了六种类型的HCC组织，构建并验证了复发相关组织学评分(HS)，HS高危组患者术前甲胎蛋白水平升高，肿瘤分化较差，微血管浸润比例较高。通过免疫组织化学数据评估了免疫微环境与HS之间的相关性，结果显示HS与肿瘤周围CD₁₄细胞的表达水平呈正相关(p = 0.013)，与肿瘤内CD₈细胞(p < 0.001)呈负相关。

有研究显示免疫基因过表达以及部分炎症基因激活都与预后相关。为了探究基深度学习的组织病理学联合基因组学的预后能力，2020年，Chen等人 [16] 构建深度学习模型以预测HCC中十个最常见的预后的突变基因，结果显示可以从组织病理学图像中预测CTNNB1，FMN2，TP53和ZFX4四个突变基因，外部验证中AUC在0.71到0.89之间。2022年，Zeng等人 [40] ，也开发了一种能够在病理组织学图像上直接预测是否存在免疫和炎症基因特征性激活的深度学习模型，该模型能够预测6种免疫基因激活，对预测组织区域病理分析显示淋巴细胞、浆细胞和中性粒细胞富集时有高度预测性。以上研究展示了将DL、病理学及基因组学结合可以开发出新的临床预后标志物，能够在简化临床判断预后程序的同时提高准确率。

6. 小结

作为科技飞速发展的产物，深度学习基于其超强的图像信息处理能力在肝脏结节性病变的分类、肝脏病灶的诊断与鉴别诊断、病理分类以及HCC的预后预测上都有相当不错的表现，这表明DL用于肝脏疾病诊疗的适用性，但当前都处于探索阶段，真正把DL用于临床诊疗中的项目很少。未来随着算法的升级，纳入训练中心的增多以及对模型训练次数的增加，深度学习会更好的应用于临床，但是我们不能忽略在构建深度学习算法的时候用于训练的数据集的代表性、对于关键信息人工标注的准确性等都会影响到算法的准确度，这就要求在后续的研究中扩大训练样本数据，尽可能的选择多样的数据库，以及和专业人员合作开发，避免人为因素对模型准确度的影响。

NOTES

^*通讯作者。