基于ResNet50的脑胶质瘤甲基转移酶生物标志检测
Glioma Methyltransferase Biogenetic Markers Detection Based on ResNet50
DOI: 10.12677/ACM.2022.1291264, PDF, HTML, XML, 下载: 385  浏览: 642 
作者: 苏庆华, 张一晨*, 杨翼臣, 赫英男:北京物资学院信息学院,北京;刘 瑶:中科院计算机技术研究所,北京;杨学东*:中国中医科学院广安门医院,北京
关键词: 脑胶质瘤甲基转移酶图像处理模型分类ResNet50Glioma Methyltransferase Image Processing Model Classification ResNet50
摘要: 生命科学和计算机科学技术的迅猛发展不仅带动了人们对肿瘤疾病机制的认识,而且随着人工智能、机器学习技术的成熟,在治疗方面也提高了脑部治疗的精准程度。脑癌的肿瘤标志物——甲基转移酶是判断脑部肿瘤良恶的检查标志。为提高重要生物遗传标志状态,解决生物遗传标志的预测问题,本文采用ResNet网络对脑癌治疗中重要生物遗传标志的状态检测,通过对公开的脑胶质瘤重要生物遗传标志数据集进行分析,对重要生物遗传标志特征进行分析,通过对数据模型进行训练,并在测试集进行实验验证,实验结果表明该方法能有效检测遗传标志。
Abstract: The rapid development of life science, computer science and technology not only promotes the un-derstanding of people’s tumor disease mechanism, but also improves the accuracy of brain treat-ment with the maturity of artificial intelligence and machine learning technology. Methyltransfer-ase—a tumor biogenetic marker of brain disease, is an examination marker to judge whether Glio-ma is good or bad. In order to improve the status of important biogenetic markers and solve the prediction problem of biogenetic markers, this paper uses ResNet network to segment the status of important biogenetic markers in brain cancer treatment, analyzes the data set of important bioge-netic markers of glioma, and analyzes the characteristics of important biogenetic markers. Experi-mental results show that this method can effectively segment genetic markers.
文章引用:苏庆华, 张一晨, 杨翼臣, 赫英男, 刘瑶, 杨学东. 基于ResNet50的脑胶质瘤甲基转移酶生物标志检测[J]. 临床医学进展, 2022, 12(9): 8756-8764. https://doi.org/10.12677/ACM.2022.1291264

1. 引言

随着人们对生命健康的意识提高,人们越来越重视健康。脑健康是影响人体健康的一项重要指标。脑肿瘤中的脑胶质瘤是一种脑疾病。脑胶质瘤是一种常见的原发性颅内肿瘤,起源于神经胶质细胞,占中枢神经系统肿瘤的40%~50%。目前常应用MRI、正电子发射体层成像(PET)和CT等影像方法区别脑胶质瘤与正常脑组织,但基于人类视觉的医学影像分析仅能分辨肿瘤的形态和灰度信息 [1] [2] [3] [4]。近年来发展的基于不同成像的影像组学可以描述生理学、病理学及基因变化等与脑胶质瘤影像异质性相关的深层信息,对胶质瘤的诊断和预测有很好的辅助作用。计算机科学技术的发展对脑胶质瘤的预测起到了很大的推动作用 [5] [6] [7] [8]。计算机科学技术领域的人工智能深度学习模型,能够在医学影像领域挖掘常规影像所不能显示的内部特征,反映脑胶质瘤复杂的异质性信息。而影像组学与传统的长时间、复杂程序性的脑胶质瘤病理组织学检查相比,具有更好的性能,甚至高于传统影像医生的诊断水平 [9]。

生命科学技术的发展与计算机科学技术的发展密不可分,尤其是计算机图像处理与识别技术。通过建立影像与肿瘤异质性、基因表达等信息之间的联系,进而提供更为精准的临床决策。目前脑胶质瘤的影像组学研究基于不同的成像方法,可以提取肿瘤灰度直方图特征、形态特征和表征肿瘤异质性的纹理特征等 [5] - [14],应用于脑胶质瘤的分级和鉴别、预测基因表达及评估生存期和治疗反应等。为提高脑胶质瘤整体治疗中的预测性能,需要使用人工智能的方法辅助医生实现。因此,当前精准和高效的模型在脑胶质瘤的标志预测中应用广泛。本文脑胶质瘤MRI图像特征,采用ResNet50残差神经网络对脑胶质瘤的甲基转移酶进行预测 [7] [8] [10] [11] [12] [15]。

O6-甲基鸟嘌呤-DNA甲基转移酶是一个DNA修复酶,该酶能逆转由烷化剂引起的DNA损伤,导致肿瘤对替莫唑胺和亚硝基脲为基础的化疗产生抵抗。当MGMT的启动子甲基化后则压制了MGMT,使得肿瘤细胞对烷化剂治疗更加敏感 [16] [17]。

2. ResNet模型

2.1. ResNet残差网络

残差网络(ResNet)是在简单网络的基础上,其特点通过插入快捷链接将其转化为对应的残差,其不直接拟合目标,而是拟合残差。

ResNet引入“hortcut connection”,其中包含一个“shortcut connection”的多层网络被称为一个残差块(shortcut connection,即图1中右侧从x到⨁的箭头)。若模型是在函数F(x)的空间寻参,那么残差网络就是在x + f(x)的空间寻参。其中,输入X,分为两路,X为恒等映射,F(X)为残差映射,两者求和进入激活函数,再输出Relu (F(X) + X) (图1所示)。

Figure 1. ResNet residual block

图1. ResNet残差块

其中,F(X)与X相加时,格式必须相同,若F(X)的数据维数变化(如stride > 1降维),则X也需要进行相应的变化(如对X做1 × 1的卷积)。求F(X)残差的卷积均使用3 × 3 conv,下采样维数降了一半。由于恒等映射X的存在,反向传播时,梯度可以从深层直接给到浅层,避免了梯度消失与爆炸。

2.2. ResNet模型

ResNet具有以下优点:

1) 将靠前若干层的某一层数据输出直接跳过多层引入到后边的输出部分。意味着后面的特征层的内容会有一部分由前面的某一层贡献。

2) ResNet提高了深度加深时的效率和准确度。

广泛应用的是ResNet34、ResNet50和ResNet101,模型参数如表1所示。

表1可知,网络层数与处理速度、精度都具有很大关系,层数越大的计算量越大,精度越高,而ResNet101层数过多,过度在意细节而忽略整体,因此本文选择选择ResNet50对脑胶质瘤重要生物标志物进行检测。

2.3. ResNet50

ResNet50网络结构主要包括以下几部分:

1) Identity Block:输入和输出的维度相同,可以串联多个,可直接相加,维度不变(input shape = output shape)。

表1. 应用较广泛的ResNet模型 [7] [8] [10] [11]

2) Conv Block:输入和输出的维度是不一样的,不能连续串联,它的作用本来就是为了改变特征向量的维度不能连续串联,以让维度相等然后相加改变维度(input shape! = output shape)。

3) 残差:观测值与估计值之间的差。需求解的映射为:H(x)求解网络的残差映射函数,也就是F(x),其中F(x) = H(x) − x。这里H(x)就是观测值,x就是估计值(也就是上一层ResNet输出的特征映射)。

3. ResNet50脑胶质瘤生物标志预测

3.1. 脑胶质瘤生物遗传标志特征

生物遗传标志的检测主要依据核磁共振图像MRI。不同MRI序列下病灶部位的表现形式不同。T1序列主要用于观察解剖结构,T2序列用于确定病变部位信息,Flair序列用于观察病变部位周遭情况,T1CE序列用于观察肿瘤内部情况,鉴别肿瘤与非肿瘤性病变。

图2所示Flair图像,在T2中能抑制脑脊液的高信号(使脑脊液变暗),从而让邻近脑脊液的病灶显示清楚(变亮)。Flair序列与T2序列相比,能很好地表现肿瘤部位周遭情况,清晰的表现出浮肿区域。

在T1图像中,短的弛豫时间导致明亮的对比,在一定范围内也与造影剂浓度正相关。如图3所示。

T1CE序列是在做MR之前往血液打造影剂(颜料),亮的地方血供丰富,强化显示说明血流丰富,而肿瘤部位正是血流很快的部位,进一步显示肿瘤内情况,鉴别肿瘤与非肿瘤性病变(也就是坏疽部位)如图4所示。

T2通过长TR和长TE的扫描序列来取得。用T2加权像可以显示病变部位出现大量水的聚集因此,T2加权像在确定病变范围上有重要的作用。如图5所示。

Figure 2. Flair image

图2. Flair图像

Figure 3. T1 image

图3. T1图像

Figure 4. T1CE image

图4. T1CE图像

Figure 5. T2 image

图5. T2图像

基于不同MRI图像中脑图像的特征,脑胶质瘤重要生物遗传标志(甲基转移酶)根据以上特征在ResNet中进行处理。

3.2. 脑胶质瘤甲基转移酶标志检测

本文以流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部MRI图像为研究对象。

Figure 6. Detection of methyltransferase marker in glioma based on ResNet

图6. 基于ResNet脑胶质瘤甲基转移酶标志检测

首先,选择数据集,实验使用两个用于脑肿瘤检测的基准数据库:Test以及 rsna-miccai-brain-tumor-radiogenomic-classification-privateleaderboard数据集。Test数据集是来自300名胶质瘤患者的脑肿瘤图像合集,其中训练集包含未知级别的患者的图像。数据标签共4类,即流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部MRI图像。

其次,重点读取T1CE的MRI图像。通过改变图像的宽和高,将图片转化为数组,对图像进行归一化等操作对数据集进行预处理。

再次,依据T1看解剖结构,T2看病灶的特点,将这四种数据结果图输入到ResNet50模型,经过如图6处理,再经过1024 × 1000的FC层(Fully Connected,全连接层),使用BN (Batch Normalization,数据归一化方法)加快模型训练时收敛速度,稳定训练过程 [4] [15],最终用softmax函数输出1000类的概率值的概率值。

最后,输出ResNet50模型检测检测到脑胶质瘤基因的O6-甲基⻦瞟-DNA甲基转移酶标志。

基于ResNet脑胶质瘤甲基转移酶标志检测具体处理过程为输入图像、数据分析、目录和读取目录下文件。为了方便处理图像和分析,进行库的格式转换,实验将图像分析成数据后用构建神经网络对输入的图像解析出的数据再分析。实验同时构建高层神经网络模型进行图像分析和数据统计。将此模型的预训练输出,随后加载数据集定义DICOM数据,读取DICOM数据将数据转化成数组。创造训练集后分析,构建模型,编译创建好的模型,而后储存,进行调用。接下来对图形进行更改设置图像标题比例生成图框,便于调用准备好的模型进行测试。

4. 实验分析

4.1. 数据集及实验环境

实验数据来源于Predict the status of a genetic biomarker important for brain cancer treatment。其中包括患者的脑部dicom图像,流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部MRI图像,数据量的总大小为136.85 GB,数据集类型分为95%的训练集和5%的测试集。实验所用的两个预处理文件中用于脑肿瘤检测的来自300名胶质瘤患者的脑肿瘤图像合集和未知级别的患者脑肿瘤图像合集导入到ResNet50模型中,读取相关数据后将数据转化成数组并创造训练集。实验在python环境下运行,硬件为Intel® Core™ i7 Standard Voltage Processors i7-12650H,10核;核心频率:2.30 GHz;内存:16 GB DDR5;显卡:RTX 3050;64位Windows操作系统。

4.2. 结果分析

本实验采用ResNet50模型进行分批次多次重复循环实验,分别经过10轮、20轮、50轮、100轮测试(如表2)最后得到相应的实验结果。从实验结果可知分批次多次重复循环减少了实验数据过少以及实验次数过多从而导致的梯度消失与梯度爆炸问题,可尽可能地保证数据的精确度。用训练集进行实验得到的实验结果显示脑胶质瘤切片图像准确率和损失率变化曲线,当在10个epoch训练集的结果可知,数据的精度是随着epoch个数的增加在从0.407逐步提高到0.578,而在前第4个epoch模型看出损失率迅速减少从0.98减少至0.82,效果较为明显,4个epoch模型后逐渐平稳。当在20个epoch训练集中训练,随着epoch个数的增加损失率从0.98持续下降到0.436,准确率在第8个epoch模型迅速上升到0.578,并持续上升至0.784。当在50个epoch训练集中训练,在第10个epoch模型准确率迅速上升,效果较为明显,在第30个epoch模型时开始收敛,损失率在前30个epoch模型呈迅速减小趋势,而后逐渐平稳,收敛速度较快,最后收敛于0.824;与之相对应的损失率则是随着epoch个数的增加逐步震荡下降,最后下降至0.309。当在100个epoch训练集中训练,从0~30个epoch模型准确率迅速从0.521上升至0.805,效果较为明显,而在30个epoch模型之后的准确率出现缓慢上升,最终在接近于70个epoch时开始收敛,最终准确率稳定在0.835;损失率的变化在前30个epoch呈迅速减小的趋势,震荡幅度在接近40个epoch后逐渐平稳,收敛速度较快,最后收敛于0.268。

在测试集中87个样本完成对基于上述训练集下得到的ResNet50残差网络模型的测试,测试结果如表2

Table 2. Experimental results of 100 epoch test sets

表2. 100个epoch测试集的实验结果

表2中的BraTS21ID为测试集,甲基转移酶(MGMT)值表示模型对测试集中的图像检测状态的准确率。根据多轮实验可看出10~50轮训练次数少,准确值不稳定,而表2可知,在整个抽样后组成的BraTS21ID测试集上使用Resnet50模型进行测试的输出结果准确率都在0.8以上,只有三张病理图像预测的准确率在0.78 ± 0.1浮动。结果表明基于ResNet50的残差网络模型的深度学习网络能有效地检测MGMT(O6-甲基鸟瞟-DNA甲基转移酶——MGMT基因甲基化不仅是脑胶质瘤重要的发病机制,能有效检测个体化治疗的潜在靶点状态,为脑胶质瘤治疗中的重要生物遗传标志的状态预测提供有效帮助。

5. 结语

本文基于ResNet50残差网络模型获得更高效的察觉脑胶质瘤MRI图像中甲基转移酶(MGMT)检测精度。本文为证明本文方法的有效性,分别使用了不同MRI图像流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部DICOM图像。本文仅在脑胶质瘤MRI检测任务上验证了本文方法的有效性,并未在新增的不确定性评估任务上进行研究。在后续工作中,将使用ResNet50网络模型来有效利用3D图像数据,对肿瘤像素点的不确定性评估任务进行尝试,从而进一步提升脑胶质瘤甲基转移酶(MGMT)重要生物标志的检测精度。

虽然ResNet50残差神经网络在提升脑胶质瘤甲基转移酶(MGMT)重要生物标志的检测的图像处理领域取得了突破性的进展,并且将准确率精确至0.8以上,但是仍然面临离不开大规模的高质量精确标注数据集的支持这一问题。ResNet50网络学习需要大量的图像数据,但绝大多数图像数据缺乏有效的数据标注且数量有限,而ResNet50模型对于稀疏标注或未标注数据进行学习,ResNet50模型的完成过程相对简单且模型的泛化能力较弱。因此优质的数据源和好的数据标注非常重要,如何实现在标注数据集不完善的情况下进行弱监督学习,在ResNet50图像处理未来的研究中具有重要意义。

NOTES

*通讯作者。

参考文献

[1] 王沛沛, 宋曼莉, 张文华, 赵国桦, 白洁, 程敬亮. 脑胶质瘤MRI纹理特征的稳健性[J]. 中国医学影像学杂志 2021, 29(5): 519-524.
[2] 张斌, 薛彩强, 林晓强, 景梦园, 邓靓娜, 韩涛, 等. 深度学习在脑胶质瘤影像学的研究进展[J]. 中国医学物理学杂志, 2021, 38(8): 1048-1052.
[3] 夏峰, 邵海见, 邓星. 融合跨阶段深度学习的脑肿瘤MRI图像分割[J]. 中国图像图形学报, 2022, 27(3): 873-884.
[4] 陈弘扬, 高敬阳, 赵地, 汪红志, 宋红, 苏庆华. 深度学习与生物医学图像分析2020年综述[J]. 中国图像图形学报, 2021, 26(3): 475-486.
[5] 黄永, 冯克杰. 基于三维全卷积DenseNet的脑胶质瘤MRI分割[J]. 南方医科大学学报, 2018, 38(6): 661-668.
[6] 陈素华, 杨军, 韩鸿宾, 崔德华, 孙建军, 马长城, 等. 弥散张量成像联合虚拟现实三维重建在功能区胶质瘤手术中的应用[J]. 北京大学学报(医学版), 2019, 51(3): 530-535.
[7] Hossain, B., Hasan Sazzad Iqbal, S.M., Islam, M., Akhtar, N. and Sarker, I.H. (2022) Transfer Learning with Fine-Tuned Deep CNN ResNet50 Model for Classifying COVID-19 from Chest X-Ray Images. Informatics in Medicine Unlocked, 30, Article ID: 100916.
https://doi.org/10.1016/j.imu.2022.100916
[8] 刘珂, 王奇政, 陈永晔, 秦思源, 张洋, 张恩龙, 等. 基于ResNet50深度学习模型鉴别脊柱良恶性骨折[J]. 临床放射学杂志, 2021, 40(12): 2350-2355.
[9] Wu, W., Li, J., Ye, J., Wang, Q., Zhang, W. and Xu, S. (2021) Differentiation of Glioma Mimicking Encephalitis and Encephalitis Using Multiparametric MR-Based Deep Learning. Frontiers in Oncology, 11, Article ID: 639062.
https://doi.org/10.3389/fonc.2021.639062
[10] Bolhassani, M. (2021) Transfer Learning Approach to Classify the X-Ray Image That Corresponds to Corona Disease Using ResNet50 pretrained by ChexNet.
[11] Alghamdi, H.S., Amoudi, G., Elhag, S., Saeedi, K. and Nasser, J. (2020) Deep Learning Approaches for Detecting COVID-19 from Chest X-Ray Images: A Survey. JMIR Preprints, Article ID: 26506.
https://doi.org/10.2196/preprints.26506
[12] Luetkens, J.A., Nowak, S., Mesropyan, N., Block, W., Praktiknjo, M., Chang, J., et al. (2022) Deep Learning Supports the Differentiation of Alcoholic and Other-than-Alcoholic Cirrhosis Based on MRI. Scientific Reports, 12, Article No. 8297.
https://doi.org/10.1038/s41598-022-12410-2
[13] Zhang, B.W. and Han, B. (2021) Simultaneous Bilateral Distinct Parotid Tumors: A Case Report. West China Journal of Sto-matology, 39, 612-615.
[14] Wang, S.L., Gao, Y.X., Zhang, H.W., Yang, H.-B., Li, H., Li, Y., et al. (2022) Clinical Analysis of 30 Cases of Basal Ganglia Germinoma in Children. Journal of Peking University (Health Sciences), 54, 222-226.
[15] 苏庆华, 张姗姗, 蔡磊, 谷焓, 李奕飞, 俞戈昊, 等. 基于三维分类网络的前列腺辅助诊断[J]. 中国数字医学, 2019, 14(3): 18-21.
[16] Yin, Y., Li, H., Yang, C., Zhang, M., Huang, X., Li, M., et al. (2022) Detection of DNA Methylation of HYAL2 Gene for Differentiating Malignant from Benign Thyroid Tumors. Journal of Southern Medical University, 42, 123-129.
[17] 潘勤, 李炜, 佟建州, 贺建辉, 吴红记, 甘宁, 等. O6-甲基鸟嘌呤-DNA甲基转移酶在脑胶质瘤的表达及其临床意义[J]. 中国药业, 2012, 21(14): 35-37.