1. 引言
随着人们对生命健康的意识提高,人们越来越重视健康。脑健康是影响人体健康的一项重要指标。脑肿瘤中的脑胶质瘤是一种脑疾病。脑胶质瘤是一种常见的原发性颅内肿瘤,起源于神经胶质细胞,占中枢神经系统肿瘤的40%~50%。目前常应用MRI、正电子发射体层成像(PET)和CT等影像方法区别脑胶质瘤与正常脑组织,但基于人类视觉的医学影像分析仅能分辨肿瘤的形态和灰度信息 [1] [2] [3] [4]。近年来发展的基于不同成像的影像组学可以描述生理学、病理学及基因变化等与脑胶质瘤影像异质性相关的深层信息,对胶质瘤的诊断和预测有很好的辅助作用。计算机科学技术的发展对脑胶质瘤的预测起到了很大的推动作用 [5] [6] [7] [8]。计算机科学技术领域的人工智能深度学习模型,能够在医学影像领域挖掘常规影像所不能显示的内部特征,反映脑胶质瘤复杂的异质性信息。而影像组学与传统的长时间、复杂程序性的脑胶质瘤病理组织学检查相比,具有更好的性能,甚至高于传统影像医生的诊断水平 [9]。
生命科学技术的发展与计算机科学技术的发展密不可分,尤其是计算机图像处理与识别技术。通过建立影像与肿瘤异质性、基因表达等信息之间的联系,进而提供更为精准的临床决策。目前脑胶质瘤的影像组学研究基于不同的成像方法,可以提取肿瘤灰度直方图特征、形态特征和表征肿瘤异质性的纹理特征等 [5] - [14],应用于脑胶质瘤的分级和鉴别、预测基因表达及评估生存期和治疗反应等。为提高脑胶质瘤整体治疗中的预测性能,需要使用人工智能的方法辅助医生实现。因此,当前精准和高效的模型在脑胶质瘤的标志预测中应用广泛。本文脑胶质瘤MRI图像特征,采用ResNet50残差神经网络对脑胶质瘤的甲基转移酶进行预测 [7] [8] [10] [11] [12] [15]。
O6-甲基鸟嘌呤-DNA甲基转移酶是一个DNA修复酶,该酶能逆转由烷化剂引起的DNA损伤,导致肿瘤对替莫唑胺和亚硝基脲为基础的化疗产生抵抗。当MGMT的启动子甲基化后则压制了MGMT,使得肿瘤细胞对烷化剂治疗更加敏感 [16] [17]。
2. ResNet模型
2.1. ResNet残差网络
残差网络(ResNet)是在简单网络的基础上,其特点通过插入快捷链接将其转化为对应的残差,其不直接拟合目标,而是拟合残差。
ResNet引入“hortcut connection”,其中包含一个“shortcut connection”的多层网络被称为一个残差块(shortcut connection,即图1中右侧从x到⨁的箭头)。若模型是在函数F(x)的空间寻参,那么残差网络就是在x + f(x)的空间寻参。其中,输入X,分为两路,X为恒等映射,F(X)为残差映射,两者求和进入激活函数,再输出Relu (F(X) + X) (图1所示)。
其中,F(X)与X相加时,格式必须相同,若F(X)的数据维数变化(如stride > 1降维),则X也需要进行相应的变化(如对X做1 × 1的卷积)。求F(X)残差的卷积均使用3 × 3 conv,下采样维数降了一半。由于恒等映射X的存在,反向传播时,梯度可以从深层直接给到浅层,避免了梯度消失与爆炸。
2.2. ResNet模型
ResNet具有以下优点:
1) 将靠前若干层的某一层数据输出直接跳过多层引入到后边的输出部分。意味着后面的特征层的内容会有一部分由前面的某一层贡献。
2) ResNet提高了深度加深时的效率和准确度。
广泛应用的是ResNet34、ResNet50和ResNet101,模型参数如表1所示。
由表1可知,网络层数与处理速度、精度都具有很大关系,层数越大的计算量越大,精度越高,而ResNet101层数过多,过度在意细节而忽略整体,因此本文选择选择ResNet50对脑胶质瘤重要生物标志物进行检测。
2.3. ResNet50
ResNet50网络结构主要包括以下几部分:
1) Identity Block:输入和输出的维度相同,可以串联多个,可直接相加,维度不变(input shape = output shape)。
表1. 应用较广泛的ResNet模型 [7] [8] [10] [11]
2) Conv Block:输入和输出的维度是不一样的,不能连续串联,它的作用本来就是为了改变特征向量的维度不能连续串联,以让维度相等然后相加改变维度(input shape! = output shape)。
3) 残差:观测值与估计值之间的差。需求解的映射为:H(x)求解网络的残差映射函数,也就是F(x),其中F(x) = H(x) − x。这里H(x)就是观测值,x就是估计值(也就是上一层ResNet输出的特征映射)。
3. ResNet50脑胶质瘤生物标志预测
3.1. 脑胶质瘤生物遗传标志特征
生物遗传标志的检测主要依据核磁共振图像MRI。不同MRI序列下病灶部位的表现形式不同。T1序列主要用于观察解剖结构,T2序列用于确定病变部位信息,Flair序列用于观察病变部位周遭情况,T1CE序列用于观察肿瘤内部情况,鉴别肿瘤与非肿瘤性病变。
如图2所示Flair图像,在T2中能抑制脑脊液的高信号(使脑脊液变暗),从而让邻近脑脊液的病灶显示清楚(变亮)。Flair序列与T2序列相比,能很好地表现肿瘤部位周遭情况,清晰的表现出浮肿区域。
在T1图像中,短的弛豫时间导致明亮的对比,在一定范围内也与造影剂浓度正相关。如图3所示。
T1CE序列是在做MR之前往血液打造影剂(颜料),亮的地方血供丰富,强化显示说明血流丰富,而肿瘤部位正是血流很快的部位,进一步显示肿瘤内情况,鉴别肿瘤与非肿瘤性病变(也就是坏疽部位)如图4所示。
T2通过长TR和长TE的扫描序列来取得。用T2加权像可以显示病变部位出现大量水的聚集因此,T2加权像在确定病变范围上有重要的作用。如图5所示。
基于不同MRI图像中脑图像的特征,脑胶质瘤重要生物遗传标志(甲基转移酶)根据以上特征在ResNet中进行处理。
3.2. 脑胶质瘤甲基转移酶标志检测
本文以流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部MRI图像为研究对象。
Figure 6. Detection of methyltransferase marker in glioma based on ResNet
图6. 基于ResNet脑胶质瘤甲基转移酶标志检测
首先,选择数据集,实验使用两个用于脑肿瘤检测的基准数据库:Test以及 rsna-miccai-brain-tumor-radiogenomic-classification-privateleaderboard数据集。Test数据集是来自300名胶质瘤患者的脑肿瘤图像合集,其中训练集包含未知级别的患者的图像。数据标签共4类,即流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部MRI图像。
其次,重点读取T1CE的MRI图像。通过改变图像的宽和高,将图片转化为数组,对图像进行归一化等操作对数据集进行预处理。
再次,依据T1看解剖结构,T2看病灶的特点,将这四种数据结果图输入到ResNet50模型,经过如图6处理,再经过1024 × 1000的FC层(Fully Connected,全连接层),使用BN (Batch Normalization,数据归一化方法)加快模型训练时收敛速度,稳定训练过程 [4] [15],最终用softmax函数输出1000类的概率值的概率值。
最后,输出ResNet50模型检测检测到脑胶质瘤基因的O6-甲基⻦瞟-DNA甲基转移酶标志。
基于ResNet脑胶质瘤甲基转移酶标志检测具体处理过程为输入图像、数据分析、目录和读取目录下文件。为了方便处理图像和分析,进行库的格式转换,实验将图像分析成数据后用构建神经网络对输入的图像解析出的数据再分析。实验同时构建高层神经网络模型进行图像分析和数据统计。将此模型的预训练输出,随后加载数据集定义DICOM数据,读取DICOM数据将数据转化成数组。创造训练集后分析,构建模型,编译创建好的模型,而后储存,进行调用。接下来对图形进行更改设置图像标题比例生成图框,便于调用准备好的模型进行测试。
4. 实验分析
4.1. 数据集及实验环境
实验数据来源于Predict the status of a genetic biomarker important for brain cancer treatment。其中包括患者的脑部dicom图像,流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部MRI图像,数据量的总大小为136.85 GB,数据集类型分为95%的训练集和5%的测试集。实验所用的两个预处理文件中用于脑肿瘤检测的来自300名胶质瘤患者的脑肿瘤图像合集和未知级别的患者脑肿瘤图像合集导入到ResNet50模型中,读取相关数据后将数据转化成数组并创造训练集。实验在python环境下运行,硬件为Intel® Core™ i7 Standard Voltage Processors i7-12650H,10核;核心频率:2.30 GHz;内存:16 GB DDR5;显卡:RTX 3050;64位Windows操作系统。
4.2. 结果分析
本实验采用ResNet50模型进行分批次多次重复循环实验,分别经过10轮、20轮、50轮、100轮测试(如表2)最后得到相应的实验结果。从实验结果可知分批次多次重复循环减少了实验数据过少以及实验次数过多从而导致的梯度消失与梯度爆炸问题,可尽可能地保证数据的精确度。用训练集进行实验得到的实验结果显示脑胶质瘤切片图像准确率和损失率变化曲线,当在10个epoch训练集的结果可知,数据的精度是随着epoch个数的增加在从0.407逐步提高到0.578,而在前第4个epoch模型看出损失率迅速减少从0.98减少至0.82,效果较为明显,4个epoch模型后逐渐平稳。当在20个epoch训练集中训练,随着epoch个数的增加损失率从0.98持续下降到0.436,准确率在第8个epoch模型迅速上升到0.578,并持续上升至0.784。当在50个epoch训练集中训练,在第10个epoch模型准确率迅速上升,效果较为明显,在第30个epoch模型时开始收敛,损失率在前30个epoch模型呈迅速减小趋势,而后逐渐平稳,收敛速度较快,最后收敛于0.824;与之相对应的损失率则是随着epoch个数的增加逐步震荡下降,最后下降至0.309。当在100个epoch训练集中训练,从0~30个epoch模型准确率迅速从0.521上升至0.805,效果较为明显,而在30个epoch模型之后的准确率出现缓慢上升,最终在接近于70个epoch时开始收敛,最终准确率稳定在0.835;损失率的变化在前30个epoch呈迅速减小的趋势,震荡幅度在接近40个epoch后逐渐平稳,收敛速度较快,最后收敛于0.268。
在测试集中87个样本完成对基于上述训练集下得到的ResNet50残差网络模型的测试,测试结果如表2。
Table 2. Experimental results of 100 epoch test sets
表2. 100个epoch测试集的实验结果
表2中的BraTS21ID为测试集,甲基转移酶(MGMT)值表示模型对测试集中的图像检测状态的准确率。根据多轮实验可看出10~50轮训练次数少,准确值不稳定,而表2可知,在整个抽样后组成的BraTS21ID测试集上使用Resnet50模型进行测试的输出结果准确率都在0.8以上,只有三张病理图像预测的准确率在0.78 ± 0.1浮动。结果表明基于ResNet50的残差网络模型的深度学习网络能有效地检测MGMT(O6-甲基鸟瞟-DNA甲基转移酶——MGMT基因甲基化不仅是脑胶质瘤重要的发病机制,能有效检测个体化治疗的潜在靶点状态,为脑胶质瘤治疗中的重要生物遗传标志的状态预测提供有效帮助。
5. 结语
本文基于ResNet50残差网络模型获得更高效的察觉脑胶质瘤MRI图像中甲基转移酶(MGMT)检测精度。本文为证明本文方法的有效性,分别使用了不同MRI图像流体衰减反转恢复(Flair),T1加权预对比度(T1),T1加权造影后(T1CE),T2加权(T2)四种脑部DICOM图像。本文仅在脑胶质瘤MRI检测任务上验证了本文方法的有效性,并未在新增的不确定性评估任务上进行研究。在后续工作中,将使用ResNet50网络模型来有效利用3D图像数据,对肿瘤像素点的不确定性评估任务进行尝试,从而进一步提升脑胶质瘤甲基转移酶(MGMT)重要生物标志的检测精度。
虽然ResNet50残差神经网络在提升脑胶质瘤甲基转移酶(MGMT)重要生物标志的检测的图像处理领域取得了突破性的进展,并且将准确率精确至0.8以上,但是仍然面临离不开大规模的高质量精确标注数据集的支持这一问题。ResNet50网络学习需要大量的图像数据,但绝大多数图像数据缺乏有效的数据标注且数量有限,而ResNet50模型对于稀疏标注或未标注数据进行学习,ResNet50模型的完成过程相对简单且模型的泛化能力较弱。因此优质的数据源和好的数据标注非常重要,如何实现在标注数据集不完善的情况下进行弱监督学习,在ResNet50图像处理未来的研究中具有重要意义。
NOTES
*通讯作者。