基于眼球特征提取的甲状腺眼病预测方法研究

Research on Prediction Method of Thyroid-Associated Ophthalmopathy Based on Eyeball Feature Extraction

摘要: 目的：眼球突出度的计算对甲状腺相关性眼病(Thyroid-Associated Ophthalmopathy, TAO)诊断非常有价值，但受限于传统眼球突出度测量工具的缺陷和眼科医生主观上的诊断差异，从CT影像中提取的多种特征对TAO进行预测可以避免上述误差。方法：使用深度学习方法建立眼球分割模型，从CT影像中分割出眼球，设计算法进行自动化测量眼球突出度，对眼球分割结果进行影像组学特征提取，利用不同特征组合对TAO进行预测，并观察比较结果差异。结果：眼球分割模型在测试集上的分割Dice系数为0.935，使用自动算法测量的眼球突出度与提取的眼球影像组学特征结合共同预测TAO的准确率优于单独使用眼球突出度或单独使用眼球组学特征对TAO进行预测的准确率。结论：自动化眼球突出度测量与影像组学特征结合高于单项指标预测效能，基于眼球影像特征提取对预测TAO的结果证明CT影像上不能被眼科医生直接发现的影像组学特征信息对预测结果有正面作用。

Abstract: Objective: The calculation of proptosis is very valuable for the diagnosis of Thyroid-Associated Ophthalmopathy (TAO), but limited by the insufficiency of traditional tools for measuring exophthalmos and the subjective diagnostic differences of ophthalmologists. The various features extracted from CT images in this paper are useful for TAO to make predictions. Methods: A deep learning method was used to establish an eyeball segmentation model, and the eyeballs were segmented from CT images. An algorithm was designed to automatically measure the exophthalmos, and extract the features of eyeball segmentation results. Different feature combinations were used to predict TAO, and then observed and compared the difference in results. Results: The segmentation dice of the eye segmentation model on the test set was 0.935. The combination of the exophthalmos measured by the automatic algorithm and the extracted radiomic features together predicted the accuracy of TAO better than the exophthalmos or the radiomic features alone. Conclusion: The combination of automated proptosis measurement and radiomic features is higher than the prediction performance of a single index, and the prediction of TAO based on feature extraction proves that the radiomic features information on CT images that cannot be directly discovered by ophthalmologists has a positive effect on the prediction results.

1. 引言

TAO是眼眶疾病的主要类型之一 [1]，我国TAO规范化诊疗发展较晚，尚不具有符合循证医学原则、经随机对照临床试验验证的诊疗规范。TAO患者生活质量得分低于糖尿病、肺气肿、心力衰竭患者，给患者家庭和社会带来了沉重的负担 [2]。众多TAO患者出现突眼症状，主要是指眼球向前移位突出，出现异常突出的状况，而对于眼球突出度这项重要指标的测量，目前临床使用Hertel眼球突出计 [3] 测量方法时因患者外眦部水肿、皮肤敏感等局限导致测量位置变化、操作者读数误差、患者配合度等因素的干扰，存在较大的误差 [4]。精确描述眼球位置是选择治疗措施与评估TAO的重要指标 [5]，但目前缺少眼球突出度自动化测量与TAO自动预测的工具。

综上，为了尽可能减少人工工作，本研究基于CT影像结合深度学习模型实现了从CT影像上自动计算眼球突出度和提取眼球影像组学特征对TAO进行预测。首先，利用眼球分割模型从CT影像上精准分割眼球，自动化眼球突出度计算模型利用眼球分割结果与CT原始影像计算眼球突出度，影像组学特征提取模型从眼球分割结果提取眼球影像组学特征，最后将多种指标输入TAO预测模型来进行预测。流程如图1所示。

Figure 1. Research process of thyroid-associated ophthalmopathy prediction method based on eyeball feature extraction

图1. 基于眼球特征提取的甲状腺眼病预测方法研究流程

2. 资料与方法

2.1. 研究对象

选用的TAOCT数据集是来自上海交通大学医学院附属第九人民医院2020~2021年之间医院1521位患者脱敏后的连续眼部CT扫描影像，其中有801位正常人影像，720位TAO患者影像。为了测试对学习器的泛化误差进行评估，需要使用一个测试集来测试模型对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似 [6]。在全体数据中随机选出100位患者的CT影像用来训练眼球分割模型部分，其中80名患者的CT影像作为训练集，其余20名患者的CT影像作为测试集，对于眼球标签的制作，我们邀请经验丰富的眼科医生数据进行规范化的眼球标注，将其每个扫描序列的眼球区域进行逐层标注后作为标签通过患者名称与其CT影像相对应起来。剩下1421名患者的CT影像用于TAO预测环节。

2.2. 眼球分割

在生物医学图像标注领域，我们总是需要具有相关知识的专家对每一幅图像进行标注，这不仅过程繁琐且需要花费大量的时间来注释。自动化眼球分割过程可以减少人工操作的繁琐步骤，同时降低时间成本，同时它可以作为一个辅助角色来减少人工的错误。与繁琐的人工法不同，我们选用深度学习的方法来解决临床问题 [7]，实现从CT影像中自动提取眼球区域。使用3D U-Net网络是一个最初用于开发生物影响分割的卷积神经网络 [8]，是生物医学图像分割领域著名的全卷积网络(FCN)之一。它由两部分组成(图2)，左边是为了捕获特征的下采样路径，由于医学影像体积庞大，我们将原长宽为512 × 512的图像分块输入网络，经过五次卷积和池化，图像尺寸由128 × 128 × 32变为8 × 8 × 2。右边是上采样过程，通过上采样和反卷积与下采样部分对应的每层特征图进行通道熵的连接，经过5次上采样可以得到一个与输入图像尺寸相同的预测结果。

Figure 2. 3DU-net network structure diagram, the left side is the down sampling process and the right side is the up sampling process

图2. 3DU-net网络结构图，左侧为下采样过程，右侧是上采样过程

对于眼球的分割结果，在头部横断面扫描影像中，由于眼球外存在少量类似眼球轮廓的区域，分割网络会将其误判为眼球，发生细微过度分割的情况，为避免多余分割结果减小对实验结果的干扰，我们设计了以下方法对眼球分割结果进行优化。读取眼球分割结果时对其中每个连通域的体积进行计算，并按照体积大小为其排序，其中大小排在前两位为所需的眼球区域。保留最大的两个联通域并将其他联通域清零，最后保留的即为优化后的眼球分割结果(图3)。

(a) (b)

Figure 3. Comparison of eyeball segmentation results before and after optimization: (a) before eyeball segmentation results optimization; (b) after eyeball segmentation results optimization

图3. 眼球分割结果优化前后对比：(a) 眼球分割结果优化前；(b) 优化后的眼球分割结果

2.3. 眼球突出度自动测量

眼球突出度指左右眼角膜顶点分别距离两颞侧眶缘最低处连线的垂直距离，即为左右眼球的突出度。从CT扫描序列上精确找到左眼球最凸点A、右眼球最凸点B、左颞侧眶缘最低处C与右颞侧眶缘最低处D (图3)是计算眼球突出度的关键。首先，对眼球分割结果进行二值化处理，将眼球区域灰度值设为1，非眼球区域灰度值设为0，并进行连通区域分析区分左右眼，对分割结果中左右眼球的两个连通域的位置信息进行遍历，分别对每个连通域中灰度值为1的坐标点的横纵坐标进行求和，求和结果除以像素点总数，最终得到左右眼球中心点的坐标。分别对左右眼两个联通区域内自上往下第一行灰度值为1的像素点横纵坐标信息求和并除以本行像素点个数，得到左右眼球角膜顶点坐标，即为A点、B点坐标。对于两颞侧眶缘最低处C、D点的位置，通过根据颅骨区域在CT影像上的灰度值差异，使用阈值分割 [9] 方法提取颅骨。在寻找眼球最凸点的过程中已经获取了眼球的中心点坐标，通过横坐标判断出左右眼中心点，然后根据坐标的位置，左颞侧眶缘最低处一定会出现在以左眼中心点向上20像素向下30像素为边长的向左的正方形区域内，右颞侧眶缘最低处一定会出现在以右眼中心点向上20像素向下30像素为边长的向右的正方形区域内(图4)。分别在这两个区域内，从上到下逐行遍历，计算第一行出现白色像素点的中间位置信息，得到颅骨顶点的坐标，即为该张图像上两颞侧眶缘最低处C、D点的坐标。

通过点到直线的距离公式(1)来测算出眼球最凸点与两颞侧眶缘最低点连线的距离d，即为左右眼球的突出度，(1)式中A、B、C由两颞侧眶缘最低点坐标通过公式(2)、(3)、(4)计算出。在读取CT时，我们已经记录当前扫描序列每像素代表的实际距离(pixel/mm)，通过将像素距离与每像素代表的实际距离转换即为眼球突出度，单位为毫米。

(a) (b)

Figure 4. Exophthalmos algorithm; (a) The vertical distance from point A and point B to the line between point C and point D is the exophthalmos of the two eyes; (b) In the red box is the most convex area of the search skull

图4. 眼球突出度算法；(a) A点、B点分别到C、D两点连线的垂直距离为两眼突出度；(b)红框内为搜索颅骨最凸点区域

$d=\frac{\left|Ax+By+C\right|}{\sqrt{A^2+B^2}}$ (1)

$A=y_2-y_1$ (2)

$B=x_2-x_1$ (3)

$C=-\left(Ax+By\right)$ (4)

2.4. 眼球影像组学特征提取

在临床诊断时，眼球突出度是诊断TAO的一项重要指标，但单独的使用眼球突出度作为预测标准仍具有挑战，基于此问题我们从医学影像中挖掘图像特征，对眼球分割结果进行影像组学特征提取，利用眼球分割结果获取可以被用来辅助预测甲状腺眼病的有价值信息。影像组学通过对现有医学影像进行深入挖掘和分析，利用不同组织对X线能量吸收不同 [10]，可以将医学影像上不能体现的基因组学信息或蛋白组学信息通过影像组学特征表达出来 [11]。我们使用Pyradiomics [12] 对图像进行组学特征提取，对每个患者的眼球分割结果提取107个维度影像组学特征。从不同的方向来解释CT影像的七种放射特征(表1)。其中，First Order Statistics：一阶统计量，描述眼球区域内的体素强度分步Shape-based特征：基于2D形状，由眼球的体积大小，眼球的表面积大小，以及他们的比等特征组成，此外还包括最大3D直径，最大2D直径等特征。其余的还包括提取到的纹理特征：如Gray Level Cooccurence Matrix (GLCM)，Gray Level Dependence Matrix (GLDM)，Gray Level Run Length Matrix (GLRLM)，Gray Level Size Zone Matrix (GLSZM)，Neighbouring Gray Tone Difference Matrix (NGTDM)等5个类别。最终每个眼球拥有来自于7个不同的非重叠特征组共107项特征。

2.5. TAO分类

选用决策树 [13]、随机森林 [14]、Adaboost [15] 和MLP [16] 四种机器学习方法对TAO进行预测，特征分别使用基于CT影像自动化测量的眼球突出度算法计算出的眼球突出度、使用眼球分割结果提取的影像组学特征和将两者的结合方法，按照来自眼科数据中心是否患有甲状腺眼病的规则 [17] 进行预测分类，观察使用不同指标预测的结果准确率，对比不同因素预测的结果。

Table 1. Characteristics and quantity

表1. 各项特征及其数量

预测所使用的性能评价指标有Accuracy (Acc)、Precision (Pre)、Sensitivity (Sen)、Specificity (Spe)，其对应公式为(5) (6) (7) (8)，通过模型生成的标签和预测概率进行计算。同时引入ROC曲线直观显示预测模型的敏感性特异性变化，ROC曲线横坐标是假阳性率(False Positive Rate)，其公式为(9)，纵坐标为真阳性率(True Positive Rate)，其公式为(6)。ROC曲线下方与坐标轴围成区域的面积称为AUC (Area under Curve)，AUC越大的分类器预测效果越好。

$\text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}$ (5)

$\text{Precision}=\frac{TP}{TP+FP}$ (6)

$\text{Sensitivity}=\frac{TP}{TP+FN}$ (7)

$\text{Specificity}=\frac{TN}{TN+FP}$ (8)

$FPR=\frac{FP}{FP+TN}$ (9)

3. 实验结果与分析

3.1. 眼球分割结果

在眼球分割这个过程中，眼球分割模型经过测试集的的评估，从CT影像中提取眼球的Dice系数达到93.5%。重新设计的自动测量眼球突出度的算法与临床使用Hertel突眼计四舍五入的计算方法结果对比(表2)，表中OD (Oculus Dexter)代表右眼，OS (Oculus Sinister)代表左眼，自动测量算法直接从CT影像上计算距离，减少医生手工测量误差的同时还实现了批量自动测量。

Table 2. Comparison between Hertel exophthalmos meter and automatic algorithm in measuring left and right exophthalmos (unit: mm)

表2. Hertel凸眼计与自动算法测量左右眼球突出度结果对比(单位：mm)

3.2. TAO预测结果

只使用眼球影像组学特征作为指标对TAO进行预测时，决策树预测效果最好，其准确率为0.80 (表3)；在单独使用眼球突出度作为指标进行预测时，Adaboost预测效果最好，其准确率为0.78 (表4)，使用单一特征进行预测时准确率均未高于80%。当将眼球突出度与眼球影像组学特征两项结合共同进行预测时，四种预测方法的结果分别为：决策树准确率为0.82，随机森林准确率为0.84、Adaboost准确率为0.85、MLP的准确率为0.84，其中除MLP方法有两项评价指标结果无提升以外，其他方法的评估指标结果均高于使用单个特征预测的结果(表5)。在TAO预测结果的ROC曲线中(图5)，红色曲线代表眼球突出度与眼球影像组学特征共同预测的结果，其AUC高于使用单个特征进行的预测，说明眼球突出度与眼球影像组学特征融合来进行预测的方法是有效的。

Table 3. Prediction results using only ocular imaging histologic feature

表3. 只使用眼球影像组学特征预测结果

Table 4. Prediction results using only exophthalmos

表4. 只使用眼球突出度预测结果

Table 5. Joint prediction of ophthalmic imaging features and exophthalmos

表5. 眼球影像组学特征与眼球突出度共同预测结果

(a) (b) (c) (d)

Figure 5. ROC curve of prediction results; (a) Decision tree; (b) Random forest; (c) Adaboost; (d) MLP

图5. 预测结果ROC曲线；(a) 决策树；(b) 随机森林；(c) Adaboost；(d) MLP

眼球突出度在临床医生诊断时便是一项重要评价指标，眼球突出度这项指标在与眼球组学特征结合进行分类预测TAO的过程中，两只眼球突出度对预测结果的贡献度可达到11%，在所有特征里排在前位，贡献度排在第三、四位的特征是Original Firstorder Mean、Original Firstorder Median，对预测结果的贡献值分别为0.04和0.02。眼球影像组学特征的加入提升了TAO的预测准确率，在临床医生观测不到的眼眶内部，眼球很有可能已经发生了变化。

4. 讨论

基于上述的分析得出结论，我们自动测量眼球最凸点到眼眶外侧缘颅骨两点连线之间的垂直距离得到眼球突出度的算法，与临床使用的Hertel眼球突出计相比，我们的方法减小了人工误差以及眼眶区域皮肤、角膜病变对测量结果的影响。与传统的眼球突出度的CT测量方法 [18] 相比，本文设计的自动化测量眼球突出度方法操作简便，减少了医生逐一手动操作光标的移动易产生的偏差 [19]，解决了临床繁琐的操作同时减轻了患者的痛苦，且精度高、自动化程度高，有使用便利度上的优越性，可以实现专用于眼球突出度的全自动测量，可被推广并应用于临床中，具有较好的前景。若能得到广泛普及，可定义属于该软件的正常值、异常值范围，具有较高的临床使用价值。未来可以通过进一步完善功能、提高自动化水平，将其发展为一个可全面提供眼眶各项参数的自动化测量软件。

基于利用CT影像计算的眼球突出度结合眼球影像组学特征进行TAO预测的结果，从研究结果上证实了眼球突出度是评价TAO的一项重要指标，将其与眼球的影像组学特征结合，对TAO预测结果进一步提升，改进了以往眼科医生通过CT影像与临床症状进行诊断可能造成的主观性误差，对未来TAO的早期预测准确率的提升有很大帮助。

NOTES

^*通讯作者。