基于ResNet深度网络模型的髋关节置换术后并发症分类研究

Classification of Postoperative Complications after Hip Arthroplasty Based on the ResNet Deep Network Model

摘要: 目的：分析基于ResNet迁移学习模型鉴别髋关节置换术后假体周围感染与松动的价值。方法：本研究的数据来源于2015年1月至2022年12月期间，在上海第六人民医院骨科接受全髋关节翻修手术的206例患者。这些患者因髋关节置换术后出现假体周围感染或假体松动的情况而接受了翻修手术，收集患者髋关节置换术后X线图像。使用迁移学习方法对髋关节假体周围感染和松动进行鉴别，分别建立ResNet18、ResNet50迁移学习模型，并使用SHAP方法对模型进行可视化分析。结果：通过对两种不同网络的模型进行迁移学习实验对比，得到了以下结果：基于ResNet18网络的迁移学习模型在鉴别髋关节置换术后假体周围感染与松动方面表现出显著优势，模型的准确率达到了91.30%，灵敏度为95.94%，特异度为87.50%，AUC为93.94%。这些指标表明了该模型在对这两种并发症进行区分时的准确性和可靠性。实验还进行了Delong检验，ResNet18网络模型与ResNet50模型之间的AUC差异具有统计学意义(p < 0.05)。结论：本文旨在建立迁移学习诊断模型，为早期临床髋关节置换术后假体周围感染与松动的诊断提供一种方法。

Abstract: Objective: To analyse the value of identifying periprosthetic infection and loosening after hip arthroplasty based on the ResNet migration learning model. Methods: The data for this study were obtained from 206 patients who underwent total hip revision surgery between January 2015 and December 2022 at the Department of Orthopedics, Shanghai Sixth People’s Hospital. These patients underwent revision surgery due to periprosthetic infection or loosening of the prosthesis after hip arthroplasty, and postoperative X-ray images of the patients’ hip arthroplasty were collected. The migration learning method was used to identify the infection and loosening around the hip prosthesis, and ResNet18 and ResNet50 migration learning models were established respectively, and the models were visualised and analysed using the SHAP method. Results: By comparing the migration learning experiments with the models of two different networks, the following results were obtained: the migration learning model based on the ResNet18 network showed a significant advantage in identifying the infection and loosening around the hip prosthesis after hip arthroplasty, and the accuracy of the model reached 91.30%, the sensitivity was 95.94%, the specificity was 87.50%, and the AUC was 93.94%. These metrics demonstrated the accuracy and reliability of the model in differentiating between these two complications. A Delong test was also performed, and the difference in AUC between the ResNet18 network model and the ResNet50 model was statistically significant (p < 0.05). Conclusion: The aim of this paper is to establish a migratory learning diagnostic model to provide a method for the diagnosis of periprosthetic infection and loosening after early clinical hip arthroplasty.

1. 引言

随着社会经济的快速发展和人口老龄化的加剧，关节置换术已成为各类终末期骨关节疾病的有效治疗手段，全髋关节置换术的应用越来越普遍 [1] [2] 。

髋关节置换术后假体周围感染和松动是人工关节置换术最主要的并发症，也是翻修手术最常见的病因。髋关节假体周围感染和松动早期症状相似，但处理方式截然不同，正确鉴别感染和无菌松动对持续的抗菌治疗和手术干预策略有重要影响，但早期区分两者十分困难 [3] [4] 。目前，如何早期及时、准确诊断假体周围感染仍是一个挑战，目前的诊断主要以影像学检查为主并辅以一系列临床和生化测试，但现阶段影像学检查及生化测试在早期鉴别方面的灵敏度和特异性较低 [5] [6] [7] ，尚无有效方法对髋关节置换术后假体周围感染与松动做出早期诊断。近年来，深度学习在医学图像领域中的应用取得了显著性进展，革新了医学影像分析和诊断的方式，提升了诊断质量和效率 [8] 。

在关节置换术后并发症诊断领域，Kuo等 [9] 人的研究表明，机器学习系统在假体周围感染诊断方面优于传统的评分系统，而且能够提供个性化的诊断支持，弥补了传统评分系统的不足。另一方面，Shah等人 [10] 的研究则针对X光片检测假体松动进行了探索，发现通过卷积神经网络模型可以有效地诊断假体松动，而且加入临床数据能够进一步提高诊断准确性。这些研究结果为临床实践提供了新的视角和方法。机器学习系统的应用有望提高关节置换术后并发症的诊断准确性和个性化水平，为临床决策提供更可靠的支持。

然而，目前尚无研究使用深度学习方法来诊断髋关节术后假体周围感染与松动。因此，本文提出利用深度学习技术进行这一诊断，通过ResNet深度学习网络对患者X线图像特征进行深度挖掘，获取一系列高维特征，利用迁移学习的方法，同时对模型特征贡献度进行分析，建立髋关节假体周围感染与松动诊断模型，以辅助临床医生进行诊断。

2. 实验方法

本研究基本步骤包含图像预处、图像增强、迁移学习网络搭建、微调迁移、模型测试。算法模型的选择和设计是建模的关键环节，本实验以ResNet模型为基础，使用ResNet18和ResNet50模型进行迁移学习的训练和测试(图1)。

Figure 1. Experimental process

图1. 实验流程

2.1. 实验数据获取

本研究为单中心回顾性研究，数据来自2015年1月~2022年12月因髋关节置换术后假体周围感染或假体松动于上海交通大学医学院附属第六人民医院骨科接受全髋关节翻修手术病例206例，收集患者髋关节置换术后X线图像。本实验已通过上海市第六人民医院伦理委员会审批，审批编号No: 2023-KY-081(K).

入组标准：

① 因髋关节置换术后假体周围感染或无菌性松动于上海交通大学医学院附属第六人民医院骨科行手术治疗患者。

② 诊断标准：

假体周围感染诊断标准：术前关节穿刺液培养为阳性，术后假体震荡液培养、二代测序为同一病原菌；或术中可见窦道与关节相通。

假体无菌性松动诊断标准：关节置换术后疼痛，影像学表现明显的骨溶解，术前关节液穿刺、术后假体超声震荡液培养、宏基因组二代测序均为阴性，并排除假体周围感染的患者。

排除标准：

① 临床、影像资料缺失或质量不佳

② 假体周围骨折的病人

排除病例51例，经筛选后剩余病例155例，其中包含假体周围感染74例，假体松动81例。假体周围感染患者中包含34名女性，40名男性，男性平均年龄62.175岁，女性平均年龄63.97岁；假体松动患者中包含50名女性，31名男性，男性平均年龄为69.8岁，女性平均年龄68岁。

从图像存档和通信系统(Picture archiving and communication system, PACS)中获取术前X线DICOM格式图像，X线图片由Philips Digital Diagnost VH、Samsung GC85A等多台数字化X射线摄影系统拍摄，采取自动曝光成像。

2.2. 髋关节X线图像预处理与数据增强

由于收集病例图像灰度级有所差异，在分割ROI区域之前对图像进行归一化处理，将图像灰度值归一化到0~255之间。在保留有用信息的同时，尽量减小图像中因外界原因造成的灰度级不一致现象，从而提高图像分类处理的精度 [11] 。

本研究共计收集230例因髋关节置换术后假体周围感染或松动于上海交通大学附属第六人民医院检查患者，获取患者DICOM格式X线图像，经筛选后，最终保留155例患者，其中包含74例假体周围感染患者与81例髋关节假体无菌性松动松动患者。我们首先进行了归一化处理，将图像灰度值归一化到0~255之间。随后由一名从业10余年骨科医生使用3D slicer [12] 软件手动在假体周围病灶勾画感兴趣区域(Region of Interest, ROI)，保留病灶区域。接着将它们转换成PNG格式，这样可以更好地适应深度学习网络的输入要求。这一系列的预处理步骤为我们提供了更适合训练和分析的图像数据。

在研究设计中，我们按照7:3的比例划分了训练集和测试集。为了提高迁移学习模型的性能，将训练集数据扩增20倍，采用了多种数据扩增方法，包括图像反转、直方图均衡、遮挡、锐度调整、旋转等，将训练集图像数量扩增至2289张，以提高迁移学习模型在训练过程中的性能。这些扩增方法的选择旨在增加训练集的多样性，有助于模型更好地捕捉数据的特征，提高其性能和鲁棒性，从而使模型更具泛化能力 [13] (图2)。

Figure 2. Schematic of image enhancement

图2. 图像增强示意图

2.3. 网络模型选择

在本实验中，选择采用ResNet网络进行迁移学习模型的构建。具体使用ResNet18、ResNet50两种网络进行试验。

ResNet (Residual Neural Network)是由微软研究院提出的一种深度卷积神经网络架构，旨在解决深层网络训练中的梯度消失和梯度爆炸问题。ResNet的基本网络结构如下图3所示。

Figure 3. ResNet network structure

图3. ResNet网络结构

其创新之处在于引入了残差连接，通过跳跃连接将输入直接传递给后续层，形成了残差块(Residual Block)，使得网络可以更深更容易训练。残差连接的核心思想是在前一层的输出与后续层的输入之间建立直接的连接，通过将它们相加，有效地传递了前一层的信息。这有助于缓解梯度逐渐消失的问题，使得神经网络能够更好地学习深层次的特征表示。在图像分类、目标检测和图像分割等计算机视觉任务中，ResNet通过其独特的网络结构和残差连接在性能上取得了显著的提升 [14] (图4)。

Figure 4. Residual connection

图4. 残差连接

迁移学习作为一种有效的机器学习方法，通过在一个任务上训练的模型来改进在另一个相关任务上的性能。在髋关节假体周围感染与无菌性松动的鉴别诊断中，迁移学习可以借助已有的知识，提高模型的泛化能力。

所有模型均使用在ILSVRC-2012 ImageNet数据集上进行预训练的模型参数，并以此作为初始化。ILSVRC-2012 ImageNet是一个包含128万自然图像的大型数据库，该数据库在医学影像研究中得到广泛应用。在我们的实验中，利用这些在ImageNet上预训练的参数，为我们的模型提供了丰富的特征学习基础，有助于更好地适应髋关节假体周围感染与无菌性松动的诊断任务。这种迁移学习的方法旨在利用自然图像中学到的通用特征，为医学图像分析提供更强大的特征表示，从而提高模型性能和泛化能力 [15] 。

2.4. 实验配置

基于迁移学习的髋关节假体周围感染与无菌性松动鉴别诊断搭建在64位Windows系统上，处理器为AMD Ryzen 5 5600，显卡为GeForce RTX 3060 12 GB，使用pytorch深度学习框架搭建训练模型，实验的硬件和软件配置如表1所示。

Table 1. Experimental hardware and software configuration

表1. 实验软硬件配置

2.5. 模型参数

在本实验中，我们使用交叉熵损失函数来衡量模型预测结果与实际值之间的差异。对于二元分类任务，该损失函数的表达式为：

$\text{BinaryCrossEntropy}=-\frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\left(y_i\log \left({\hat{y}}_i\right)+\left(1-y_i\right)\log \left(1-{\hat{y}}_i\right)\right)$ (1)

其中， $y_i$ 是样本 的真实标签， ${\hat{y}}_i$ 是模型对该样本的预测值， $n$ 表示样本数量。该损失函数在二元分类任务中常用，通过最小化交叉熵，追求模型对真实标签的更准确预测。

选择使用Adam (Adaptive Moment Estimation)作为优化算法，该算法在深度学习模型的训练中表现出色。其更新规则由以下公式表示：

其中 ${\theta }_t$ 表示当前的模型参数。 $\alpha$ 是学习率，控制参数更新的步长。 $g_t$ 是梯度向量，表示目标函数对参数的梯度。而 ${\beta }_1$ 和 ${\beta }_2$ 则分别是一阶和二阶矩估计的衰减率，通常接近1。通过偏差修正，得到修正后的一阶和二阶矩估计 $m_t$ 和 ${\hat{v}}_t$ 。模型参数通过考虑修正后的一阶矩估计和二阶矩估计来进行更新。

在实验过程中选择微调迁移方法，采用微调迁移进行模型训练，根据目标数据集的特性调整学习率、优化器等超参数，并采用不同的训练策略；选择冻结模型卷积层与池化层，对全连接层进行调参，网络经调试后具体参数如表2。

Table 2. Model parameters

表2. 模型参数

在模型构建阶段，我们将结合这两种网络的优势，通过迁移学习的方式对髋关节假体周围感染与无菌性松动进行诊断。这将为我们提供一个更具有判别能力和泛化性的模型，有望在临床实践中提升诊断准确度，为医生提供更可靠的辅助诊断工具。

2.6. 评估方法

本研究将数据按照比例7:3划分训练集与测试集，使用Scikit-learn [16] 包进行模型评估，在训练集上对模型训练，在测试集上进行测试评估，计算训练集与测试集结果的准确率(Accuracy)、灵敏度(Sensitivity)、特异度(Specificity)及ROC曲线的AUC。

$\text{Accuracy}=\frac{TP+TN}{TP+FP+TN+FN}$ (2)

$S\text{ensitivity}=\frac{TP}{TP+FN}$ (3)

$\text{Specificity}=\frac{TN}{TN+FP}$ (4)

其中TP为真阳性，表示为髋关节假体周围感染；TN为真阴性，表示髋关节假体松动；FP为假阳性，表示被判定髋关节假体松动周围感染，实际是髋关节假体松动；FN为假阴性，表示被判定髋关节假体松动，实际是髋关节假体周围感染。

接受者操作特性曲线(Receiver Operating Characteristic Curve, ROC)是一种常用的分类模型评价方法，被广泛应用于研究学习器的泛化性能。该曲线以灵敏度为纵坐标，以1-特异度)为横坐标，展示了在不同分类阈值下的模型性能 [17] 。通常使用ROC曲线结合AUC (Area Under the Curve)指标来评估分类模型的性能。AUC值介于0.5和1之间，AUC越接近1表示模型性能越优越，因为它意味着模型能够更好地区分不同类别之间的样本。通过分析ROC曲线，研究者可以综合考虑模型的灵敏度和特异度，从而更全面地了解学习器的预测能力和泛化性能。同时采用Delong检验比较不同模型AUC的差异。以p < 0.05为差异有统计学意义。

2.7. 模型的可视化解释

因深度学习本身具有不可解释性，在本研究中，我们采用了SHAP (SHapley Additive exPlanations)作为迁移学习模型的可视化解释工具，以深入探索模型在不同领域之间的知识迁移过程。SHAP (SHapley Additive exPlanations)方法是由Scott M. Lundberg在2017年提出一种用于解释机器学习模型预测的算法。它是基于博弈论中的Shapley值概念而发展的，旨在为每个特征解释其对预测结果的贡献程度 [18] 。SHAP的可视化解释能力为我们提供了对模型预测的全局和局部理解，从而揭示了迁移学习中模型如何利用源领域的知识来提升在目标领域的分类性能。

SHAP方法的核心思想是，对于一个预测结果，我们可以将特征看作是参与预测的“玩家”，而预测结果则是“奖励”。SHAP值衡量了每个特征对预测结果的贡献，即特征的重要性。

SHAP方法的计算过程如下：

${\varphi }_i\left(f\right)=\underset{S\subseteq N\setminus \left\{i\right\}}{{\displaystyle \sum }}\frac{\left|S\right|!\left(\left|N\right|-\left|S\right|-1\right)!}{\left|N\right|!}\left[f\left(S\cup \left\{i\right\}\right)-f\left(S\right)\right]$

${\varphi }_i\left(f\right)$ 是特征i的Shapley值。

$f\left(S\right)$ 是在给定特征集合 $f\left(S\right)$ 的条件下模型的输出。

N是所有特征的集合。

特征i的Shapley值 ${\varphi }_i\left(f\right)$ 是通过对特征的所有可能组合S进行加权平均得到的。其中，S是不包含特征i的特征子集合。公式中的求和表示对所有可能的特征子集合S进行加权求和，其中权重由特征子集合的大小以及特征i的添加顺序决定。

定义一个参与预测的特征子集，并计算出所有可能的特征子集。对于每个特征子集，计算出每个特征对预测结果的贡献。这个贡献值可以通过计算特征子集包含某个特征和不包含该特征时的预测结果之间的差异来得到。根据特征子集的大小和特征的贡献值，计算出每个特征的Shapley值。Shapley值是一个基于特征子集的平均值，它衡量了特征对预测结果的平均贡献。通过计算每个特征的Shapley值，我们可以得到一个特征重要性的排名。这个排名可以帮助我们理解机器学习模型是如何基于输入特征做出预测的，并解释为什么某个特征对于预测结果的影响较大或较小。

SHAP方法可以应用于各种机器学习模型，包括回归模型、分类模型和深度学习模型等。它提供了一种解释机器学习模型预测结果的可解释性工具，有助于增强对模型的理解和信任。

3. 结果

3.1. 模型实验结果分析

通过对两种不同网络的模型进行迁移学习实验对比，得到了以下结果：基于ResNet18网络的迁移学习模型在鉴别髋关节置换术后假体周围感染与松动方面表现出显著优势。该模型的准确率达到了91.30%，灵敏度为95.94%，特异度为87.50%，AUC为93.94%。这些指标表明了该模型在对这两种并发症进行区分时的准确性和可靠性。具体实验结果见表3。实验还进行了Delong检验，用以比较ResNet18网络模型与ResNet50网络模型之间的AUC差异。结果显示模型之间的AUC差异具有统计学意义(p < 0.05)。这表明ResNet18网络模型相对于ResNet50模型在区分髋关节置换术后假体周围感染与松动方面的显著优势，其模型判别能力更加可靠和准确(图5、图6)。

Table 3. Results

表3. 实验结果

Figure 5. Confusion matrix for transfer learning models

图5. 迁移学习模型混淆矩阵

Figure 6. AUC curves for transfer learning models

图6. 迁移学习模型AUC曲线

在模型训练过程中，我们观察到准确率和损失随着迭代次数的增加而逐渐变化的趋势。最佳模型ResNet18迁移学习在测试集每个batch上的准确率和损失呈现出逐渐收敛并最终稳定的趋势，这表明模型在训练过程中逐渐学习到了数据的特征并取得了一定的收敛状态(图7)。

Figure 7. ResNet18 accuracy vs. loss iteration curve

图7. ResNet18准确率与损失迭代曲线

3.2. 基于SHAP方法的模型解释结果

为了了解哪些特征对于模型的整体预测起到主导作用，引入SHAP框架来对模型结果进行解释，以便为模型结果的可靠性提供支撑。

SHAP方法不仅适用于解释单个预测(局部解释)，还可以用于评估整个模型的特征重要性(全局解释)。通过对多个样本进行解释，我们可以得到模型整体的特征重要性排序，帮助我们了解哪些特征对于模型的整体预测起到主导作用 [19] (图8)。

Figure 8. Explanation of the ResNet18 model SHAP visualisation

图8. ResNet18模型SHAP可视化解释

在解释一个样本的预测时，SHAP方法考虑了所有特征的组合，并计算每个特征值对模型预测的平均贡献。具体来说，它计算了在所有可能的特征子集中，一个特征值对于某个样本预测的平均边际贡献，这就是Shapley值。通过计算所有特征值的Shapley值，我们可以获得每个特征对于预测结果的影响力大小。

对迁移学习准确率最高的模型ResNet18模型进行SHAP可视化，SHAP可视化工具对于理解模型的解释结果至关重要。在图8中，红色区域表示影像信息对于假体周围感染预测结果的正向影响，即这些区域的特征促进了感染的预测结果。相反，蓝色区域表示影像信息对于预测结果具有负向作用，即这些区域的特征可能与感染相反或抑制感染的预测。通过图8，可以类似地理解模型对于松动的预测结果的解释。这种图形化的解释方式有助于深入了解模型在预测过程中所依赖的特征，进而加强对模型内在机制的理解，为进一步的分析和应用提供了重要线索。

4. 结论与展望

本研究创新性地将ResNet深度学习模型应用于髋关节置换术后并发症的鉴别中，首次实现了对假体周围感染与松动这两种并发症的有效区分和识别。利用迁移学习方法，我们建立了ResNet18迁移学习模型，对两种并发症进行区分，在测试集上取得了令人满意的结果。该模型在测试集上的AUC值为0.9394，准确率为91.30%，灵敏度为95.45%，特异度为87.50%。通过SHAP方法对特征贡献度进行分析，我们能够解释图像中不同区域是如何影响模型的判别，为临床决策提供了重要的参考依据。

然而，本研究也存在一定局限性。首先，由于数据来源于单一中心医院，假体周围感染病例相对较少，且数据分布不均衡，可能影响了模型的泛化能力。其次，ROI选择依赖于手动分割，可能存在分割不准确的问题。最后，缺乏外部独立测试集进行评估，需要进一步的外部验证和评价以确保模型的稳健性和可靠性。

综上所述，基于ResNet18迁移学习模型可作为一种无创的方法，有利于髋关节置换术后假体周围感染与松动的鉴别诊断及病人后续治疗决策。尽管存在局限性，但本研究的结果为临床诊断提供了新的思路和方法，仍需进一步完善和验证，以满足临床实践的需求。

基金项目

上海介入医疗器械工程技术研究中心资助项目(18DZ2250900)。