融合CT影像与文本信息的胰腺疾病深度学习诊断方法研究

Deep Learning-Based Diagnosis of Pancreatic Diseases via Fusion of CT Images and Textual Information

摘要: 高分辨增强CT是胰腺疾病评估的首选影像手段，但胰腺病异质性高、阅片负荷大，易致漏误诊。本研究提出轻量级端到端多模态网络eeMulNet，实现胰腺病变快速诊断。首先，以nnU-Net为骨干，在自适应3D编码–解码框架下完成胰腺分割；继而，用轻量3D-MobileNetV2提取胰腺影像特征；同时，以BERT嵌入患者临床文本，生成语义向量，影像与文本特征融合后再次输入MobileNetV2，建立eeMulNet完成病变分类。单中心回顾性实验中模型准确率达100%，单例推理时间 < 0.05 s。本研究提出的eeMulNet可在保持低计算量的情况下实现胰腺CT病变快速、精准检测。

Abstract: High-resolution contrast-enhanced CT is the first-line imaging modality for pancreatic diseases; however, lesion heterogeneity and heavy reading workload frequently lead to missed or misdiagnoses of pancreatic diseases. We propose a lightweight end-to-end multimodal network, termed eeMulNet, that achieves the diagnosis of pancreatic diseases. First, a self-configuring 3D encoder-decoder built on nnU-Net performs automatic pancreas segmentation. Next, a lightweight 3D-MobileNetV2 extracts imaging features from the segmented volume, while demographic and clinical free-text are simultaneously embedded by BERT to generate semantic vectors. Fused image-text features are then forwarded through a second MobileNetV2, yielding the final lesion classification. In a single-center retrospective study, eeMulNet achieved 100% accuracy, and an average inference time of <0.05 s per case. The current study demonstrates that eeMulNet enables rapid and accurate detection of pancreatic CT lesions with minimal computational cost on CT.

1. 引言

胰腺疾病涵盖炎症、囊性病变、神经内分泌肿瘤及胰腺癌等多种病理类型，其中胰腺癌(pancreatic cancer, PC)因其隐匿、高度侵袭性和极差的预后而成为“癌中之王”[1]-[3]。尽管近年来诊断技术和治疗手段发展迅速，但PC五年生存率仍然较低，从上世纪90年代的4%提高至当前的13%左右[4] [5]。

CT是胰腺疾病的诊断与评估的重要手段[6]。其诊断PC的准确性约89% (95% CI, 85%~93%) [7]，而对囊性病变的诊断准确性不足50% [8]。然而，随着多期高分辨增强CT的临床应用，单个病人的影像图像高达1000余幅，临床诊断工作量大。此外，诊断医生水平差异也影响结果的一致性。因此，开发胰腺疾病自动诊断方法具有重要意义。计算机辅助胰腺疾病诊断研究逐渐从传统的病灶二分类向更复杂的多病种识别方向发展。Chu等[9]基于影像组学区分正常胰腺与胰腺导管腺癌的模型预测的曲线下面积(area under curve, AUC)达99.9%，准确率为99.2%。Wei等[10]整合PET/CT图像的影像组学特征与深度神经网络，构建的融合模型区分胰腺导管腺癌与自身免疫性胰腺炎的AUC达96.4%。Dinesh等[11]采用卷积神经网络(convolutional neural network, CNN)和YOLO构建的融合模型诊断PC准确率为99.9%。Chen等[12]则基于区域性数据训练深度神经网络进行胰腺导管腺癌早期诊断AUC为0.96。然而以往研究主要聚焦于癌症与单一疾病或正常胰腺的二分类问题，尚缺乏能够区分“正常胰腺”与“广义异常胰腺状态”(包括胰腺炎、神经内分泌瘤、囊性病变、PC等)的研究。这种“异常识别”更贴近临床实际。因此，本研究旨在利用增强CT图像与临床信息构建基于深度学习的自动诊断模型，以区分正常胰腺与广义异常状态，实现胰腺病变的自动诊断。

2. 材料与方法

2.1. 数据源、预处理及实验环境

本研究回顾性纳入了自2019年1月至2019年12月间，678例经病理证实的胰腺疾病患者(男性391例，57.7%；女性287例，42.3%)，共715份腹部增强CT图像；此外，还包括2019年至2022年间经CT和MRI排除胰腺疾病的226名个体(男性127例，56.2%；女性99例，43.8%)，共228次CT检查。所有扫描均使用多层CT系统(Toshiba Aquilion ONE 320或Philips Brilliance iCT 128)完成，采集参数包括：120 kVp管电压、300~500 mA管电流、512 × 512矩阵及1 mm切片厚度，保证了成像的高质量与一致性。

数据预处理步骤包括将图像转换为NIfTI格式，并设置空间方向为RPS (右–后–上)。考虑到胰腺结构的解剖特性及其在CT图像中占比较小，选择轴位切片用于后续模型训练。所有图像经过重采样以统一体素间距，横向采用三次样条插值，深度方向采用最近邻插值。同时，为了提高模型的鲁棒性和泛化能力，采用多种数据增强策略，包括旋转、缩放、添加高斯噪声与模糊、亮度对比度调整、低分辨率模拟、伽马校正及镜像变换，增强过程均基于常规顺序执行。实验平台运行于Rocky Linux 8.7系统，硬件配置为NVIDIA RTX 3090 GPU，采用PyTorch 2.7.1深度学习框架，Python版本为3.9。

2.2. 胰腺自动分割模型

本研究中，胰腺区域的自动分割任务采用了经过自适应配置的三维nnU-Net网络[13]。nnU-Net采用了标准的编码器–解码器架构，整体为对称式U形架构[14] [15]，该结构能够有效提取图像中的多层次特征。网络由编码器、瓶颈和解码器三部分组成。编码器由多个卷积层(包括3 × 3 × 3卷积)和最大池化层组成，用于提取输入图像中的低级特征和高级语义信息。每个卷积层后接ReLU激活函数，以引入非线性，帮助网络捕捉胰腺与背景之间的复杂关系。最大池化层通过下采样将图像的空间分辨率降低，从而增强网络对全局上下文信息的感知能力。在编码器和解码器之间，nnU-Net包含了瓶颈层，通过多个卷积操作进一步提取高级特征，最终产生较小空间分辨率的高维特征图。解码器部分由多个转置卷积组成，目的是将低分辨率的特征图恢复到原始图像的大小。转置卷积不仅能够进行上采样，还可以有效地恢复空间信息。每一层解码器都采用跳跃连接将编码器中的高分辨率特征与当前解码器层的特征拼接，以保证细节信息的传递，避免信息丢失。最终，解码器通过1 × 1 × 1卷积层输出与输入图像大小一致的概率图。

胰腺在CT图像中的灰度强度和组织密度与周围器官不同，特别是在增强CT图像中，胰腺的灰度值和组织密度相对较低，nnU-Net通过对比与周围组织的不同灰度值和密度特征，有效地区分胰腺和其他区域。网络从编码器阶段开始，就通过卷积操作捕捉局部特征，并通过池化层逐步提取高层特征。当网络到达瓶颈时，模型会捕获全局的语义信息，为最终分割提供足够的上下文支持。解码器阶段通过上采样逐渐恢复细节信息，从而帮助精确定位胰腺边界。

对于胰腺上存在肿瘤的病例，肿瘤区域通常表现为密度较低或较高的区域，且与正常胰腺组织的灰度、形态和密度有较大的差异。而nnU-Net的目标是将有肿瘤的胰腺与周围组织(如脂肪、肝脏等)区分开来，而不需要对肿瘤和正常胰腺组织进行单独区分。为了实现这一目标，在网络训练时加入正常胰腺和带有肿瘤标注的胰腺数据。本研究计算了胰腺在x，y，z轴上起始和结束坐标的95%置信区间，以确保提取的胰腺子区域主要包含胰腺组织并排除背景区域。随后将子区域内的图像强度值Hi(x_i:i+w, y_i:i+h, z_i:i+d)归一化到[0, 1]的范围。在数据集中，胰腺图像强度的算术平均值的95%置信区间范围从0.5452~0.5453。为了计算满足要求的子区域xi中图像强度的像素数量，设置阈值(0.53~0.55)。当满足阈值范围内的图像强度像素数在子区域的总图像强度像素数中占比超过70%时，选择该子区域作为包含胰腺和周围组织的区域。这使模型不仅学习分割胰腺区域，还学习如何从CT图像中识别出有肿瘤的胰腺与其周围组织(如脂肪、肝脏等)的边界，避免肿瘤与周围组织的混淆。

具体训练参数如表1所示。损失函数采用Dice系数损失与交叉熵损失的加权组合，以同时优化类别不平衡问题与模型的预测稳定性[16]。损失函数的表达式如下：

$L_{loss}=\lambda L_{dice}+\left(1-\lambda \right)L_{CE}$

$L_{Dice}=-\frac{2}{K}{\displaystyle \sum }_{k\in K}\frac{{{\displaystyle \sum }}_{n\in N}{p}_n^k{y}_n^k}{{{\displaystyle \sum }}_{n\in N}{p}_n^k+{{\displaystyle \sum }}_{n\in N}{y}_n^k}$

其中，λ是比例系数(在本研究中设为0.5)，K是类别的数量(本研究中为2)，y是独热编码的值，p是概率输出值，N是训练批次中体积像素的数量。

Table 1. Training parameters for segmentation model

表1. 分割模型训练参数

参数名称	数值
批量大小	2
初始学习率	10^−^4
优化器	AdamW优化器
损失函数	Dice损失函数与交叉熵损失函数加权和

2.3. 基于轻量级网络的三维图像分类模型

完成胰腺分割后，本研究将提取的三维胰腺区域图像输入到优化的三维MobileNetV2模型中，进行图像特征的提取和胰腺是否存在病变的分类判别。该模型结合了轻量化的卷积结构、倒残差模块与线性瓶颈结构[17]，旨在计算效率与分类精度之间找到平衡，并高效提取胰腺病变区域的特征。通过这一设计，MobileNetV2能够准确区分胰腺的正常与病变状态。网络结构如图1，首先通过一个步长为2的3 × 3 × 3卷积层进行初始特征提取，并通过BatchNorm和ReLU6进行标准化与激活。接下来的多个倒残差模块每个包含三部分：首先使用1 × 1 × 1的卷积对输入通道进行扩展，随后采用深度可分离卷积(Depthwise Separable Conv3D)对每一通道独立执行空间卷积，从而极大地减少参数量和计算成本，同时保留了胰腺组织的关键信息。最后，通过另一个1 × 1 × 1卷积层将通道数压缩至输出维度，并取消非线性激活以构成线性瓶颈结构。最终通过全局平均池化(Global Average Pooling 3D)压缩空间维度，并连接一个全连接层输出预测值，用Sigmoid函数将其映射至二分类概率空间，判断胰腺是否异常。

卷积层是该模型的核心组件，负责从输入图像中提取局部特征。每个卷积核通过与图像局部区域进行卷积运算，提取出边缘、纹理、形状等低级特征。在胰腺CT数据的分类任务中，卷积层通过逐层处理，逐步捕捉到胰腺组织与病变区域(如肿瘤、胰腺炎等)的特征差异。网络中的卷积层能够高效学习到复杂的深度特征，尤其是在病变区域，与正常胰腺组织的灰度、形态学及密度特征具有显著差异，卷积层的设计使得这些特征能够被有效提取。池化层的主要作用则是对卷积层输出的特征图进行降维，从而减少计算量，同时保留最显著的特征信息。在分类任务中，池化层帮助网络关注图像中的关键区域(如胰腺病变区)，从而提高了模型对图像细节的辨识能力。同时，池化层使得网络对胰腺组织的局部位置、尺度和旋转不那么敏感，这对于处理不同扫描角度和不同病变类型的胰腺图像至关重要。全连接层位于网络的末端，负责将卷积层和池化层提取到的特征融合，并通过分类器生成最终的分类结果。在三维MobileNetV2模型中，经过多层卷积和池化操作后的特征图会被展平，并输入到全连接层进行进一步的处理，具体训练参数见表2所示。通过卷积、池化与全连接操作，MobileNetV2能够有效地提取识别增强CT图像中胰腺与病变区域之间的灰度、形态学以及密度特征的不同，准确地区分正常胰腺与病变胰腺。

Figure 1. MobileNetV2 architecture diagram

图1. MobileNetV2模型结构图

Table 2. Training parameters for classification model

表2. 分类模型训练参数

参数名称	数值
批量大小	4
初始学习率	5 × 10^−^4
优化器	AdamW优化器
权重衰减	5 × 10^−^4

2.4. 结合文本信息的融合模型

单一依赖图像特征进行诊断存在一定局限性，特别是在胰腺病变表现不典型的情况下。因此，本文引入患者的基本临床信息(年龄与性别)作为结构化文本输入，并与图像特征进行多模态融合，建立结合文本特征和图像特征的融合模型tiMulNet。

为了实现图像与文本信息的融合，我们首先将通过MobileNetV2提取的图像特征与文本特征进行拼接。图像特征向量由MobileNetV2的最后一层提取，其通过CNN处理图像，学习到的特征能够有效捕捉胰腺的形态学和密度差异。同时将患者的结构化临床信息(如年龄、性别)通过自然语言处理技术进行预处理，利用BERT-Chinese模型[18]对输入的文本信息进行语义嵌入，将文本转化为高维的向量表示。此向量通过BERT模型的[CLS] Token输出，捕获文本的全局语义表示。经过MobileNetV2和BERT模型处理后，得到的图像特征向量和文本特征向量将被拼接成一个统一的高维特征向量。具体来说，假设图像特征的维度为d_image，文本特征的维度为d_text，那么拼接后的特征向量的维度就是d_image + d_text，即两者在同一维度空间中的并排。接下来，拼接后的高维向量序列被输入至单向门控循环单元(gated recurrent unit, GRU)网络。GRU是为处理序列数据而设计的循环神经网络，它通过更新门和重置门的机制，有效控制历史信息的保留与遗忘[19]，用于建模图像与文本特征之间的时序关系和上下文依赖性。

通过GRU的处理后，特征向量将被传递到一个全连接层，进一步处理和整合特征。这一层的任务是将图像和文本特征融合后的高维向量降维，得到一个适合进行分类的向量。全连接层的输出将再次输入到MobileNetV2进行是否存在胰腺病变的预测，得到端对端自动诊断网络(end-to-end multimodal network, eeMulNet)，网络如图2所示。

3. 结果

本研究实现了一种可部署于临床环境的轻量级三维多模态诊断模型eeMulNet。该模型由胰腺分割模型nnUnet、图像分类模型MobileNetV2以及结合图像特征与文本特征的融合模型tiMulNet构成。通过灰度值和组织密度等特征，nnUnet能够定位到胰腺区域并进行分割，分割后的图像输入到MobileNetV2进行图像特征的提取。最后利用BERT-Chinese模型对输入的文本信息进行语义嵌入，将文本转化为高维向量表示。在tiMulNet中拼接图像特征向量和文本特征向量，融合后再次输入到MobileNetV2输出胰腺存在病变的概率值。模型使用755例门静脉CT扫描进行训练，在独立测试集进行推理过程中，五折交叉验证独立训练的模型被融合，并采用多数投票策略来确定最终的分类。阈值设置为4，即当四个模型对某一类达成一致时，将其分类为该类。每位患者的平均检测时间为41.04秒，而分类网络仅耗时0.04秒。该速度能够确保模型在临床环境中的快速应用，提升诊断效率。模型在单中心188例测试集图像中实现了100%的准确率，成功区分胰腺疾病患者与正常个体。临床试验结果已在项目组前期发表的文章[20]中报告，其性能显著优于未纳入患者文本信息的同类模型，本研究则聚焦于模型原理和开发流程的系统阐述。

Figure 2. eeMulNet architecture diagram

图2. eeMulNet结构图

4. 讨论

胰腺作为人体中结构复杂、定位最具挑战性的实质性器官之一，其病变诊断主要依赖医生在增强CT图像中进行判断，传统的人工阅片易因病灶微小或影像特征不明显而导致漏诊。加之影像阅片工作量大、主观性强，不同经验的医生诊断一致性不足，进一步增加了误诊风险。因此，如何通过临床CT图像快速检测到病变，并在病变胰腺中准确诊断出胰腺癌，对辅助临床制定准确的治疗方案具有重要意义，也是计算机辅助胰腺疾病影像诊断领域的热点问题。本研究开发的自动诊断模型eeMulNet能够实现胰腺病变精准快速检测，为进一步开发胰腺疾病AI诊断工具的落地提供方法参考。

近年来，深度学习技术在各种医学图像分析任务上表现出色[21]-[28]，尤其在处理结构复杂、边界模糊且解剖位置较深的器官方面表现出强大潜力。例如，CNN能够有效捕捉图像中的高维语义特征，在多阶段增强CT图像中精准识别胰腺病灶边界，而注意力机制、迁移学习及多模态融合策略的引入则进一步提升了模型的稳定性与泛化能力。随着硬件算力的提升与数据获取的优化，深度学习技术在胰腺疾病的智能化、精准化的辅助诊疗体系开发提供了关键支撑。

本研究提出的eeMulNet多模态轻量级诊断模型充分融合了结构化文本信息与三维CT图像特征，不仅在整体准确率上优于传统模型，也在数据维度融合与推理速度上实现了平衡[20]。通过引入患者的基本临床信息(如年龄与性别)，模型识别性能进一步提升，这一临床信息的选择，一方面由于具有通用和便捷性，另一方面一些胰腺疾病如实性假乳头状瘤、胰腺癌等具有性别或年龄的倾向性。

本研究尽管取得了一定的成果，仍存在局限性。首先，模型仅在单中心的数据上进行了训练与验证，数据的来源相对有限，可能存在特异性偏倚。为进一步提升模型的稳健性与临床适应性，未来计划引入多中心、多设备的数据进行测试和优化，以验证其跨中心的推广能力。其次，当前模型仅实现了对胰腺正常与异常的二元分类，虽然这种方式在初筛CT诊断中胰腺病变具有实用意义，但在实际临床工作中，精准诊断不同类型胰腺疾病(如胰腺癌、胰腺神经内分泌肿瘤、囊性病变等)具有重要价值。因此，未来研究将致力于进一步提升模型的分型能力，实现对多种胰腺疾病的精细化分类，以更好地服务于临床诊断和决策支持。

5. 结论

本文提出了一种融合CT影像与文本信息的胰腺疾病深度学习诊断模型。首先基于自适应配置的三维编码器–解码器架构，通过卷积操作和最大池化层提取胰腺和背景特征，采用自动分割网络nnU-Net进行胰腺分割；其次利用三维轻量级MobileNetV2图像分类网络进行图像特征的提取；随后基于BERT模型对患者的基本临床信息进行语义嵌入，生成文本特征向量，与图像特征融合后得到tiMulNet，再次输入MobileNetV2后建立eeMulNet对胰腺病变进行分类。该模型准确率高，为胰腺疾病的辅助诊断提供了有力的支持。

NOTES

^*通讯作者。