基于多模态融合建模的ICU脓毒症预后研究

Research on ICU Sepsis Prognosis Based on Multimodal Fusion Modeling

摘要: 脓毒症是ICU中的常见危急病症，其早期识别和预后预测对于降低病死率至关重要。本研究旨在通过多模态数据融合技术构建脓毒症预后预测模型，结合静态基线数据、时间序列实验室数据以及电子病历文本数据，提升预测的准确性和稳健性。模型训练中采用了交叉验证和网格搜索相结合的超参数优化方法，并引入了L2正则化和Dropout技术以防止模型过拟合。此外，针对数据类别不平衡问题，使用Focal Loss损失函数提升了模型对少数类样本的识别能力。结果表明，基于多模态融合的模型在准确率、特异性、F1分数以及AUROC等关键指标上均表现优异，特别是在处理复杂的医疗数据时展现出较高的鲁棒性和泛化能力。本文的研究验证了多模态数据融合框架在脓毒症预后预测中的有效性，并为临床应用提供了有力支持。

Abstract: Sepsis is a common and critical condition in ICUs, and early identification and prognosis prediction are essential for reducing mortality rates. This study aims to develop a sepsis prognosis prediction model using multimodal data fusion techniques, integrating static baseline data, time-series laboratory data, and electronic health record (EHR) text data to improve prediction accuracy and robustness. The model training process employed a combination of cross-validation and grid search for hyperparameter optimization, and L2 regularization along with Dropout techniques was introduced to prevent overfitting. Additionally, to address the class imbalance issue in the dataset, the Focal Loss function was applied to enhance the model’s ability to identify minority class samples. The results demonstrate that the multimodal fusion-based model outperformed in key metrics such as accuracy, specificity, F1 score, and AUROC, particularly exhibiting high robustness and generalization capabilities when handling complex medical data. This study validates the effectiveness of the multimodal data fusion framework in sepsis prognosis prediction and provides strong support for potential clinical applications.

1. 引言

脓毒症是由感染引发的全身性炎症反应综合征，常导致多器官功能衰竭，且病死率高，是重症监护病房(Intensive care unit, ICU)患者的主要致死原因之一[1]。脓毒症的早期识别和精准预后评估对于改善患者预后具有重要意义，然而，由于脓毒症病理过程复杂，涉及多种生理指标的变化，传统的基于单一模态的预后评估方法往往难以捕捉到脓毒症的全貌，因而在预测准确性和早期干预方面存在一定的局限性[2] [3]。

随着医学技术的不断进步，ICU患者在治疗过程中会生成大量的多模态数据，包括生理信号、实验室检测结果、电子病历(Electronic Health Record, EHR)等。这些数据不仅反映了患者的实时生理状态，还记录了病程中的关键临床事件，多模态融合建模技术能够将不同来源的数据进行有效整合与关联分析，从而更全面地描述患者病情的动态变化，显著提升预后评估的准确性和时效性[4]。已有研究通过融合计算机断层扫描(CT)图像与受试者的临床数据，成功实现了对阿尔茨海默症不同阶段的精准预测[5]。在另一项关于抑郁症识别的研究中，有学者从脑电图(EEG)等电信号的三种模态中提取了非线性特征，并对这些模态数据进行了有效融合，同时运用遗传算法对模型进行了改进，结果显示多模态数据显著提高了抑郁症识别的准确性[6]。此外，还有研究将心电图(ECG)与心音信号进行融合，提出了一种适用于双模态数据的深度双尺度残差网络，并结合递归特征消除(RFE)算法以减少特征间的冗余性，结果表明多模态特征的融合相比单模态数据显著提升了模型的性能[7]。这些研究成果均表明了多模态数据融合方法的可行性。针对脓毒症患者，虽然病情涉及多个系统和器官，但与影像资料的相关性较低。因此，在本研究中，我们重点选取实验室检测数据和电子病历数据作为核心数据来源，结合多模态融合技术进行脓毒症患者的预后建模。这种方法不仅能够捕捉脓毒症的复杂病理特征，还能为临床决策提供更精确的支持。多模态融合方法不仅能在时间序列数据的层面上捕捉脓毒症患者病情的动态变化，还可以通过深度学习等先进的建模技术，从复杂和非线性的数据中提取出潜在的病理特征[8]。这种融合方法能够打破单一模态数据之间的壁垒，有助于发掘隐藏在多维数据中的关键信息，为临床医生提供更具个性化和精确化的决策支持。

本研究旨在基于多模态融合建模技术，融合ICU中的脓毒症患者的静态基线数据、动态变化的实验室指标以及临床医师笔记数据进行预后预测。采用多种数据融合方法，结合机器学习和深度学习技术，构建一个能够集成多模态数据的预后评估模型。通过这一研究，希望能够提高脓毒症患者的死亡风险预测精度，并为临床实践提供有效的决策支持工具，从而改善患者的生存率和治疗效果。

2. 方法

2.1. 数据集描述

本研究使用的数据来自MIMIC-IV医学重症公共数据集(Medical Information Mart for Intensive Care IV, MIMIC-IV)，这是一个公开的医学重症监护数据库，由麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)和贝斯以色列女执事医疗中心(BIDMC)联合创建[9]。该数据库包含了从2008年到2019年在BIDMC的ICU中收治的患者的详细临床数据，涵盖了数万名患者的医疗记录。MIMIC-IV数据集提供了丰富的多模态医疗数据，包括患者的生命体征、实验室检测结果、药物使用记录、电子病历文本数据、病理检查结果、放射影像报告等。数据集按结构化和非结构化数据类型组织，使得它非常适合用于研究重症监护中的预后预测、病情分析及其他临床研究。

本研究提取了其中的ICU脓毒症患者静态的基线信息、动态变化的实验室检测数据和电子病历(EHR)数据。数据集包含多个临床参数，包括患者的基础人口统计学信息(如年龄、性别)、实验室检测结果(如血常规、肝肾功能、炎症标志物等)，以及EHR中记录的关键临床事件(如用药记录、生命体征、诊断信息等)。

本研究选取的静态的基线数据是指患者在入院时或诊疗早期收集的基础信息和静态特征，通常包括年龄、性别、既往病史、慢性疾病状况(如糖尿病、高血压等)、基础生命体征等。这些数据为患者的整体健康状况提供了基线参考，有助于识别脓毒症高危人群和评估预后风险。而动态变化的实验室检测指标，反映了患者的生理状态和脓毒症相关的病理变化。这些数据通常包括血常规、肝肾功能、血气分析、电解质水平、炎症标志物(如C反应蛋白、白细胞计数等)等。随着病情发展，这些指标会呈现出显著的变化，能为病情评估和治疗决策提供实时支持。最后电子病历数据包括患者的住院记录、诊疗过程、临床症状、诊断信息、用药情况以及ICU期间的临床事件记录。这些数据反映了患者的病程、医生的诊疗决策和治疗反应，涵盖了从入院到治疗的整个过程，能够全面展示患者的临床状态，并为预后评估提供丰富的信息。

2.2. 数据预处理

数据清洗的核心是解决缺失值、异常值和噪声数据问题。对于缺失值，本研究根据变量类型采取不同的处理策略[1]。本研究删除了缺失率在20%以上的患者条目，对于缺失率小于20%的数据，针对性的进行缺失值填充。采用众数填充法填充分类变量，以保持类别分布的相对一致性；对于连续变量，使用均值填补法处理，确保数据的统计特征得以保留。针对异常值，使用基于3异常值检测方法进行处理，识别并修正异常数据点，以降低其对模型训练过程中的负面影响。对于噪声数据，本研究根据数据分布特性，采用基于统计分析的过滤方法进行平滑处理，确保数据的稳定性和可信度。

为了消除不同量纲之间的差异，本研究对连续型变量进行了归一化与标准化处理。具体而言，对于具有明显范围界限的变量，采用Min-Max归一化方法，将其压缩到指定区间(如[0, 1])；对于无明确范围的变量，使用Z-score标准化，使其均值为0，标准差为1。这样做可以确保各特征在模型训练中的同等重要性，避免尺度不一致导致的模型偏差。本研究绘制了数据预处理的流程图，如图1所示。

为了提高模型的效率和泛化能力，本研究对原始数据中的冗余和无关特征进行了筛选。首先，依据医学文献和临床经验对特征进行初步筛选，保留与脓毒症预后显著相关的特征。随后，采用互信息法与相关系数法，进一步量化各特征对预后结果的贡献，去除对预测无明显影响的冗余特征，两个特征评估法的结果如图2所示，本研究对两种方法得到的结果进行加权，选取了相关系数最高的前25个特征。

Figure 1. Data preprocessing flowchart

图1. 数据预处理流程图

Figure 2. Feature evaluation by the mutual information and the correlation coefficient

图2. 互信息法与相关系数法进行特征评估

对于具有时间依赖性的临床数据(如生命体征和实验室指标的动态变化)，本研究采用时间窗滑动的方式进行处理。将时间序列切分为多个固定长度的窗口(设置每个窗口大小为24小时)，提取每个窗口内的统计特征(如最大值、最小值、均值、标准差)，同时保留时序趋势信息。对于长时间序列数据，使用降采样技术以降低计算复杂度，同时保证时序数据中的关键信息不丢失。为了将文本数据量化为计算机可处理的格式，本研究采用了基于BERT的预训练语言模型ClinicalBERT对电子病历文本进行处理[10]。ClinicalBERT专为医疗领域设计，能够捕捉医学文本中的复杂语义信息，通过对原始文本进行词嵌入生成，该模型提取了具有临床语义的高维嵌入向量，这些嵌入向量保留了文本中的上下文依赖关系和医学术语的细粒度语义信息，能够在多模态融合模型中作为高效的特征输入，为下游预后评估任务提供丰富的文本表征。

2.3. 多模态数据嵌入融合

在多模态融合过程中，实验室数据和电子病历数据属于不同的数据模态，需要通过适当的融合方法进行有效整合。本研究采用了早期融合策略，即在特征级别对不同模态的数据进行融合。具体而言，我们首先对实验室数据和电子病历数据进行独立的特征提取，随后将这些提取到的特征在特征空间中进行拼接，分别形成各模态的嵌入向量，对其进行早期融合形成一个联合的特征向量[11]。这种联合特征向量不仅能够保留各模态的关键信息，还能在后续的建模过程中提供全局性的数据视角，从而提高模型在下游任务中的表现。早期融合策略的优势在于能够充分利用不同数据源的信息冗余和互补性，从而提升预后评估模型的准确性和鲁棒性。

2.4. 机器学习模型构建

在多模态数据融合完成后，本研究使用了机器学习和深度学习相结合的方法来构建脓毒症患者的预后评估模型。考虑到不同数据类型的特性和要求，针对不同模态的数据采用了差异化的建模策略，传统的机器学习方法难以处理时序数据和文本数据的复杂动态特性，而深度学习方法虽然适合处理这些复杂的数据结构，但对静态的患者基线数据使用深度学习可能过于复杂且计算资源浪费。因此，本研究根据数据特性分别进行模型构建，最大化地发挥不同方法的优势。各模态的模型构建过程如图3所示。

Figure 3. Multimodal embedding vector generation and modeling

图3. 多模态嵌入向量生成方式与建模

对于静态的患者基线数据，这些数据通常为非时序的、定量的特征，如年龄、性别、既往病史等。由于其结构较为简单，本研究使用了多层感知机(Multilayer Perceptron, MLP)进行建模。MLP是一种前馈神经网络，由多个全连接层组成，能够通过非线性激活函数来捕捉输入数据的非线性关系，同时具有较低的计算成本，非常适合处理这种静态特征的任务[12]。设输入$X=\left[x_1,x_2,\cdots ,x_n\right]$ 特征向量为，其中，n为特征数量，MLP的输出可以由公式(1) (2) (3)表示。

$h_1=f\left(W_{1}X+b_1\right)$ (1)

$h_2=f\left(W_2{h}_1+b_2\right)$ (2)

$y=W_3{h}_2+b_2$ (3)

其中，$W_1$ ，$W_2$ ，$W_3$ 分别为各层的权重矩阵，$b_1$ ，$b_2$ ，$b_3$ 为偏置项，$f$ 为非线性激活函数。MLP通过前向传播计算输出结果，并通过反向传播和梯度下降优化权重参数。对于静态基线数据，MLP既能有效提取特征间的复杂交互关系，又能在计算资源方面保持高效，适合此类非时序任务。

与静态数据不同，时序数据和文本数据具有复杂的依赖结构和动态特性。时序数据(如实验室检测数据)反映了患者生理状态的动态变化，而文本数据(如电子病历)包含复杂的语义和上下文依赖性。为了有效建模这些复杂的数据，本研究使用了双向长短期记忆神经网络(Bi-Long Short-Term Memory, BiLSTM)来处理时序数据和文本数据[13]。LSTM是一种递归神经网络(RNN)变种，专门用于处理序列数据，能够有效解决传统RNN在处理长序列时的梯度消失和梯度爆炸问题。LSTM单元通过引入遗忘门、输入门和输出门来控制信息流动，从而保留和更新长时间依赖信息。双向LSTM (BiLSTM)则进一步增强了对序列前后文信息的捕捉能力。对于给定的时序输入，BiLSTM单元的更新过程如下所示。

$f_t=\sigma \left(W_f\left[h_{t-1},x_t\right]+b_f\right)$ (4)

$i_t=\sigma \left(W_i\left[h_{t-1},x_t\right]+b_i\right)$ (5)

$o_t=\sigma \left(W_o\left[h_{t-1},x_t\right]+b_o\right)$ (6)

$c_t=f_{{}_t}\cdot c_{t-1}+i_t\cdot \tan h\left(W_c\left[h_{t-1},x_t\right]+b_c\right)$ (7)

$h_t=o_t\cdot \tan h\left(c_t\right)$ (8)

其中，$f_t$ 、$i_t$ 以及$o_t$ 分别是遗忘门、输入门和输出门，$c_t$ 是细胞状态，$h_t$ 是隐状态，$\sigma$ 是Sigmoid激活函数。在BiLSTM中，序列数据会被同时输入两个方向的LSTM层，分别处理正向序列和反向序列，最后将正向和反向的隐状态拼接起来，形成联合表示，如式子所示。这种双向结构能够有效捕捉到序列中的双向依赖性，从而增强模型对时序数据的建模能力。

$h_t^{BiLSTM}=\left[h_t^{forward},h_t^{backward}\right]$ (9)

BiLSTM在处理时间依赖关系和捕捉长期依赖信息方面表现优异，适合处理脓毒症患者实验室数据的动态变化和电子病历中的文本数据。对于文本数据，先通过ClinicalBERT生成文本嵌入，再输入LSTM网络进行时序建模，从而捕捉文本中的潜在临床信息。通过针对不同类型的数据(静态、时序、文本)设计相应的建模策略，本研究不仅提高了模型的建模效率，还有效融合了各模态信息的优势，使得脓毒症预后预测更加精准全面。这种多模态融合框架大大提升了模型的泛化能力，能够为临床决策提供更具洞察力的分析[14]。

此外，医疗数据中的不平衡问题是模型训练过程中常见的挑战，尤其是在脓毒症预后预测中，阳性和阴性样本的比例往往严重失衡。这种不平衡会导致模型对多数类的偏倚，即模型可能会倾向于对多数类(如非脓毒症死亡患者)进行准确预测，而忽略少数类(如脓毒症死亡患者)的正确识别[15]。为了缓解脓毒症预后预测中的数据不平衡问题，本研究在原模型的基础上引入了Focal Loss损失函数，以改善模型对少数类样本的识别能力。Focal Loss是一种针对不平衡数据设计的损失函数，它通过对难分类样本赋予更大的权重，抑制多数类样本对损失的影响，从而增强模型对少数类样本的关注[16]。

Focal Loss是对交叉熵损失的扩展，通过在交叉熵损失函数中引入一个可调参数，动态地调节易分类样本和难分类样本的损失贡献。其公式为如下。

$FL\left(p_t\right)=-\alpha {\left(1-p_t\right)}^{\gamma }\log \left(p_t\right)$ (10)

$p_t$ 表示样本预测的置信度，具体为当样本属于正类时，$p_t=p$ ，否则$p_t=1-p$ ，$p$ 是模型对正类的预测概率；${\alpha }_t$ 是控制类不平衡的权重因子，用于平衡正负样本，避免负类占主导；$\gamma$ 是调节参数，控制难易样本对损失的影响。此外，${\alpha }_t$ 用于应对类别不平衡。若正类样本较少，可以为正类样本设置较高的权重${\alpha }_t$ ，进一步增加少数类样本在损失函数中的权重。Focal Loss结合了这两个因素，有效减小了多数类对模型的主导作用，同时增强了模型对少数类的敏感性。

2.5. 机器学习模型构建

模型训练过程中，本研究采用了交叉验证与网格搜索相结合的方式进行超参数优化，以确保模型的泛化性能和稳定性。首先按照8:2的比例将数据集划分为训练集和测试集，确保测试集的特征分布与训练集一致，从而能够有效评估模型的性能。为了优化超参数，使用了5折交叉验证，结合网格搜索探索不同参数组合，每次验证过程中模型均进行100个epoch的训练，通过交叉验证循环不同的训练集与验证集组合，确保每一部分数据都得到充分训练和验证。通过这种方法，可以在不同超参数配置下多次训练模型，从而找到最优的超参数组合，确保模型在训练集和验证集上都表现良好。此外为防止模型过拟合，本研究采用了L2正则化与Dropout技术，L2正则化通过在损失函数中引入权重衰减项，减少模型复杂度，限制权重的过大增长，从而防止过拟合。Dropout在每个训练迭代过程中，随机“丢弃”一部分神经元，以减少模型对特定神经元的过度依赖，进一步提高模型的鲁棒性和泛化能力。通过交叉验证、网格搜索及正则化技术的综合应用，模型在处理多模态数据时表现出较高的稳健性和泛化能力，为脓毒症预后预测提供了可靠的建模框架。

2.6. 模型评估

模型评估中，本文使用了多种评价指标来全面衡量各模型在脓毒症死亡峰下预测任务中的性能。具体而言，本文选取了准确率(Accuracy)、特异性(Specificity)、敏感性(Sensitivity)、F1分数、AUROC (Area Under the ROC Curve)作为主要评估指标。准确率是衡量模型正确预测阳性和阴性实例的能力，计算公式如(11)所示。

$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$ (11)

其中，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。

$Specificity=\frac{TN}{TN+FP}$ (12)

特异性是模型正确识别脓毒症生存的比例，反映了模型区分负类样本的能力，计算公式如式(12)所示。

$Precision=\frac{TP}{TP+FP}$ (13)

精确度指的是被分为正例的示例中实际为正例的比例，计算公式为式(13)所示。

$F1Score=2\times \frac{Precision\times Recall}{Precision+Recall}$ (14)

$Recall=\frac{TP}{TP+FN}$ (15)

F1分数是精确率(Precision)和召回率(Recall，敏感性)的调和平均值，用于衡量模型在不平衡数据上的综合表现，计算公式如式(14)与(15)所示。AUROC是指ROC曲线下的面积，表示模型区分阳性和阴性实例的能力，值越接近1，模型的区分能力越强。通过以上这些评价指标，本研究能够全面评估各模型在ICU脓毒症死亡风险预测中的性能表现，分析其在正负样本上的识别能力和误判情况，从而为最终模型的选择提供充分的依据。

3. 结果

3.1. 数据集划分结果

本实验经过数据清洗后，ICU脓毒症病例数达到了30,249例，其中正例(ICU脓毒症死亡患者)仅有7289例，存在极其严重的数据不平衡问题。实验将脓毒症数据集按照8:2的比例划分为训练集和测试集，训练集用于模型的训练与超参数优化，而测试集用于模型的最终性能评估。训练集和测试集的特征分布一致，确保了模型评估的公平性和泛化性能的测试。训练集样本总数为$N_{train}=24199$ ，测试集样本总数为$N_{test}=6050$ ，样本类别比例保持一致。

3.2. 模型评估结果

模型的训练过程如图4所示，对比模型在测试集上的表现，本研究采用了准确率、特异性、精确度、F1分数、Recall值以及AUROC指标进行评估。表1展示了在使用Focal Loss损失函数前后的模型性能变化。模型的准确率为0.9306，显示出该模型在整体分类任务中的出色表现，能够较为准确地预测正负样本。模型的特异性为0.9374，显示了模型在识别非脓毒症患者时的良好表现。模型的F1分数与Recall值为0.8688与0.9103，表明其在平衡精确率与召回率方面表现出色，Focal Loss损失函数在其中发挥了重要的作用，该模型适合在数据类别不平衡的情况下使用。模型的AUROC达到0.9724，表明该模型在区分正负类样本时具有较强的能力，能够有效减少误判。模型的ROC曲线如图5所示，从ROC曲线可以看出，模型在不同阈值下的表现较为稳定，曲线下的面积(AUC)接近1，显示出强大的区分能力。本研究还绘制了模型的PR曲线，如图6所示，以表明模型的性能。

Table 1. Changes in model performance before and after using the Focal Loss function

表1. 在使用Focal Loss损失函数前后的模型性能变化

性能	使用Focal Loss前	使用Focal Loss后
准确率	0.8736	0.9306
特异性	0.7912	0.9374
F1值	0.6428	0.8688
Recall值	0.5917	0.9103
AUROC值	0.8029	0.9724

Figure 4. Graph of the learning rate of the model

图4. 模型学习率曲线图

Figure 5. Curve of AUROC for model

图5. 模型AUROC图

Figure 6. Model Precision-Recall (PR) curve

图6. 模型Precision-Recall (PR)曲线

4. 讨论

本研究通过多模态数据融合的方法，结合静态基线特征、时间序列实验室数据及文本电子病历数据，构建了脓毒症预后预测模型，并采用多种评价指标对模型性能进行了全面评估。结果表明，本研究所提出的模型在各项评估指标上均表现出色，尤其是在准确率、F1分数及AUROC方面，优于其他模型，验证了多模态融合框架在复杂医疗数据中的有效性。

多模态数据的融合显著提升了模型的预测性能。通过多模态融合，模型能够更全面地反映患者的健康状况，从而提升了预测精度。脓毒症预后预测中的类别不平衡问题是模型训练中的一个重要挑战。为解决该问题，本文引入了Focal Loss损失函数，通过对难分类样本赋予更大的权重，有效提高了模型对少数类的敏感性。实验结果表明，Focal Loss显著提升了模型在少数类样本上的表现，特别是在F1分数及Recall值上，这验证了其在处理医学数据类别不平衡问题中的有效性。未来的研究中可以进一步探索如何结合更多不平衡处理技术，如混合采样策略，进一步提升模型对少数类的识别能力。

5. 结论

本研究通过构建基于多模态数据融合的脓毒症预后预测模型，成功结合了静态基线数据、时间序列实验室数据和电子病历文本数据，显著提升了模型的预测性能。通过本研究，得出了以下主要结论：首先，多模态数据的融合显著提升了脓毒症预后预测模型的整体性能。与单模态模型相比，多模态模型在准确率、特异性、F1分数及AUROC等关键指标上均表现出更优异的性能，证明了多模态数据在综合利用多维信息方面的潜力。其次，静态基线数据、时间序列数据和文本数据的联合使用，使得模型能够更全面地捕捉患者病程的动态特征和细节信息，从而提升了预后预测的准确性和鲁棒性。这也表明，不同类型数据之间的互补性在医疗预后预测中具有重要意义。

未来的工作中，计划在更多独立数据集上对模型进行外部验证，以进一步提高其泛化能力，并探讨如何增强模型的可解释性，以促进其在实际临床环境中的应用。同时，研究将继续探索更多的不平衡处理策略和多模态数据融合的优化方法，进一步提升医学预后预测的精度与可靠性。