基于机器学习构建COPD合并心血管疾病患者发生死亡的风险预测模型
A Machine Learning-Based Risk Prediction Model for Mortality in Patients with COPD Complicated by Cardiovascular Disease
DOI: 10.12677/acm.2026.1631127, PDF, HTML, XML,   
作者: 徐 熙:青岛大学青岛医学院,山东 青岛;石伟丽:青岛市第八人民医院呼吸与危重症医学科,山东 青岛;徐德祥*:康复大学青岛中心医院呼吸与危重症医学科,山东 青岛
关键词: 慢性阻塞性肺疾病心血管疾病炎症标志物机器学习预测模型Chronic Obstructive Pulmonary Disease Cardiovascular Disease Inflammatory Markers Machine Learning Predictive Models
摘要: 目的:为了分析4种机器学习算法构建慢性阻塞性肺疾病(COPD)合并心血管疾病发生全因死亡率预测模型的预测价值。方法:从NHANES数据库中提取2013~2018年三个调查周期的数据,依据COPD合并心血管疾病的诊断进行筛选,纳入490名研究对象。跨周期整合数据,对数据缺失、极端值及不合理记录进行处理,对变量进行筛选后构建4种机器学习算法,以全因死亡率为结局指标,对慢性阻塞性肺疾病合并心血管疾病患者发生全因死亡的风险进行预测模型构建,并且比较4种预测模型,并通过ROC曲线、校准曲线及DCA方法对模型性能进行系统评价。结果:经单因素、LASSO回归筛选变量分析,共筛选出10项具有预测意义的变量,包括吸烟、血红蛋白、谷草转氨酶、淋巴细胞计数、体重指数、单核细胞计数、年龄、免疫炎症指数、低密度脂蛋白及总胆固醇。根据筛选的变量,使用SVM、Logistic回归、RF及XGBoost进行预测模型构建,在训练集中,随机森林(Random Forest, RF)、支持向量机(SVM)、极限梯度提升(XGBoost)和Logistic回归模型的ROC曲线下面积分别为0.8353、0.8571、0.8289和0.7573。在测试集中,RF、SVM、XGBoost和Logistic回归模型的AUC分别为0.7277、0.7294、0.6897和0.7220。结论:四种模型在训练集区分能力均较好,AUC最高的模型是SVM模型,预测性能最佳,在测试集中LR与SVM的AUC接近,提示LR具有相当的泛化判别能力。测试集与训练集相比,各模型AUC均有所下降,但整体仍保持中等以上的预测效能。综合训练集与测试集ROC曲线分析结果,SVM算法和LR算法构建的COPD合并心血管疾病患者死亡风险预测模型具有最优的判别能力和较好的泛化性能,可作为一种有效工具,用于早期识别COPD合并心血管疾病患者发生死亡风险,为临床风险分层和干预决策提供参考依据。
Abstract: Objective: To analyze the predictive value of four machine learning algorithms in constructing all-cause mortality prediction models for patients with chronic obstructive pulmonary disease (COPD) and cardiovascular disease. Methods: Data from three survey periods (2013-2018) were extracted from the NHANES database. Participants were screened based on their diagnosis of COPD combined with cardiovascular disease, and 490 subjects were included. Data across periods were integrated, and missing data, outliers, and inappropriate records were removed. After variable screening, four machine learning algorithms were constructed to predict the risk of all-cause mortality in patients with COPD and cardiovascular disease, using all-cause mortality as the outcome indicator. The four prediction models were compared, and their performance was systematically evaluated using ROC curves, calibration curves, and DCA methods. Results: Univariate and LASSO regression analyses identified 10 predictive variables: smoking status, hemoglobin, aspartate aminotransferase (AST), lymphocyte count, body mass index (BMI), monocyte count, age, immune-inflammatory index, low-density lipoprotein (LDL), and total cholesterol. Using these selected variables, prediction models were constructed with RF, SVM, logistic regression, and XGBoost. On the training set, the areas under the ROC curves for Random Forest (RF), Support Vector Machine (SVM), XGBoost, and logistic regression were 0.8353, 0.8571, 0.8289, and 0.7573, respectively. On the test set, the AUC values for RF, SVM, XGBoost, and Logistic regression were 0.7277, 0.7294, 0.6897, and 0.7220, respectively. Conclusion: All four models demonstrated good discrimination capabilities on the training set, with the SVM model achieving the highest AUC and best predictive performance. In the test set, the AUCs of LR and SVM were similar, suggesting that LR has comparable generalization and discriminative ability. Compared to the training set, the AUC of each model decreased on the test set, yet overall maintained above-average predictive efficacy. Based on the combined ROC curve analysis of the training and test sets, the SVM- and LR-based model for predicting mortality risk in COPD patients with CVD demonstrates optimal discriminative capability and good generalization performance. It serves as an effective tool for early identification of mortality risk in COPD patients with cardiovascular disease, providing a reference for clinical risk stratification and intervention decisions.
文章引用:徐熙, 石伟丽, 徐德祥. 基于机器学习构建COPD合并心血管疾病患者发生死亡的风险预测模型[J]. 临床医学进展, 2026, 16(3): 3215-3224. https://doi.org/10.12677/acm.2026.1631127

1. 引言

慢性阻塞性肺疾病(chronic obstructive pulmonary disease, COPD)是一种以持续性气流受限为主要特征的慢性呼吸系统疾病,其气流受限通常呈进行性发展[1] [2]。目前有研究表明,COPD的发生和进展主要与气道及肺实质在长期暴露于有害气体或颗粒物后产生的异常炎症反应密切相关,而且炎症反应可导致气道结构重塑及肺组织损伤,从而引起不可逆的通气功能障碍。据世界卫生组织统计,慢性阻塞性肺疾病已经成为全球第三大致死原因[3],在我国慢性病中致死率也较高[4],据统计COPD的患病群体仍在持续扩大,而且大多数患者并不关注这一疾病,COPD漏诊率高,许多患者被诊断时已错过早期,从而呈现进展期诊断的特点[5] [6],由于该疾病是一种不可逆的疾病,目前治疗效果有限,预后一般,给许多患者家庭、医疗系统及社会带来了沉重的疾病负担。现有临床研究显示,慢阻肺患者往往有许多合并症,其中最常见的为心血管疾病[7],与单纯慢性阻塞性肺疾病或单纯心血管疾病患者相比,慢性阻塞性肺疾病合并心血管疾病患者的治疗过程更为复杂,管理难度明显上升[8]。这一类患者往往表现出更高的住院率和再入院率,其死亡风险亦明显升高。已经有相关研究表明,慢阻肺合并心血管疾病患者的死亡率可达到单一疾病患者的2~3倍[9] [10],已成为影响其预后的重要决定因素之一。本研究目的是及早识别该人群中的死亡高风险个体,准确评估其死亡风险,并据此制定针对性的干预与管理措施,阻止疾病进一步恶化,降低患者死亡率,并且减轻医疗系统负担。

现在临床中大多数是用于评估COPD疾病加重或心血管疾病患者传统预测模型[11],包括COPD评估测试(CAT)、BODE指数等。这些传统模型多数是多因素logistic回归、Cox比例风险回归等统计方法构建,筛选出的关键影响变量为少数,在疾病变量中,多数变量间存在非线性关系,传统的预测模型对非线性关系的捕捉较为困难,多种因素之间相互影响、相互作用COPD合并心血管疾病患者的死亡风险呈现出复杂的非线性关系[12] [13],传统风险预测模型难以全面、精确地捕捉这些复杂关联,因此其预测效能有限,难以满足临床精准化、个体化管理的需求。本研究的主要目的是通过整合患者的人口学信息、临床诊疗数据、实验室检查结果等多维度数据,通过4种机器学习算法构建死亡风险预测模型中,筛选出效能最高的机器学习模型,为临床医生早期识别高危患者、制定个体化干预策略、改善患者预后提供科学依据。

2. 资料与方法

2.1. 研究对象

NHANES是一项基于人群的横断面调查项目,系统收集了受试者的健康相关信息,包括人口学特征、体格检查结果、实验室检测指标以及问卷调查资料。并通过国家死亡指数(National Death Index, NDI)链接提供了长期死亡随访信息,使基于基线特征进行死亡风险预测成为可能。该调查方案均经相关机构审查委员会批准,所有研究对象在参与调查前均签署了知情同意书。本研究基于NHANES 2013~2018年三个连续调查周期的数据,共计17,844名受试者纳入原始研究队列。研究对象的纳入标准如下:(1) 年龄 ≥ 18岁;(2) 慢性阻塞性肺疾病的判定依据为满足以下任一条件:① 支气管扩张剂吸入后第一秒用力呼气容积与用力肺活量之比(FEV1/FVC) < 0.70;② 在医疗问卷(Medical Conditions Questionnaire, MCQ)中,对“是否曾被医生告知患有肺气肿、慢阻肺”(MCQ160O、MCQ160G或MCQ160P)回答“是”;(3) 心血管疾病的定义基于问卷调查结果,包括既往被诊断为冠心病(MCQ160C)、心肌梗死(MCQ160E)、心力衰竭(MCQ160B)、心绞痛(MCQ160D)或卒中(MCQ160F)中的任意一项;(4) 基线阶段具有完整的人口学资料、临床特征及所需实验室检测数据;(5) 随访期间具有完整的死亡结局状态及生存时间记录。

2.2. 研究方法

2.2.1. 数据采集

NHANES数据库是按调查周期和变量类型分为多个文件的独立数据,本研究需合并的核心文件包括:① 人口学数据文件(DEMO):包含年龄、性别等。② 体格检查数据文件高血压、高血脂(BPQ)。③ 临床问卷数据文件(MCQ、HSQ、ALQ):包括吸烟史、饮酒史、慢阻肺病史、心血管疾病史、高血压病史、高脂血症病史等。④ 实验室检测数据文件(CBC、CHOL):包含血常规、肝功能、肾功能、血脂、电解质等。⑤ 衍生指标:SIRI (中性粒细胞计数 × 单核细胞计数/淋巴细胞计数)、AISI (中性粒细胞计数 × 血小板计数(PC) × 单核细胞计数(MC)/淋巴细胞计数(LC)并对符合数据进行计算结果指标。⑥ 死亡率随访数据文件(MORT):包含死亡状态、死亡日期等。数据合并以SEQN (受试者唯一识别码)为关键字,采用左连接方式将各周期的基线数据与死亡率随访数据合并,确保每个受试者的基线特征与随访结局一一对应。合并工具采用Python3.10.6。

2.2.2. 统计学分析

连续变量进行正态性检验,多数为非正态分布,连续变量用中位数(四分位间距)表示,采用U检验进行分析。计数资料的构成比使用频数(百分数)表示,使用卡方检验进行分析。使用Python3.10.6软件进行统计学分析。

3. 结果

3.1. 基本结果

入组慢阻肺合并心血管疾病的患者有490例。其中男性263例(53.67%),女性227例(46.33%)。中位年龄为68岁(59岁至77岁),随访期间共发生死亡102例占总研究人群的20.82%。

3.2. 确定建模变量

以患者随访期内的死亡结局作为模型构建的因变量,通过文献选取49个因素,对数据按7:3进行划分为训练集:测试集,并对训练集通过单因素对训练集筛选出p < 0.05的变量,通过LASSO回归筛选变量,共筛选出10个变量,分别是:吸烟、血红蛋白、AST、淋巴细胞计数、单核细胞计数、体重指数、年龄、全身免疫炎症指数、LDL、胆固醇。

3.3. 模型训练

数据库以7:3的比例随机拆分成训练集和测试集,其中对训练集中缺失 > 30%删除,<30%以多重插补对数据集进行插补,并对训练集及测试集进行差异性分析,比较训练组与测试组组间差异。分别基于RF、SVM、XGBoost和Logistic回归算法构建模型,借助网格搜索实现超参数的优化筛选,且全程采用十折交叉验证的方式保障模型的泛化能力与评估可靠性。并对各模型在训练集和测试集中的性能进行比较。分别采用Python3.10.6进行统计分析。

基于训练集中经单因素分析及LASSO回归筛选出的变量,(图1图2),我们基于4种学习方法支持向量机分类(SVM)、随机森林(RF)、逻辑回归(LR)及极端梯度提升(XGBoost)进行预测模型构建,并对它们预测终点事件的能力展开比较评估。

ROC曲线分析结果显示训练集中SVM的AUC值为0.8571、RF为0.8353、XGBoost为0.8289而Logistic回归为0.7573,测试集中则是SVM的AUC值为0.7294、RF为0.7277、Logistic回归为0.7220、XGBoost为0.6897,这一曲线分析结果表明四种模型在训练集中的AUC值均高于测试集(见图3图4)。

从模型性能指标上看,SVM模型在AUC值和召回率上优势更明显,适合用于需要重点识别高风险患者的场景,RF模型的特异性和准确率较高,在降低假阳性率方面更好,LR模型的整体性能较为均衡,XGBoost模型综合预测性能相对偏弱,从95%置信区间上,四种模型存在一定的重叠,表明模型间有差异但总体趋势一致(见图5)。

Figure 1. Results of ten-fold cross-validation

1. 十折交叉验证结果

Figure 2. Coefficient path plot of LASSO Logistic regression

2. LASSO Logistic回归系数路径图

Figure 3. ROC curves of four models in the training set

3. 四种模型训练集ROC曲线

Figure 4. ROC curves of four models in the test set

4. 四种模型测试集ROC曲线

Figure 5. Comparison of model performance on the test set

5. 不同预测模型在测试集上的性能比较

校准曲线分析结果显示LR模型和SVM模型在预测概率与实际观察结果方面,具有良好的一致性,其中LR模型的Brier score最低仅为0.1250,说明它的校准性能最优,SVM模型紧随其后其Brier score为0.1302,RF模型和XGBoost模型出现一定程度的过度校准或校准不足情况,XGBoost模型的Brier score最高达到0.1988,说明它的概率预测稳定性较差(见图6)。

Figure 6. Calibration curve in the test set

6. 测试集校准曲线

决策曲线分析结果显示在大多数合理的阈值概率区间也就是约0.05到0.6之间,四种模型的净获益都高于Treat None策略这体现出它们具备潜在的临床应用价值,在较宽的阈值范围内,SVM和LR表现出更稳定的净获益,而RF和XGBoost整体优势并不明显(见图7)。

总体而言基于模型预测进行决策比单纯依靠经验的策略效果更好,SVM和Logistic回归在实际应用中可能更具优势。

3.4. 模型可解释性

本研究采用SHAP解释训练集SVM模型:单核、血红蛋白、淋巴、全身免疫炎症指数最关键,其中SHAP分布较广。总体呈现高值(红)多位于正向区、低值(蓝)多位于负向区,提示这些指标升高更推动模型输出向正类/高风险方向变化。年龄、BMI、吸烟对输出有一定影响;AST、LDL、胆固醇SHAP值多接近0,贡献较小(见图8)。

Figure 7. Decision curve analysis (DCA) in the test set

7. 测试集决策曲线分析

Figure 8. SHAP summary plot for the SVM model in the training set

8. 训练集SVM模型的SHAP特征重要性Summary图

4. 讨论

慢性阻塞性肺疾病(COPD)是全球比较高发的慢性呼吸系统疾病,并且具有较高的死亡风险[14],而心血管疾病是COPD最常见的共病之一,且对预后影响显著增加,目前COPD合并心血管疾病患者的数量逐年增多,其全因死亡率明显上升,COPD合并CVD患者通常年龄更大、基础疾病更复杂、心肺功能损伤更严重,且常合并多系统并发症,病情进展更快,尽管随着吸入制剂、肺康复等规范化治疗的普及,患者的短期生存率有所提高,但合并心血管疾病后死亡风险明显升高[10] [13] [15]。COPD合并CVD患者的死亡风险受多种因素影响,包括吸烟、年龄、体重指数(BMI)、免疫炎症状态及生化指标异常等,这些影响因素与之前研究结果,相似,这些危险因素相互作用,进一步增加了死亡风险评估的复杂性[16],也对传统风险评估方法提出了挑战。而本研究基于NHANES数据库,对多维度临床特征进行整合,采用单因素、LASSO回归进行变量筛选,并联合Logistic回归、RF、XGBoost及SVM四种机器学习算法,构建COPD合并心血管疾病患者死亡风险预测模型,系统比较不同模型的判别效能、校准精度及临床实用价值,为该类患者的风险分层与个体化管理提供了新的循证依据。

本研究使用的4种机器学习方法是支持向量机分类(SVM)、随机森林(RF)、逻辑回归(LR)及极端梯度提升(XGBoost),通过机器学习的算法可以使得较少的输入特征得到更小的误差,提高模型的易用性,分析不同的机器学习模型对COPD合并心血管疾病患者发生全因死亡率中的预测性能,使得在临床中可以选择合理的模型进行指导应用,便于早期识得COPD合并心血管疾病患者其死亡风险概率,并据此制定针对性的干预与管理措施,降低患者死亡率,并且减轻医疗系统负担[17] [18]

本研究比较了SVM、RF、XGBoost及LR四种算法在COPD合并心血管疾病患者死亡风险预测中的表现。训练集中SVM的判别能力较高(AUC = 0.8571),测试集中SVM (AUC = 0.7294)与LR (AUC = 0.7220)表现接近,差异不大,提示在数据集上线性模型已能获得与非线性模型相当的泛化性能。校准方面,LR的Brier score (0.1250)与SVM (0.1302)相近且略优,提示其概率预测稳定性不逊于SVM;决策曲线分析中两者亦呈现相对可观的净获益。非线性模型未显示显著优势,可能与样本量有限、噪声较大及变量与结局关系以近似线性主导有关,使复杂模型的增益被正则化与泛化误差抵消。综合考虑,SVM在判别能力上略占优势,而LR具备更强可解释性与更易部署的优势,可输出系数、构建风险评分并便于临床沟通等,在实际应用中可作为更具解释性和可推广性的备选方案。

研究仍有局限性,本研究数据来源单一,只进行内部验证,未进行外部验证,模型泛化能力可能不足需进一步进行验证,其次变量筛选中,采用了LASSO回归筛选,可能会排除一些有意义的变量,可能会影响预测能力,最后由于研究中数据为静态样本,对疾病发展预测不全面。

综上所述,COPD合并心血管疾病患者具有较高的全因死亡风险,其预后受吸烟暴露、年龄、营养与代谢状态、炎症免疫水平及血脂异常等多种因素的共同影响,对于风险特征用单一指标难以概括。本研究基于NHANES数据库,对多维度临床与实验室信息进行整合,采用多种机器学习算法构建死亡风险预测模型,并从判别能力、校准性能及临床获益等方面进行系统比较。结果显示,不同模型在预测性能上各具特点,其中SVM和Logistic回归在综合表现及临床适用性方面具有一定优势。研究结果为该类患者的风险评估和临床管理提供了一定的参考价值。

声 明

本研究数据来源于公开数据库(NHANES)。该数据库的原始调查已获得相应伦理委员会批准并取得受试者知情同意。本研究仅使用去标识化公开数据进行二次分析,故无需另行申请伦理审批及知情同意。

NOTES

*通讯作者。

参考文献

[1] Agustí, A, .Celli, B.R., Criner, G.J., et al. (2005) Global Initiative for Chronic Obstructive Lung Disease Strategy for the Diagnosis, Management and Prevention of Chronic Obstructive Pulmonary Disease: An Asia-Pacific Perspective. Respirology, 10, 9-17. [Google Scholar] [CrossRef] [PubMed]
[2] Xu, J., Zeng, Q., Li, S., Su, Q. and Fan, H. (2024) Inflammation Mechanism and Research Progress of COPD. Frontiers in Immunology, 15, Article 1404615. [Google Scholar] [CrossRef] [PubMed]
[3] Hogg, J.C. and Timens, W. (2009) The Pathology of Chronic Obstructive Pulmonary Disease. Annual Review of Pathology: Mechanisms of Disease, 4, 435-459. [Google Scholar] [CrossRef] [PubMed]
[4] Zhou, M., Wang, H., Zeng, X., Yin, P., Zhu, J., Chen, W., et al. (2019) Mortality, Morbidity, and Risk Factors in China and Its Provinces, 1990-2017: A Systematic Analysis for the Global Burden of Disease Study 2017. The Lancet, 394, 1145-1158. [Google Scholar] [CrossRef] [PubMed]
[5] Boers, E., Barrett, M., Su, J.G., Benjafield, A.V., Sinha, S., Kaye, L., et al. (2023) Global Burden of Chronic Obstructive Pulmonary Disease through 2050. JAMA Network Open, 6, e2346598. [Google Scholar] [CrossRef] [PubMed]
[6] Wang, C., Xu, J., Yang, L., Xu, Y., Zhang, X., Bai, C., et al. (2018) Prevalence and Risk Factors of Chronic Obstructive Pulmonary Disease in China (the China Pulmonary Health [CPH] Study): A National Cross-Sectional Study. The Lancet, 391, 1706-1717. [Google Scholar] [CrossRef] [PubMed]
[7] Santos, N.C.D., Miravitlles, M., Camelier, A.A., Almeida, V.D.C.D., Maciel, R.R.B.T. and Camelier, F.W.R. (2022) Prevalence and Impact of Comorbidities in Individuals with Chronic Obstructive Pulmonary Disease: A Systematic Review. Tuberculosis and Respiratory Diseases, 85, 205-220. [Google Scholar] [CrossRef] [PubMed]
[8] Maeda, T. and Dransfield, M.T. (2023) Chronic Obstructive Pulmonary Disease and Cardiovascular Disease: Mechanistic Links and Implications for Practice. Current Opinion in Pulmonary Medicine, 30, 141-149. [Google Scholar] [CrossRef] [PubMed]
[9] Barnes, P.J., Burney, P.G.J., Silverman, E.K., Celli, B.R., Vestbo, J., Wedzicha, J.A., et al. (2015) Chronic Obstructive Pulmonary Disease. Nature Reviews Disease Primers, 1, Article No. 15076. [Google Scholar] [CrossRef] [PubMed]
[10] Divo, M., Cote, C., de Torres, J.P., Casanova, C., Marin, J.M., Pinto-Plata, V., et al. (2012) Comorbidities and Risk of Mortality in Patients with Chronic Obstructive Pulmonary Disease. American Journal of Respiratory and Critical Care Medicine, 186, 155-161. [Google Scholar] [CrossRef] [PubMed]
[11] Gendarme, S., Maitre, B., Hanash, S., Pairon, J., Canoui-Poitrine, F. and Chouaïd, C. (2024) Beyond Lung Cancer Screening, an Opportunity for Early Detection of Chronic Obstructive Pulmonary Disease and Cardiovascular Diseases. JNCI Cancer Spectrum, 8, pkae082. [Google Scholar] [CrossRef] [PubMed]
[12] Rao, S., Nazarzadeh, M., Li, Y., Canoy, D., Mamouei, M., Salimi-Khorshidi, G., et al. (2023) Systolic Blood Pressure, Chronic Obstructive Pulmonary Disease and Cardiovascular Risk. Heart, 109, 1216-1222. [Google Scholar] [CrossRef] [PubMed]
[13] Li, Y., Li, F., Wang, G., Zeng, Q. and Xie, P. (2025) Additive Impact of Chronic Obstructive Pulmonary Disease (COPD) and Cardiovascular Disease(CVD) on All-Cause and Disease-Specific Mortality: A Longitudinal Nationwide Population-Based Study. BMC Pulmonary Medicine, 25, Article No. 275. [Google Scholar] [CrossRef] [PubMed]
[14] Patel, N. (2024) An Update on COPD Prevention, Diagnosis, and Management. The Nurse Practitioner, 49, 29-36. [Google Scholar] [CrossRef] [PubMed]
[15] Alter, P., Kahnert, K., Trudzinski, F.C., Bals, R., Watz, H., Speicher, T., et al. (2022) Disease Progression and Age as Factors Underlying Multimorbidity in Patients with COPD: Results from COSYCONET. International Journal of Chronic Obstructive Pulmonary Disease, 17, 1703-1713. [Google Scholar] [CrossRef] [PubMed]
[16] Polman, R., Hurst, J.R., Uysal, O.F., Mandal, S., Linz, D. and Simons, S. (2024) Cardiovascular Disease and Risk in COPD: A State of the Art Review. Expert Review of Cardiovascular Therapy, 22, 177-191. [Google Scholar] [CrossRef] [PubMed]
[17] Moll, M., Qiao, D., Regan, E.A., Hunninghake, G.M., Make, B.J., Tal-Singer, R., et al. (2020) Machine Learning and Prediction of All-Cause Mortality in COPD. Chest, 158, 952-964. [Google Scholar] [CrossRef] [PubMed]
[18] Shiroshita, A., Kimura, Y., Shiba, H., Shirakawa, C., Sato, K., Matsushita, S., et al. (2021) Predicting In-Hospital Death in Pneumonic COPD Exacerbation via BAP-65, CURB-65 and Machine Learning. ERJ Open Research, 8, 00452-2021. [Google Scholar] [CrossRef] [PubMed]