模型平均对于糖尿病的预测

Prediction of Diabetes by the Model Average

摘要: 糖尿病导致高血压、血脂紊乱、心脑血管等疾病的主要原因，本文使用印度皮马女性有关糖尿病的数据集，使用基于逻辑回归的模型平均方法预测皮马女性五年内是否会患糖尿病。在选择模型时，经查阅资料，固定了口服葡萄糖耐量试验2小时后的血浆葡萄糖浓度、餐后2小时的血清胰岛素、糖尿病遗传函数三个指标进行建模，采用Mallows权重选择准则。实验结果表明模型平均相较于简单地逻辑回归方法预测误差率较低，效果较好。

Abstract: Diabetes is the main cause of hypertension, dyslipidemia, cardiovascular and cerebrovascular diseases. In this paper, we use the data set of Pima women in India about diabetes, and use the model averaging method based on logistic regression to predict whether Pima women will have diabetes in five years. In the selection of model, after consulting the data, fixed the oral glucose tolerance test 2 hours after the plasma glucose concentration, postprandial 2 hours of serum insulin, diabetes genetic function three indicators for modeling, using Mallows weight selection criteria. The experimental results show that the prediction error rate of the model average is lower than that of the simple logistic regression method, and the effect is better.

1. 引言

糖尿病是由人体缺乏或相对缺乏胰岛素所导致的一种慢性代谢疾病，也是导致高血压、血脂紊乱、心脑血管等疾病的主要原因。目前，我国糖尿病患者已有1.3亿人，慢性肾病患者中不乏同时患有糖尿病的。现代人的生活饮食习惯的改变，使得火锅、甜品、奶茶等高盐、高糖、多油的食物愈加受欢迎，糖尿病前期症状隐匿，容易被忽视。这就使得进行糖尿病高危人群的预测十分有必要。

本文是基于模型平均对21岁及21岁以上的印度皮马女性糖尿病数据集进行分析建立模型，以此预测皮马女性糖尿病高危人群；在对数据集的分析建模过程中，不论用于模型的选择或是模型参数的估计，在统计学和经济学中模型平均应用广泛。在实际应用中，往往人们并不知道真实的模型，因此模型的选择至关重要，而选择的模型不论是过于简单亦或过于复杂都可能会使得估计或预测的方差偏大，显然当选择的模型不够准确时会使得估计或预测做的不够准确。而在数据集中又难免会出现离群点、破坏分布假定的点、对估计参数影响比例失衡的点我们统称这些点为强影响点。面对这类数据，除了进行数据预处理之外，模型的选择也至关重要。

模型平均是将所有备选模型通过加权的方法，通过组合估计或组合预测来降低模型选择错误带来的估计误差，避免损失原始数据信息，以此来提高估计精度。而根据数据集的不同，Zhang X.等 [1] 提出广义线性模型的模型平均方法针对处理本文使用的二分类被解释变量的数据集做模型平均。

在皮马女性糖尿病数据集中因被解释变量仅有两类取值，0表示未患糖尿病，1表示患糖尿病，面对这样的二分类被解释变量，本文选取的模型是基于逻辑回归算法。

2. 基于逻辑回归的模型平均

2.1. 逻辑回归

逻辑回归是用以处理被解释变量为二分类数据的情况，即 $Y\sim b\left(1,p\right)$。如果用线性函数 $y=x^{\text{T}}\beta$ 做拟合容易受强影响点的影响，逻辑回归采用了Sigmod函数，即：

$g\left(z\right)=\frac{1}{1+{\text{e}}^{-z}}$

减弱强影响点的影响。Sigmod函数不仅将原先值域为 $\left(-\infty ,+\infty \right)$ 映射到 $\left(0,1\right)$ 区间，并且输出的结果还具有统计学意义，如果认为被解释变量取1 (即事件发生)的概率为p，则用Sigmod函数输出的即为事件发

生的概率，即 $p=\frac{1}{1+{\text{e}}^{-x^{\text{T}}\beta }}$。

2.2. 广义线性模型的模型平均

模型平均是将所有的备选模型通过权重平均起来，避免将“所有的鸡蛋放在同一个篮子里”，以此来规避模型选择错误的风险 [1]。

广义线性模型的指数分布族有如下形式：

$f\left(y_i|{\theta }_i,\phi \right)=\exp \left\{\frac{y_i{\theta }_i-b\left({\theta }_i\right)}{\phi }+c\left(y_i,\phi \right)\right\}$

其中， ${\theta }_i$， $\phi$ 均为参数， $b(\cdot )$， $c(\cdot )$ 均为已知的函数， ${\theta }_i$ 具有形式 ${\theta }_i=x_i^T\beta$，通过取分别 $x_i$ 的不同维的元素估计 $\beta$。记 $X={\left(x_1,x_2,\cdots ,x_n\right)}^{\text{T}}$， $Y={\left(y_1,y_2,\cdots ,y_n\right)}^{\text{T}}$， $\theta ={\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_n\right)}^{\text{T}}$。假设我们总共有S个备选模型，在第s个模型中，通过极大似然估计获得 $\beta$ 的估计 ${\hat{\beta }}_{\left(s\right)}$， ${\hat{\beta }}_{\left(s\right)}$ 与获取的 $x_i$ 的维度相对应，对应未获取 $x_i$ 的维度数据的其它维值均为0。权重向量 $\omega ={\left({\omega }_1,{\omega }_2,\cdots ,{\omega }_S\right)}^{\text{T}}$， $\omega \in {\left[0,1\right]}^S:{\displaystyle {\sum }_{i=1}^S{\omega }_i=1}$。

模型平均 $\beta$ 的估计 ${\hat{\beta }}_{\left(\omega \right)}$ :

${\hat{\beta }}_{\left(\omega \right)}={\displaystyle {\sum }_{s=1}^S{\omega }_s{\hat{\beta }}_{(\; \omega \; )}}$

$\theta$ 的真值 ${\theta }_0$，模型平均 ${\theta }_0$ 的估计：

$\theta \left({\hat{\beta }}_{\left(\omega \right)}\right)={\left[{\theta }_1\left({\hat{\beta }}_{\left(\omega \right)}\right),\cdots ,{\theta }_n\left({\hat{\beta }}_{\left(\omega \right)}\right)\right]}^{\text{T}}=X{\hat{\beta }}_{(\; \omega \; )}$

目前有许多权重选择准则，例如：张新雨等 [2] 罗列出基于信息准则权重选择方法的AIC和BIC、Mallows准则，本文使用的是Mallows准则。

Mallows权重选择标准为：

$G\left(\omega \right)=2{\phi }^{-1}\text{Β}\left({\hat{\beta }}_{\left(\omega \right)}\right)-2{\phi }^{-1}{y}^{\text{T}}\theta \left({\hat{\beta }}_{\left(\omega \right)}\right)+{\lambda }_n{\omega }^{\text{T}}k$

其中， $\text{Β}\left({\hat{\beta }}_{\left(\omega \right)}\right)={\displaystyle {\sum }_{i=1}^{n}b\left[{\theta }_i\left({\hat{\beta }}_{\left(\omega \right)}\right)\right]}$， ${\lambda }_n{\omega }^{\text{T}}k$ 为惩罚项， $k={\left(k_1,k_2,\cdots ,k_S\right)}^{\text{T}}$， $k_s$ 为第s个模型中参数的个数， ${\lambda }_n$ 为调整参数，常用的取值为2或者 $\log \left(n\right)$，本文 ${\lambda }_n\text{=}2$。

权重向量的求解：

$\omega =\arg {\min }_{w}G(\; \omega \; )$

2.3. 基于逻辑回归的模型平均

伯努利分布的指数分布族：

$f\left(y;p\right)=\exp \left\{ya-\log \left(1+{\text{e}}^a\right)\right\}$

其中 $a=\log \left(\frac{p}{1-p}\right)$， $\phi =1$， $b\left(a\right)=\log \left(1+{\text{e}}^a\right)$， $c\left(y_i,\phi \right)=0$。

权重选择标准为：

$G\left(\omega \right)=2{\displaystyle {\sum }_{i=1}^n\left\{y_i\log \left(1+\exp \left(x_i^{\text{T}}{\hat{\beta }}_{\left(\omega \right)}\right)\right)\right\}}-{\displaystyle {\sum }_{i=1}^n\left\{2y_i{x}_i^{\text{T}}{\hat{\beta }}_{\left(\omega \right)}\right\}+2{\omega }^{\text{T}}k}$

3. 糖尿病高危人群的预测

3.1. 数据来源

本文所用的数据集是来自kaggle网站www.kaggle.com/uciml/pima-indians-diabetes-database上的有关21岁及以上的皮马印度女性的有关身体相关指标数据，根据数据预测皮马女性5年内是否会患糖尿病。该数据集指标分别为：口服葡萄糖耐量试验2小时后的血浆葡萄糖浓度x₁、用餐2小时后的血清胰岛素x₂ (单位：μu/ml)、糖尿病遗传函数x₃、怀孕的次数x₄、舒张压x₅ (单位：mmHg)、三头肌皮褶厚度x₆ (单位：mm)、体重指数x₇ (体重(kg)/(身高(m)²)、年龄x₈、类变量(0或1)。

3.2. 数据预处理

数据集中存在诸如血糖、舒张压、三头肌皮褶厚度等数据都存在数据为0的情况，但显然这些数据为异常值，本文删除了这些带有异常值的样本，实际有效样本量为392个。口服葡萄糖耐量实验主要是检测机体对血糖的调节功能，经过检测得到的血浆葡萄糖浓度检测是判定是否为糖尿病的重要指标；用餐后2小时后的血清胰岛素指标用于检测胰岛β细胞功能，胰岛β细胞用于分泌胰岛素，因此该指标是可以用来预测胰岛功能的重要指标；糖尿病不论是一型还是二型都具有一定的遗传性，糖尿病遗传函数用于判定对每个家庭而言患糖尿病的家庭遗传情况。这三个指标在糖尿病判定中有着至关重要的作用，因此在进行模型平均的备选模型选择时，本文选择了包含这三个指标的所有模型。

3.3. 基于模型平均建模

因解释变量在选择时已经确定选择了口服葡萄糖耐量试验2小时后的血浆葡萄糖浓度x₁、用餐2小时后的血清胰岛素x₂、糖尿病遗传函数x₃这三个解释变量，剩余的5个解释变量不确定包含哪些解释变量预测效果会更好，所以这样我们共有32个组合模型。又因为被解释变量为二分类变量，根据逻辑回归的变换得到的模型形如： $p={\left(1+\exp \left(-\left({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+{\beta }_3{x}_3+\cdots \right)\right)\right)}^{-1}$，所有模型如表1所示。

Table 1. List of alternative models

表1. 备选模型列表

对于第s个模型通过极大似然估计得到 $\beta$ 的估计值 ${\hat{\beta }}_s$，再通过模型平均的最小化目标函数 $G\left(\omega \right)$ 获取权重 $\omega$ 的估计，结果为表2。

Table 2. Weight ω

表2. 权重ω

上表为由模型平均方法计算出对于各个模型的权重，权重依次按列排序，即对一个模型的权重即为第一列第一个值，第二个模型的权重即为第一列第二个值，依次类推。从表中可以看出相较于逻辑回归模型即备选模型的最后一个模型 $p={\left(1+\exp \left(-\left({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+{\beta }_3{x}_3+{\beta }_4{x}_4+{\beta }_5{x}_5+{\beta }_6{x}_6+{\beta }_7{x}_7+{\beta }_8{x}_8\right)\right)\right)}^{-1}$，模型平均选择的模型主要集中在第4个模型、第6个模型、第19个模型以及第21个模型。

3.4. 模型平均的预测

为了比较模型平均和逻辑回归的预测效果，将392个有效样本随机分为训练集和测试集，本文分别抽了总样本的50%、55%、60%、65%、70%、75%、80%、85%、90%作为训练集，对应剩下的样本作为测试集，对于相同比例的训练集，进行重复实验1000次，比较平均误差率。实验结果详见表3。

Table 3. Comparison of error rates between model average and logistic regression average

表3. 模型平均与逻辑回归平均误差率比较

4. 结论

使用基于逻辑回归的模型平均方法对印度皮马女性糖尿病数据集进行建模，对比逻辑回归，模型平均的预测平均误差率一致比逻辑回归的预测平均误差率小，可以看出模型平均的估计效果要比逻辑回归的估计效果好，说明在预测皮马女性糖尿病时使用基于逻辑回归的模型平均方法相较于逻辑回归更为准确。