基于改进两参数估计的影响点检测

Influence Points Detection Based on Modified Two-Parameter Estimator

摘要: 在改进两参数估计下对单个数据删除模型进行研究，通过对比删除某个观测值前后估计量的变化程度来度量相应观测值的影响程度，并由近似删除公式得到删除某个数据点前后改进两参数估计量间的关系；同时，在前人的基础上推导得到DFFITS统计量和Cook统计量新的表达形式，并在实例中用两种统计量来识别影响点，验证其合理性。

Abstract: The single data deletion model is studied under the modified two-parameter estimator. The influence degree of the corresponding observation value is measured by comparing the change degree of the estimators before and after deleting a certain observation value, and the relationship between the improved two-parameter estimator value before and after deleting a certain data point is obtained by the approximate deletion formula; at the same time, new expressions of DFFITS statistics and Cook statistics are derived on the basis of predecessors, and two kinds of statistics are used to identify the influence points in an example to verify their rationality.

1. 引言

考虑一般线性回归模型：

$y=X\beta +\epsilon$ (1)

其中y是 $n\times 1$ 的响应变量，X是 $n\times p$ 的已知设计矩阵， $\beta$ 为 $p\times 1$ 未知参数向量， $\epsilon$ 是均值为0、协方差矩阵为 ${\sigma }^2{I}_n$ 的n维随机误差向量， $I_n$ 表示n阶单位矩阵。

回归诊断中的影响分析主要是研究观测值对回归模型中回归参数估计的影响。对线性模型(1)，第i个样本点对参数 $\beta$ 估计的影响通常是指删除该样本点后模型参数 $\beta$ 估计的变化情况，若删除该样本点后模型参数 $\beta$ 估计的变化较大，则认为该样本点对模型参数 $\beta$ 估计的影响较大。

记 $y_{\left(i\right)}$ 和 $X_{\left(i\right)}$ 分别表示从y和X中删除第i个样本值后的观测向量和设计矩阵，则模型(1)删除第i个样本值后可表示为：

$y_{\left(i\right)}=X_{\left(i\right)}\beta +\epsilon$ (2)

第i个样本点对参数 $\beta$ 估计的影响分析即对模型(1)和模型(2)所得参数 $\beta$ 估计变化大小的比较分析。

考虑删除第i个样本点后参数 $\beta$ 估计变化的总和，Cook和Weisberg [1] 提出了以Cook距离，即

$D_i=\frac{{\left(\hat{\beta }-{\hat{\beta }}_{\left(i\right)}\right)}^{\prime }\left(X^{\prime }X\right)\left(\hat{\beta }-{\hat{\beta }}_{\left(i\right)}\right)}{p{s}^2}=\left(\frac{e_i^2}{p{s}^2}\right)\left[\frac{h_{ii}}{{\left(1-h_{ii}\right)}^2}\right]$ (3)

作为第i个样本点对最小二乘估计的影响度量。其中 $e_i$ 表示残差 $e=y-\hat{y}$ 的第i个分量， $h_{ii}$ 表示帽子矩阵 $H=X{\left(X^{\prime }X\right)}^{-1}{X}^{\prime }$ 主对角线上的第i个元素， $s^2=e^{\prime }e/n-p$ 为 ${\sigma }^2$ 的估计。

Belsey [2] 等基于删除第i个样本点后响应变量y的预测值变化情况，提出了以DFFITS统计量作为第i个样本点对最小二乘估计的影响度量，即

$DFFIT{S}_{\left(i\right)}=\frac{x_i\left[{\hat{\beta }}_{LS}-{\hat{\beta }}_{LS\left(i\right)}\right]}{SE\left(x_i{\hat{\beta }}_{LS}\right)}=\left[\frac{e_i}{s_{\left(i\right)}}\right]\left[\frac{h_{ii}^{1/2}}{1-h_{ii}}\right]$ (4)

其中 ${\hat{\beta }}_{LS}={\left(X^{\prime }X\right)}^{-1}{X}^{\prime }y$ 和 ${\hat{\beta }}_{LS\left(i\right)}={\left({X^{\prime }}_{\left(i\right)}{X}_{\left(i\right)}\right)}^{-1}{X^{\prime }}_{\left(i\right)}{y}_{\left(i\right)}$ 是分别由模型(1)和模型(2)所得的最小二乘估计。 $SE\left(x_i{\hat{\beta }}_{LS}\right)$ 表示 $x_i\beta$ 标准误差的估计值， $s_{\left(i\right)}$ 表示模型(2)中 $\sigma$ 的估计值。

Cook [3] 基于置信椭球提出数据删除法以判断各个数据点对最小二乘估计的贡献。此种方法是通过对比删除某个观测值前后估计量的变化程度来度量相应观测值的影响程度。随后，Chatterjee和Hadi [4] 不断地完善数据删除法，给出了判别异常点，高杠杆点和影响点的若干统计量。

当模型(1)存在复共线性时，最小二乘估计往往表现不稳定，此时再基于最小二乘估计进行影响分析显然不太合适。Belsey [2] 等发现有偏估计下检测到的影响点不同于最小二乘估计下检测到的影响点。Walker和Birch [5] 使用数据删除法检测了岭估计下的影响点，给出近似删除公式。Jahufer和Jianbao [6] 研究了改进岭估计下用于度量影响大小的统计量随岭参数变化的情况。Jahufer [7] 基于Liu估计给出用于度量影响大小的DFFITS和不同形式的Cook距离表达式。Ertas [8] 等给出Liu估计和改进Liu估计的度量影响大小的统计量，并讨论了影响点的识别。Yasin和Murat [9] 研究了两参数岭回归的影响诊断。Adewale和Kayode [10] 通过对比删除某个数据点前后两参数估计的影响程度。

关于参数 $\beta$ 的估计，考虑存在一个关于 $\beta$ 的先验信息b，一些学者结合其他有偏估计提出了一系列的改进估计，如Swindel [11] 提出的改进岭估计，Li和Yang [12] 提出的改进Liu估计等。类似的，Adewale [13] 结合先验信息b和两参数估计(Ozkale和Kachiranlar [14] )提出了改进两参数估计(MTPE)

${\hat{\beta }}_{MTPE}={\left(X^{\prime }X+kI\right)}^{-1}\left(\left(X^{\prime }X+kdI\right){\hat{\beta }}_{LS}+k\left(1-d\right)b\right)$ (5)

其中岭参数 $k>0$，Liu参数 $0<d<1$。

针对线性模型存在复共线性的情形，考虑改进两参数估计可以视为其他许多有偏估计的推广，如当 $k=0$ 或 $d=1$ 时，为最小二乘估计； $d=0$ 和 $b=0$ 时，为岭估计； $d=0$ 时，为改进岭估计等，本文主要探讨样本点对改进两参数估计的影响。

近似删除公式与检验统计量

根据等式(4)，第i个样本点对MTPE的影响度量统计量DFFITS可写为：

$DFFIT{S}_{\left(i\right)}=\frac{x_i\left[{\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}\right]}{SE\left(x_i{\hat{\beta }}_{MTPE}\right)}$ (6)

其中 ${\hat{\beta }}_{MTPE\left(i\right)}$ 表示模型(2)中未知参数 $\beta$ 的改进两参数估计，分母是 $x_i{\hat{\beta }}_{MTPE}$ 的标准误差估计值。

$SE\left(x_i{\hat{\beta }}_{MTPE}\right)=s\left(i\right)\sqrt{{\displaystyle \underset{j=1}{\overset{n}{\sum }}{h}_{MTPEij}^2}}$，其中 $h_{MTPEij}$ 是H矩阵的第ij ( $h_{ij}$ )个元素。

由等式(3)，Cook统计量可写成如下两个表达式：

$D_i^{*}=\frac{1}{ps}{\left[{\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}\right]}^{\prime }\left(X^{\prime }X\right)\left[{\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}\right]$ (7)

$D_i^{**}=\frac{1}{p{s}^2}{\left[{\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}\right]}^{\prime }\left(K{N}^{-1}{X}^{\prime }X{N}^{-1}K\right)\left[{\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}\right]$ (8)

其中 $K=X^{\prime }X+kI$， $N=\left(X^{\prime }X+kdI\right)+k\left(1-d\right){\left(X^{\prime }X+kI\right)}^{-1}\left(X^{\prime }X+kdI\right)$， $D_i^{*}$ 是等式(3)的直接推广， $D_i^{**}$ 是基于方差 $\mathrm{var}\left({\hat{\beta }}_{MTPE}\right)={\sigma }^2\left[K^{-1}N{\left(X^{\prime }X\right)}^{-1}N{K}^{-1}\right]$ 给出。 ${\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}$ 反映了第i组数据对回归系数 ${\beta }_{MTPE}$ 的影响大小且是一个向量，不便比较大小，而MTPE不是比例不变的(X矩阵没有第i行元素)，所以设计矩阵X须在计算之前重新缩放。因此，为了 ${\hat{\beta }}_{MTPE}-{\hat{\beta }}_{MTPE\left(i\right)}$ 能够比较大小，可通过近似删除公式实现。

根据模型(2)， ${\hat{\beta }}_{MTPE\left(i\right)}$ 可以写成： ${\hat{\beta }}_{MTPE\left(i\right)}={\left({X^{\prime }}_{\left(i\right)}{X}_{\left(i\right)}+kI\right)}^{-1}\left[\left({X^{\prime }}_{\left(i\right)}{X}_{\left(i\right)}+kdI\right){\hat{\beta }}_{LS\left(i\right)}+k\left(1-d\right)b\right]$。利用谢

尔曼–莫里森–伍德伯里(SMW)定理(Rao [15] )， ${\hat{\beta }}_{MTPE\left(i\right)}$ 可以近似为：

${\hat{\beta }}_{MTPE\left(i\right)}={\left(X^{\prime }X+kI-{x^{\prime }}_i{x}_i\right)}^{-1}\left[\left(X^{\prime }X+kdI-{x^{\prime }}_i{x}_i\right){\hat{\beta }}_{LS\left(i\right)}+k\left(1-d\right)b\right]$

式中 $K=X^{\prime }X+kI$。

$\begin{array}{c}{\hat{\beta }}_{MTPE\left(i\right)}={\left(K-{x^{\prime }}_i{x}_i\right)}^{-1}\left[\left(X^{\prime }X+kdI-{x^{\prime }}_i{x}_i\right){\hat{\beta }}_{LS\left(i\right)}+k\left(1-d\right)b\right]\\ =\left(K^{-1}+\frac{K^{-1}{x^{\prime }}_i{x}_i{K}^{-1}}{1-x_i{K}^{-1}{x^{\prime }}_i}\right)\left[\left(X^{\prime }X+kdI\right){\hat{\beta }}_{LS\left(i\right)}-{x^{\prime }}_i{x}_i{\hat{\beta }}_{LS\left(i\right)}+k\left(1-k\right)b\right]\\ \widetilde{=}{\hat{\beta }}_{MTPE}+\frac{K^{-1}{x^{\prime }}_i}{1-m_{ii}}\left[{\hat{y}}_{MTPEi}-y_i+m_{ii}{y}_i-m_{ii}{y}_i\right]\\ \widetilde{=}{\hat{\beta }}_{MTPE}-\frac{e_{MTPEi}{K}^{-1}{x^{\prime }}_i}{1-m_{ii}}\end{array}$ (9)

根据等式(9)，等式(6)~(8)的近似形式可以写成：

$DFFIT{S}_{\left(i\right)}\widetilde{=}\left[\frac{m_{ii}}{1-m_{ii}}\right]\frac{e_{MTPEi}}{SE\left(x_i{\hat{\beta }}_{MTPE}\right)}$ (10)

$D_i^{\ast }\widetilde{=}\left[\frac{1}{p{s}^2}\right]{\left[\frac{e_{MTPEi}}{1-m_{ii}}\right]}^2{x}_i{\left(X^{\prime }X+kI\right)}^{-1}\left(X^{\prime }X\right)\left(X^{\prime }X+kI\right){x^{\prime }}_i$ (11)

$D_i^{**}\cong \left[\frac{1}{p{s}^2}\right]\left[\frac{e_{MTPEi}}{1-m_{ii}}\right]x_i{\left(X^{\prime }X+kI\right)}^{-1}\left(X^{\prime }X+kdI\right){\left(X^{\prime }X\right)}^{-1}\left(X^{\prime }X+kdI\right){\left(X^{\prime }X+kI\right)}^{-1}{x^{\prime }}_i$ (12)

其中 $m_{ii}=x_i{K}^{-1}{x^{\prime }}_i$。

2. 实证分析

案例数据来自文献Longley [16]，回归模型(1)给出如下：

$y=X\beta +\epsilon$

其中 $X=\left(x_1,x_2,x_3,x_4,x_5,x_6\right)$，y是总派生就业， $x_1$ 是GNP隐含价格平减指数， $x_2$ 是国民生产总值， $x_3$ 是失业率， $x_4$ 是武装力量的规模， $x_5$ 是14岁及以上的非机构人口， $x_6$ 是时间。 $X^{\prime }X$ 的条件数为43，275

(Walker和Birch [5] )。Hoerl和Kennard [17] 提出岭参数的计算方法，并定义为 $K=\frac{s^2}{{\hat{\beta }}^2{}_{\max }}$。在本文中，

k的值计算为5.36488e−08，根据文献(Ullah [18] 等，2013)取 $d=0.9$，下面通过k和d的值分别计算Cook距离和DFFITS，并通过它们来找出影响点。

Cook [3] 使用数据删除法得到了最小二乘估计下的Cook统计量，将点5、16、4、10和15确定为影响点。Walker和Birch [5] 用基于岭估计的数据删除法发现点16、10、4、15和1是影响点。Jahufer和Jianbao [6] 在前人的基础上使用数据删除法得到了基于修正岭估计下的影响点，分别为16、4、1、10和15五个最有影响的观测值。Ullah [18] 等计算当d值等于0.9时，liu回归中影响点的顺序为16、5、4、10和15。Yasin和Murat [9] 通过基于两参数岭估计的影响点检测确定了观测值16、10、6、1和4为影响点。Adewale和Kayode [10] 通过DFFITS准则确定了强影响点为16、10、4、5和15，通过 $D^{*}$ 检测到的4、10、16、5和1以及 $D^{**}$ 检测到的16、5、4、15和1分别作为它们的五个最有影响的观测值。

表1显示，所提出的统计量 $DFFIT{S}_{\left(i\right)}$ 识别出影响点与其他作者的相同，只是顺序不同。使用 $D_i^{\ast }$ 和 $D_i^{\ast \ast }$ 检测出的影响点与Cook [3] 和Ullah [18] 等人的相同，只是顺序不同。

应用于Hald数据

实例数据来源于文献Hald [19]，包括四个回归变量与十三个观测值，矩阵 $X^{\prime }X$ 的条件数为249.578 (Adewale和Kayode [10] )，条件数表明，该模型具有较强的复共线性。Cook [3]、Yasin和Murat [9] 使用影响统计量检测影响点也用这一数据集。根据文献(Adewale和Kayode [10] ) k和d的值分别为0.0076761和1.18495。Cook [3] 的研究中将观察值8、3、11、6和13按此顺序作为影响点，Yasin和Murat [9] 基于两参数岭估计中利用两种不同形式的Cook距离检测到的影响点分别为8、11、10、3、6和8、11、10、6、13，通过DFFITS检测的最有影响的五个观测值分别是8、11、6、10和13。本文提出的两种形式的Cook距离和DFFITS在实例Hald数据集中计算的结果如表2所示。

Table 1. The five most influential observed values detected by DFFITS and two versions of Cook distance (Longley)

表1. DFFITS和两个版本的Cook距离检测出的最有影响的五个观察值(Longley)

Table 2. The five most influential observed values detected by DFFITS and two versions of Cook distance (Hald)

表2. DFFITS和两个版本的Cook距离检测的最有影响的五个观察值(Hald)

表2结果显示，本文用 $DFFIT{S}_{\left(i\right)}$， $D_i^{\ast }$ 和 $D_i^{\ast \ast }$ 与Yasin和Murat [9] 用相同的统计量都确定8、11和13是影响点，只是顺序不同。与Cook [3] 研究中使用影响统计量检测出的影响点3、8、11和13相同，顺序不同。

3. 结束语

本文考虑了线性模型存在复共线性时影响点检测的问题。提出利用改进两参数估计进行诊断的新方法。利用SMW定理和改进两参数估计中的近似删除公式，得到了DFFITS和两种不同Cook距离的近似形式。用两个实例说明了这些影响度量统计量的性能。结果表明，所提出的影响度量方法在检测影响点方面与现有的方法有较强的竞争力。这些影响度量方法将会帮助从业者决定是否保留、删除或缩减有影响的数据点时，使用稳健估计在研究中确定。