线性模型的经验无偏刀切Liu估计

Empirical Unbiased Jackknifed Liu Estimator in Linear Model

摘要: 本文主要对线性模型中回归系数的经验无偏刀切Liu估计进行研究。首先，在刀切Liu估计的基础上构造了经验无偏刀切Liu估计；其次，基于均方误差准则分析了该估计的优良性质。最后，基于数值模拟和实例分析论证了估计的优良性质。结果表明：提出的经验无偏刀切Liu估计在具有无偏性的同时一致优于普通最小二乘估计，并在一定的条件下优于Liu估计和刀切Liu估计。

Abstract: In this paper, we mainly investigate the empirical unbiased Jackknifed Liu estimator of regression coefficient in linear model. Firstly, an unbiased Jackknifed Liu estimator with prior information is obtained based on the Jackknifed Liu estimator. Secondly, the excellent properties of the estimator are analyzed based on mean square error matrix. Finally, numerical simulation and real data analysis are used to demonstrate the dominance property. It is shown that empirical unbiased Jackknifed Liu estimator is consistently superior to ordinary least square estimator while maintaining unbiasedness, and outperforms both Liu estimator and Jackknifed Liu estimator.

1. 引言

考虑如下线性模型：

$y=Z\gamma +\epsilon$ , $\epsilon ~N\left(0,{\sigma }^2{I}_n\right)$ , (1)

其中，$y$ 为$n\times 1$ 的观测向量，$X$ 为$n\times p$ 已知的列满秩设计阵，$\beta$ 为$p\times 1$ 的未知参数向量，$\epsilon$ 为$n\times 1$ 的误差向量，${\sigma }^2>0$ 为未知参数，本文主要研究模型中回归系数的估计问题。

众所周知，${\widehat{\beta }}_O={\left(X^{\prime }X\right)}^{-1}{X}^{\prime }y$ 为回归系数的普通最小二乘估计，并且在线性无偏估计类中具有较好的性质。然而，当估计类扩展到有偏估计类或非线性估计类时，普通最小二乘估计的优势不复存在。特别，当模型存在复共线性时，普通最小二乘估计表现出极大的方差。为此，学者们针对病态设计阵，提出了许多改进普通最小二乘估计的方法。如James和Stein [1]提出了著名的James-Stein估计，证明了其在二次损失下优于普通最小二乘估计；Massy [2]针对病态设计均阵提出了主成分估计；Hoerl和Kennard [3]提出了岭估计；Liu [4]结合Stein估计和岭估计，提出了Liu估计；Ozkale和Kaciranlar [5]综合岭估计和Liu估计思想提出了两参数估计。以上估计统称为有偏估计，它们是在牺牲无偏性的基础上降低均方误差。但是，在这个过程中，有时候会使引入的这些有偏估计的偏差很大。所以有必要研究如何在减小均方误差的同时，使得偏差也比较小。文献中有两种减小偏差的方法：(1) 刀切法。刀切法是由Quenuille [6]于1949年提出的，它是一种非参数估计方法，应用时不受统计分布的影响，具有能够减小估计偏性的特点。(2) 几乎无偏估计的思想。该方法由Kadiyala [7]提出，并证明一类几乎无偏压缩估计优于同类有偏估计和普通最小二乘估计。为此，相关学者基于这两种方法对各类有偏估计进行改进，具体可参阅文献[8]-[12]。然而，以上两种方法虽然可以适当减少偏差，但它们还是有偏差的。为此，Crouse, Jin和Hanumara [13]提出了利用先验信息来改进有偏估计，并提出了经验无偏岭估计；Sakalloglu和Akdeniz [14]提出了经验无偏Liu估计；Wu [15]提出了经验无偏两参数估计；Lukman等[16]提出了经验无偏改进岭估计。以上经验无偏估计，不仅弱化了有偏估计的偏性，也提高了估计的精度。众所周知，刀切Liu估计能够较好地缩小Liu估计的偏差，并在一定条件下优于Liu估计，但其仍然是有偏的。为此，本文拟提出一种经验无偏刀切Liu估计来弱化刀切Liu估计的偏差，同时提高估计的精度。

论文结构安排如下：第2节，给出经验无偏刀切Liu估计的定义；第3节对经验无偏刀切Liu估计的优良性质进行分析；第4节通过数值模拟论证估计的优良性；第5节给出实例说明；第6节给出论文结论。

2. 经验无偏刀切Liu估计

假设$S=X^{\prime }X$ ，由于$S$ 是正定矩阵，可知存在$p$ 阶正交矩阵$T$ 使得$T^{\prime }ST=\Lambda =diag\left({\lambda }_1,\cdots ,{\lambda }_p\right)$ ，其中${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p$ 为$S$ 的特征值。对模型(1)进行典则化处理，得到如下模型：

$y=Z\gamma +\epsilon$ (2)

其中$Z=XT$ 、$\gamma =T^{\prime }\beta$ 和$Z^{\prime }Z=\Lambda$ 。

由模型(2)可知，$\gamma$ 的普通最小二乘估计为：

${\widehat{\gamma }}_O={\left(Z^{\prime }Z\right)}^{-1}{Z}^{\prime }y={\Lambda }^{-1}{Z}^{\prime }y$ (3)

当设计矩阵存在多重共线性时，$\gamma$ 的Liu估计定义为：

$\begin{array}{c}{\widehat{\gamma }}_L={\left(Z^{\prime }Z+I\right)}^{-1}\left(Z^{\prime }y+d{\widehat{\gamma }}_O\right)\\ ={\left(\Lambda +I\right)}^{-1}\left(\Lambda +dI\right){\widehat{\gamma }}_O\\ ={\left(\Lambda +I\right)}^{-1}\left(I+d{\Lambda }^{-1}\right)\Lambda {\widehat{\gamma }}_O\\ =F_d{\widehat{\gamma }}_O\end{array}$ (4)

其中$F_d={\left(\Lambda +I\right)}^{-1}\left(I+d{\Lambda }^{-1}\right)\Lambda ={\left(\Lambda +I\right)}^{-1}\left(\Lambda +dI\right)$ 为Liu算子。参照文献[17]，刀切Liu估计定义为：

${\widehat{\gamma }}_J=\left(2I-F_d\right)F_d{\widehat{\gamma }}_O$ (5)

其中$F_J=\left(2I-F_d\right)F_d=I-{\left(1-d\right)}^2{\left(\Lambda +I\right)}^{-2}$ 为刀切Liu算子。

由模型(2)可知最小二乘估计${\widehat{\gamma }}_O$ 服从正态分布$N\left(\gamma ,{\sigma }^2{\Lambda }^{-1}\right)$ 。假设$\Gamma$ 服从$N\left(\gamma ,V\right)$ ，且与${\widehat{\gamma }}_O$ 无关。接下来，利用经验信息$\Gamma$ 来构建经验无偏估计。考虑如下组合估计：

${\widehat{\gamma }}_C=C{\widehat{\gamma }}_O+\left(I-C\right)\Gamma$ (6)

其中$C$ 为$p\times p$ 的矩阵。此时${\widehat{\gamma }}_C$ 是$\gamma$ 的无偏估计，并且它的均方误差为：

$MSE\left({\widehat{\gamma }}_C\right)=tr\left({\sigma }^{2}C{\Lambda }^{-1}{C}^{\prime }+\left(I-C\right)V{\left(I-C\right)}^{\prime }\right)$ (7)

由(7)式可知，要使${\widehat{\gamma }}_C$ 为最优无偏估计当且仅当

$\frac{\partial MSE\left({\widehat{\gamma }}_C\right)}{\partial C}=2C\left({\sigma }^2{S}^{-1}+V\right)-2V=0$ (8)

由(8)可知$C=V{\left({\sigma }^2{\Lambda }^{-1}+V\right)}^{-1}$ ，即$V={\sigma }^2{\left(I-C\right)}^{-1}C{\Lambda }^{-1}$ 。明显地，无偏估计${\widehat{\gamma }}_C$ 是由有偏估计$C{\widehat{\gamma }}_O$ 综合经验信息$\Gamma ~N\left(\gamma ,{\sigma }^2{\left(I-C\right)}^{-1}C{\Lambda }^{-1}\right)$ 得到的。因此，我们称${\widehat{\gamma }}_C$ 为参数$\gamma$ 的经验无偏估计。由经验无偏估计的定义可知，当$C=\left(2I-F_d\right)F_d\triangleq E$ ，经验无偏刀切Liu估计可定义为：

$\begin{array}{c}{\widehat{\gamma }}_E=E{\widehat{\gamma }}_O+\left(I-E\right)\Gamma \\ ={\widehat{\gamma }}_J+\left(I-E\right)\Gamma \end{array}$ (9)

其中$\Gamma ~N\left(\gamma ,\frac{{\sigma }^2\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right)}{{\left(1-d\right)}^2}\right)$ 。

容易验证${\widehat{\gamma }}_C$ 是$\gamma$ 的无偏估计，方差为$D\left({\widehat{\gamma }}_E\right)={\sigma }^2\left(2I-F_d\right)F_d{\Lambda }^{-1}$ 。根据$\gamma =T^{\prime }\beta$ 可得到回归系数的普通最小二乘估计${\widehat{\beta }}_O=T^{\prime }{\widehat{\gamma }}_O$ ，一般Liu估计${\widehat{\beta }}_L=T^{\prime }{\widehat{\gamma }}_L$ ，刀切Liu估计${\widehat{\beta }}_J=T^{\prime }{\widehat{\gamma }}_J$ 和经验无偏刀切Liu估计${\widehat{\beta }}_E=T^{\prime }{\widehat{\gamma }}_E$ 。接下来，我们对经验无偏刀切Liu估计的优良性进行分析。

3. 优良性分析

引理1 [18]：设$A$ 是一个正定矩阵，$b$ 是一非零向量，$\delta$ 为正标量，$\delta A-b{b}^{\prime }$ 是负定矩阵当且仅当$b^{\text{T}}{A}^{-1}b>\delta$ 。

定理1：当$0<d<1$ 时，在均方误差准则下${\widehat{\beta }}_E$ 一致优于最小二乘估计${\widehat{\beta }}_O$ 。

证明：直接计算可知

$\begin{array}{l}EMSE\left({\widehat{\beta }}_O\right)\\ =E\left[\left(T{\widehat{\gamma }}_O-T\gamma \right){\left(T{\widehat{\gamma }}_O-T\gamma \right)}^{\prime }\right]\\ ={\sigma }^{2}T{\Lambda }^{-1}{T}^{\prime }\end{array}$ (10)

和

$\begin{array}{l}EMSE\left({\widehat{\beta }}_E\right)\\ =E\left[\left(T{\widehat{\gamma }}_E-T\gamma \right){\left(T{\widehat{\gamma }}_E-T\gamma \right)}^{\prime }\right]\\ ={\sigma }^{2}T{\left(\Lambda +I\right)}^{-2}\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right)T^{\prime }\end{array}$ (11)

则

$\begin{array}{l}EMSE\left({\widehat{\beta }}_O\right)-EMSE\left({\widehat{\beta }}_E\right)\\ ={\sigma }^{2}T{\Lambda }^{-1}{T}^{\prime }-{\sigma }^{2}T{\left(\Lambda +I\right)}^{-2}\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right)T^{\prime }\\ ={\sigma }^{2}Tdiag\left(u_1,\cdots ,u_i,\cdots ,u_p\right)T^{\prime }\end{array}$ (12)

其中$u_i=\frac{1}{{\lambda }_i}-\frac{{\lambda }_i+2-d}{{\left({\lambda }_i+1\right)}^2}\cdot \frac{{\lambda }_i+d}{{\lambda }_i}$ ，$i=1,2,\cdots ,p$ 。由上式可知${\widehat{\beta }}_E$ 优于${\widehat{\beta }}_O$ 当且仅当$diag\left(u_1,\cdots ,u_i,\cdots ,u_p\right)$ 为正定矩阵，即$u_i>0,i=1,2,\cdots ,p$ ，直接计算可知该条件恒成立。

定理2：当$0<d<1$ 时，在均方误差准则下${\widehat{\beta }}_E$ 优于${\widehat{\beta }}_L$ 当且仅当${\gamma }^{\prime }{P}^{-1}\gamma >{\sigma }^2$ ，其中$P=\left(B+E\right){\Lambda }^{-1}$ 是一个正定矩阵，这里$B={\left(1-d\right)}^2{\left(\Lambda +I\right)}^{-2}+2{\left(1-d\right)}^{-1}\left(\Lambda +I\right)-3I$ ， $E=\left(2I-F_d\right)F_d={\left(\Lambda +I\right)}^{-1}\left(\Lambda +\left(2-d\right)I\right){\left(\Lambda +I\right)}^{-1}\left(\Lambda +dI\right)$ 。

证明：直接计算可知

$\begin{array}{l}EMSE\left({\widehat{\beta }}_L\right)\\ =TE\left[\left({\widehat{\gamma }}_L-\gamma \right){\left({\widehat{\gamma }}_L-\gamma \right)}^{\prime }\right]T^{\prime }\\ ={\sigma }^{2}T{F}_d{\Lambda }^{-1}{F}_d{}^{\prime }{T}^{\prime }+T\left(I-F_d\right)\gamma {\gamma }^{\prime }{\left(I-F_d\right)}^{\prime }{T}^{\prime }\end{array}$ (13)

和

$EMSE\left({\widehat{\beta }}_E\right)={\sigma }^{2}T{F}_J{\Lambda }^{-1}{F}_J{}^{\prime }{T}^{\prime }+{\sigma }^2{\left(1-d\right)}^{2}T\left(I-E\right)\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right){\left(I-E\right)}^{\prime }{T}^{\prime }$ (14)

则

$\begin{array}{l}EMSE\left({\widehat{\beta }}_E\right)-EMSE\left({\widehat{\beta }}_L\right)\\ ={\sigma }^{2}T\left(2I-F_d\right)F_d{\Lambda }^{-1}{F}_d{}^{\prime }\left(2I-F_d\right)T^{\prime }-{\sigma }^{2}T{F}_d{\Lambda }^{-1}{F}_d{}^{\prime }{T}^{\prime }\\ +{\sigma }^2{\left(1-d\right)}^{-2}T\left(I-E\right)\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right){\left(I-E\right)}^{\prime }{T}^{\prime }-T\left(I-F_d\right)\gamma {\gamma }^{\prime }{\left(I-F_d\right)}^{\prime }{T}^{\prime }\\ ={\sigma }^{2}T{\left(I-{\left(\Lambda +I\right)}^{-2}{\left(1-d\right)}^2\right)}^2{\Lambda }^{-1}{T}^{\prime }-{\sigma }^{2}T{\left(I-{\left(\Lambda +I\right)}^{-1}{\left(1-d\right)}^2\right)}^2{\Lambda }^{-1}{T}^{\prime }\\ +{\sigma }^2{\left(1-d\right)}^{-2}T{\left(\Lambda +I\right)}^{-2}\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right){\left(\Lambda +I\right)}^{-2}{T}^{\prime }-{\left(1-d\right)}^{2}T{\left(\Lambda +I\right)}^{-1}\gamma {\gamma }^{\prime }{\left(\Lambda +I\right)}^{-1}{T}^{\prime }\\ ={\sigma }^2{\left(1-d\right)}^{2}T[{\left(\Lambda +I\right)}^{-4}{\left(1-d\right)}^2{\Lambda }^{-1}+2{\left(\Lambda +I\right)}^{-1}{\left(1-d\right)}^{-1}{\Lambda }^{-1}-3{\left(\Lambda +I\right)}^{-2}{\Lambda }^{-1}\\ +{\left(\Lambda +I\right)}^{-2}\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right){\left(\Lambda +I\right)}^{-2}]T^{\prime }-{\left(1-d\right)}^{2}T{\left(\Lambda +I\right)}^{-1}\gamma {\gamma }^{\prime }{\left(\Lambda +I\right)}^{-1}{T}^{\prime }\\ ={\left(1-d\right)}^{2}T{\left(\Lambda +I\right)}^{-1}\left\{{\sigma }^2\left[B{\Lambda }^{-1}+{\left(\Lambda +I\right)}^{-1}\left(\Lambda +\left(2-d\right)I\right)\times \left(I+d{\Lambda }^{-1}\right){\left(\Lambda +I\right)}^{-1}\right]-\gamma {\gamma }^{\prime }\right\}{\left(\Lambda +I\right)}^{-1}{T}^{\prime }\end{array}$ (15)

上式(15)与引理1结合可知，$EMSE\left({\widehat{\beta }}_E\right)-EMSE\left({\widehat{\beta }}_L\right)<0$ 当且仅当${\gamma }^{\prime }{P}^{-1}\gamma >{\sigma }^2$ ，$P=\left(B+E\right){\Lambda }^{-1}$ 是一个正定矩阵，这里$B={\left(1-d\right)}^2{\left(\Lambda +I\right)}^{-2}+2{\left(1-d\right)}^{-1}\left(\Lambda +I\right)-3I$ ， $E=\left(2I-F_d\right)F_d={\left(\Lambda +I\right)}^{-1}\left(\Lambda +\left(2-d\right)I\right){\left(\Lambda +I\right)}^{-1}\left(\Lambda +dI\right)$ 。

定理3：当$0<d<1$ 时，在均方误差准则下${\widehat{\beta }}_E$ 优于${\widehat{\beta }}_J$ 当且仅当${\gamma }^{\prime }{H}^{-1}\gamma >\frac{{\sigma }^2}{{\left(1-d\right)}^2}$ ，其中

$H=\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right)$ 。

证明：直接计算可知

$\begin{array}{l}EMSE\left({\widehat{\beta }}_J\right)\\ =TE\left[\left({\widehat{\gamma }}_J-\gamma \right){\left({\widehat{\gamma }}_J-\gamma \right)}^{\prime }\right]T^{\prime }\\ ={\sigma }^{2}T\left(2I-F_d\right)F_d{\Lambda }^{-1}{F}_d{}^{\prime }{\left(2I-F_d\right)}^{\prime }{T}^{\prime }+T{\left(I-F_d\right)}^2\gamma {\gamma }^{\prime }{\left(I-F_d\right)}^2{T}^{\prime }\end{array}$ (16)

则

$\begin{array}{l}EMSE\left({\widehat{\beta }}_E\right)-EMSE\left({\widehat{\beta }}_J\right)\\ ={\sigma }^2{\left(1-d\right)}^{-2}T\left[I-\left(2I-F_d\right)F_d\right]\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right){\left[I-\left(2I-F_d\right)F_d\right]}^{\prime }{T}^{\prime }\\ -T{\left(I-F_d\right)}^2\gamma {\gamma }^{\prime }{\left(I-F_d\right)}^2{T}^{\prime }\\ ={\sigma }^2{\left(1-d\right)}^{-2}T{\left(\Lambda +I\right)}^{-2}\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right){\left(\Lambda +I\right)}^{-2}{T}^{\prime }\\ -{\left(1-d\right)}^{4}T{\left(\Lambda +I\right)}^{-2}\gamma {\gamma }^{\prime }{\left(\Lambda +I\right)}^{-2}{T}^{\prime }\\ ={\left(1-d\right)}^{-2}T{\left(\Lambda +I\right)}^{-2}\left[\frac{{\sigma }^2}{{\left(1-d\right)}^2}\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right)-\gamma {\gamma }^{\prime }\right]{\left(\Lambda +I\right)}^{-2}{T}^{\prime }\end{array}$ (17)

上式(17)结合引理1可知，$EMSE\left({\widehat{\beta }}_E\right)-EMSE\left({\widehat{\beta }}_L\right)<0$ 当且仅当${\gamma }^{\prime }{H}^{-1}\gamma >\frac{{\sigma }^2}{{\left(1-d\right)}^2}$ ，其中$H=\left(\Lambda +\left(2-d\right)I\right)\left(I+d{\Lambda }^{-1}\right)$ 为正定矩阵。

4. 模拟分析

本节基于数值模拟分析估计的优良性，实验是在个人PC机上基于R 4.4.1完成的，具体步骤如下：

步骤1：随机产生$p$ 维向量$\beta$ 、参数${\sigma }^2\left(>0\right)$ 和实数$d\left(0<d\le 1\right)$ ；

步骤2：利用公式$X_{ij}={\left(1-{\rho }^2\right)}^{\frac{1}{2}}{z}_{ij}+\rho z_{i,p+1}$ 生成$n\times p$ 的列满秩矩阵$X$ ，其中$\rho$ 代表了解释变量之间的相关性，$z_{ij}~N\left(0,1\right)$ ，$i=1,2,\cdots ,m$ ，$j=1,2,\cdots ,p$ ；

步骤3：随机产生$n$ 维向量$\epsilon ~N\left(0,{\sigma }^2{I}_n\right)$ ，按模型$y=X\beta +\epsilon$ 获得样本$y$ ；

步骤4：将$S=X^{\prime }X$ 正交化，获得典则化模型$y=Z\gamma +\epsilon$ ；

步骤5：在典则化模型下，获得参数$\gamma$ 的估计${\widehat{\gamma }}_O$ 、${\widehat{\gamma }}_L$ 、${\widehat{\gamma }}_J$ 和${\widehat{\gamma }}_E$ ，进一步根据$\gamma =T^{\prime }\beta$ 得到$\beta$ 的对应估计${\widehat{\beta }}_O$ 、${\widehat{\beta }}_L$ 、${\widehat{\beta }}_J$ 和${\widehat{\beta }}_E$ ；

步骤6：重复步骤3~5合计N次，分别得到估计${\widehat{\beta }}_O$ 、${\widehat{\beta }}_L$ 、${\widehat{\beta }}_J$ 和${\widehat{\beta }}_E$ 的N个估计值，假设各个估计的第$k$ 个估计值分别为${\widehat{\beta }}_O^k$ ，${\widehat{\beta }}_L^k$ ，${\widehat{\beta }}_J^k$ ，${\widehat{\beta }}_E^k$ ，则每个估计对应的EMSE、ABIAS、ASE估计值为：

$EMSE\left({\widehat{\beta }}_O\right)=\frac{1}{N}{\displaystyle \sum _{k=1}^N{\left({\widehat{\beta }}_O^k-\beta \right)}^{\prime }\left({\widehat{\beta }}_O^k-\beta \right)}$ , (18)

$EMSE\left({\widehat{\beta }}_L\right)=\frac{1}{N}{\displaystyle \sum _{k=1}^N{\left({\widehat{\beta }}_L^k-\beta \right)}^{\prime }\left({\widehat{\beta }}_L^k-\beta \right)}$ , (19)

$EMSE\left({\widehat{\beta }}_J\right)=\frac{1}{N}{\displaystyle \sum _{k=1}^N{\left({\widehat{\beta }}_J^k-\beta \right)}^{\prime }\left({\widehat{\beta }}_J^k-\beta \right)}$ , (20)

$EMSE\left({\widehat{\beta }}_E\right)=\frac{1}{N}{\displaystyle \sum _{k=1}^N{\left({\widehat{\beta }}_E^k-\beta \right)}^{\prime }\left({\widehat{\beta }}_E^k-\beta \right)}$ , (21)

$ABIAS\left({\widehat{\beta }}_O\right)=\frac{1}{1000}{\displaystyle \sum _{k=1}^{1000}{\displaystyle \sum _{i=1}^p\left|{\widehat{\beta }}_O^{ik}-{\beta }_i\right|}}$ , (22)

$ABIAS\left({\widehat{\beta }}_L\right)=\frac{1}{1000}{\displaystyle \sum _{k=1}^{1000}{\displaystyle \sum _{i=1}^p\left|{\widehat{\beta }}_L^{ik}-{\beta }_i\right|}}$ , (23)

$ABIAS\left({\widehat{\beta }}_J\right)=\frac{1}{1000}{\displaystyle \sum _{k=1}^{1000}{\displaystyle \sum _{i=1}^p\left|{\widehat{\beta }}_J^{ik}-{\beta }_i\right|}}$ , (24)

$ABIAS\left({\widehat{\beta }}_E\right)=\frac{1}{1000}{\displaystyle \sum _{k=1}^{1000}{\displaystyle \sum _{i=1}^p\left|{\widehat{\beta }}_E^{ik}-{\beta }_i\right|}}$ , (25)

$ASM\left({\widehat{\beta }}_{Method}\right)=\frac{1}{p}{\displaystyle \sum _{k=1}^p\left(\frac{SD\left({\widehat{\beta }}_{Method,k}\right)}{\sqrt{k}}\right)}$ , (26)

其中，${\widehat{\beta }}_O^{ik}$ 、${\widehat{\beta }}_L^{ik}$ 、${\widehat{\beta }}_J^{ik}$ 、${\widehat{\beta }}_E^{ik}$ 表示各个估计的第k次模拟中各个估计的第i个分量的估计值；${\widehat{\beta }}_{Method}$ 代表$\beta$ 的任意一个估计，$SD(·)$ 代表分量的样本标准差。

令$p=3,5$ $\beta =\left(1,2,3\right)$ 和$\beta =\left(1,2,3,4,5\right)$ ，$N=1000$ ，条件数$\rho$ 分别取0.75、0.85和0.9，同时$X$ 在首次模拟产生后保持不变。取$n=35,50,100$ ，$d=0.2,0.4,0.7$ ，${\sigma }^2=0.1,0.2$ 。根据以上步骤模拟得到各个估计EMSE估计值如下：

Table 1. EMSE values of each estimator when $d=0.2,p=3$

表1. 当$d=0.2,p=3$ 时，各个估计的EMSE值

		$\sigma =0.1$			$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$	$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$EMSE\left({\widehat{\beta }}_O\right)$	0.001735	0.002324	0.003434	0.005427	0.008513	0.014178
	$EMSE\left({\widehat{\beta }}_L\right)$	0.010907	0.017872	0.023939	0.011474	0.026212	0.035860
	$EMSE\left({\widehat{\beta }}_J\right)$	0.001779	0.002381	0.003596	0.005427	0.008546	0.014048
	$EMSE\left({\widehat{\beta }}_E\right)$	0.001727	0.002316	0.003393	0.005410	0.008447	0.014046
$n=50$	$EMSE\left({\widehat{\beta }}_O\right)$	0.0011222	0.001605	0.001885	0.004903	0.006916	0.009412
	$EMSE\left({\widehat{\beta }}_L\right)$	0.0038995	0.008837	0.011283	0.008693	0.017062	0.023064
	$EMSE\left({\widehat{\beta }}_J\right)$	0.0011175	0.001652	0.001898	0.004876	0.006902	0.009358
	$EMSE\left({\widehat{\beta }}_E\right)$	0.0011220	0.001601	0.001875	0.004869	0.006894	0.009328
$n=100$	$EMSE\left({\widehat{\beta }}_O\right)$	0.0005619	0.0008324	0.001292	0.002365	0.003149	0.004720
	$EMSE\left({\widehat{\beta }}_L\right)$	0.0016005	0.0030454	0.003920	0.003072	0.004464	0.007990
	$EMSE\left({\widehat{\beta }}_J\right)$	0.0005624	0.0008328	0.001291	0.002363	0.003147	0.004716
	$EMSE\left({\widehat{\beta }}_E\right)$	0.0005615	0.0008323	0.001287	0.002360	0.003143	0.004713

Table 2. EMSE values of each estimator when $d=0.4,p=3$

表2. 当$d=0.4,p=3$ 时，各个估计的EMSE值

		$\sigma =0.1$			$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$	$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$EMSE\left({\widehat{\beta }}_O\right)$	0.001319	0.002469	0.003292	0.006682	0.010995	0.012223
	$EMSE\left({\widehat{\beta }}_L\right)$	0.004686	0.008571	0.020028	0.009543	0.022110	0.024289
	$EMSE\left({\widehat{\beta }}_J\right)$	0.001322	0.002460	0.003386	0.006672	0.010993	0.012142
	$EMSE\left({\widehat{\beta }}_E\right)$	0.001315	0.002456	0.003277	0.006666	0.010940	0.012120
$n=50$	$EMSE\left({\widehat{\beta }}_O\right)$	0.001069	0.001590	0.002104	0.004097	0.005846	0.008121
	$EMSE\left({\widehat{\beta }}_L\right)$	0.002696	0.004442	0.010453	0.005858	0.006700	0.012208
	$EMSE\left({\widehat{\beta }}_J\right)$	0.001070	0.001593	0.002135	0.004092	0.005825	0.008105
	$EMSE\left({\widehat{\beta }}_E\right)$	0.001067	0.001587	0.002098	0.004087	0.005823	0.008103
$n=100$	$EMSE\left({\widehat{\beta }}_O\right)$	0.0005210	0.000903	0.001175	0.002024	0.003525	0.004509
	$EMSE\left({\widehat{\beta }}_L\right)$	0.0001243	0.002057	0.003094	0.002683	0.005094	0.007293
	$EMSE\left({\widehat{\beta }}_J\right)$	0.0005212	0.000903	0.001173	0.002023	0.003528	0.004504
	$EMSE\left({\widehat{\beta }}_E\right)$	0.0005205	0.000901	0.001171	0.002021	0.003521	0.003402

Table 3. EMSE values of each estimator when $d=0.7,p=3$

表3. 当$d=0.7,p=3$ 时，各个估计的EMSE值

		$\sigma =0.1$			$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$	$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$EMSE\left({\widehat{\beta }}_O\right)$	0.001919	0.001860	0.002687	0.006389	0.009722	0.014494
	$EMSE\left({\widehat{\beta }}_L\right)$	0.002588	0.003634	0.005250	0.007953	0.011789	0.015288
	$EMSE\left({\widehat{\beta }}_J\right)$	0.001917	0.001859	0.002687	0.006380	0.009701	0.014445
	$EMSE\left({\widehat{\beta }}_E\right)$	0.001916	0.001857	0.002685	0.006383	0.009714	0.014467
$n=50$	$EMSE\left({\widehat{\beta }}_O\right)$	0.001008	0.001568	0.002237	0.004316	0.007341	0.009340
	$EMSE\left({\widehat{\beta }}_L\right)$	0.001542	0.002340	0.002963	0.004478	0.007823	0.010837
	$EMSE\left({\widehat{\beta }}_J\right)$	0.001008	0.001567	0.002234	0.004314	0.007329	0.009319
	$EMSE\left({\widehat{\beta }}_E\right)$	0.001007	0.001566	0.002232	0.004315	0.007331	0.009325
$n=100$	$EMSE\left({\widehat{\beta }}_O\right)$	0.000522	0.000846	0.001026	0.0022856	0.0028967	0.004560
	$EMSE\left({\widehat{\beta }}_L\right)$	0.000696	0.001137	0.001567	0.0023649	0.0030456	0.004869
	$EMSE\left({\widehat{\beta }}_J\right)$	0.000522	0.000846	0.001026	0.0022852	0.0028963	0.004557
	$EMSE\left({\widehat{\beta }}_E\right)$	0.000521	0.000845	0.001025	0.0022853	0.0028969	0.004558

Table 4. EMSE values of each estimator when $d=0.2,p=5$

表4. 当$d=0.2,p=5$ 时，各个估计的EMSE值

		$\sigma =0.1$			$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$	$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$EMSE\left({\widehat{\beta }}_O\right)$	0.052911	0.062000	0.079941	0.100972	0.132164	0.162993
	$EMSE\left({\widehat{\beta }}_L\right)$	0.207496	0.307930	0.397344	0.177680	0.366097	0.441463
	$EMSE\left({\widehat{\beta }}_J\right)$	0.053844	0.067960	0.093890	0.100992	0.134871	0.169768
	$EMSE\left({\widehat{\beta }}_E\right)$	0.052876	0.061829	0.079254	0.100663	0.131967	0.161288
$n=50$	$EMSE\left({\widehat{\beta }}_O\right)$	0.047360	0.053559	0.071726	0.081170	0.112182	0.137410
	$EMSE\left({\widehat{\beta }}_L\right)$	0.123223	0.168586	0.220389	0.133759	0.263422	0.274795
	$EMSE\left({\widehat{\beta }}_J\right)$	0.047373	0.054035	0.072602	0.081112	0.112585	0.137198
	$EMSE\left({\widehat{\beta }}_E\right)$	0.047288	0.053392	0.071157	0.081090	0.111969	0.136924
$n=100$	$EMSE\left({\widehat{\beta }}_O\right)$	0.030941	0.037303	0.042719	0.060549	0.075754	0.094601
	$EMSE\left({\widehat{\beta }}_L\right)$	0.077124	0.091359	0.128562	0.088147	0.131367	0.162614
	$EMSE\left({\widehat{\beta }}_J\right)$	0.052911	0.062000	0.079941	0.100972	0.132164	0.162993
	$EMSE\left({\widehat{\beta }}_E\right)$	0.207496	0.307930	0.397344	0.177680	0.366097	0.441463

Table 5. EMSE values of each estimator when $d=0.7,p=5$

表5. 当$d=0.7,p=5$ 时，各个估计的EMSE值

		$\sigma =0.1$			$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$	$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$EMSE\left({\widehat{\beta }}_O\right)$	0.057792	0.057557	0.089747	0.105591	0.125732	0.166151
	$EMSE\left({\widehat{\beta }}_L\right)$	0.13474	0.111300	0.180432	0.134019	0.138409	0.268394
	$EMSE\left({\widehat{\beta }}_J\right)$	0.058045	0.057689	0.089603	0.105542	0.125538	0.166504
	$EMSE\left({\widehat{\beta }}_E\right)$	0.057878	0.057481	0.089515	0.105535	0.125474	0.165820
$n=50$	$EMSE\left({\widehat{\beta }}_O\right)$	0.042054	0.053936	0.065093	0.084771	0.118439	0.112835
	$EMSE\left({\widehat{\beta }}_L\right)$	0.060903	0.086391	0.106682	0.095196	0.135445	0.130637
	$EMSE\left({\widehat{\beta }}_J\right)$	0.042049	0.053968	0.065077	0.084741	0.118396	0.112777
	$EMSE\left({\widehat{\beta }}_E\right)$	0.042039	0.053902	0.065068	0.084719	0.118319	0.112736
$n=100$	$EMSE\left({\widehat{\beta }}_O\right)$	0.027629	0.036841	0.044298	0.059232	0.075030	0.091243
	$EMSE\left({\widehat{\beta }}_L\right)$	0.032174	0.046575	0.062928	0.063406	0.081997	0.105419
	$EMSE\left({\widehat{\beta }}_J\right)$	0.027629	0.036837	0.044286	0.059231	0.075019	0.091217
	$EMSE\left({\widehat{\beta }}_E\right)$	0.027628	0.036832	0.044277	0.059219	0.075018	0.091185

Table 6. ASE values of each estimator when $d=0.4,p=5$

表6. 当$d=0.4,p=5$ 时，各个估计的ASE值

		$\sigma =0.1$			$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$	$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$ASE\left({\widehat{\beta }}_O\right)$	0.00079	0.00088	0.001257	0.001415	0.001992	0.002365
	$ASE\left({\widehat{\beta }}_L\right)$	0.000756	0.000833	0.001116	0.001364	0.001855	0.002147
	$ASE\left({\widehat{\beta }}_J\right)$	0.000789	0.000877	0.001239	0.001413	0.001982	0.002344
	$ASE\left({\widehat{\beta }}_E\right)$	0.00079	0.000879	0.001249	0.001412	0.001981	0.002348
$n=50$	$ASE\left({\widehat{\beta }}_O\right)$	0.000681	0.000771	0.000956	0.001355	0.001632	0.001975
	$ASE\left({\widehat{\beta }}_L\right)$	0.000659	0.000737	0.000895	0.001307	0.001554	0.001844
	$ASE\left({\widehat{\beta }}_J\right)$	0.000681	0.000769	0.000952	0.001349	0.001628	0.001966
	$ASE\left({\widehat{\beta }}_E\right)$	0.000681	0.000769	0.000951	0.001349	0.001628	0.001967
$n=100$	$ASE\left({\widehat{\beta }}_O\right)$	0.000452	0.000554	0.000711	0.000918	0.001098	0.001327
	$ASE\left({\widehat{\beta }}_L\right)$	0.0004445	0.000542	0.000685	0.000904	0.001075	0.001285
	$ASE\left({\widehat{\beta }}_J\right)$	0.000452	0.000554	0.00071	0.000917	0.001098	0.001326
	$ASE\left({\widehat{\beta }}_E\right)$	0.000452	0.000554	0.00071	0.000917	0.001098	0.001326

Table 7. ABIAS values of each estimator when $d=0.4,p=5$

表7. 当$d=0.4,p=5$ 时，各个估计的ABIAS值

		$\sigma =0.1$				$\sigma =0.2$
		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$		$\rho =0.75$	$\rho =0.85$	$\rho =0.9$
$n=35$	$ABIAS\left({\widehat{\beta }}_O\right)$	0.021238	0.023961		0.029115	0.039761	0.048883	0.058868
	$ABIAS\left({\widehat{\beta }}_L\right)$	0.060497	0.082263		0.108987	0.065885	0.113959	0.137254
	$ABIAS\left({\widehat{\beta }}_J\right)$	0.021413	0.024521		0.031171	0.039750	0.049234	0.059853
	$ABIAS\left({\widehat{\beta }}_E\right)$	0.021235	0.023832		0.028949	0.039713	0.048855	0.058540
$n=50$	$ABIAS\left({\widehat{\beta }}_O\right)$	0.016567	0.022048		0.024806	0.034003	0.062364	0.047256
	$ABIAS\left({\widehat{\beta }}_L\right)$	0.040243	0.042179		0.075334	0.05838	0.001554	0.096027
	$ABIAS\left({\widehat{\beta }}_J\right)$	0.016568	0.022002		0.024878	0.034019	0.038362	0.047564
	$ABIAS\left({\widehat{\beta }}_E\right)$	0.016567	0.021990		0.024750	0.033942	0.038253	0.047221
$n=100$	$ABIAS\left({\widehat{\beta }}_O\right)$	0.011528	0.013454		0.017178	0.022838	0.029887	0.033218
	$ABIAS\left({\widehat{\beta }}_L\right)$	0.018807	0.026775		0.036736	0.030505	0.039380	0.049040
	$ABIAS\left({\widehat{\beta }}_J\right)$	0.011529	0.013458		0.017195	0.022839	0.029891	0.033233
	$ABIAS\left({\widehat{\beta }}_E\right)$	0.011525	0.013455		0.017169	0.022833	0.029882	0.003321

表3中粗体数字表示在EMSE准测下，经验无偏刀切Liu估计的精度弱于刀切Liu估计。根据表1~7可得如下结果：

(1) 在ASE准测下，普通最小二乘估计${\widehat{\beta }}_O$ 、Liu估计${\widehat{\beta }}_L$ 、刀切Liu估计${\widehat{\beta }}_J$ 和经验无偏刀切Liu估计${\widehat{\beta }}_E$ 的平均标准误差都较小，表明它们在当前数据下提供了较为精确的估计。其中，Liu估计${\widehat{\beta }}_L$ 略微更优的精度，其他估计量的精度也非常接近，表现出相当的稳定性。

(2) 在ABIAS准测下，普通最小二乘估计${\widehat{\beta }}_O$ 、刀切Liu估计${\widehat{\beta }}_J$ 和经验无偏刀切Liu估计${\widehat{\beta }}_E$ 的平均绝对偏差较低，表明这些方法的估计相对更接近真实值。而Liu估计${\widehat{\beta }}_L$ 的平均绝对偏差较大，表明相对于其他三个估计方法表现较差。

(3) 在EMSE准测下，经验无偏刀切Liu估计${\widehat{\beta }}_E$ 一致优于普通最小二乘估计${\widehat{\beta }}_O$ ，并在一定的条件下分别优于刀切Liu估计${\widehat{\beta }}_J$ 和Liu估计${\widehat{\beta }}_L$ ，和理论结果一致。

(4) 随着样本量$n$ 的增加，各估计的EMSE值显著下降；随着$\rho$ 值的增加，各估计的EMSE值普遍增加，即样本量$n$ 的增加可以提高估计的精确度，而较高的$\rho$ 值会增加估计的误差。

5. 实例分析

本节采用Woods等人[19]提出的Portland数据集对所提出估计的优良性进行分析。该数据主要探究硅酸盐水泥在凝固和硬化过程中释放的热量与四种主要化合物含量之间的关系。这四种化合物分别为铝酸三钙、硅酸三钙、铁铝酸四钙和硅酸二钙，记作$X_1、X_2、X_3、X_4$ 。经过180天的固化过程后，每克水泥所释放的热量(以卡路里为单位)，记作$y$ 。假设$y$ 与$X_1、X_2、X_3、X_4$ 具有线性关系，理论模型为$y=X\beta +\epsilon$ ，其中$\beta ={\left({\beta }_0,{\beta }_1,{\beta }_2,{\beta }_3,{\beta }_4\right)}^{\prime }$ ，

$X=\left[\begin{array}{ccccc}1& 7& 26& 6& 60\\ 1& 1& 29& 15& 52\\ 1& 11& 56& 8& 20\\ 1& 11& 31& 8& 47\\ 1& 7& 52& 6& 33\\ 1& 11& 55& 9& 22\\ 1& 3& 71& 17& 6\\ 1& 1& 31& 22& 44\\ 1& 2& 54& 18& 22\\ 1& 21& 47& 4& 26\\ 1& 1& 40& 23& 34\\ 1& 11& 66& 9& 12\\ 1& 10& 68& 8& 12\end{array}\right]$ $y=\left[\begin{array}{c}78.5\\ 74.3\\ 104.3\\ 87.6\\ 95.9\\ 109.2\\ 102.7\\ 72.5\\ 93.1\\ 115.9\\ 83.8\\ 113.3\\ 109.4\end{array}\right]$

计算得到$X^{\prime }X$ 的特征值分别为${\lambda }_1=44676.21$ ，${\lambda }_2=5965.42$ ，${\lambda }_3=809.95$ ，${\lambda }_4=105.42$ ，${\lambda }_5=1.218022e-03$ ，对应条件数为3.6679307。因此，设计矩阵存在显著的多重共线性。

由于$\beta$ 和${\sigma }^2$ 是未知的，首先利用$\beta$ 和${\sigma }^2$ 的最小二乘估计${\widehat{\beta }}_O$ 和${\widehat{\sigma }}^2$ 代替真实值，根据理论模型计算得到：${\widehat{\beta }}_O={\left(62.405,1.551,0.510,0.102,-0.144\right)}^{\prime }$ 和${\widehat{\sigma }}^2=5.98$ 。接下来根据理论结果分别得到${\widehat{\beta }}_L$ 、${\widehat{\beta }}_J$ 和${\widehat{\beta }}_E$ 的估计值。考虑到利用先验信息生成$\Gamma$ 具有随机性，会影响经验无偏刀切Liu估计的取值。为此，通过随机生成1000个$\Gamma$ ，利用它们的平均值作为$\Gamma$ 的取值，使得估计${\widehat{\beta }}_E$ 的值更为稳定。当$d=0.25$ ，取$\widehat{\Gamma }={\left(10.99,18.67,11.04,15.33,0.14\right)}^{\prime }$ 时，对应参数的三个估计的回归系数结果和相应的评价值，见表8。

表8中的结果表明，经验无偏刀切Liu估计${\widehat{\beta }}_E$ 相比Liu估计${\widehat{\beta }}_L$ 和刀切Liu估计${\widehat{\beta }}_J$ 分别具有最小的EMSE、ABIAS和ASE估计值。

同时，直接计算各个估计与真实值的差异程度，采用欧氏公式$\Vert \widehat{\beta }-\beta \Vert =\sqrt{{\left(\widehat{\beta }-\beta \right)}^{\prime }\left(\widehat{\beta }-\beta \right)}$ 计算，$\widehat{\beta }$ 为$\beta$ 的任意估计，并绘制了各个估计与真实值的差异值随$d$ 变化的图形，见图1。

Table 8. Regression coefficient results and corresponding evaluation values

表8. 回归系数结果和相应的评价值

	${\widehat{\beta }}_L$	${\widehat{\beta }}_J$	${\widehat{\beta }}_E$
${\beta }_0$	15.6936	27.4143	27.4905
${\beta }_1$	2.02136	1.91110	1.9096
${\beta }_2$	0.9944	0.8708	0.8701
${\beta }_3$	0.5860	0.4700	0.4687
${\beta }_4$	0.32935	0.2094	0.2087
$ASE$	643.4197	244.9744	243.9082
$ABIAS$	11.7246	7.2866	7.27056
$EMSE$	46.7216	34.9985	34.9223

Figure 1. Estimation errors versus true values across different d parameters

图1. 各估计与真实值差异大小随d的变化情况

由图1可知，当$0<d\le 0.25$ 时，${\widehat{\beta }}_E$ 一致优于${\widehat{\beta }}_J$ ；$0.25<d<1$ 时，${\widehat{\beta }}_E$ 不能优于${\widehat{\beta }}_J$ ，无法满足特定条件时，在个别点$d$ 下出现${\widehat{\beta }}_E$ 优于${\widehat{\beta }}_J$ 的情形，主要由$\Gamma$ 的随机性产生的。另外，此实例中${\widehat{\beta }}_E$ 一致优于${\widehat{\beta }}_L$ 。所得结果与理论分析和模拟分析一致。

6. 结论

本文利用经验无偏的思想在刀切Liu估计基础上获得了回归系数的经验无偏刀切Liu估计。在平均绝对偏差、平均标准误差和均方误差方面，将该估计的性能与刀切Liu估计、Liu估计、普通最小二乘估计进行了比较。该估计减少了刀切Liu估计的偏性，同时在一定的条件下优于刀切Liu估计。它是有偏估计和无偏估计的线性组合，通过经验无偏信息来调节有偏估计的偏性，核心要点是找到经验无偏估计，在实际应用中具有一定的主观性。考虑到在实际应用中，存在变量无法精确测量，这也启发了我们，能否在非线性模型、部分线性模型和高维稀疏模型中引入测量误差，再从有偏估计出发，附加更复杂的先验信息，从贝叶斯分析角度得到回归系数的线性贝叶斯估计，值得后期进一步研究。

基金项目

国家自然科学基金(11661003)；江西省自然科学基金(20192BAB201006)。

NOTES

^*通讯作者。