二元逻辑回归模型中的随机约束两参数极大似然估计

Stochastic Restricted Two-Parameter Maximum Likelihood Estimator in Binary Logistic Regression Model

摘要: 针对二元逻辑回归模型中的复共线性问题，同时考虑模型中待估参数存在先验信息的情况，提出了一类新估计即随机约束两参数极大似然估计。研究得到了新估计在均方误差矩阵准则下优于Liu极大似然估计，Liu-Type极大似然估计，两参数极大似然估计，随机约束极大似然估计，随机约束Liu极大似然估计和随机约束Liu-Type极大似然估计的充要或充分条件。探讨并给出了新估计中偏参数的最优建议值。更进一步，基于偏参数的最优建议值，通过蒙特卡罗模拟方法，分析了新估计在均方误差意义下的优良性。

Abstract: To solve the multicollinearity problem in binary logistic regression model, a new estimator, namely stochastic restricted two-parameter maximum likelihood estimator, is proposed, considering the existence of prior information of the parameters to be estimated in the model. Moreover, we obtain the necessary or sufficient conditions for the new estimator to be superior to Liu maximum likelihood estimator, Liu-Type maximum likelihood estimator, two-parameter maximum likelihood estimator, stochastic restricted maximum likelihood estimator, stochastic restricted Liu maximum likelihood estimator and stochastic restricted Liu-Type maximum likelihood estimator under the criterion of mean squared error matrix. The recommend optimal values of the biasing parameters in the new estimation are discussed and given. Furthermore, based on the optimal recommended value of biasing parameters, a Monte Carlo simulation experiment is introduced to discuss the performance of this new estimator under the mean squared error.

文章引用：邹媛, 陈景, 李荣. 二元逻辑回归模型中的随机约束两参数极大似然估计[J]. 统计学与应用, 2020, 9(4): 515-524. https://doi.org/10.12677/SA.2020.94055

1. 引言

考虑二元逻辑回归模型中因变量 $y_i$ 服从分布。其中，伯努利参数 ${\pi }_i$ 依赖未知参数 $\beta$ 和解释变量 $x_i$ 的取值，表达式如下：

${\pi }_i=\mathrm{Pr}\left(y_i=1\right)=\frac{\exp \left({x^{\prime }}_i\beta \right)}{1+\exp \left({x^{\prime }}_i\beta \right)}$， $i=1,\cdots ,n$ (1)

X是 $n\times p$ 的矩阵， $x_i$ 是X第i列。 $\beta ={\left({\beta }_1,\cdots ,{\beta }_p\right)}^{\prime }$ 为 $p\times 1$ 的未知系数矩阵。

在逻辑回归模型中，使用迭代加权最小二乘(IRLS)算法可得 $\beta$ 的极大似然估计(MLE)：

${\hat{\beta }}_{MLE}={\left(X^{\prime }\hat{W}X\right)}^{-1}{X}^{\prime }\hat{W}Z$ (2)

其中 $Z={\left(Z_1,\cdots ,Z_n\right)}^{\prime }$ 且 $Z_i=\log \left({\hat{\pi }}_i\right)+\frac{y_i-{\hat{\pi }}_i}{{\hat{\pi }}_i\left(1-{\hat{\pi }}_i\right)}$， $\hat{W}=Diag\left[{\hat{\pi }}_i\left(1-{\hat{\pi }}_i\right)\right]$。

在逻辑回归模型中，当解释变量高度相关时即存在复共线性问题时，MLE的方差会膨胀。为了克服这个问题，学者们提出了很多估计来改进MLE。例如，Schaefer等 [1] 提出了岭极大似然估计(RE)。Månsson等 [2] 提出了Liu极大似然估计(LE)，表达式为：

${\hat{\beta }}_{LE}={\left(C+I\right)}^{-1}\left(C+dI\right){\hat{\beta }}_{MLE}=F_d{\hat{\beta }}_{MLE}$ (3)

其中 $C=X^{\prime }\stackrel{⌢}{W}X$， $F_d={\left(C+I\right)}^{-1}\left(C+dI\right)$， $0<d<1$。

Asar [3] 提出了Liu-Type极大似然估计(LTE)，表达式为：

${\hat{\beta }}_{LTE}={\left(C+kI\right)}^{-1}\left(C-dI\right){\hat{\beta }}_{MLE}=F_{kd}{\hat{\beta }}_{MLE}$ (4)

其中 $F_{kd}={\left(C+kI\right)}^{-1}\left(C-dI\right)$， $k>0,-\infty <d<+\infty$。

Huang J [4] 提出了两参数极大似然估计(TPE)，表达式为：

${\hat{\beta }}_{TPE}={\left(C+kI\right)}^{-1}\left(C+kdI\right){\hat{\beta }}_{MLE}=F_{k-d}{\hat{\beta }}_{MLE}$ (5)

其中 $F_{k-d}={\left(C+kI\right)}^{-1}\left(C+kdI\right)$， $k>0,0<d<1$。

考虑在实际工作中，逻辑回归模型中的未知参数向量 $\beta$ 有可能存在一些先验信息，这时我们可通过等式约束、不等式约束、椭球约束等来描述这些先验信息。本文将考虑带随机线性约束的情况。一般的随机线性约束为：

$h=H\beta +u,E\left(u\right)=0,Cov\left(u\right)=\Psi$ (6)

其中，H是 $q\times \left(p+1\right)$ 的满秩已知矩阵。h是一个 $q\times 1$ 预设值的向量。u是一个服从均值为0，方差矩阵为 $\Psi$ 的 $q\times 1$ 随机向量。其中 $\Psi$ 为已知的 $q\times q$ 阶正定矩阵。

基于随机线性约束，Nagaraja和Wijekoon [5] 提出了随机约束极大似然估计(SRE)，表达式为：

${\hat{\beta }}_{SRE}={\hat{\beta }}_{MLE}+C^{-1}{H}^{\prime }{\left(\Psi +H{C}^{-1}{H}^{\prime }\right)}^{-1}\left(h-H{\hat{\beta }}_{MLE}\right)$ (7)

为了进一步改进SRE，Varathan和Wijekoon在文献 [6] 和 [7] 中分别提出了随机约束岭极大似然估计(SRRE)和随机约束Liu极大似然估计(SRLE)。其中SRLE表达式为：

${\hat{\beta }}_{SRLE}={\left(C+I\right)}^{-1}\left(C+dI\right){\hat{\beta }}_{SRE}=F_d{\hat{\beta }}_{SRE}$ (8)

Wu和Asar [8] 提出了随机约束Liu-Type极大似然估计(SRLTE)，表达式为：

${\hat{\beta }}_{SRLTE}={\left(C+kI\right)}^{-1}\left(C-dI\right){\hat{\beta }}_{SRE}=F_{kd}{\hat{\beta }}_{SRE}$ (9)

我们结合SRE和TPE提出了一个新的估计即随机约束两参数极大似然估计(SRTPE)，其表达式为：

${\hat{\beta }}_{SRTPE}={\left(C+kI\right)}^{-1}\left(C+kdI\right){\hat{\beta }}_{SRE}=F_{k-d}{\hat{\beta }}_{SRE}$ (10)

其中 $k>0,0<d<1$。

从SRTPE的表达式看出，SRTPE是一种更一般的估计，它可以退化为SRE，SRRE，SRLE：

1) $\underset{k\to 0}{\lim }{\hat{\beta }}_{SRTPE}={\hat{\beta }}_{SRE}$.

2) $\underset{d\to 1}{\lim }{\hat{\beta }}_{SRTPE}={\hat{\beta }}_{SRE}$.

3) $\underset{d\to 0}{\lim }{\hat{\beta }}_{SRTPE}={\left(C+I\right)}^{-1}{\hat{\beta }}_{SRE}={\hat{\beta }}_{SRRE}$.

4) $\underset{k\to 1}{\lim }{\hat{\beta }}_{SRTPE}={\left(C+I\right)}^{-1}\left(C+dI\right){\hat{\beta }}_{SRE}={\hat{\beta }}_{SRLE}$.

2. 提出估计的性质

接下来我们将在均方误差矩阵(MSEM)准则下，对新提出的新估计SRTPE与TPE，LTE，LE，SRE，SRLE和SRLTE进行比较。其中参数 $\beta$ 的估计 $\hat{\beta }$ 的MSEM为：

$MSEM\left(\hat{\beta }\right)=E\left[\left(\hat{\beta }-\beta \right){\left(\hat{\beta }-\beta \right)}^{\prime }\right]=Cov\left(\hat{\beta }\right)+Bias\left(\hat{\beta }\right)Bia{s}^{\prime }\left(\hat{\beta }\right)$ (11)

这里 $Cov\left(\hat{\beta }\right)$ 是方差矩阵， $Bias\left(\hat{\beta }\right)$ 是估计 $\hat{\beta }$ 的偏差。一般的，当 $\Delta =MSEM\left({\hat{\beta }}_1\right)-MSEM\left({\hat{\beta }}_2\right)\ge 0$ 时，我们称估计 ${\hat{\beta }}_2$ 在MSEM准则下优于 ${\hat{\beta }}_1$。

现在，我们将根据以下三个引理来证明我们所得的定理。引理如下：

引理1. (Rao和Toutenburg [9])设矩阵A和B是 $n\times n$ 阶矩阵，且 $A>0$， $B\ge 0$。则 $A+B>0$。

引理2. (Rao [10])设M和N都为 $n\times n$ 阶正定矩阵，则 $M>N$ 当且仅当 ${\lambda }_{\max }\left(N{M}^{-1}\right)<1$。

引理3. (Trenkler和Toutenburg [11])令参数向量 $\beta$ 的两个估计 ${\hat{\beta }}_j=A_{j}y$， $j=1,2$。设 $\Delta =Cov\left({\hat{\beta }}_1\right)-Cov\left({\hat{\beta }}_2\right)>0$。则 $MSEM\left({\hat{\beta }}_1\right)-MSEM\left({\hat{\beta }}_2\right)>0$ 当且仅当 ${u^{\prime }}_2{\left(\Delta +u_1{u^{\prime }}_1\right)}^{-1}{u}_2\le 1$。其中， $u_j$ 为 ${\hat{\beta }}_j$ 的偏差。

定理1. SRTPE在MSEM准则下总是优于TPE。

证明：由公式(11)可得TPE和SRTPE的MSEM如下，

$MSEM\left({\hat{\beta }}_{TPE}\right)=F_{k-d}{C}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$

$MSEM\left({\hat{\beta }}_{SRTPE}\right)=F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$

其中 $m_1=k\left(d-1\right){\left(C+kI\right)}^{-1}\beta$。现在我们考虑它们的差，令

$\begin{array}{c}{\Delta }_1=MSEM\left({\hat{\beta }}_{TPE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_{k-d}{C}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =F_{k-d}\left\{C^{-1}-{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}\right\}{F}_{k-d}\end{array}$

由于：

${\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}=C^{-1}-C^{-1}{H}^{\prime }{\left(\Psi \text{+}H{C}^{-1}{H}^{\prime }\right)}^{-1}H{C}^{-1}$

则

$C^{-1}{H}^{\prime }{\left(\Psi +H{C}^{-1}{H}^{\prime }\right)}^{-1}H{C}^{-1}=C^{-1}-{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}\ge 0$

又因为矩阵 $F_{k-d}={\left(C+kI\right)}^{-1}\left(C+kdI\right)>0$，因此

$\begin{array}{c}{\Delta }_1=F_{k-d}\left\{C^{-1}-{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}\right\}{F}_{k-d}\\ =F_{k-d}\left\{C^{-1}{H}^{\prime }{\left(\Psi +H{C}^{-1}{H}^{\prime }\right)}^{-1}H{C}^{-1}\right\}{F}_{k-d}\\ =MSEM\left({\hat{\beta }}_{TPE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\ge 0\end{array}$

证明完成。

定理2. 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{C}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时，新估计SRTPE在MSEM准则下优于

LTE当且仅当 ${m^{\prime }}_1{\left(D_2+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$。其中 $D_2=F_{kd}{C}^{-1}{F}_{kd}-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$， $m_2=\left(d+k\right){\left(C+kI\right)}^{-1}\beta$。

证明：由公式(11)可得LTE的MSEM为

$MSEM\left({\hat{\beta }}_{LTE}\right)=F_{kd}{C}^{-1}{F}_{kd}+m_2{m^{\prime }}_2$

接下来我们考虑LTE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_2=MSEM\left({\hat{\beta }}_{LTE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_{kd}{C}^{-1}{F}_{kd}+m_2{m^{\prime }}_2-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_2+m_2{m^{\prime }}_2-m_1{m^{\prime }}_1\end{array}$

因为 $F_{kd}{C}^{-1}{F}_{kd}>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，根据引理2， 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{C}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时， $D_2>0$。再根据引理3，当 ${m^{\prime }}_1{\left(D_2+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_2\ge 0$。定理得证。

定理3. 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_d{C}^{-1}{F}_d\right)}^{-1}\right\}<1$ 时，新估计SRTPE在MSEM准则下优于

LE当且仅当 ${m^{\prime }}_1{\left(D_3+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$。其中 $D_3=F_d{C}^{-1}{F}_d-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$， $m_3=\left(d-1\right){\left(C+I\right)}^{-1}\beta$。

证明：由公式(11)可得LE的MSEM为

$MSEM\left({\hat{\beta }}_{LE}\right)=F_d{C}^{-1}{F}_d+m_3{m^{\prime }}_3$

考虑LE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_3=MSEM\left({\hat{\beta }}_{LE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_d{C}^{-1}{F}_d+m_3{m^{\prime }}_3-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_3+m_3{m^{\prime }}_3-m_1{m^{\prime }}_1\end{array}$

因为 $F_d{C}^{-1}{F}_d>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，根据引理2， 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_d{C}^{-1}{F}_d\right)}^{-1}\right\}<1$ 时， $D_3>0$。再根据引理3有，当 ${m^{\prime }}_1{\left(D_3+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_3\ge 0$。得证。

定理4. SRTPE在MSEM准则下优于SRE当且仅当 ${\lambda }_{\max }\left(M_1{D}_4^{-1}\right)<1$。其中 $D_4={\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}$， $M_1=F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$。

证明：由公式(11)可得SRE的MSEM为

$MSEM\left({\hat{\beta }}_{SRE}\right)={\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}$

考虑SRE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_4=MSEM\left({\hat{\beta }}_{SRE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ ={\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}-\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1\right\}\\ =D_4-M_1\end{array}$

由于 $M_1=F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$，因为 $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$， $m_1{m^{\prime }}_1\ge 0$，所以根据引理1可知 $M_1>0$。又因为 $D_4>0$，根据引理2有当 ${\lambda }_{\max }\left(M_1{D}_4^{-1}\right)<1$ 时， $D_4>M_1$ 即 ${\Delta }_4=D_4-M_1>0$。定理4得证。

定理5. 当时，SRTPE在MSEM准则下优于SRLE当且仅当 ${m^{\prime }}_1{\left(D_5+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$。其中， $D_5=F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$。

证明：由公式(11)可得SRLE的MSEM为

$MSEM\left({\hat{\beta }}_{SRLE}\right)=F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d+m_3{m^{\prime }}_3$

考虑SRLE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_5=MSEM\left({\hat{\beta }}_{SRLE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d+m_3{m^{\prime }}_3-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_5+m_3{m^{\prime }}_3-m_1{m^{\prime }}_1\end{array}$

因为 $F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，通过引理2，当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d\right)}^{-1}\right\}<1$ 时， $D_5>0$。再根据引理3，当 ${m^{\prime }}_1{\left(D_5+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_5\ge 0$。定理得证。

定理6. 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时，SRTPE在MSEM准则下优于SRLTE当且仅当 ${m^{\prime }}_1{\left(D_6+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$。 其中 $D_6=F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$。

证明：由公式(11)可得SRLTE的MSEM如下

$MSEM\left({\hat{\beta }}_{SRLTE}\right)=F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}+m_2{m^{\prime }}_2$

考虑SRLTE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_6=MSEM\left({\hat{\beta }}_{SRLTE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}+m_2{m^{\prime }}_2-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_6+m_2{m^{\prime }}_2-m_1{m^{\prime }}_1\end{array}$

因为 $F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，通过引理2有，当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时， $D_6>0$。根据引理3，当 ${m^{\prime }}_1{\left(D_6+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_6\ge 0$。定理得证。

3. 偏参数k和d的选取

因为随机约束两参数极大似然估计与定理中的各估计在均方误差准则下的比较结果依赖参数 $\beta$ 的偏参数k和d的选择。所以合适的选取偏参数k和d可以使模拟得到可行的结果。为了得到可行的k和d的值。我们对矩阵C进行分解使得 $C=Q\Lambda Q^{\prime }$。其中，Q是矩阵C的特征向量的列向量组成的矩阵， $\Lambda =diag\left({\lambda }_1,\cdots ,{\lambda }_p\right)$， ${\lambda }_i$ 是C的第i个特征值。我们令

$f\left(k,d\right)=MSE\left({\hat{\beta }}_{SRTPE}\right)={\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{{\left({\lambda }_i+kd\right)}^2{b}_{ii}+k^2{\left(d-1\right)}^2{\alpha }_i^2}{{\left({\lambda }_i+k\right)}^2}}$ (12)

其中 ${\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}=Qdiag\left(b_{11},\cdots ,b_{pp}\right)Q^{\prime }$， $\hat{\alpha }=Q^{\prime }{\hat{\beta }}_{MLE}$。

可以看出函数 $f\left(k,d\right)$ 是一个关于参数d的二次函数。因此，为了求使 $f\left(k,d\right)$ 最小的d的值，我们固定k，并对 $f\left(k,d\right)$ 求关于d的偏导得

$\frac{\partial f\left(k,d\right)}{\partial d}={\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{2k\left({\lambda }_i+kd\right)b_{ii}+2k^2\left(d-1\right){\alpha }_i^2}{{\left({\lambda }_i+k\right)}^2}}$ (13)

令上述等式(13)等于零，我们得到了d的一个建议最优值 ${\hat{d}}_{opt}$，结果如下：

${\hat{d}}_{opt}=\frac{{\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{k{a}_i^2-{\lambda }_i{b}_{ii}}{{\left({\lambda }_i+k\right)}^2}}}{{\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{k\left(b_{ii}+a_i^2\right)}{{\left({\lambda }_i+k\right)}^2}}}$ (14)

同样的，为了求偏参数k的值使得 $f\left(k,d\right)$ 最小，我们对函数 $f\left(k,d\right)$ 关于k求偏导得到

$\frac{\partial f\left(k,d\right)}{\partial k}={\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{2{\lambda }_i{b}_{ii}\left({\lambda }_i+kd\right)\left(d-1\right)+2k{\lambda }_i{\left(d-1\right)}^2{\alpha }_i^2}{{\left({\lambda }_i+k\right)}^3}}$ (15)

令上述等式(15)等于零，即分子为0得到

$k=\frac{{\alpha }_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\alpha }_i^2}{{\lambda }_i{b}_{ii}}\right)$ (16)

当d固定时(16)中k的最优值依赖 ${\alpha }_i^2$，根据Hoerl和Kennard [12] 和Kibria [13] 提出的方法，我们用它的无偏估计来替代：

$\hat{k}=\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)$ (17)

Hoerl等 [14] 提出了使用k的调和平均值来替代k的估计，Kibria [13] 提出了使用k的算术平均值来替代k的估计，Hoerl和Kennard [12] 提出了使用k的几何平均值来替代k的估计。再根据我们得出的k值得到偏参数k的三种取值分别定义如下：

${\hat{k}}_{HM}=\frac{p}{{\displaystyle \underset{i=1}{\overset{p}{\sum }}\left\{\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)\right\}}}$ (18)

${\hat{k}}_{AM}=\frac{1}{p}{\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{1}{\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)}}$ (19)

${\hat{k}}_{GM}=\frac{1}{{\displaystyle \underset{i=1}{\overset{p}{\prod }}{\left\{\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)\right\}}^{1/p}}}$ (20)

最后我们使用Özkale和Kaçiranlar [15] 提出的迭代方法对模拟的k和d进行取值：

步骤一：根据文献Özkale和Kaçiranlar [15] 中的定理3.1计算 $\hat{d}<\min \left\{\left(1+\frac{{\hat{\alpha }}_i^2}{b_{ii}}\right)/\left(\frac{{\hat{\alpha }}_i^2}{b_{ii}}\right)\right\}$ 的值；

步骤二：用步骤一中 $\hat{d}$ 的值来估计 ${\hat{k}}_{HM}$， ${\hat{k}}_{AM}$， ${\hat{k}}_{GM}$ 的值；

步骤三：用步骤二中的 ${\hat{k}}_{HM}$， ${\hat{k}}_{AM}$， ${\hat{k}}_{GM}$ 的值来计算(14)式中 ${\hat{d}}_{opt}$ 的值；

步骤四：如果 ${\hat{d}}_{opt}<0$，则 ${\hat{d}}_{opt}=\hat{d}$。其中 $0<{\hat{d}}_{opt}<1$， $0<\hat{d}<1$。

4. 蒙特卡罗模拟

接下来我们用蒙特卡罗模拟来验证估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE和SRTPE在MSE准则下的优良性。由文献McDonald和Galarneau [16] 使用下面等式生成解释变量：

$x_i{}_j={\left(1-{\rho }^2\right)}^{1/2}{z}_i{}_j+\rho z_{i,p+1}$， $i=1,\cdots ,n;j=1,\cdots ,p$ (21)

其中， $z_{ij}$ 是独立标准正态伪随机数， ${\rho }^2$ 表示任意两个解释变量的相关性。在模拟实验中，我们取 $p=4$，

样本数 $n=100$， $\rho$ 考虑0.85，0.9和0.95三种不同的情况。 $y_i$ 由 ${\pi }_i=\frac{\exp \left({x^{\prime }}_i\beta \right)}{1+\exp \left({x^{\prime }}_i\beta \right)}$ 服从伯努利二项分布而产生。对于 ${\beta }_1,\cdots ,{\beta }_p$ 满足 ${\displaystyle \underset{j=1}{\overset{p}{\sum }}{\beta }_j^2}=1$。

此外，等式(6)中的约束矩阵我们的选取如下：

$H=\left(\begin{array}{c}\begin{array}{cccc}1& -1& 0& 0\end{array}\\ \begin{array}{cccc}0& 1& -1& 0\end{array}\\ \begin{array}{cccc}0& 0& 1& -1\end{array}\end{array}\right)$， $h=\left(\begin{array}{c}1\\ -2\\ 1\end{array}\right)$ 和 $\Psi =\left(\begin{array}{c}\begin{array}{ccc}1& 0& 0\end{array}\\ \begin{array}{ccc}0& 1& 0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right)$ (22)

模拟次数重复2000次，估计MLE，LE，LTE，TPE，SRE，SRLE，SRLTE和SRTPE的MSE使用下面等式得到：

$MSE\left(\tilde{\beta }\right)=\frac{{\displaystyle {\sum }_{r=1}^{2000}{\left({\tilde{\beta }}_r-\beta \right)}^{\prime }\left({\tilde{\beta }}_r-\beta \right)}}{2000}$ (23)

结果如下：

Table 1. Estimated MSE values of the MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE when ρ = 0.85

表1. 当 $\rho =0.85$ 时，估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE，SRTPE的MSE

Table 2. Estimated MSE values of the MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE when ρ = 0.9

表2. 当 $\rho =0.9$ 时，估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE，SRTPE的MSE

Table 3. Estimated MSE values of the MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE when ρ = 0.95

表3. 当 $\rho =0.95$ 时，估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE，SRTPE的MSE

由表1~3可知，对建议的k和d值和给定的 $\rho$ 为0.85，0.9和0.95三个取值，随机约束两参数极大似然估计的MSE均小于其他估计的MSE，即此时随机约束两参数极大似然估计在均方误差意义下优于其他各估计。同时，由表1~3可知，对给定的 $\rho$ 为0.85，0.9和0.95，均有在k取 ${\hat{k}}_{HM}$ 时SRTPE，SRLTE，SRLE，LTE，LE和TPE的MSE小于k取 ${\hat{k}}_{AM}$ 和 ${\hat{k}}_{GM}$ 时的MSE，即此时 ${\hat{k}}_{HM}$ 优于 ${\hat{k}}_{AM}$ 和 ${\hat{k}}_{GM}$。由表1~3还可以看出，对建议的k和d值，随机约束两参数极大似然估计的MSE随着 $\rho$ 的增大而增大，即解释变量之间的相关性增加，则新估计的MSE值会增加。

5. 总结

本文中，我们在二元逻辑回归模型中提出了一个新的估计即随机约束两参数极大似然估计。为了研究所提出估计的性质，理论上，我们在MSEM准则下对Liu极大似然估计，Liu-Type极大似然估计，两参数极大似然估计，随机约束极大似然估计，随机约束Liu极大似然估计，随机约束Liu-Type极大似然估计和随机约束两参数极大似然估计进行了比较，并得出了在MSEM准则下随机约束两参数极大似然估计优于SRLTE，SRLE，SRE，LTE，LE和TPE的充要或充分条件。实验上，我们用了蒙特卡罗模拟实验来比较了几个估计的优良性，验证了对建议的k和d值和给定的 $\rho$ 为0.85，0.9和0.95情况下，新估计在MSE准则下优于SRLTE，SRLE，SRE，LTE，LE和TPE。

参考文献

[1]	Schaefer, R.L., Roi, L.D. and Wolfe, R.A. (1984) A Ridge Logistic Estimator. Communications in Statistics—Theory and Methods, 13, 99-113. https://doi.org/10.1080/03610928408828664
[2]	Månsson, K., Kibria, B.M.G. and Shukur, G. (2012) On Liu Estimators for the Logit Regression Model. Economic Modelling, 29, 1483-1488. https://doi.org/10.1016/j.econmod.2011.11.015
[3]	Asar, Y. (2017) Some New Methods to Solve Multicollinearity in Logistic Regression. Communications in Statistics—Simulation and Computation, 46, 2576-2586. https://doi.org/10.1080/03610918.2015.1053925
[4]	Huang, J. (2012) A Simulation Research on a Biased Estimator in Logistic Regression Model. Communications in Computer and Information Science, 316, 389-395. https://doi.org/10.1007/978-3-642-34289-9_43
[5]	Nagarajah, V. and Wijekoon, P. (2015) Stochastic Restricted Maximum Likelihood Estimator in Logistic Regression Model. Open Journal of Statistics, 5, 837-851. https://doi.org/10.4236/ojs.2015.57082
[6]	Varathan, N. and Wijekoon, P. (2016) Ridge Estimator in Logistic Regression under Stochastic Linear Restrictions. British Journal of Mathematics & Computer Science, 15, 1-14. https://doi.org/10.9734/BJMCS/2016/24585
[7]	Varathan, N. and Wijekoon, P. (2016) Logistic Liu Estimator under Stochastic Linear Restrictions. Statistical Papers, 60, 945-962. https://doi.org/10.1007/s00362-016-0856-6
[8]	Wu, J. and Asar, Y. (2017) On the Stochastic Restricted Liu-Type Maximum Likelihood Estimator in Logistic Regression. Communications, 68, 643-653.
[9]	Rao, C.R. and Toutenburg, H. (1995) Linear Models: Least Squares and Alternatives. 2nd Edition, Springer, New York. https://doi.org/10.1007/978-1-4899-0024-1
[10]	Rao, C.R., Toutenburg, H., Shalabh and Heumann, C. (2008) Linear Models and Generalizations. Springer, Berlin.
[11]	Trenkler, G. and Toutenburg, H. (1990) Mean Square Error Matrix Comparisons between Biased Estimators: An Overview of Recent Results. Statistical Papers, 31, 165-179. https://doi.org/10.1007/BF02924687
[12]	Hoerl, A.E. and Kennard, R.W. (1970) Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12, 55-67. https://doi.org/10.1080/00401706.1970.10488634
[13]	Kibria, B.M.G. (2003) Performance of Some New Ridge Regression Estimators. Communication in Statistics—Simulation and Computation, 32, 419-435. https://doi.org/10.1081/SAC-120017499
[14]	Hoerl, A.E., Kannard, R.W. and Baldwin, K.F. (1975) Ridge Regression: Some Simulations. Communications in Statistics—Theory and Methods, 4, 105-123. https://doi.org/10.1080/03610927508827232
[15]	Özkale, M.R. and Kaçiranlar, S. (2007) The Restricted and Unrestricted Two-Parameter Estimators. Communications in Statistics—Theory and Methods, 36, 2707-2725. https://doi.org/10.1080/03610920701386877
[16]	McDonald, G.C. and Galarneau, D.I. (1975) A Monte Carlo Evaluation of Some Ridge-Type Estimators. Journal of the American Statistical Association, 70, 407-416. https://doi.org/10.1080/01621459.1975.10479882

1. 引言

考虑二元逻辑回归模型中因变量 $y_i$ 服从分布。其中，伯努利参数 ${\pi }_i$ 依赖未知参数 $\beta$ 和解释变量 $x_i$ 的取值，表达式如下：

${\pi }_i=\mathrm{Pr}\left(y_i=1\right)=\frac{\exp \left({x^{\prime }}_i\beta \right)}{1+\exp \left({x^{\prime }}_i\beta \right)}$， $i=1,\cdots ,n$ (1)

X是 $n\times p$ 的矩阵， $x_i$ 是X第i列。 $\beta ={\left({\beta }_1,\cdots ,{\beta }_p\right)}^{\prime }$ 为 $p\times 1$ 的未知系数矩阵。

在逻辑回归模型中，使用迭代加权最小二乘(IRLS)算法可得 $\beta$ 的极大似然估计(MLE)：

${\hat{\beta }}_{MLE}={\left(X^{\prime }\hat{W}X\right)}^{-1}{X}^{\prime }\hat{W}Z$ (2)

其中 $Z={\left(Z_1,\cdots ,Z_n\right)}^{\prime }$ 且 $Z_i=\log \left({\hat{\pi }}_i\right)+\frac{y_i-{\hat{\pi }}_i}{{\hat{\pi }}_i\left(1-{\hat{\pi }}_i\right)}$， $\hat{W}=Diag\left[{\hat{\pi }}_i\left(1-{\hat{\pi }}_i\right)\right]$。

在逻辑回归模型中，当解释变量高度相关时即存在复共线性问题时，MLE的方差会膨胀。为了克服这个问题，学者们提出了很多估计来改进MLE。例如，Schaefer等 [1] 提出了岭极大似然估计(RE)。Månsson等 [2] 提出了Liu极大似然估计(LE)，表达式为：

${\hat{\beta }}_{LE}={\left(C+I\right)}^{-1}\left(C+dI\right){\hat{\beta }}_{MLE}=F_d{\hat{\beta }}_{MLE}$ (3)

其中 $C=X^{\prime }\stackrel{⌢}{W}X$， $F_d={\left(C+I\right)}^{-1}\left(C+dI\right)$， $0<d<1$。

Asar [3] 提出了Liu-Type极大似然估计(LTE)，表达式为：

${\hat{\beta }}_{LTE}={\left(C+kI\right)}^{-1}\left(C-dI\right){\hat{\beta }}_{MLE}=F_{kd}{\hat{\beta }}_{MLE}$ (4)

其中 $F_{kd}={\left(C+kI\right)}^{-1}\left(C-dI\right)$， $k>0,-\infty <d<+\infty$。

Huang J [4] 提出了两参数极大似然估计(TPE)，表达式为：

${\hat{\beta }}_{TPE}={\left(C+kI\right)}^{-1}\left(C+kdI\right){\hat{\beta }}_{MLE}=F_{k-d}{\hat{\beta }}_{MLE}$ (5)

其中 $F_{k-d}={\left(C+kI\right)}^{-1}\left(C+kdI\right)$， $k>0,0<d<1$。

考虑在实际工作中，逻辑回归模型中的未知参数向量 $\beta$ 有可能存在一些先验信息，这时我们可通过等式约束、不等式约束、椭球约束等来描述这些先验信息。本文将考虑带随机线性约束的情况。一般的随机线性约束为：

$h=H\beta +u,E\left(u\right)=0,Cov\left(u\right)=\Psi$ (6)

其中，H是 $q\times \left(p+1\right)$ 的满秩已知矩阵。h是一个 $q\times 1$ 预设值的向量。u是一个服从均值为0，方差矩阵为 $\Psi$ 的 $q\times 1$ 随机向量。其中 $\Psi$ 为已知的 $q\times q$ 阶正定矩阵。

基于随机线性约束，Nagaraja和Wijekoon [5] 提出了随机约束极大似然估计(SRE)，表达式为：

${\hat{\beta }}_{SRE}={\hat{\beta }}_{MLE}+C^{-1}{H}^{\prime }{\left(\Psi +H{C}^{-1}{H}^{\prime }\right)}^{-1}\left(h-H{\hat{\beta }}_{MLE}\right)$ (7)

为了进一步改进SRE，Varathan和Wijekoon在文献 [6] 和 [7] 中分别提出了随机约束岭极大似然估计(SRRE)和随机约束Liu极大似然估计(SRLE)。其中SRLE表达式为：

${\hat{\beta }}_{SRLE}={\left(C+I\right)}^{-1}\left(C+dI\right){\hat{\beta }}_{SRE}=F_d{\hat{\beta }}_{SRE}$ (8)

Wu和Asar [8] 提出了随机约束Liu-Type极大似然估计(SRLTE)，表达式为：

${\hat{\beta }}_{SRLTE}={\left(C+kI\right)}^{-1}\left(C-dI\right){\hat{\beta }}_{SRE}=F_{kd}{\hat{\beta }}_{SRE}$ (9)

我们结合SRE和TPE提出了一个新的估计即随机约束两参数极大似然估计(SRTPE)，其表达式为：

${\hat{\beta }}_{SRTPE}={\left(C+kI\right)}^{-1}\left(C+kdI\right){\hat{\beta }}_{SRE}=F_{k-d}{\hat{\beta }}_{SRE}$ (10)

其中 $k>0,0<d<1$。

从SRTPE的表达式看出，SRTPE是一种更一般的估计，它可以退化为SRE，SRRE，SRLE：

1) $\underset{k\to 0}{\lim }{\hat{\beta }}_{SRTPE}={\hat{\beta }}_{SRE}$.

2) $\underset{d\to 1}{\lim }{\hat{\beta }}_{SRTPE}={\hat{\beta }}_{SRE}$.

3) $\underset{d\to 0}{\lim }{\hat{\beta }}_{SRTPE}={\left(C+I\right)}^{-1}{\hat{\beta }}_{SRE}={\hat{\beta }}_{SRRE}$.

4) $\underset{k\to 1}{\lim }{\hat{\beta }}_{SRTPE}={\left(C+I\right)}^{-1}\left(C+dI\right){\hat{\beta }}_{SRE}={\hat{\beta }}_{SRLE}$.

2. 提出估计的性质

接下来我们将在均方误差矩阵(MSEM)准则下，对新提出的新估计SRTPE与TPE，LTE，LE，SRE，SRLE和SRLTE进行比较。其中参数 $\beta$ 的估计 $\hat{\beta }$ 的MSEM为：

$MSEM\left(\hat{\beta }\right)=E\left[\left(\hat{\beta }-\beta \right){\left(\hat{\beta }-\beta \right)}^{\prime }\right]=Cov\left(\hat{\beta }\right)+Bias\left(\hat{\beta }\right)Bia{s}^{\prime }\left(\hat{\beta }\right)$ (11)

这里 $Cov\left(\hat{\beta }\right)$ 是方差矩阵， $Bias\left(\hat{\beta }\right)$ 是估计 $\hat{\beta }$ 的偏差。一般的，当 $\Delta =MSEM\left({\hat{\beta }}_1\right)-MSEM\left({\hat{\beta }}_2\right)\ge 0$ 时，我们称估计 ${\hat{\beta }}_2$ 在MSEM准则下优于 ${\hat{\beta }}_1$。

现在，我们将根据以下三个引理来证明我们所得的定理。引理如下：

引理1. (Rao和Toutenburg [9])设矩阵A和B是 $n\times n$ 阶矩阵，且 $A>0$， $B\ge 0$。则 $A+B>0$。

引理2. (Rao [10])设M和N都为 $n\times n$ 阶正定矩阵，则 $M>N$ 当且仅当 ${\lambda }_{\max }\left(N{M}^{-1}\right)<1$。

引理3. (Trenkler和Toutenburg [11])令参数向量 $\beta$ 的两个估计 ${\hat{\beta }}_j=A_{j}y$， $j=1,2$。设 $\Delta =Cov\left({\hat{\beta }}_1\right)-Cov\left({\hat{\beta }}_2\right)>0$。则 $MSEM\left({\hat{\beta }}_1\right)-MSEM\left({\hat{\beta }}_2\right)>0$ 当且仅当 ${u^{\prime }}_2{\left(\Delta +u_1{u^{\prime }}_1\right)}^{-1}{u}_2\le 1$。其中， $u_j$ 为 ${\hat{\beta }}_j$ 的偏差。

定理1. SRTPE在MSEM准则下总是优于TPE。

证明：由公式(11)可得TPE和SRTPE的MSEM如下，

$MSEM\left({\hat{\beta }}_{TPE}\right)=F_{k-d}{C}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$

$MSEM\left({\hat{\beta }}_{SRTPE}\right)=F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$

其中 $m_1=k\left(d-1\right){\left(C+kI\right)}^{-1}\beta$。现在我们考虑它们的差，令

$\begin{array}{c}{\Delta }_1=MSEM\left({\hat{\beta }}_{TPE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_{k-d}{C}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =F_{k-d}\left\{C^{-1}-{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}\right\}{F}_{k-d}\end{array}$

由于：

${\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}=C^{-1}-C^{-1}{H}^{\prime }{\left(\Psi \text{+}H{C}^{-1}{H}^{\prime }\right)}^{-1}H{C}^{-1}$

则

$C^{-1}{H}^{\prime }{\left(\Psi +H{C}^{-1}{H}^{\prime }\right)}^{-1}H{C}^{-1}=C^{-1}-{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}\ge 0$

又因为矩阵 $F_{k-d}={\left(C+kI\right)}^{-1}\left(C+kdI\right)>0$，因此

$\begin{array}{c}{\Delta }_1=F_{k-d}\left\{C^{-1}-{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}\right\}{F}_{k-d}\\ =F_{k-d}\left\{C^{-1}{H}^{\prime }{\left(\Psi +H{C}^{-1}{H}^{\prime }\right)}^{-1}H{C}^{-1}\right\}{F}_{k-d}\\ =MSEM\left({\hat{\beta }}_{TPE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\ge 0\end{array}$

证明完成。

定理2. 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{C}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时，新估计SRTPE在MSEM准则下优于

LTE当且仅当 ${m^{\prime }}_1{\left(D_2+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$。其中 $D_2=F_{kd}{C}^{-1}{F}_{kd}-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$， $m_2=\left(d+k\right){\left(C+kI\right)}^{-1}\beta$。

证明：由公式(11)可得LTE的MSEM为

$MSEM\left({\hat{\beta }}_{LTE}\right)=F_{kd}{C}^{-1}{F}_{kd}+m_2{m^{\prime }}_2$

接下来我们考虑LTE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_2=MSEM\left({\hat{\beta }}_{LTE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_{kd}{C}^{-1}{F}_{kd}+m_2{m^{\prime }}_2-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_2+m_2{m^{\prime }}_2-m_1{m^{\prime }}_1\end{array}$

因为 $F_{kd}{C}^{-1}{F}_{kd}>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，根据引理2， 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{C}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时， $D_2>0$。再根据引理3，当 ${m^{\prime }}_1{\left(D_2+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_2\ge 0$。定理得证。

定理3. 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_d{C}^{-1}{F}_d\right)}^{-1}\right\}<1$ 时，新估计SRTPE在MSEM准则下优于

LE当且仅当 ${m^{\prime }}_1{\left(D_3+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$。其中 $D_3=F_d{C}^{-1}{F}_d-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$， $m_3=\left(d-1\right){\left(C+I\right)}^{-1}\beta$。

证明：由公式(11)可得LE的MSEM为

$MSEM\left({\hat{\beta }}_{LE}\right)=F_d{C}^{-1}{F}_d+m_3{m^{\prime }}_3$

考虑LE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_3=MSEM\left({\hat{\beta }}_{LE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_d{C}^{-1}{F}_d+m_3{m^{\prime }}_3-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_3+m_3{m^{\prime }}_3-m_1{m^{\prime }}_1\end{array}$

因为 $F_d{C}^{-1}{F}_d>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，根据引理2， 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_d{C}^{-1}{F}_d\right)}^{-1}\right\}<1$ 时， $D_3>0$。再根据引理3有，当 ${m^{\prime }}_1{\left(D_3+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_3\ge 0$。得证。

定理4. SRTPE在MSEM准则下优于SRE当且仅当 ${\lambda }_{\max }\left(M_1{D}_4^{-1}\right)<1$。其中 $D_4={\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}$， $M_1=F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$。

证明：由公式(11)可得SRE的MSEM为

$MSEM\left({\hat{\beta }}_{SRE}\right)={\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}$

考虑SRE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_4=MSEM\left({\hat{\beta }}_{SRE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ ={\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}-\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1\right\}\\ =D_4-M_1\end{array}$

由于 $M_1=F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}+m_1{m^{\prime }}_1$，因为 $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$， $m_1{m^{\prime }}_1\ge 0$，所以根据引理1可知 $M_1>0$。又因为 $D_4>0$，根据引理2有当 ${\lambda }_{\max }\left(M_1{D}_4^{-1}\right)<1$ 时， $D_4>M_1$ 即 ${\Delta }_4=D_4-M_1>0$。定理4得证。

定理5. 当时，SRTPE在MSEM准则下优于SRLE当且仅当 ${m^{\prime }}_1{\left(D_5+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$。其中， $D_5=F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$。

证明：由公式(11)可得SRLE的MSEM为

$MSEM\left({\hat{\beta }}_{SRLE}\right)=F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d+m_3{m^{\prime }}_3$

考虑SRLE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_5=MSEM\left({\hat{\beta }}_{SRLE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d+m_3{m^{\prime }}_3-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_5+m_3{m^{\prime }}_3-m_1{m^{\prime }}_1\end{array}$

因为 $F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，通过引理2，当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_d{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_d\right)}^{-1}\right\}<1$ 时， $D_5>0$。再根据引理3，当 ${m^{\prime }}_1{\left(D_5+m_3{m^{\prime }}_3\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_5\ge 0$。定理得证。

定理6. 当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时，SRTPE在MSEM准则下优于SRLTE当且仅当 ${m^{\prime }}_1{\left(D_6+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$。 其中 $D_6=F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}$。

证明：由公式(11)可得SRLTE的MSEM如下

$MSEM\left({\hat{\beta }}_{SRLTE}\right)=F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}+m_2{m^{\prime }}_2$

考虑SRLTE与SRTPE的MSEM的差

$\begin{array}{c}{\Delta }_6=MSEM\left({\hat{\beta }}_{SRLTE}\right)-MSEM\left({\hat{\beta }}_{SRTPE}\right)\\ =F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}+m_2{m^{\prime }}_2-F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}-m_1{m^{\prime }}_1\\ =D_6+m_2{m^{\prime }}_2-m_1{m^{\prime }}_1\end{array}$

因为 $F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}>0$， $F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}>0$，通过引理2有，当 ${\lambda }_{\max }\left\{F_{k-d}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{k-d}{\left(F_{kd}{\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}{F}_{kd}\right)}^{-1}\right\}<1$ 时， $D_6>0$。根据引理3，当 ${m^{\prime }}_1{\left(D_6+m_2{m^{\prime }}_2\right)}^{-1}{m}_1\le 1$ 时， ${\Delta }_6\ge 0$。定理得证。

3. 偏参数k和d的选取

因为随机约束两参数极大似然估计与定理中的各估计在均方误差准则下的比较结果依赖参数 $\beta$ 的偏参数k和d的选择。所以合适的选取偏参数k和d可以使模拟得到可行的结果。为了得到可行的k和d的值。我们对矩阵C进行分解使得 $C=Q\Lambda Q^{\prime }$。其中，Q是矩阵C的特征向量的列向量组成的矩阵， $\Lambda =diag\left({\lambda }_1,\cdots ,{\lambda }_p\right)$， ${\lambda }_i$ 是C的第i个特征值。我们令

$f\left(k,d\right)=MSE\left({\hat{\beta }}_{SRTPE}\right)={\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{{\left({\lambda }_i+kd\right)}^2{b}_{ii}+k^2{\left(d-1\right)}^2{\alpha }_i^2}{{\left({\lambda }_i+k\right)}^2}}$ (12)

其中 ${\left(C+H^{\prime }{\Psi }^{-1}H\right)}^{-1}=Qdiag\left(b_{11},\cdots ,b_{pp}\right)Q^{\prime }$， $\hat{\alpha }=Q^{\prime }{\hat{\beta }}_{MLE}$。

可以看出函数 $f\left(k,d\right)$ 是一个关于参数d的二次函数。因此，为了求使 $f\left(k,d\right)$ 最小的d的值，我们固定k，并对 $f\left(k,d\right)$ 求关于d的偏导得

$\frac{\partial f\left(k,d\right)}{\partial d}={\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{2k\left({\lambda }_i+kd\right)b_{ii}+2k^2\left(d-1\right){\alpha }_i^2}{{\left({\lambda }_i+k\right)}^2}}$ (13)

令上述等式(13)等于零，我们得到了d的一个建议最优值 ${\hat{d}}_{opt}$，结果如下：

${\hat{d}}_{opt}=\frac{{\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{k{a}_i^2-{\lambda }_i{b}_{ii}}{{\left({\lambda }_i+k\right)}^2}}}{{\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{k\left(b_{ii}+a_i^2\right)}{{\left({\lambda }_i+k\right)}^2}}}$ (14)

同样的，为了求偏参数k的值使得 $f\left(k,d\right)$ 最小，我们对函数 $f\left(k,d\right)$ 关于k求偏导得到

$\frac{\partial f\left(k,d\right)}{\partial k}={\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{2{\lambda }_i{b}_{ii}\left({\lambda }_i+kd\right)\left(d-1\right)+2k{\lambda }_i{\left(d-1\right)}^2{\alpha }_i^2}{{\left({\lambda }_i+k\right)}^3}}$ (15)

令上述等式(15)等于零，即分子为0得到

$k=\frac{{\alpha }_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\alpha }_i^2}{{\lambda }_i{b}_{ii}}\right)$ (16)

当d固定时(16)中k的最优值依赖 ${\alpha }_i^2$，根据Hoerl和Kennard [12] 和Kibria [13] 提出的方法，我们用它的无偏估计来替代：

$\hat{k}=\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)$ (17)

Hoerl等 [14] 提出了使用k的调和平均值来替代k的估计，Kibria [13] 提出了使用k的算术平均值来替代k的估计，Hoerl和Kennard [12] 提出了使用k的几何平均值来替代k的估计。再根据我们得出的k值得到偏参数k的三种取值分别定义如下：

${\hat{k}}_{HM}=\frac{p}{{\displaystyle \underset{i=1}{\overset{p}{\sum }}\left\{\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)\right\}}}$ (18)

${\hat{k}}_{AM}=\frac{1}{p}{\displaystyle \underset{i=1}{\overset{p}{\sum }}\frac{1}{\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)}}$ (19)

${\hat{k}}_{GM}=\frac{1}{{\displaystyle \underset{i=1}{\overset{p}{\prod }}{\left\{\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}-d\left(\frac{1}{{\lambda }_i}+\frac{{\hat{\alpha }}_i^2}{{\lambda }_i{b}_{ii}}\right)\right\}}^{1/p}}}$ (20)

最后我们使用Özkale和Kaçiranlar [15] 提出的迭代方法对模拟的k和d进行取值：

步骤一：根据文献Özkale和Kaçiranlar [15] 中的定理3.1计算 $\hat{d}<\min \left\{\left(1+\frac{{\hat{\alpha }}_i^2}{b_{ii}}\right)/\left(\frac{{\hat{\alpha }}_i^2}{b_{ii}}\right)\right\}$ 的值；

步骤二：用步骤一中 $\hat{d}$ 的值来估计 ${\hat{k}}_{HM}$， ${\hat{k}}_{AM}$， ${\hat{k}}_{GM}$ 的值；

步骤三：用步骤二中的 ${\hat{k}}_{HM}$， ${\hat{k}}_{AM}$， ${\hat{k}}_{GM}$ 的值来计算(14)式中 ${\hat{d}}_{opt}$ 的值；

步骤四：如果 ${\hat{d}}_{opt}<0$，则 ${\hat{d}}_{opt}=\hat{d}$。其中 $0<{\hat{d}}_{opt}<1$， $0<\hat{d}<1$。

4. 蒙特卡罗模拟

接下来我们用蒙特卡罗模拟来验证估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE和SRTPE在MSE准则下的优良性。由文献McDonald和Galarneau [16] 使用下面等式生成解释变量：

$x_i{}_j={\left(1-{\rho }^2\right)}^{1/2}{z}_i{}_j+\rho z_{i,p+1}$， $i=1,\cdots ,n;j=1,\cdots ,p$ (21)

其中， $z_{ij}$ 是独立标准正态伪随机数， ${\rho }^2$ 表示任意两个解释变量的相关性。在模拟实验中，我们取 $p=4$，

样本数 $n=100$， $\rho$ 考虑0.85，0.9和0.95三种不同的情况。 $y_i$ 由 ${\pi }_i=\frac{\exp \left({x^{\prime }}_i\beta \right)}{1+\exp \left({x^{\prime }}_i\beta \right)}$ 服从伯努利二项分布而产生。对于 ${\beta }_1,\cdots ,{\beta }_p$ 满足 ${\displaystyle \underset{j=1}{\overset{p}{\sum }}{\beta }_j^2}=1$。

此外，等式(6)中的约束矩阵我们的选取如下：

$H=\left(\begin{array}{c}\begin{array}{cccc}1& -1& 0& 0\end{array}\\ \begin{array}{cccc}0& 1& -1& 0\end{array}\\ \begin{array}{cccc}0& 0& 1& -1\end{array}\end{array}\right)$， $h=\left(\begin{array}{c}1\\ -2\\ 1\end{array}\right)$ 和 $\Psi =\left(\begin{array}{c}\begin{array}{ccc}1& 0& 0\end{array}\\ \begin{array}{ccc}0& 1& 0\end{array}\\ \begin{array}{ccc}0& 0& 1\end{array}\end{array}\right)$ (22)

模拟次数重复2000次，估计MLE，LE，LTE，TPE，SRE，SRLE，SRLTE和SRTPE的MSE使用下面等式得到：

$MSE\left(\tilde{\beta }\right)=\frac{{\displaystyle {\sum }_{r=1}^{2000}{\left({\tilde{\beta }}_r-\beta \right)}^{\prime }\left({\tilde{\beta }}_r-\beta \right)}}{2000}$ (23)

结果如下：

Table 1. Estimated MSE values of the MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE when ρ = 0.85

表1. 当 $\rho =0.85$ 时，估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE，SRTPE的MSE

Table 2. Estimated MSE values of the MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE when ρ = 0.9

表2. 当 $\rho =0.9$ 时，估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE，SRTPE的MSE

Table 3. Estimated MSE values of the MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE when ρ = 0.95

表3. 当 $\rho =0.95$ 时，估计MLE，LE，LTE，TP，SRE，SRLE，SRLTE，SRTPE的MSE

由表1~3可知，对建议的k和d值和给定的 $\rho$ 为0.85，0.9和0.95三个取值，随机约束两参数极大似然估计的MSE均小于其他估计的MSE，即此时随机约束两参数极大似然估计在均方误差意义下优于其他各估计。同时，由表1~3可知，对给定的 $\rho$ 为0.85，0.9和0.95，均有在k取 ${\hat{k}}_{HM}$ 时SRTPE，SRLTE，SRLE，LTE，LE和TPE的MSE小于k取 ${\hat{k}}_{AM}$ 和 ${\hat{k}}_{GM}$ 时的MSE，即此时 ${\hat{k}}_{HM}$ 优于 ${\hat{k}}_{AM}$ 和 ${\hat{k}}_{GM}$。由表1~3还可以看出，对建议的k和d值，随机约束两参数极大似然估计的MSE随着 $\rho$ 的增大而增大，即解释变量之间的相关性增加，则新估计的MSE值会增加。

5. 总结

本文中，我们在二元逻辑回归模型中提出了一个新的估计即随机约束两参数极大似然估计。为了研究所提出估计的性质，理论上，我们在MSEM准则下对Liu极大似然估计，Liu-Type极大似然估计，两参数极大似然估计，随机约束极大似然估计，随机约束Liu极大似然估计，随机约束Liu-Type极大似然估计和随机约束两参数极大似然估计进行了比较，并得出了在MSEM准则下随机约束两参数极大似然估计优于SRLTE，SRLE，SRE，LTE，LE和TPE的充要或充分条件。实验上，我们用了蒙特卡罗模拟实验来比较了几个估计的优良性，验证了对建议的k和d值和给定的 $\rho$ 为0.85，0.9和0.95情况下，新估计在MSE准则下优于SRLTE，SRLE，SRE，LTE，LE和TPE。