含高相关协变量的纵向广义线性模型变量选择研究

Variable Selection in Longitudinal Generalized Linear Models with Highly Correlated Covariates

摘要: 结合半标准偏协方差函数(SPAC)和Lasso惩罚估计方法，对一类纵向数据下的广义线性模型的变量选择问题提出一种基于SPAC-Lasso惩罚的变量选择方法。在一些正则性条件下证明了所提出的变量选择方法的相合性，并给出了所得正则估计的收敛速度。所提出的变量选择方法允许协变量之间存在高相关性，改进并推广了已有变量选择方法的应用领域。

Abstract: Combining the semi-parametric approximate covariance function (SPAC) and Lasso penalized estimation method, we propose a variable selection approach based on SPAC-Lasso penalty for a class of longitudinal generalized linear models. Under some regularity conditions, we demonstrate the consistency of the proposed variable selection method and provide the convergence rate of the resulting regularized estimates. The proposed variable selection method allows for high correlations among covariates, improving and extending the applicability of existing variable selection methods.

1. 引言

纵向数据常常出现在生物医学、社会经济以及金融工程等领域的跟踪调查研究中。纵向数据下的广义线性模型可以对跟踪调查中的连续性协变量与离散响应变量之间有效地建立一种量化关系，因此具有较好的适应性和广泛的应用领域。具体地，纵向数据下的广义线性模型具有如下结构：

${\rm E}\left(Y_{ij}|X_{ij}\right)=g\left(X_{ij}^{{\rm T}}\beta \right),i=1,\cdots ,n;j=1,\cdots ,m$ (1.1)

其中$Y_{ij}$ 是响应变量，$X_{ij}={\left(X_{ij1},\cdots ,X_{ijp}\right)}^{\text{T}}$ 是一个p维协变量，$\beta ={\left({\beta }_1,\cdots ,{\beta }_p\right)}^{\text{T}}$ 为未知回归系数向量，$g(\cdot )$ 为一个已知的连接函数的逆。不失一般性，本文考虑正则链接函数，即假定$g(\cdot )=b^{\prime }(\cdot )$ ，其中$b^{\prime }(\cdot )$ 是连接函数$b(\cdot )$ 的一阶导数。

对于纵向数据下的广义线性模型，Avella-Medina和Ronchetti [1]给出了一个稳健的惩罚拟似然估计，并证明了所提出的方法的oracle性质。WANG和TIAN [2]提出了一种自适应分组Lasso变量选择过程，并证明了相应的选择一致性。但是在这些变量选择方法中，均假定模型中的重要变量与不重要变量之间是相互独立的，当重要协变量与不重要协变量之间存在高度相关性时，上述给出的Lasso惩罚方法则不能有效地识别出重要协变量以及不重要协变量。

为此，Bühlmann [3]等人引入了部分信赖度的概念，并提出了基于部分相关性的PC-SIMPLE算法来选择重要协变量。JIA和Rohe [4]研究了Puffer变换方法，并证明了改进后的Pre-Lasso变量选择过程可以满足变量选择的一致性。但是JIA和Rohe [4]中的预处理技术可能会夸大误差项的方差，使变换后的观测值往往包含相关误差，从而导致偏相关方法对获得相关协变量的信号强度无效[3]-[5]。而XUE和QU [6]提出的半标准偏协方差函数(SPAC)方法则可以在结合系数强度的同时，减少其他协变量相关性的影响。

基于此，本文将进一步基于SPAC方法的变量选择方法，对纵向数据下的广义线性模型，提出一种基于SPAC-Lasso惩罚的变量选择方法，并且在一些正则性条件下，证明了所提出的SPAC-Lasso变量选择方法的相合性，并给出了正则估计量的收敛速度。

2. 基于SPAC-Lasso变量选择过程

假设模型(1.1)中的回归系数$\beta$ 是稀疏的，即与响应变量相关的重要协变量很少，其对应的系数不为零。进一步设重要协变量的个数为q，则当$1\le k\le q$ 时${\beta }_k\ne 0$ ，当$q<k\le p$ 时${\beta }_k=0$ 。类似XUE和QU [6]，定义响应变量Y与第k个协变量$X_k$ 之间的SPAC如下：

${\gamma }_k={\beta }_k/{\omega }_{kk}^{1/2},k=1,\cdots ,p$ (2.1)

其中${\omega }_{kk}$ 是矩阵$\Omega ={\Sigma }^{-1}$ 的第k个对角线元素，$\Sigma =Var\left(X_{ij}\right)$ 表示$X_{ij}$ 的协方差矩阵。注意到${\gamma }_k=0$ 当且仅当${\beta }_k=0$ ，$k=1,\cdots ,p$ ，所以我们可以通过识别${\gamma }_k$ 是否为零来进行选择模型的重要协变量。由(2.1)可知${\beta }_k={\gamma }_k{\omega }_{kk}^{1/2}$ ，$k=1,\cdots ,p$ ，进而再由模型(1.1)可得：

${\rm E}\left(Y_{ij}|X_{ij}\right)=g\left({\displaystyle \sum _{k=1}^p{X}_{ijk}}{\gamma }_k{\omega }_{kk}^{1/2}\right),i=1,\cdots ,n;j=1,\cdots ,m$ (2.2)

记$\gamma ={\left({\gamma }_1,\cdots ,{\gamma }_p\right)}^{\text{T}}$ ，则$\gamma$ 的惩罚估计$\widehat{\gamma }={\left({\widehat{\gamma }}_1,\cdots ,{\widehat{\gamma }}_p\right)}^{\text{T}}$可以通过最小化如下带惩罚的目标函数得到：

$L\left(\gamma ,\widehat{\omega }\right)=-\frac{1}{n}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^m\left\{Y_{ij}{\displaystyle \sum _{k=1}^p{x}_{ijk}{\gamma }_k\sqrt{{\widehat{\omega }}_{kk}}-b\left({\displaystyle \sum _{k=1}^p{x}_{ijk}{\gamma }_k\sqrt{{\widehat{\omega }}_{kk}}}\right)}\right\}}}+{\displaystyle \sum _{k=1}^p{p}_{\lambda }\left({\gamma }_k\right){\widehat{\omega }}_{kk},}$ (2.3)

其中$\widehat{\omega }={\left({\widehat{\omega }}_{11},\cdots ,{\widehat{\omega }}_{pp}\right)}^{\text{T}}$是$\omega ={\left({\omega }_{11},\cdots ,{\omega }_{pp}\right)}^{\text{T}}$ 的相合估计量。注意到$\Omega ={\Sigma }^{-1}$ 以及$\Sigma =Var\left(X_{ij}\right)$ ，则可以利用矩估计方法给出$\Sigma$ 的估计，进而得到$\omega$ 的估计。进一步，如果惩罚函数$p_{\lambda }(\cdot )$ 取为Lasso惩罚，则$\gamma$ 的Lasso惩罚估计量定义为：

$\widehat{\gamma }=\underset{\gamma }{\arg \min }\left[-\frac{1}{n}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^m\left\{Y_{ij}{\displaystyle \sum _{k=1}^p{x}_{ijk}{\gamma }_k\sqrt{{\widehat{\omega }}_{kk}}}-b\left({\displaystyle \sum _{k=1}^p{x}_{ijk}{\gamma }_k\sqrt{{\widehat{\omega }}_{kk}}}\right)\right\}}}+2\lambda {\displaystyle \sum _{k=1}^p{\widehat{\omega }}_{kk}\left|{\gamma }_k\right|}\right]$ (2.4)

进一步记${\tilde{X}}_{ijk}=X_{ijk}/\sqrt{{\widehat{\omega }}_{kk}}$ ，${\gamma }_k^{\ast }={\gamma }_k{\widehat{\omega }}_{kk}$ ，则(2.3)式中的惩罚似然函数可进一步改写为：

$\mathbb{P}{\ell }_{\ast }\left({\gamma }^{\ast }\right)=-\frac{1}{n}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^m\left\{Y_{ij}{\displaystyle \sum _{k=1}^p{\tilde{X}}_{ijk}{\gamma }_k^{\ast }}-b\left({\displaystyle \sum _{k=1}^p{\tilde{X}}_{ijk}{\gamma }_k^{\ast }}\right)\right\}}}$

并且结合(2.4)式可得${\gamma }_k^{\ast }$ SPAC-Lasso估计量如下：

${\widehat{\gamma }}^{\ast }=\underset{{\gamma }^{\ast }}{\arg \min }\left(\mathbb{P}{\ell }_{\ast }\left({\gamma }^{\ast }\right)+2\lambda {\displaystyle \sum _{k=1}^p\left|{\gamma }_k^{\ast }\right|}\right)$

3. 渐进性质及证明

为表述方便，设${{\rm X}}_{ij}$ 的前q个元素为模型的重要协变量，记为${{\rm X}}_{\text{I}}$ ，并且${{\rm X}}_{ij}$ 的后$p-q$ 个元素为不重要协变量，记为${{\rm X}}_{\text{II}}$ 。进一步，记$\widehat{\text{C}}\left(\omega \right)=\left(1/n\right){{\rm X}}_{ij}^{{\rm T}}{\rm H}\left({\gamma }_0,\omega \right){{\rm X}}_{ij}$，${}^{\widehat{\text{V}}}=diag\left\{{\omega }_{11}^{1/2},\cdots ,{\omega }_{pp}^{1/2}\right\}$，且矩阵$\widehat{\text{C}}\left(\omega \right)$可以划分为以下块结构：

$\widehat{\text{C}}\left(\omega \right)=\left(\begin{array}{cc}{}_{\widehat{\text{C}}}\left(\omega \right)& {}_{\widehat{\text{C}}}\left(\omega \right)\\ {}_{\widehat{\text{C}}}\left(\omega \right)& {}_{\widehat{\text{C}}}\left(\omega \right)\end{array}\right),$(3.1)

类似XUE和QU [6]，$\widehat{\text{C}}\left(\omega \right)$假定满足如下条件，即存在一个正常向量$\eta$ 使得：

$\left|{\text{V}}_{\text{II}}{}_{\widehat{\text{C}}}\left(\omega \right){}_{\widehat{\text{C}}}^{11}\left(\omega \right){\text{V}}^{-1}sign\left({\gamma }_{\text{I}}\right)\right|\le 1-\eta ,$(3.2)

其中${\text{V}}_{\text{I}}=diag\left\{1/{\omega }_{11}^{1/2},\cdots ,1/{\omega }_{qq}^{1/2}\right\}$ ，${\text{V}}_{\text{II}}=diag\left\{1/{\omega }_{q+1,q+1}^{1/2},\cdots ,1/{\omega }_{pp}^{1/2}\right\}$ ，1是1的$\left(p-q\right)\times 1$ 向量，$|\cdot |$ 表示取每个元素的绝对值。Bunea [7]和Blazere[8]在设计矩阵上提出了如下Stabil条件：对于$c,\epsilon >0$ ，记限制集为$C\left(c,\epsilon \right)=\left\{\zeta \in {ℝ}^p:{\Vert {\zeta }_{\text{II}}\Vert }_1\le c{\Vert {\zeta }_{\text{I}}\Vert }_1+\epsilon \right\}$ ，那么对于任何$\zeta \in C\left(c,\epsilon \right)$ ，则存在$0<k<1$ 使得协方差矩阵满足：

${\zeta }^{\text{T}}\sum \zeta \ge k{\Vert {\zeta }_{\text{I}}\Vert }_2^2-\epsilon ,$ (3.3)

另外为了得到SPAC-Lasso的变量选择相合性和正则估计的收敛速度，还需要一些正则性条件。

(C1) 存在常数$M_1>0$ 使得：

$\underset{1\le ij\le n}{\max }\underset{1\le k\le p}{\max }\left|X_{ijk}\right|\le M_1$

(C2) 存在一个常数$B>0$ 使得${\Vert {\beta }_0\Vert }_1\le B$ 。

(C3) $\widehat{\text{C}}\left(\omega \right)$的特征值有界且均大于零。

(C4) 存在一个常数$M_2>0$ 和一个包含${\gamma }_0^{\ast }$ 的开子集${\mathbb{B}}_n$ ，使得$\left|b^{\left(3\right)}\left({\tilde{X}}_{ij}^{{\rm T}}{\gamma }^{\ast }\right)\right|\le M_2$ 对所有${\gamma }^{\ast }\in {\mathbb{B}}_n$ 和几乎所有${\tilde{X}}_{ij}$ 都成立，其中$b^{\left(3\right)}(\cdot )$ 表示$b(\cdot )$ 的三阶导数。

(C5) 当$n\to \infty$ ，假设$q\sqrt{\log p/n}\to 0$ 和$\sqrt{\log n/n}=o\left(\lambda \right)$ 。

(C6) 对于任何常数$A>\sqrt{2}$ ，存在常数$M_3>0$ 使得：

$\mathrm{Pr}\left(\underset{1\le k\le p}{\max }\left|{\widehat{\omega }}_{kk}-{\omega }_{kk}\right|\le M_3\sqrt{\log n/n}\right)\ge 1-{\left(2p\right)}^{-A^2}$

条件(C1)~(C4)是广义线性模型的正则性条件[3]-[5]，详见WANG和TIAN [2]、CUI [5]、Bunea [7]、Blazere [8]、FAN和PENG [9]。条件(C5)是证明主要定理所必需的，在其它文献中也很常见，如PENG [10]和VandeGeer [11]等人的条件(C6)假定了精度矩阵元素的估计量${\widehat{\omega }}_{kk}$ 的收敛速度，该条也类似XUE和QU [6]和PENG [8]的情况。如下定理3.1表明所提出的SPAC-Lasso方法可以得到参数$\beta$ 的相合估计，并给出了正则估计的收敛速度。

定理3.1假设正则性条件(C1)~(C6)成立，那么在条件(3.2)和(3.3)下，估计量$\widehat{\beta }$ 满足：

${\Vert \widehat{\beta }-{\beta }_0\Vert }_1\le \frac{4}{c_{n}k\sqrt{c_0}}\lambda q+\left(1+\frac{1}{\lambda }\right)\frac{1}{n\sqrt{c_0}},$

其中$c_n={\min }_{\left|x\right|<M_1\left(9B+\frac{2}{n}\right)}\left\{b^{″}\left(x\right)/2\right\}$ 且$c_0>0$ 。

证明：根据${\widehat{\gamma }}^{\ast }$ 的定义和文献[8]，我们有：

${\mathbb{P}}_n{\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)+2\lambda {\Vert {\widehat{\gamma }}^{\ast }\Vert }_1\le {\mathbb{P}}_n{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)+2\lambda {\Vert {\gamma }_0^{\ast }\Vert }_1,$

通过将${\mathbb{P}}_n\left({\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)-{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)\right)+\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1$ 加到上述不等式的两侧并重新排列，我们得到：

$\begin{array}{l}{\mathbb{P}}_n\left({\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)-{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)\right)+\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1\\ \le \left({\mathbb{P}}_n-\mathbb{P}\right)\left({\ell }_{\ast }\left({\gamma }_0^{\ast }\right)-{\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)\right)+\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1+2\lambda {\Vert {\gamma }_0^{\ast }\Vert }_1-2\lambda {\Vert {\widehat{\gamma }}^{\ast }\Vert }_1\end{array}$ (3.4)

根据文献[3]引理3.2，我们可以证明：

$\left({\mathbb{P}}_n-\mathbb{P}\right)\left({\ell }_{\ast }\left({\gamma }_0^{\ast }\right)-{\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)\right)\le \lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1+\lambda {\epsilon }_n$

在事件$A_n$ 上成立。然后，可以将不等式(3.4)重写为：

${\mathbb{P}}_n\left({\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)-{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)\right)+\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1\le 2\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1+2\lambda {\Vert {\gamma }_0^{\ast }\Vert }_1-2\lambda {\Vert {\widehat{\gamma }}^{\ast }\Vert }_1+\lambda {\epsilon }_n,$ (3.5)

请注意，${\Vert {\widehat{\gamma }}_{\text{II}}^{\ast }-{\widehat{\gamma }}_{\text{0II}}^{\ast }\Vert }_1+{\Vert {\widehat{\gamma }}_{\text{0II}}^{\ast }\Vert }_1-{\Vert {\widehat{\gamma }}_{\text{II}}^{\ast }\Vert }_1=0$。否则，${\Vert {\gamma }_{0\text{I}}^{\ast }\Vert }_1-{\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }\Vert }_1\le {\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_1$基于三角不等式成立。因此，(3.5)式的不等式界可以是：

$4\lambda {\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_1+\lambda {\epsilon }_n,$(3.6)

根据第二节中${\gamma }_0^{\ast }$ 的定义，我们有${\mathbb{P}}_n\left({\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)-{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)\right)>0$ ，并且：

${\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_1\le 4{\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_1+{\epsilon }_n$

通过简单的代数，我们有：

${\Vert {\widehat{\gamma }}_{\text{II}}^{\ast }-{\gamma }_{0\text{II}}^{\ast }\Vert }_1\le 3{\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_1+{\epsilon }_n$(3.7)

也就是说，${\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\in C\left(3,{\epsilon }_n\right)$ 。

接下来，我们将给出${\mathbb{P}}_n\left({\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)-{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)\right)$ 的下界。结合二阶泰勒展开式和文献[5]中${\mathbb{P}}_n{\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)$ 的定义，以及条件(C6)，我们得到了：

$\begin{array}{c}{\mathbb{P}}_n\left({\ell }_{\ast }\left({\widehat{\gamma }}^{\ast }\right)-{\ell }_{\ast }\left({\gamma }_0^{\ast }\right)\right)={\rm E}\left[-Y_{ij}{\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }+b\left({\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }\right)+Y_{ij}{\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }-b\left({\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)\right]\\ ={\rm E}\left[-Y_{ij}{\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }+Y_{ij}{\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right]+{\rm E}\left[b\left({\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }\right)-b\left({\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)\right]\\ =-{\rm E}\left[{\rm E}\left(Y_{ij}|X_{ij}\right)\left({\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }-{\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)\right]+{\rm E}\left[b^{\prime }\left({\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)\left({\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }-{\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)\right]\\ +{\rm E}\left[\frac{1}{2}{b}^{″}\left({\tilde{X}}_{ij}^{{\rm T}}{\tilde{\gamma }}^{\ast }\right){\left({\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }-{\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)}^2\right]\\ \ge c_n{\rm E}{\left({\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }-{\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }\right)}^2,\end{array}$

其中${\tilde{X}}_{ij}^{{\rm T}}{\tilde{\gamma }}^{\ast }$ 是${\tilde{X}}_{ij}^{{\rm T}}{\widehat{\gamma }}^{\ast }$ 和${\tilde{X}}_{ij}^{{\rm T}}{\gamma }_0^{\ast }$ 之间的中间点，$c_n={\min }_{\left|x\right|<M_1\left(9B+\frac{2}{n}\right)}\left\{b^{″}\left(x\right)/2\right\}$ ，$\left|{\tilde{X}}_{ij}^{{\rm T}}{\tilde{\gamma }}^{\ast }\right|\le M_1\left(9B+2/n\right)$ 。

我们得到了：

$\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1+c_{n}k{\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_2^2\le 4\lambda \sqrt{q}\sqrt{{\displaystyle \sum _{k=1}^q{\left({\widehat{\gamma }}_k^{\ast }-{\gamma }_{0k}^{\ast }\right)}^2}}+\left(\lambda +1\right){\epsilon }_n,$(3.8)

结合对于所有$t>0$ 的$2xy\le t{x}^2+y^2/t$ 的事实，(3.8)更进一步展示：

$\lambda {\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1+c_{n}k{\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_2^2\le 4t{\lambda }^{2}q+\frac{1}{t}{\Vert {\widehat{\gamma }}_{\text{I}}^{\ast }-{\gamma }_{0\text{I}}^{\ast }\Vert }_2^2+\left(\lambda +1\right){\epsilon }_n,$(3.9)

在(3.9)式中用$c_{n}k$ 替换t，我们有：

${\Vert {\widehat{\gamma }}^{\ast }-{\gamma }_0^{\ast }\Vert }_1\le \frac{4}{c_{n}k}\lambda q+\left(1+\frac{1}{\lambda }\right){\epsilon }_n,$ (3.10)

根据条件(C2)、(C5)和(C6)，存在常数$c_B>0$ 使得${\Vert {\gamma }_0\Vert }_1\le c_{B}q$ ，则：

$\begin{array}{c}{\Vert \widehat{\beta }-{\beta }_0\Vert }_1={\Vert {}^{\widehat{\text{V}}}\widehat{\gamma }-{\text{V}}^{-1}{\gamma }_0\Vert }_1\\ ={\Vert {}^{\widehat{\text{V}}}\widehat{\gamma }-{\text{V}}^{-1}{\gamma }_0\Vert }_1+{\Vert {}^{\widehat{\text{V}}}{\gamma }_0-{\text{V}}^{-1}{\gamma }_0\Vert }_1\\ \le \frac{1}{\sqrt{c_0}}\left[\frac{4}{c_{n}k}\lambda q+\left(1+\frac{1}{\lambda }\right){\epsilon }_n\right]+c_{B}q{M}_3\sqrt{\log n/n}\\ =\frac{4}{c_{n}k\sqrt{c_0}}\left(\lambda q\right)+\left(1+\frac{1}{\lambda }\right)\frac{1}{n\sqrt{c_0}}.\end{array}$

至此，我们完成了定理3.1的证明。

如下定理3.2表明所提出的SPAC-Lasso方法可以依概率趋于1，正确地选择出真模型。

定理3.2 假设正则性条件(C1)~(C6)成立，那在(3.2)式和(3.3)式中，则以至少$1-{\left(2p\right)}^{-A^2}$ 的概率有： $\widehat{\gamma }\stackrel{s}{=}{\gamma }_0$。

证明：以至少$1-{\left(2p\right)}^{-A^2}$ 的概率存在下列受限问题的解${\widehat{\gamma }}_R=\widehat{\gamma }\left(\lambda ,\widehat{\omega }\right)$ 。

$\underset{\gamma :{\gamma }_{\text{II}}=0}{\min }\left\{\tilde{L}\left(\gamma ,\widehat{\omega }\right)+2\lambda {\displaystyle \sum _{k=1}^p{\omega }_{kk}\left|{\gamma }_k\right|}\right\},$(3.11)

其中$\tilde{L}\left(\gamma ,\widehat{\omega }\right)=-n^{-1}{\displaystyle {\sum }_{i=1}^n{\displaystyle {\sum }_{j=1}^m\left\{Y_{ij}{\displaystyle {\sum }_{k=1}^p{x}_{ijk}{\gamma }_k\sqrt{{\widehat{\omega }}_{kk}}}-b\left({\displaystyle {\sum }_{k=1}^p{x}_{ijk}{\gamma }_k\sqrt{{\widehat{\omega }}_{kk}}}\right)\right\}}}$ 。

事实上，对任意常数$M_0$ 和向量$h={\left(h_1,\cdots ,h_p\right)}^{{\rm T}}$ ，${\Vert h\Vert }_1=M_0$ ，最后$p-q$ 个元素$h_{{\rm I}{\rm I}}=0$ 。

设$h_{{\rm I}}$ 和$\frac{\partial \tilde{L}}{\partial \gamma }{\left({\gamma }_0,\widehat{\omega }\right)}_{{\rm I}}$ 分别是h和$\frac{\partial \tilde{L}}{\partial \gamma }\left({\gamma }_0,\widehat{\omega }\right)$ 的第q元素。根据伯恩斯坦不等式，存在一个常数$c_3>0$ 使得：

$\begin{array}{c}\mathrm{Pr}\left({\Vert \frac{\partial \tilde{L}}{\partial \gamma }{\left({\gamma }_0,\widehat{\omega }\right)}_{{\rm I}}\Vert }_{\infty }>c_3\sqrt{\frac{\log \left(n\right)}{n}}\right)=\mathrm{Pr}\left(\underset{1\le k\le q}{\max }\left|\frac{\partial \tilde{L}}{\partial {\gamma }_k}{\left({\gamma }_0,\widehat{\omega }\right)}_{{\rm I}}\right|>c_3\sqrt{\frac{\log \left(n\right)}{n}}\right)\\ \le q\mathrm{Pr}\left(\left|\frac{\partial \tilde{L}}{\partial {\gamma }_k}{\left({\gamma }_0,\widehat{\omega }\right)}_{{\rm I}}\right|>c_3\sqrt{\frac{\log \left(n\right)}{n}}\right)\le {\left(2p\right)}^{-A^2}.\end{array}$

因此，通过文献[7]引理6.3和条件(C3)和(C6)，存在常数$C_M>0$ ，使得：

$\begin{array}{c}\tilde{L}\left({\gamma }_0+a_{n}h,\widehat{\omega }\right)-L\left({\gamma }_0,\widehat{\omega }\right)=\tilde{L}\left({\gamma }_0+a_{n}h,\widehat{\omega }\right)-\tilde{L}\left({\gamma }_0,\widehat{\omega }\right)+2\lambda {\displaystyle \sum _{k=1}^p{\widehat{\omega }}_{kk}\left|{\gamma }_{0k}+a_n{h}_k\right|}-2\lambda {\displaystyle \sum _{k=1}^p{\widehat{\omega }}_k\left|{\gamma }_{0k}\right|}\\ \ge \frac{1}{4}{a}_n^2{h}_{{\rm I}}^{{\rm T}}{\text{V}}_{{\rm I}}^{-1}{}_{\widehat{\text{C}}}\left(\widehat{\omega }\right){\text{V}}_{{\rm I}}^{-1}{h}_{{\rm I}}-2\lambda a_n{\displaystyle \sum _{k=1}^p{\widehat{\omega }}_{kk}\left|h_k\right|}\\ \ge \frac{1}{4}{a}_n^2{C}_M{M}_0^2/q-C_0{M}_0{a}_n^2/q.\end{array}$

如果我们取上述不等式的$M_0=4C_0/C_M+c_6$ ，其中$c_6>0$ ，则：

$\underset{\gamma :{\gamma }_{\text{II}}=0,{\Vert h\Vert }_1=M_0}{\min }L\left({\gamma }_0+a_{n}h,\widehat{\omega }\right)\ge L\left({\gamma }_0,\widehat{\omega }\right)$

保持概率至少为$1-{\left(2p\right)}^{-A^2}$ ，也就是说，存在$L\left(\gamma ,\widehat{\omega }\right)$ 的局部极小值。

接下来证明以至少$1-{\left(2p\right)}^{-A^2}$ 的概率有：$\widehat{\gamma }\stackrel{s}{=}{\gamma }_0$，据定理3.2和条件(C5)，我们有：

$\begin{array}{c}\mathrm{Pr}\left({\widehat{\gamma }}_R\stackrel{s}{=}\gamma \right)\ge \mathrm{Pr}\left({\Vert {\widehat{\gamma }}_R-{\gamma }_0\Vert }_1\le M\left\{\lambda q+\left(1+{\lambda }^{-1}\right)n^{-1}\right\},\underset{1\le k\le q}{\min }\left|{\gamma }_{0k}\right|\ge 2M\left\{\lambda q+\left(1+{\lambda }^{-1}\right)n^{-1}\right\}\right)\\ \ge 1-{\left(2p\right)}^{-A^2}.\end{array}$

在定理3.2相同的条件下，则(3.11)式的解满足：

$\mathrm{Pr}\left(\underset{q+1\le k\le p}{\max }\left\{\left|\frac{1}{{\widehat{\omega }}_{kk}}\frac{\partial \tilde{L}}{\partial {\gamma }_k}\left({\widehat{\gamma }}_R,\widehat{\omega }\right)\right|\right\}\le 2\lambda \right)\ge 1-{\left(2p\right)}^{-A^2}$

我们有：

$\left|\frac{1}{{\widehat{\omega }}_{kk}}\frac{\partial \tilde{L}}{\partial {\gamma }_k}\left({\gamma }_0,\widehat{\omega }\right)\right|\le \frac{1}{c_0}{\Vert \frac{\partial \tilde{L}}{\partial {\gamma }_k}{\left({\gamma }_0,\widehat{\omega }\right)}_{\text{I}}\Vert }_{\infty }\le \frac{c_3}{c_0}\sqrt{\frac{\log \left(n\right)}{n}}=o\left(\lambda \right)$(3.12)

保持概率至少为$1-{\left(2p\right)}^{-A^2}$ 。根据条件(C3)~(C6)和三角不等式，存在一个常数$c_7>0$ ，使得(3.12)式中第三项的绝对值在$c_7{c}_3\sqrt{\log \left(n\right)/n}=o\left(\lambda \right)$ 上有界，概率至少为$1-{\left(2p\right)}^{-A^2}$ 。

至此，我们完成了定理3.2的证明。

基金项目

国家社会科学基金一般项目(18BTJ035)；重庆市自然科学基金面上项目(CSTC2020JCYJ-msxm0006)；重庆工商大学研究生创新型科研项目(yjscxx2023-211-193)。

NOTES

^*第一作者。