基于弹性网惩罚的高维部分线性模型的稳健变量选择

Robust Variable Selection Based on High-Dimensional Partial Linear Model of Elastic Net Penalty

摘要: 高维数据下部分线性模型的变量选择方法大多基于最小二乘回归估计展开，但随着数据复杂性的提升，极端、异常等因素使得以往模型的估计效率直线下滑。为此，本文基于弹性网络法与分位数回归相结合的正则化理论，提出了一种应对高维数据下部分线性模型的稳健变量选择模型。该模型不仅可以有效处理强相关变量组的数据，还可以在面对离群点或存在异方差时仍达到较好的稳健性。此外，理论上证明了在一定条件下模型估计量的相合性和稀疏性，最后通过数值模拟，与其他变量选择方法作比较，进一步表明了该方法的优越性。

Abstract: Most of the variable selection methods of some linear models under high-dimensional data are based on least squares regression estimation, but with the increase of data complexity, extreme and abnormal factors make the estimation efficiency of previous model plummet. Therefore, based on the regularization theory combining elastic network method and quantile regression, this paper proposes a robust variable selection model to cope with some linear models under high-dimensional data. The model can not only effectively handle data for groups of strongly cor-related variables, but also achieve better robustness in the face of outliers or heteroscedasticity. In addition, the coherence and sparsity of model estimators under certain conditions are theoretically proved, and finally the superiority of this method is further demonstrated by numerical simulation and comparison with other variable selection methods.

1. 引言

在数字化发展的今天，金融、气象、生物医学等诸多领域的数据中各指标之间的关系变得愈加错综复杂，简单地运用线性模型已经不足以分析各指标的联系。而半参数模型不仅具有强大的拟合能力，且不需要对数据做出过多的假设，十分适用于处理分布未知的复杂数据。部分线性模型 [1] 则是常见的一类半参数模型，因其同时具有线性模型和非参数模型的优点，吸引了广大统计学者的关注，成为了各领域处理数据的重要工具。

而随着大数据时代的到来，高维数据频繁出现在各个领域。高维数据的变量个数过多，往往在建模分析过程中容易导致“维数灾祸”，传统的变量分析方法已无力应对这种问题。对此，可同时进行变量选择和系数估计的正则化方法被学者们提出，其一般形式为“损失函数 + 惩罚函数”。当采用岭回归 [2] 作惩罚函数时，其通过有偏估计很好地解决了变量间多重共线性的问题，但这种方法只能限制模型回归系数尽可能地小，不具备稀疏性。LASSO [3] 惩罚虽然能实现稀疏变量的目的，但对于具有群组效应的特殊数据结构，它只能勉强选出该变量组的一个变量，容易忽略其他重要变量，对于高维数据中存在多重共线性时，LASSO的估计效果会变得很差。SCAD [4] 惩罚是对称且非凸性的，它虽然可以产生稀疏解，但其迭代算法却极其缓慢，难以适应高维数据情形。而Zou和Hastie [5] 提出了弹性网络法，因其结合了LASSO和岭回归惩罚项的优势，不仅可以解决多重共线性的问题，而且还能对变量进行有效筛选。

高维数据下的部分线性模型因其需要考虑线性协变量的选择和系数估计、光滑参数的选择、非参数函数的估计等方面的问题，因此如何在高维数据下对部分线性模型进行稳健的变量选择成为了一大挑战。目前，关于高维部分线性模型的变量筛选问题研究还不多。Xie和Huang [6] 运用SCAD惩罚来实现线性部分的稀疏性，并用多项式样条来估计非参数分量。杨宜平等 [7] 结合样条方法和Dantzig或Lasso变量选择方法，同时进行变量选择和未知参数估计，并证明了估计误差的非渐近界。Chen等 [8] 采用自适应弹性网对部分线性模型进行变量选择，并证明了其Oracle性质。Wang等 [9] 利用组Bridge和最小二乘估计讨论了高维部分线性模型的估计问题。赖秋楠等 [10] 提出了profile贪婪向前回归变量筛选方法，证明了在一定正则条件下所提PGFR方法具有筛选相合性。但这些文献大多都是基于最小二乘估计作为损失函数，而在实践中最小二乘估计对噪音较敏感，稳定性较差，特别是在面对高维数据中含有极端值、离群点或是呈现尖峰、厚尾分布时，其预测效果往往不佳。为了实现更稳健的估计，Koenker和Basset [11] 提出了分位数回归，因其不需要对误差分布作特定假设仍可获得全局分布的特征，且保持较高的稳健性，进而被不同领域广泛研究运用。

本文就将利用将弹性网络法和分位数回归相结合的正则化方法，对高维部分线性模型进行稳健变量选择。此方法不需要对模型中误差项的分布情况做任何假设，在面对高维数据中出现异常值或极端值时仍保持较好的稳健性，能够丰富具体地反应响应变量的分布特征。除此之外，这种组合的正则化方法还可以灵活处理高维数据中多重共线性与群组效应问题，能对变量间的强相关性信息进行变量筛选，产生稀疏解。理论上将证明该模型估计量的相合性和稀疏性，并通过数值模拟，与其他变量选择方法进行比较，表明该方法更有效更稳健。

2. 稳健变量选择过程

考虑如下部分线性模型：

$Y=X^T\beta +g\left(Z\right)+\epsilon$ , (1)

其中， $Y={\left(y_1,y_2,\cdots ,y_n\right)}^T$ 为n维响应变量； $X={\left(x_1,x_2,\cdots ,x_n\right)}^T=\left({\tilde{x}}_1,{\tilde{x}}_2,\cdots ,{\tilde{x}}_p\right)$ 为 $n\times p$ 设计矩阵，且 $p\gg n$ ； $\beta ={\left({\beta }_1,{\beta }_2,\cdots ,{\beta }_p\right)}^T$ 为p维未知参数向量； $\epsilon ={\left({\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n\right)}^T$ 为n维随机误差向量，与 $\left(X,Z\right)$ 独立且期望为0，方差为 ${\sigma }^2$ ； $g(\cdot )$ 为未知光滑函数，为避免维数灾难，假定Z为一维随机变量，且在闭区间 $\left[0,1\right]$ 上取值。

对模型(1)两边关于Z求条件期望，可得

$E\left(Y|Z\right)={\left\{E\left(X|Z\right)\right\}}^T\beta +g\left(Z\right)$ , (2)

由(2)式可得 $g\left(Z\right)$ 的表达式，再将其代入(1)式，经整理得

$Y-E\left(Y|Z\right)={\left\{X-E\left(X|Z\right)\right\}}^T\beta +\epsilon$ , (3)

若 $E\left(X|Z\right)$ 和 $E\left(Y|Z\right)$ 已知，则模型(3)即为标准的线性模型。

记 $m_X\left(Z\right)=E\left(X|Z\right)$ ， $m_Y\left(Z\right)=E\left(Y|Z\right)$ ，令 ${\hat{m}}_X\left(Z\right)$ 和 ${\hat{m}}_Y\left(Z\right)$ 分别为 $m_X\left(Z\right)$ 和 $m_Y\left(Z\right)$ 的估计量，本文采用核估计，即

${\hat{m}}_X\left(Z\right)=\frac{{\displaystyle \underset{i=1}{\overset{n}{\sum }}K\left(\frac{Z_i-Z}{h}\right)X_i}}{{\displaystyle \underset{i=1}{\overset{n}{\sum }}K\left(\frac{Z_i-Z}{h}\right)}}$ ;

${\hat{m}}_Y\left(Z\right)=\frac{{\displaystyle \underset{i=1}{\overset{n}{\sum }}K\left(\frac{Z_i-Z}{h}\right)Y_i}}{{\displaystyle \underset{i=1}{\overset{n}{\sum }}K\left(\frac{Z_i-Z}{h}\right)}}$ ,

其中 $K(\cdot )$ 为核函数，h为窗宽。

记 $\hat{Y}=Y-{\hat{m}}_Y\left(Z\right)$ ， $\hat{X}=X-{\hat{m}}_X\left(Z\right)$ ； $Y={\left({\hat{y}}_1,{\hat{y}}_2,\cdots ,{\hat{y}}_n\right)}^T$ ， $\hat{X}={\left({\hat{x}}_1,{\hat{x}}_2,\cdots ,{\hat{x}}_n\right)}^T$ ，

则式(3)可改写为

$\hat{Y}={\hat{X}}^T\beta +\epsilon$ . (4)

在面对高维数据时( $p=O\left(n^a\right),a>0$ )，为了确保模型的可识别性，提高模型拟合的精确度，假定真实的系数向量 ${\beta }^{*}$ 为稀疏的，即仅小部分系数非零。在不失一般性的情况下，我们定义 ${\beta }^{*}={\left({\left({\beta }_1^{*}\right)}^T,0^T\right)}^T$ ，用s表示真实回归系数的非零元素的数量，假定真实模型表示为

${\mathcal{M}}_{*}=\text{supp}\left({\beta }^{*}\right)=\left\{1,2,\cdots ,s\right\}$ ,

其补集 ${\mathcal{M}}_{*}^c=\left\{s+1,\cdots ,p\right\}$ 表示噪音协变量，即 ${\beta }^{*}$ 的前s个分量是非零的，设计矩阵可写为

$\hat{X}=\left(S,Q\right)$ ,

其中， $S={\left(S_1,S_2,\cdots ,S_n\right)}^T=\left({\hat{x}}_1,{\hat{x}}_2,\cdots ,{\hat{x}}_s\right)$ ， $Q={\left(Q_1,Q_2,\cdots ,Q_n\right)}^T=\left({\hat{x}}_{s+1},{\hat{x}}_{s+2},\cdots ,{\hat{x}}_p\right)$ ； $S$ 表示非零系数的信号协变量矩阵， $Q$ 表示系数为零的噪音协变量矩阵。本文将设计矩阵 $\hat{X}$ 的每一列标准化使得 ${\Vert {\hat{x}}_i\Vert }_2=\sqrt{n}$ ， $i=1,2,\cdots ,p$ 。

结合(4)式和线性模型的弹性网惩罚分位数估计 [12] ，可得求解 ${\beta }^{*}$ 的模型如下：

${\hat{\beta }}_{Enet}=\underset{\beta \in R^p}{\arg \min }\left\{{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\rho }_i\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)}+n{\lambda }_n{\Vert \beta \Vert }_1+n{\mu }_n{\Vert \beta \Vert }_2^2:=L_n\left(\beta \right)\right\}$ ,

其中， ${\rho }_{\tau }\left(u\right)=u\left(\tau -1\left(u<0\right)\right)$ ， $0<\tau <1$ 为分位数回归的损失函数， ${\Vert \beta \Vert }_1={\displaystyle {\sum }_{i=1}^p\left|{\beta }_i\right|}$ 为 $\beta$ 的 $L_1$ 范数， ${\Vert \beta \Vert }_2=\sqrt{{\displaystyle {\sum }_{i=1}^p{\beta }_i^2}}$ 为 $\beta$ 的 $L_2$ 范数， $n{\lambda }_n{\Vert \beta \Vert }_1+n{\mu }_n{\Vert \beta \Vert }_2^2$ 为弹性网惩罚项，其中 ${\lambda }_n,{\mu }_n>0$ 为正则化系数。

3. 统计性质

本节将建立高维部分线性模型参数 $\beta$ 的弹性网估计量 ${\hat{\beta }}_{Enet}$ 的性质。参照文献Fan [13] ，定义预先知道协变量位置的Oracle正则化估计 ${\hat{\beta }}^o={\left({\left({\hat{\beta }}_1^o\right)}^T,0^T\right)}^T$ ，并且满足 ${\hat{\beta }}^o=\underset{\beta }{\arg \min }{L}_n\left(\beta \right)$ ，并做出如下假设条件：

(A1) $\epsilon$ 独立于 $\left(X,Z\right)$ ，且满足 $E\left(\epsilon |X,Z\right)=0$ ， $E\left({\epsilon }^3|X,Z\right)<\infty$ 。

(A2) 最佳窗宽 $h=O\left(n^{-1/5}\right)$ 。

(A3) $\Sigma =\mathrm{cov}\left(\tilde{X}\right)$ 是一个正定矩阵， $\sup E\left({\Vert X\Vert }_2^3\right)<\infty$ ， $\underset{Z}{sup}E\left({\Vert X\Vert }_2^3|Z=z\right)<\infty$ 。

(A4) 核函数 $K(\cdot )$ 的支撑集为 $\left[-1,1\right]$ ，存在常数 $0\le M_1<M_2$ ，核函数满足 $M_1\le K{\left(t\right)}_{t\in \left[-1.1\right]}\le M_2$ ，且 ${\displaystyle \int K\left(t\right)dt}=1$ ， ${\displaystyle \int tK\left(t\right)dt}=0$ ， ${\displaystyle \int t^{2}K\left(t\right)dt}\ne 0$ 。

(A5) $m_X(\cdot )$ ， $m_Y(\cdot )$ 和 $g(\cdot )$ 的二阶导数都是一阶Lipschitz连续的。

(A6) 存在常数 $c_1>0$ 和 $c_2>0$ ，对任意满足 $\left|u\right|\le c_1$ 的u， $f_i\left(u\right)$ 一致有界且不为0和 $\infty$ ，有

$\left|F_i\left(u\right)-F_i\left(0\right)-u{f}_i\left(0\right)\right|\le c_2{u}^2$ ,

其中， $f_i\left(u\right)$ 和 $F_i\left(u\right)$ 分别为误差 ${\epsilon }_i$ 的密度函数和分布函数。

(A7) 定义 $H=\text{diag}\left\{f_1\left(0\right),\cdots ,f_n\left(0\right)\right\}$ ，则 $n^{-1}{S}^{T}HS$ 的特征值介于 $c_0$ 与 $c_0^{-1}$ 之间，且

${\kappa }_n=\underset{ij}{\max }\left|x_{ij}\right|=o\left(\sqrt{n}{s}^{-1}\right)$ .

(A8) 令 ${\gamma }_n=C_1\sqrt{s}\left({\lambda }_n+{\mu }_n+\sqrt{\log n/n}\right)$ ， $C_1$ 为大于零的常数，有

${\Vert n^{-1}{Q}^{T}HS\Vert }_{2,\infty }<\frac{{\lambda }_n}{2{\gamma }_n}$ ,

其中，对于矩阵 $A$ 与向量 $\hat{x}$ ，

${\Vert A\Vert }_{2,\infty }=\underset{\hat{x}\ne 0}{\sup }{\Vert A\hat{x}\Vert }_{\infty }/{\Vert \hat{x}\Vert }_2$ ,

且对某些常数 $b\in \left(0,1\right)$ ，有 $\log \left(p\right)=o\left(n^b\right)$ 。

条件(A1)~(A5)是研究半参数模型常用的假设条件，其中条件(A2)为核估计最优窗宽，条件(A4)是对核函数的一般假定。条件(A6)对噪音分布进行假设，任意 $f_i\left(u\right)$ 在0点周围是Lipschitz连续的，如常用的柯西分布就满足这一条件。条件(A7)对信号协变量矩阵 $S$ 和设计矩阵 $\hat{X}$ 的规模进行限制，当设计矩阵 $\hat{X}$ 产生某种分布时， ${\kappa }_n$ 的界以渐近1的概率满足。条件(A8)对设计矩阵 $\hat{X}$ 与子矩阵 $Q,S$ 的列向量的相关性进行控制。

下面给出定理说明可用Oracle信息来确定信号协变量的位置，正则化估计 ${\hat{\beta }}^o$ 以趋于1的概率可估计出真实系数向量 ${\beta }^{*}$ 。

定理1 若 ${\lambda }_n\sqrt{s}{\kappa }_n\to 0$ ， ${\mu }_n\sqrt{s}{\kappa }_n\to 0$ ，且满足条件(A1)~(A7)，则存在常数 $c_1,c_2>0$ ，使得

$P\left({\Vert {\hat{\beta }}_1^o-{\beta }_1^{*}\Vert }_2\le {\gamma }_n\right)\ge 1-c_1{n}^{-c_{2}s}$ ,

其中， ${\gamma }_n=C_1\sqrt{s}\left({\lambda }_n+{\mu }_n+\sqrt{\log n/n}\right)$ ， $C_1$ 为大于零的常数。

定理2 假设条件(A1)~(A8)成立，若

$\underset{j}{\max }\left|{\beta }_j\right|=o\left({\lambda }_n/{\mu }_n\right)$ ,

${\gamma }_n{s}^{2/3}{\kappa }_n^2{\left({\log }_{2}n\right)}^2=o\left(n{\lambda }_n^2\right)$ ,

${\kappa }_n^3{\gamma }_n^2=o\left({\lambda }_n\right)$ ,

且 ${\lambda }_n>2\sqrt{\left(1+c\right)\left(\log p\right)/n}$ ，c为大于零的常数。那么，存在目标函数 $L_n\left(\beta \right)$ 的全局最小值 ${\hat{\beta }}_{Enet}={\left({\left({\hat{\beta }}_1^o\right)}^T,{\hat{\beta }}_2^T\right)}^T$ ，至少以 $1-O\left(c_1{n}^{-c_{2}s}\right)$ 的概率满足：

1) ${\hat{\beta }}_2=0$ ，

2) ${\Vert {\hat{\beta }}_1^o-{\beta }_1^{*}\Vert }_2\le {\gamma }_n$ 。

4. 定理证明

在证明上述定理前，本节先给出几个引理。

引理1 (Chen [14] )假设条件(A1)~(A5)成立，令 $h=n^{-1/5}{\left(\log n\right)}^{1/5}$ ，则有

$\underset{1\le j\le p}{\max }\underset{z}{\sup }\left|{\hat{m}}_j\left(z,1,h\right)-m_j\left(z\right)\right|=O\left(n^{-2/5}{\left(\log n\right)}^{2/5}\right)$ .

引理2 (Fan [13] )假设条件(A7)成立，则对任意 $t>0$ ，都有

$P\left(Z_n\left(M_n\right)\ge 4M_n\sqrt{s/n}+t\right)\le \exp \left(-n{c}_0{t}^2/\left(8M_n^2\right)\right)$ .

引理3 (Bühlmann [15] )霍夫丁不等式：设独立随机变量 $Z_1,Z_2,\cdots ,Z_n$ 来自某个空间 $\Gamma$ ， $\gamma$ 为 $\Gamma$ 上的实值函数，若存在正实数 $C_1,C_2,\cdots ,C_n$ ，使得对任意的i满足 $E\left(\gamma \left(Z_i\right)\right)=0$ ， $\left|\gamma \left(Z_i\right)\right|<C_i$ ，则对所有的 $t>0$ ，有

$P\left(\left|{\displaystyle \underset{i=1}{\overset{n}{\sum }}\gamma \left(Z_i\right)}\right|\ge t\right)\le 2\exp \left(-\frac{t^2}{2{\displaystyle {\sum }_{i=1}^n{C}_i^2}}\right)$ .

引理4 考虑以 ${\beta }^{*}$ 为中心的球形领域 $R^s$ 内：

$\mathcal{N}=\left\{\beta ={\left({\beta }_1^T,{\beta }_2^T\right)}^T\in R^P:{\beta }_2=0,{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2\le {\gamma }_n\right\}$ ,

其中序列 ${\gamma }_n\to 0$ ，假设

$\sqrt{1+{\gamma }_n{s}^{-3/2}}{\kappa }_n\left({\log }_{2}n\right)=o\left(\sqrt{n}{\lambda }_n\right)$ ,

$n^{1/2}{\lambda }_n{\left(\log p\right)}^{-1/2}\to \infty$ ,

${\kappa }_n{\gamma }_n^2=o\left({\lambda }_n\right)$ ,

则当条件(A6)~(A8)成立时，有

$P\left(\underset{\beta \in \mathcal{N}}{\sup }{\Vert Q^T{{\rho }^{\prime }}_{\tau }\left(\hat{y}-S{\beta }_1\right)\Vert }_{\infty }\ge n{\lambda }_n\right)\le o\left(c_1{p}^{-c_2}\right)$ ,

其中， ${{\rho }^{\prime }}_{\tau }\left(u\right)=\tau -1\left\{u\le 0\right\}$ ， $c_1,c_2$ 为大于零的常数。

定理1的证明：

令 ${\hat{v}}_n\left(\beta \right)={\displaystyle {\sum }_{i=1}^n{\rho }_{\tau }}\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)$ ，则目标函数可写作

$L_n\left(\beta \right)={\hat{v}}_n\left(\beta \right)+n{\lambda }_n{\Vert \beta \Vert }_1+n{\mu }_n{\Vert \beta \Vert }_2^2$ .

对于给定的一个常数 $M_n>0$ ，定义集合

${\mathcal{A}}_0\left(M_n\right)=\left\{\beta \in R^P:{\Vert \beta -{\beta }^{*}\Vert }_2\le M_n,supp\left(\beta \right)\subseteq supp\left({\beta }^{*}\right)\right\}$ ,

然后，定义函数

$Z_n\left(M_n\right)=\underset{\beta \in {\mathcal{A}}_0\left(M_n\right)}{sup}\frac{1}{n}\left|\left({\hat{v}}_n\left(\beta \right)-{\hat{v}}_n\left({\beta }^{*}\right)\right)-E\left({\hat{v}}_n\left(\beta \right)-{\hat{v}}_n\left({\beta }^{*}\right)\right)\right|$ .

首先，结合引理1可知，对任意 $\beta ={\left({\beta }_1^T,0^T\right)}^T\in {\mathcal{A}}_0\left(M_n\right)$ ，当n充分大时，有

$E\left[{\hat{v}}_n\left(\beta \right)-{\hat{v}}_n\left({\beta }^{*}\right)\right]\ge \frac{1}{2}{c}_{0}n{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2^2$ , (5)

其中， $M_n=o\left({\kappa }_n^{-1}{s}^{-1/2}\right)$ ， $c_0$ 是 $f_i(\cdot )$ 在0的某个领域内的一个下界。

接着证明不等式(5)，令 $a_i=\left|S_i^T\left({\beta }_1-{\beta }_1^{*}\right)\right|$ ，则对于任意 $\beta \in {\mathcal{A}}_0\left(M_n\right)$ ，根据Hölder不等式有

$\left|a_i\right|\le {\Vert S_i\Vert }_2{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2\le \sqrt{s}{\kappa }_n{M}_n\to 0$ .

此时，再针对 $S_i^T\left({\beta }_1-{\beta }_1^{*}\right)$ 的符号进行讨论，当 $S_i^T\left({\beta }_1-{\beta }_1^{*}\right)>0$ 时，依次根据 $P\left({\epsilon }_i<0\right)=\tau$ ，Fubini定理，泰勒展开及条件(A6)可得

$\begin{array}{c}E\left[{\rho }_{\tau }\left({\epsilon }_i-a_i\right)-{\rho }_{\tau }\left({\epsilon }_i\right)\right]=E\left[{\displaystyle {\int }_0^{a_i}I\left(0\le {\epsilon }_i\le t\right)\text{d}t}\right]\\ ={\displaystyle {\int }_0^{a_i}\left(F_i\left(t\right)-F_i\left(0\right)\right)\text{d}t}\\ =\frac{1}{2}{f}_i\left(0\right)a_i^2+o\left(1\right)a_i^2,\end{array}$ (6)

其中， $o\left(1\right)$ 对于 $i=1,2,\cdots ,n$ 一致成立。

当 $S_i^T\left({\beta }_1-{\beta }_1^{*}\right)<0$ 时，可得式(6)右侧同样的结果。进一步，由条件(A7)得

$\begin{array}{c}E\left[{\hat{v}}_n\left(\beta \right)-{\hat{v}}_n\left({\beta }^{*}\right)\right]={\displaystyle \underset{i=1}{\overset{n}{\sum }}E\left[{\rho }_{\tau }\left({\epsilon }_i-a_i\right)-{\rho }_{\tau }\left({\epsilon }_i\right)\right]}\ge \frac{1}{2}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{f}_i\left(0\right)}{a}_i^2\\ =\frac{1}{2}{\left({\beta }_1-{\beta }_1^{*}\right)}^T{S}^{T}HS\left({\beta }_1-{\beta }_1^{*}\right)\ge \frac{1}{2}{c}_{0}n{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2^2.\end{array}$ (7)

因此，结合式(6)和式(7)以及 ${\hat{v}}_n\left(\beta \right)$ 的定义，对于任意 $\beta \in {\left({\beta }_1^T,0^T\right)}^T\in {\mathcal{A}}_0\left(M_n\right)$ ，可得式(5)成立。但所设定的估计器 ${\hat{\beta }}^o={\left({\left({\hat{\beta }}_1^o\right)}^T,0^T\right)}^T$ 可能不在 ${\mathcal{A}}_0\left(M_n\right)$ 集合中，因此，令 $\tilde{\beta }\in {\left({\tilde{\beta }}_1^T,0^T\right)}^T$ ，其中

${\tilde{\beta }}_1=\mu {\hat{\beta }}_1^o+\left(1-\mu \right){\beta }_1^{*}$ , $\mu =M_n/\left(M_n+{\Vert {\hat{\beta }}_1^o-{\beta }_1^{*}\Vert }_2\right)$ ,

此时 $\tilde{\beta }\in {\mathcal{A}}_0\left(M_n\right)$ ，再根据目标函数为凸函数的性质以及 ${\hat{\beta }}_1^o$ 的定义，可得

$L_n\left(\tilde{\beta }\right)\le \mu L_n\left({\hat{\beta }}_1^o,0\right)+\left(1-\mu \right)L_n\left({\beta }_1^{*},0\right)\le L_n\left({\beta }_1^{*},0\right)=L_n\left({\beta }^{*}\right)$ . (8)

结合式(8)与三角不等式，有

$\begin{array}{c}E\left[{\hat{v}}_n\left(\tilde{\beta }\right)-{\hat{v}}_n\left({\beta }^{*}\right)\right]=\left\{{\hat{v}}_n\left({\beta }^{*}\right)-E{\hat{v}}_n\left({\beta }^{*}\right)\right\}-\left\{{\hat{v}}_n\left(\tilde{\beta }\right)-E{\hat{v}}_n\left(\tilde{\beta }\right)\right\}+L_n\left(\tilde{\beta }\right)-L_n\left({\beta }^{*}\right)\\ +n{\lambda }_n\left({\Vert {\beta }_1^{*}\Vert }_1-{\Vert {\tilde{\beta }}_1\Vert }_1\right)+n{\mu }_{{}_n}\left({\Vert {\beta }_1^{*}\Vert }_2^2-{\Vert {\tilde{\beta }}_1\Vert }_2^2\right)\\ \le n{Z}_n\left(M_n\right)+n{\lambda }_n{\Vert {\beta }_1^{*}-{\tilde{\beta }}_1\Vert }_1+n{\mu }_n\left({\Vert {\beta }_1^{*}\Vert }_2^2-{\Vert {\tilde{\beta }}_1\Vert }_2^2\right).\end{array}$ (9)

定义事件

$A_n=\left\{Z_n\left(M_n\right)\le 2M_n{n}^{-1/2}\sqrt{s\log n}\right\}$ ,

根据引理2，可得

$P\left(A_n\right)\ge 1-exp\left(-c_{0}s\left(\log n\right)/8\right)$ .

又由Cauchy-Schwarz不等式，有

$n{\lambda }_n{\Vert {\beta }_1^{*}-{\tilde{\beta }}_1\Vert }_1\le n{\lambda }_n\sqrt{s}{M}_n$ ,

$n{\mu }_n\left({\Vert {\beta }_1^{*}\Vert }_2^2-{\Vert {\tilde{\beta }}_1\Vert }_2^2\right)\le 2C_{M}n{\mu }_n{\Vert {\beta }_1^{*}-{\tilde{\beta }}_1\Vert }_1\le 2C_{M}n{\mu }_n\sqrt{s}{M}_n$ ,

其中， $C_M=\max \left\{{\beta }_1^{*},\cdots ,{\beta }_s^{*},{\tilde{\beta }}_1,\cdots ,{\tilde{\beta }}_s\right\}$ 。因此，在事件 $A_n$ 上，根据不等式(9)有

$E\left[{\hat{v}}_n\left(\tilde{\beta }\right)-{\hat{v}}_n\left({\beta }^{*}\right)\right]\le \left(2\sqrt{sn\left(\log n\right)}+n{\lambda }_n\sqrt{s}+2C_{M}n{\mu }_n\sqrt{s}\right)M_n$ .

取 $M_n=2\sqrt{s/n}+{\lambda }_n\sqrt{s}+{\mu }_n\sqrt{s}$ ，由假设 ${\lambda }_n\sqrt{s}{\kappa }_n\to 0$ ， ${\mu }_n\sqrt{s}{\kappa }_n\to 0$ 和条件(A7)可知 $M_n=o\left({\kappa }_n^{-1}{s}^{-1/2}\right)$ ，再结合式(5)，则在事件 $A_n$ 上有

$\frac{1}{2}{c}_{0}n{\Vert {\tilde{\beta }}_1-{\beta }_1^{*}\Vert }_2^2\le \left(2\sqrt{sn\left(\log n\right)}+n{\lambda }_n\sqrt{s}+2C_{M}n{\mu }_n\sqrt{s}\right)M_n$ ,

进一步，得

${\Vert {\tilde{\beta }}_1-{\beta }_1^{*}\Vert }_2\le O\left(\sqrt{s\left(\log n\right)/n}+{\lambda }_n\sqrt{s}+{\mu }_n\sqrt{s}\right)$ .

根据 ${\Vert {\beta }_1^{*}-\tilde{\beta }\Vert }_2\le M_n$ ，可得 ${\Vert {\hat{\beta }}_1^o-{\beta }_1^{*}\Vert }_2\le 2M_n$ ，故在事件 $A_n$ 上，有

${\Vert {\hat{\beta }}_1^o-{\beta }_1^{*}\Vert }_2\le O\left(\sqrt{s\left(\log n\right)/n}+{\lambda }_n\sqrt{s}+{\mu }_n\sqrt{s}\right)$ ,

可知事件 $A_n$ 发生的概率大于等于 $1-c_1{n}^{-c_{2}s}$ ，定理1得证。

定理2的证明：

此处先给出引理4的证明，其是定理2证明的基石。对于固定的 $j\in \left\{s+1,s+2,\cdots ,p\right\}$ ， $\beta ={\left({\beta }_1^T,{\beta }_2^T\right)}^T\in \mathcal{N}$ 。定义

${\gamma }_{\beta ,j}\left({\hat{x}}_i,{\hat{y}}_j\right)={\hat{x}}_{ij}\left[{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)-E\left[{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)\right]\right]$ ,

其中， ${\hat{x}}_i^T=\left({\hat{x}}_i,\cdots ,{\hat{x}}_{ip}\right)$ 是设计矩阵 $\hat{x}$ 的第i行。

首先，需对引理4做如下分解：

$\begin{array}{c}\underset{\beta \in \mathcal{N}}{\sup }{\Vert \frac{1}{n}{Q}^T{{\rho }^{\prime }}_{\tau }\left(\hat{y}-S{\beta }_1\right)\Vert }_{\infty }\le \underset{\beta \in \mathcal{N}}{\sup }{\Vert \frac{1}{n}{Q}^{T}E\left[{{\rho }^{\prime }}_{\tau }\left(\hat{y}-S{\beta }_1\right)-{{\rho }^{\prime }}_{\tau }\left(\epsilon \right)\right]\Vert }_{\infty }\\ +{\Vert \frac{1}{n}{Q}^T{{\rho }^{\prime }}_{\tau }\left(\epsilon \right)\Vert }_{\infty }+\underset{j>s}{\max }\underset{\beta \in \mathcal{N}}{\sup }\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left|{\gamma }_{\beta ,j}\left({\hat{x}}_i,{\hat{y}}_i\right)\right|},\end{array}$

根据上式可知，若能证明以下各式至少以 $1-O\left(c_1{p}^{-c_2}\right)$ 的概率成立，那么引理4可得证。

$I_1=\underset{\beta \in \mathcal{N}}{\sup }{\Vert \frac{1}{n}{Q}^{T}E\left[{{\rho }^{\prime }}_{\tau }\left(\hat{y}-S{\beta }_1\right)-{{\rho }^{\prime }}_{\tau }\left(\epsilon \right)\right]\Vert }_{\infty }=o\left({\lambda }_n\right)$ , (10)

$I_2=\frac{1}{n}{\Vert Q^T{{\rho }^{\prime }}_{\tau }\left(\epsilon \right)\Vert }_{\infty }=o\left({\lambda }_n\right)$ , (11)

$I_3=\underset{j>s}{\max }\underset{\beta \in \mathcal{N}}{\sup }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\gamma }_{\beta ,j}\left({\hat{x}}_i,{\hat{y}}_i\right)}\right|=o_p\left({\lambda }_n\right)$ , (12)

首先证明 $I_1$ 成立，将式(10)改写为

$I_1=\underset{j>s}{\max }\underset{\beta \in \mathcal{N}}{\sup }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\hat{x}}_{ij}E\left[{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)-{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)\right]}\right|$ . (13)

根据条件(A6)，有

$E\left[{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)-{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)\right]=F_i\left(S_i^T\left({\beta }_1-{\beta }_1^{*}\right)\right)-F_i\left(0\right)=f_i\left(0\right)S_i^T\left({\beta }_1-{\beta }_1^{*}\right)+{\tilde{I}}_i$ ,

其中， $F_i\left(t\right)$ 是 ${\epsilon }_i$ 的累计分布函数，

${\tilde{I}}_i=F_i\left(S_i^T\left({\beta }_1-{\beta }_1^{*}\right)\right)-F_i\left(0\right)-f_i\left(0\right)S_i^T\left({\beta }_1-{\beta }_1^{*}\right)$ ,

对任意 $j>s$ ，有

${\displaystyle \underset{i=1}{\overset{n}{\sum }}{\hat{x}}_{ij}}E\left[{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)-{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)\right]={\displaystyle \underset{i=1}{\overset{n}{\sum }}\left(f_i\left(0\right){\hat{x}}_{ij}{S}_i^T\right)\left({\beta }_1-{\beta }_1^{*}\right)+{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\hat{x}}_{ij}{\tilde{I}}_i}}$ .

结合式(13)及Cauchy-Schwarz不等式，可推出

$I_1\le {\Vert \frac{1}{n}{Q}^{T}HS\left({\beta }_1-{\beta }_1^{*}\right)\Vert }_{\infty }+\underset{j>s}{\max }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\hat{x}}_{ij}{\tilde{I}}_i}\right|$ . (14)

依次考虑不等式(14)右边的两项，由条件(A8)可得第一项的上界被限制为

${\Vert \frac{1}{n}{Q}^{T}HS\left({\beta }_1-{\beta }_1^{*}\right)\Vert }_{\infty }\le {\Vert \frac{1}{n}{Q}^{T}HS\Vert }_{2,\infty }{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2<\frac{{\lambda }_n}{2}$ , (15)

再根据条件(A6)~(A7)及 $\left|{\tilde{I}}_i\right|\le C{\left(S_i^T\left({\beta }_1-{\beta }_1^{*}\right)\right)}^2$ ，可得第二项的上界被限制为

$\underset{j>s}{\max }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\hat{x}}_{ij}{\tilde{I}}_i}\right|\le \frac{{\kappa }_n}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\left|{\tilde{I}}_i\right|}\le C\frac{{\kappa }_n}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(S_i^T\left({\beta }_1-{\beta }_1^{*}\right)\right)}^2}\le C{\kappa }_n{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2^2$ .

又因为 $\beta \in \mathcal{N}$ ，由假设条件 ${\lambda }_n^{-1}{\kappa }_n{\gamma }_n^2=o\left(1\right)$ 有

$\underset{j>s}{\max }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\hat{x}}_{ij}{\tilde{I}}_i}\right|\le C{\kappa }_n{\gamma }_n^2=o\left({\lambda }_n\right)$ , (16)

再将上述不等式(16)与式(15)代入式(14)，可得 $I_1$ 成立。接下来证明 $I_2$ ，根据引理3，如果 ${\lambda }_n>2\sqrt{\left(1+c\right)\left(\log p\right)/n}$ ，则有

$P\left({\Vert Q^T{{\rho }^{\prime }}_{\tau }\left(\epsilon \right)\Vert }_{\infty }\ge n{\lambda }_n\right)\le {\displaystyle \underset{j=s+1}{\overset{p}{\sum }}2\exp \left(-\frac{n^2{\lambda }_n^2}{4{\displaystyle {\sum }_{i=1}^n{\hat{x}}_{ij}^2}}\right)}=2\exp \left[\log \left(p-s\right)-\frac{n{\lambda }_n^2}{4}\right]\le O\left(c_1{p}^{-c_2}\right)$ ,

因此， $I_2$ 至少以概率 $1-O\left(c_1{p}^{-c_2}\right)$ 成立。

现将利用Bühlmann [15] 中的推论14.4证明 $I_3$ 成立。首先，对每个固定的j，定义函数空间 ${\Gamma }_j=\left\{{\gamma }_{\beta ,j}:\beta \in \mathcal{N}\right\}$ ，则对任意的 ${\gamma }_{\beta ,j}\in {\Gamma }_j$ ，有 $E\left[{\gamma }_{\beta ,j}\left({\hat{x}}_i,{\hat{y}}_j\right)\right]=0$ 。又因函数 ${{\rho }^{\prime }}_{\tau }$ 有界，可得

${\Vert {\gamma }_{\beta ,j}\Vert }_n\equiv {\left(\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\gamma }_{\beta ,j}^2{\left({\hat{x}}_i,{\hat{y}}_i\right)}^2}\right)}^{1/2}\le 2$ .

此外，对任意的 $\beta \in {\left({\beta }_1^T,{\beta }_2^T\right)}^T\in \mathcal{N}$ 和 $\tilde{\beta }\in {\left({\tilde{\beta }}_1^T,{\tilde{\beta }}_2^T\right)}^T\in \mathcal{N}$ ，由条件(A6)和均值定理可得

$\begin{array}{l}E\left[{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)\right]-E\left[{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\tilde{\beta }\right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)\right]\\ =F_i\left(S_i^T\left({\tilde{\beta }}_1-{\beta }_1^{*}\right)\right)-F_i\left(S_i^T\left({\beta }_1-{\beta }_1^{*}\right)\right)=f_i\left(a_{1i}\right)S_i^T\left({\beta }_1-{\tilde{\beta }}_1\right),\end{array}$ (17)

其中， $a_{1i}$ 介于 $S_i^T\left({\tilde{\beta }}_1-{\beta }_1^{*}\right)$ 与 $S_i^T\left({\beta }_1-{\beta }_1^{*}\right)$ 之间。又因 ${f^{\prime }}_i\left(u\right)$ 一致有界，结合条件(A7)和式(17)，有

$\begin{array}{l}\left|{\hat{x}}_{ij}E\left[{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)\right]-{\hat{x}}_{ij}E\left[{{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\tilde{\beta }\right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)\right]\right|\\ \le C\left|{\hat{x}}_{ij}{S}_i^T\left({\beta }_1-{\tilde{\beta }}_1\right)\right|\le C{\Vert {\hat{x}}_{ij}{S}_i\Vert }_2{\Vert {\beta }_1-{\tilde{\beta }}_1\Vert }_2\le C\sqrt{s}{\kappa }_n^2{\Vert {\beta }_1-{\tilde{\beta }}_1\Vert }_2,\end{array}$ (18)

其中，C是大于零的常数。

由Bühlmann [15] 中引理14.27可知 $R^s$ 空间的球 $\mathcal{N}$ 可被 ${\left(1+4{\gamma }_n/\delta \right)}^s$ 个半径为 $\eta$ 的球所覆盖，又因 ${{\rho }^{\prime }}_{\tau }\left({\hat{y}}_i-{\hat{x}}_i^T\beta \right)-{{\rho }^{\prime }}_{\tau }\left({\epsilon }_i\right)$ 只取3种结果，结合式(18)可得 ${\Gamma }_j$ 的覆盖数为 $N\left(2^{2-k},{\Gamma }_j,{\Vert \cdot \Vert }_2\right)=3{\left(1+C^{-1}{2}^k{\gamma }_n{s}^{1/2}{\kappa }_n^2\right)}^s$ 。因此，

对任意的 $0\le k\le \left({\log }_{2}n\right)/2$ ，有

$\log \left(1+N\left(2^{2-k},{\Gamma }_j,{\Vert \cdot \Vert }_2\right)\right)\le 4\left(1+C^{-1}{\gamma }_n{s}^{3/2}{\kappa }_n^2\right)2^{2k}$ .

又由Bühlmann [15] 中的推论14.4可知，对任意的 $t>0$ ，有

$P\left(\underset{\beta \in \mathcal{N}}{\sup }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\gamma }_{\beta ,j}\left({\hat{x}}_i,{\hat{y}}_j\right)}\right|\ge \frac{8}{\sqrt{n}}\left(3\sqrt{1+C^{-1}{\gamma }_n{s}^{3/2}{\kappa }_n^2}{\log }_{2}n+4+4t\right)\right)\le 4\exp \left(\frac{n{t}^2}{8}\right)$ ,

令 $t=\sqrt{C\left(\log p\right)/n}$ ，其中 $C>0$ 为充分大的常数，则可得

$P\left(\underset{j>s}{\max }\underset{\beta \in \mathcal{N}}{\sup }\left|\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\gamma }_{\beta ,j}\left({\hat{x}}_i,{\hat{y}}_j\right)}\right|\ge \frac{24}{\sqrt{n}}\sqrt{1+C^{-1}{\gamma }_n{s}^{3/2}{\kappa }_n^2}{\log }_{2}n\right)\le 4\left(p-s\right)\exp \left(-\frac{C\log p}{8}\right)\to 0$ .

因此，若 $\sqrt{1+{\gamma }_n{s}^{3/2}{\kappa }_n^2}{\log }_{2}n=o\left(\sqrt{n}{\lambda }_n\right)$ ，那么 $I_3$ 至少以 $1-O\left(c_1{p}^{-c_2}\right)$ 的概率成立，从而引理4得证。

下面接着证明定理2，由于 ${\hat{\beta }}_1^o$ 是 $L_n\left({\beta }_1,0\right)$ 的最小值点且满足KTT条件。若要证明 ${\hat{\beta }}_{Enet}=\left({\left({\hat{\beta }}_1^o\right)}^T,0^T\right)\in R^P$ 是目标函数 $L_n\left(\beta \right)$ 的全局最小值，只需验证如下条件

${\Vert Q^{\text{T}}{{\rho }^{\prime }}_{\tau }\left(\hat{y}-S{\hat{\beta }}_1^o\right)\Vert }_{\infty }<n{\lambda }_n$ , (19)

其中，对任意n维向量 $u={\left(u_1,\cdots ,u_n\right)}^T$ ，有 ${{\rho }^{\prime }}_{\tau }\left(u\right)={\left({{\rho }^{\prime }}_{\tau }\left(u_i\right),\cdots ,{{\rho }^{\prime }}_{\tau }\left(u_n\right)\right)}^T$ ，则根据KKT条件及 $L_n\left(\beta \right)$ 为凸函数的性质，可知 ${\hat{\beta }}_{Enet}$ 是 $L_n\left(\beta \right)$ 的全局最小值点。定义事件

$B_1=\left\{{\Vert {\hat{\beta }}_1^o-{\beta }_1^{*}\Vert }_2\le {\gamma }_n\right\}$ ,

$B_2=\left\{\underset{\beta \in \mathcal{N}}{sup}{\Vert Q^T{{\rho }^{\prime }}_{\tau }\left(\hat{y}-S{\beta }_1\right)\Vert }_{\infty }<n{\lambda }_n\right\}$ ,

其中， ${\gamma }_n$ 同定理1中所定义，并且

$\mathcal{N}=\left\{\beta =\left({\beta }_1^T,{\beta }_2^T\right)\in R^P:{\Vert {\beta }_1-{\beta }_1^{*}\Vert }_2\le {\gamma }_n,{\beta }_2=0\in R^{P-S}\right\}$ ,

那么，结合定理1和引理4可知

$P\left(B_1\cap B_2\right)\ge 1-o\left(c_1{n}^{-c_{2}s}\right)$ .

又因为 $\hat{\beta }\in \mathcal{N}$ 属于事件 $B_1$ ，故在事件 $B_1\cap B_2$ 上不等式(19)成立，定理2得证。

5. 数值模拟

本节将通过数值模拟来考察所提出方法的有限样本性质。从如下部分线性模型产生数据

$Y=X^T\beta +g\left(Z\right)+\epsilon$ ,

其中，真实的回归参数被固定为 $\beta ={\left(0.5,1,2,1.5,0.8,1.75,0.75,0,\cdots ,0\right)}^T$ ，参数数量 $p=400$ ，样本容量 $n=100$ ，协变量 $X\sim N_p\left(0,V\right)$ ，其中 $V_{i.j}={0.5}^{\left|i-j\right|}$ ；非参数函数 $g\left(Z\right)=\sin \left(2\pi T\right)$ ，其中T服从 $\left[-1,1\right]$ 上的均匀分布。

为了验证所提方法关于厚尾分布的稳健性，考虑如下误差分布：标准正态分布 $\epsilon \sim N\left(0,1\right)$ ；混合正态分布 $\text{MN1}:\epsilon \sim 0.9N\left(0,1\right)+0.1N\left(0,5^2\right)$ ；自由度为4的t分布 $\epsilon \sim t\left(4\right)$ ；Laplace分布；Cauchy分布。本节将在这五种误差分布下，将所提的弹性网惩罚分位数回归(Q-EN)与弹性网惩罚最小二乘回归(EN)、Lasso惩罚分位数回归(Q-lasso)和Ridge惩罚分位数回归(Q-ridge)进行比较，其中 $\tau =0.5$ 。通过计算以下4个值来评估所提方法：

1) L₁ loss：即 $\beta -{\beta }^{*}$ 的L₁范数。

2) L₂ loss：即 $\beta -{\beta }^{*}$ 的L₂范数。

3) FP：选入模型的噪音协变量的数量。

4) FN：未选入模型的信号协变量的数量。

程序重复运行100次，模拟结果如表1所示，其中各项数值为其均值。

Table 1. Simulation results of relevant covariates

表1. 相关协变量模拟结果

比较Q-EN和EN：在这五种误差分布情形下，Q-EN的L₁损失和L₂损失都较EN更低。当误差分布为MN1时，Q-EN比EN的FN更小。当误差分布为t₄和Cauchy时，Q-EN较EN模型具有更小的FP。当误差分布为Laplace和 $N\left(0,1\right)$ 时，EN的FP和FN都优于Q-EN。总体而言，在面对具有厚尾分布和异常值，如t₄等情形时，分位数回归较最小二乘估计具有更稳健的特性。

比较Q-EN和Q-lasso、Q-ridge：在前四种误差分布情形下，Q-EN的L₁损失和L₂损失都明显更低。当误差分布为Cauchy时，虽然Q-ridge具有比Q-EN更低的L₂损失，但它选择了模型中的所有变量，并没有进行有效的变量选择。当误差分布为 $N\left(0,1\right)$ 、MN1、Laplace和t₄时，Q-lasso具有更小的FP，表明Lasso惩罚项倾向于将真实有效的信号协变量选择到模型中。当误差分布为 $N\left(0,1\right)$ 、MN1和Laplace时，相比Q-lasso，Q-EN具有更小的FN，说明Q-EN剔除大量不相关的预测因子，表现更好。

通过在不同的误差分布情形下，与其他变量方法进行比较，表明Q-EN的总体性能优于其他四种方法。Q-EN可以有效的进行变量筛选产生稀疏解，且在面对厚尾分布或异常值时仍表现优异。

6. 总结

针对高维数据下的部分线性模型变量选择问题，提出了将弹性网络法和分位数回归相结合的正则化方法。该方法可以有效地处理高维数据中的多重共线性与群组效应问题，还可以在面对数据含有极端值、离群点或是呈现尖峰、厚尾分布时，仍保持较好稳健性。理论结果表明，在一定条件下模型估计量具有相合性和稀疏性，可将不相关变量压缩至零，从而进行有效的变量选择。在数值模拟方面，通过比较不同惩罚函数和不同损失函数在五种误差分布下的估计效果，证实了所提估计方法优于其他变量选择方法，具有更强的稳健性和有效性。在实践应用中，所提模型方法可为生物医学、基因学等领域进行高维数据下的实证分析提供理论支撑。利用此模型方法对高维基因学数据进行基因检测分析，探究与疾病相关程度高的协变量基因，为药物研究提供方向，可推动相关药物研发领域的发展。

基金项目

重庆市自然科学基金(CSTB2022NSCQ-MSX1370)。

NOTES

^*通讯作者。