基于MMAe的模型平均置信区间研究

Research on Model-Averaged Confidence Interval Based on MMAe

摘要: 本文研究并比较了基于MMAe赋权的模型平均下，Wald置信区间，MATA置信区间，及Bootstrap置信区间的覆盖率、区间长度、左右错误率等各方面的表现性能。不同信噪比水平下的模拟显示，Wald置信区间在低信噪比时有更好的覆盖率，高信噪比下，三者覆盖率相近，MATA置信区间相对长度更短。在与MMA等其他模型平均方法的横向比较中，MMAe的赋权在Wald、MATA及Bootstrap三种置信区间的构建下，均比其他赋权方式在更低的样本量下更早达到名义覆盖率。最后在实例中考察MMAe在不同置信区间下的表现，与模拟表现一致。

Abstract: This article studies and compares the performance of models based on MMAe weighting in terms of coverage, interval length, left and right error rates under average, Wald confidence interval, MATA confidence interval, and Bootstrap confidence interval. Simulations at different levels of signal show that the Wald confidence interval has better coverage at low signal, while at high signal, the three’s confidence interval has similar coverage, and the MATA confidence interval is relatively shorter in length. In the horizontal comparison with other model averaging methods such as MMA, the weighting of MMAe reached nominal coverage earlier than other weighting methods at lower sample sizes under the construction of Wald, MATA, and Bootstrap confidence intervals. Finally, the performance of MMAe at different confidence intervals was examined in the example, which was consistent with the simulation results.

1. 引言

随着频率学派模型平均理论的不断研究和进展，多模型下的置信区间整合也日益体现出其研究价值与实用价值。事实上，使用模型平均的主要原因之一是在计算这样一个区间时允许模型的不确定性。模型选择通常会导致一个比模型平均的区间覆盖率更低、稳定性更差的区间[1] [2]。

越来越多的方法被提出来构建频率模型平均的置信区间。最经典和简单的Wald区间形式为$\widehat{\theta }\pm z_{\alpha }\widehat{se}\left(\widehat{\theta }\right)$ ，其中$z_{\alpha }$ 是标准正态分布的$100\left(1-\alpha \right)\%$ 分位数，Wald区间取决于$\widehat{\theta }$ 的标准误差估计$\widehat{se}\left(\widehat{\theta }\right)$ 的准确估计。但是，估计$\widehat{se}\left(\widehat{\theta }\right)$ 是相当困难的。Burnham和Anderson (2002) [3]提出了一些$\widehat{se}\left(\widehat{\theta }\right)$ 的估计形式。Turek和Fletcher (2012) [4]提出将每个置信限定义为单模型Wald区间误差率的加权和等于期望误差率的方法，因为涉及对单个模型估计的抽样分布尾部区域进行平均，因此该方法被称为模型平均尾部区域Wald区间。针对偏斜数据的模型平均置信区间构建，Zeng和Fletcher等人(2019) [5]提出了学生化Bootstrap模型平均尾部区域区间，利用参数Bootstrap方法来估计每个模型的学生化估计的分布，该方法只需要在模型是真实模型时，每个模型的学生化估计是渐近枢轴的。

MMA是一种以Mallow’s Cp准则为基础的经典模型平均方法Hansen (2007) [6]，自提出以来被广泛的应用与拓展。Liu和Okui (2013) [7]将MMA的应用范围扩展到了异方差情况。Wan等(2010) [8]将其渐近最优性推广至非嵌套模型。Feng等(2020) [9]将MMA改进为一种类似于Lasso (Zou, 2006) [10]的凸优化方法，并提出了高效的稀疏权重解算法。Kun Cao等(2023) [11]提出了MMAe，一种修正的MMA方法，基于对Mallow’s Cp准则的惩罚修正，以应对模型之间不可避免的共线性问题。

本文在MMAe赋权方法下，构造了Wald，MATA，Bootstrap模型平均置信区间，通过模拟计算来分析说明。第二部分介绍如何得到权重表达式，Wald区间的构造方法以及相应的标准差的估计、MATA-Wald模型平均置信区间的方法及Bootstrap模型平均置信区间的构造方法。第三部分进行模拟研究，从平均区间长度、覆盖率、左右错误率方面分别比较了Wald区间、MATA区间和Bootstrap区间在不同信噪比下的表现情况；并且在中信噪比水平下，对比了四种不同赋权方法在不同置信区间下覆盖率与错误率的表现情况。第四部分进行了实证分析，展示了MMAe加权方法在不同置信区间下的表现。第五部分对模拟结果进行总结，得出结论。

2. 置信区间构建

本文在使用MMAe赋权方法得到的权重下，比较Wald，MATA，Bootstrap模型平均置信区间的表现情况。区间的频率性质使用覆盖率以及左右错误率这两个指标。

2.1. MMAe方法

MMAe方法是一种基于惩罚Mallow’s Cp的修正MMA，为了处理模型间不可避免的共线性，添加了一个加权弹性网惩罚项，文中通过CD算法得到了MMAe权重[11]，在Kun Cao [11]的基础上，w的表达式通过以下过程计算：

$\underset{w^{\text{T}}{I}_M=1,w\ge 0}{\min }\frac{1}{2}{w}^{\text{T}}{\widehat{e}}^{\text{T}}\widehat{e}w+\left(1-\alpha \right){\widehat{\sigma }}^2{w}^{\text{T}}K+\alpha {\widehat{\sigma }}^2{w}^{\text{T}}diag\left(K\right)w$

其中，$w={\left(w_1,w_2,\cdots ,w_m\right)}^{\text{T}}$ ，${\widehat{e}}_m=y-{\widehat{\mu }}_m$ ，$K={\left(k_1,k_2,\cdots ,k_m\right)}^{\text{T}}$ ，$diag\left(K\right)=\left(\begin{array}{ccc}{k}_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & k_m\end{array}\right)$ ，$\alpha \in \left[0,1\right]$ ，$\alpha$ 决定了$L_1$ 和$L_2$ 惩罚的比例，${\widehat{\sigma }}^2$ 是完全模型或最大模型对${\sigma }^2$ 的估计。

2.2. Wald置信区间

假设$T_{\widehat{\theta }}=\frac{\widehat{\theta }-\theta }{\widehat{se}}$ 服从标准正态分布，其中$\widehat{se}$ 是$\widehat{\theta }$ 标准差的估计，模型平均的Wald置信区间为[12]：

$\widehat{\theta }\pm z\cdot \widehat{se}$

其中z是标准正态分布的$100\left(1-\alpha \right)\%$ 分位数。本文中的$\widehat{se}=\sqrt{{\displaystyle {\sum }_{m=1}^M{w}_m}\left[{\left(\frac{\widehat{se}\left({\widehat{\theta }}_m\right)t_{v_m}}{z}\right)}^2+{\left({\widehat{\theta }}_m-\widehat{\theta }\right)}^2\right]}$ ，其中$t_{v_m}$ 为自由度为$v_m$ 的t分布的分位数，$v_m$ 是与模型$M_i$ 相关的残差的自由度。

2.3. MATA置信区间

MATA区间[4]通过将模型平均的上下错误率设置为等于所需要的错误率来选择置信限，其置信限的定义是：每个候选模型的错误率的加权平均值等于所需的总体错误率。于是，$100\left(1-2\alpha \right)\%$ MATA置信区间的下限${\theta }_L$ 满足：

${\displaystyle \sum }_{i=1}^R{w}_i{\alpha }_i\left({\theta }_L\right)=\alpha$

其中，当模型$M_i$ 为真时，${\alpha }_i\left({\theta }_L\right)$ 是与使用${\theta }_L$ 作为$\theta$ 的$100\left(1-2\alpha \right)\%$ 置信下限相关的错误率的估计，置信上限同理。

2.4. Bootstrap置信区间

Bootstrap置信区间[13]假设恰有一个候选模型是真实的，记$c_i$ 为未知的指示变量，如果模型$M_i$ 为真，则$c_i=1$ 否则$c_i=0$ ，假设我们知道${\widehat{\theta }}_i$ 的真实分布记为$G_i(•)$ ，参数$\theta$ 的置信区间$\left[{\theta }_L,{\theta }_U\right]$ 满足下列方程：

$\{\begin{array}{l}{\displaystyle \sum }_{i=1}^R{c}_i{G}_i\left({\theta }_L\right)=\alpha \\ {\displaystyle \sum }_{i=1}^R{c}_i{G}_i\left({\theta }_U\right)=1-\alpha \end{array}$

由于$c_i$ 是未知的，我们用与模型相对应的基于某种信息准则的模型权重$w_i$ 来估计上述公式中的$c_i$ ，则参数$\theta$ 的置信区间$\left[{\theta }_L,{\theta }_U\right]$ 满足下列方程：

$\{\begin{array}{l}{\displaystyle \sum }_{i=1}^R{w}_i{G}_i\left({\theta }_L\right)=\alpha \\ {\displaystyle \sum }_{i=1}^R{w}_i{G}_i\left({\theta }_U\right)=1-\alpha \end{array}$

如果${\widehat{\theta }}_i$ 的真实分布情况未知，假设每个模型的学生化的参数估计$\frac{{\widehat{\theta }}_i-\theta }{\widehat{se}\left({\widehat{\theta }}_i\right)}$ 服从标准正态分布或t分布，即$G_i(•)$ 为标准正态分布或者t分布的分布函数，本文利用参数Bootstrap方法构造变量的分布，即用参数估计的Bootstrap分布$\widehat{G_i}(•)$ 来近似上述公式中的分布$G_i(•)$ ，从而计算参数的模型平均置信区间。获取的参数$\theta$ 的$100\left(1-2\alpha \right)\%$ 的置信区间即为z版本或者t版本的MATA区间。

3. 数据模拟

考虑正态线性模型，包括8个候选模型，第m个模型中包含预测变量$x_1,x_2,x_3,\cdots ,x_{3+m}$ ，$m=1,\cdots ,8$ ，每个模型${\mu }_i={\displaystyle {\sum }_{j=1}^k{\theta }_j{x}_{ji}}$ 。假设数据的产生过程如下[11]：

$y_i={\mu }_i+{\epsilon }_i={\displaystyle \sum }_{j=1}^k{\theta }_j{x}_{ji}+{\epsilon }_i,i=1,\cdots ,n$

其中，$x_{1i}=1$ ，$\left(x_{2i},\cdots ,x_{ki}\right)~N_{k-1}\left(0,Q\right)$ ，$i=1,\cdots ,n$ ，${\epsilon }_i~N\left(0,1\right)$ 。Q的对角线元素为1，非对角线元素为$\rho$ 。$\theta =c\left(\frac{1}{a},\frac{1}{a},\frac{1}{a},\frac{1}{\sqrt{n}}\left(1,\frac{q-1}{q},\cdots ,\frac{1}{q}\right)\right)$ ，其中q是协变量的数目。在这里令$a=12$ ，并且$c,\rho$ 满足$R^2=\frac{{\tilde{\theta }}^{\prime }Q\tilde{\theta }}{1+{\tilde{\theta }}^{\prime }Q\tilde{\theta }}$ ，$\tilde{\theta }={\left({\theta }_2,\cdots ,{\theta }_k\right)}^{\prime }$ ，$q=8$ 。x是在每轮模拟中随机产生的。样本量分别取$35,45,\cdots ,95$ 这7种情形。对于感兴趣的参数选取为预测空间x各个点的$\mu$ 值，这里考虑预测空间x在不同信噪比下不同值处的$\mu$ 值。这里模拟次数为10³次，在计算Bootstrap模型平均置信区间时Bootstrap样本量取B = 1000。

3.1. MMAe权重下不同置信区间比较

由图3、图4和图5可以看出响应变量均值在不同置信区间的覆盖率和左、右错误率随样本容量n的变化趋势，图3右图、图4右图和图5右图的下方和上方分别为不同置信区间在不同样本量下的左、右错误率。为了表示方便，左错误率取负值后展示在图3右图、图4右图和图5右图的图下方，图1和图2展示了不同置信区间在R² = 0.4、R² = 0.6和R² = 0.8时不同样本量下的平均区间长度。

通过图1、图2、图3、图4和图5的数据可以得到以下结论：1) 右错误率方面，Wald区间整体要好于其它两种区间，Bootstrap模型平均置信区间在样本量较小时具有较低的右错误率水平，在R² = 0.4

Figure 1. The average interval length corresponding to different confidence intervals when R² = 0.4 (left) and R² = 0.6 (right)

图1. R² = 0.4 (左)与R² = 0.6 (右)时不同置信区间对应的平均区间长度

Figure 2. The average interval length corresponding to different confidence intervals when R² = 0.8

图2. R² = 0.8时不同置信区间对应的平均区间长度

Figure 3. The coverage rate (left) and error rate (right) corresponding to different confidence intervals when R² = 0.4

图3. R² = 0.4时不同置信区间对应的覆盖率(左)，左右错误率(右)

Figure 4. The coverage rate (left) and error rate (right) corresponding to different confidence intervals when R² = 0.6

图4. R² = 0.6时不同置信区间对应的覆盖率(左)，左右错误率(右)

Figure 5. The coverage rate (left) and error rate (right) corresponding to different confidence intervals when R² = 0.8

图5. R² = 0.8时不同置信区间对应的覆盖率(左)，左右错误率(右)

Figure 6. Coverage rate (left) and error rate (right) of MATA interval when R² = 0.6

图6. R² = 0.6时MATA区间的覆盖率(左)，左右错误率(右)

Figure 7. Coverage rate (left) and error rate (right) of Wald interval when R² = 0.6

图7. R² = 0.6时Wald区间的覆盖率(左)，左右错误率(右)

Figure 8. Coverage rate (left) and error rate (right) of Bootstrap interval when R² = 0.6

图8. R² = 0.6时Bootstrap区间的覆盖率(左)，左右错误率(右)

和R² = 0.6的情况下更接近名义错误率；左错误率方面，三种区间表现差距不大，2) 覆盖率方面，Bootstrap区间整体要逊于MATA区间和Wald区间，在R² = 0.4和R² = 0.6情况下，Wald置信区间整体表现较好。3) 平均区间长度方面，随着样本量的增大，三种置信区间平均长度的差距减小；在较小样本条件下，Bootstrap的平均区间长度长，以达到较高的覆盖率。4) 随着样本量的增加，三种区间估计方法都逐渐接近名义覆盖率。5) 随着R²的增大，Bootstrap区间，MATA区间，Wald区间得到的平均区间长度均增大；且覆盖率在更低的样本量下到达名义覆盖率。

3.2. 不同赋权方法在不同置信区间下的比较

通过图6、图7、图8的数据可以得到以下结论：1) 右错误率方面，MMAe方法整体要好于其它三种方法，且更接近名义错误率，左错误率方面，四种方法表现差异不大；2) 覆盖率方面，MMAe方法无论在哪种区间下表现都好，均在更低的样本量下到达名义覆盖率，MATA置信区间和Wald置信区间相差不大，Bootstrap置信区间在该信噪比下在样本量较大时到达名义覆盖率；3) 随着样本量的增加，三种区间估计方法都逐渐接近名义覆盖率。

4. 实证分析

本节应用提到的模型平均方法，结合不同的模型平均区间方法，利用财产估值数据来说明这些模型平均区间方法之间的差异。我们所考虑的数据来自Subhash C. Narula & John F. Wellington [14]的论文。数据包含9个预测变量，分别为：x₁ (地方的，学校的，国家的)税额/1000、x₂浴缸数、x₃占地面积(平方英尺 × 1000)、x₄居住面积(平方英尺 × 1000)、x₅车库数、x₆房间数、x₇卧室数、x₈房龄(年)、x₉壁炉数，响应变量是房屋销售价格/1000。我们的目标是通过预测变量来预测房屋销售价格/1000的值。我们考虑7个

模型，其中第m个模型中包含预测变量$x_0,x_1,x_2,x_3,\cdots ,x_{2+m}$ ，$m=1,\cdots ,7$ ，x₀为截距项，每个模型${\mu }_i={\displaystyle {\sum }_{j=1}^k{\theta }_j{x}_{ji}}$ ，本实例给定置信区间的名义置信水平为95%。

图9展示了关于财产估值数据预测均值在MMAe权重下不同置信区间(MATA, Bootstrap, Wald)的分析结果，Bootstrap区间的区间长度大于Wald置信区间和MATA置信区间，Bootstrap模型平均置信区间在样本量较小时具有较低的右错误率水平，且在样本量较小的情况下区间长度在三种方法中最长，这与我们的模拟情况表现一致。

Figure 9. 95% confidence interval for models with different confidence intervals

图9. 不同置信区间模型平均95%置信区间

5. 结论

通过上述模拟可知在一个数据集中，当样本量小且使用MMAe方法赋值权重时，使用Bootstrap置信区间会更好；当有用的信号相对较少，而噪音或随机变动相对较多时，使用Wald置信区间会得到更好的覆盖率；在噪音或随机变动相对较少时，在MMAe权重下，使用任意一种模型平均置信区间方法在覆盖率方面表现都较好，但是MATA置信区间区间长度更短，故在该情形下，MATA置信区间更适合。

文中模拟了在假设情形下MMAe赋权方法的表现情况，但是并未模拟模型平均置信区间的其它构造方法。随着模型平均的研究发展，利用模型平均构造置信区间的方法也是层出不穷。除了本文中提到的模型平均置信区间的方法，还有基于转换的模型平均尾部区域置信区间，学生化Bootstrap模型平均尾部区域区间等，因此其他的模型平均方法在MMAe赋权时还有待挖掘。

NOTES

^*通讯作者。