两个独立二项分布比例差的提升Beal区间估计

A Modified Beal Interval for the Difference between Two Independent Binomial Proportions

摘要: 本文对两个独立二项分布的比例差提出了一种提升Beal区间估计方法，这种方法具有较好的覆盖率和最小覆盖率，区间长度也比较短，并且，新方法使用的最优权值具有显式表达式，计算简单，增加的计算量很小。模拟结果和实例分析表明了这种方法具有良好的有效性和稳定性。

Abstract: This paper proposes a modified Beal interval for the difference between independent binomial proportions. The new method with the optimal weight has better coverage probabilities and shorter intervals than most of the often used ones. Most importantly, the optimal weight value has a simple non-iterative form, therefore there is no much additional computation compared with the existing methods. A real extreme case is analysed to show the claimed properties and practical usability.

1. 研究背景

区间估计是统计推断的基本任务之一，很多常用的区间估计方法都是基于正态近似。令 $X_1,X_2$ 是两个独立的二项分布变量，分别服从二项分布 $B\left(n_1,p_1\right),B\left(n_2,p_2\right)$ 。两个二项分布的比例差定义为 $\theta =p_1-p_2$ ， $\theta$ 的最大似然估计是 $\hat{\theta }={\hat{p}}_1-{\hat{p}}_2$ ，其中 ${\hat{p}}_1=\frac{X_1}{p_1},{\hat{p}}_2=\frac{X_2}{p_2}$ 分别是 $p_1,p_2$ 的最大似然估计。给定 $p_1$ 和 $p_2$ ， $\hat{\theta }$ 的方差是 $var\left(\hat{\theta };p_1,p_2\right)=\frac{1}{n_1}{p}_1\left(1-p_1\right)+\frac{1}{n_2}{p}_2\left(1-p_2\right)$ ，用 ${\hat{p}}_1,{\hat{p}}_2$ 分别替换 $p_1,p_2$ 得到著名的Wald区间

$C{I}_{Wald}=\hat{\theta }\pm z_{\frac{\alpha }{2}}\sqrt{\frac{1}{n_1}{\hat{p}}_1\left(1-{\hat{p}}_1\right)+\frac{1}{n_2}{\hat{p}}_2\left(1-{\hat{p}}_2\right)}$ ，

其中 $z_{\frac{\alpha }{2}}$ 是标准正态分布的 $\frac{\alpha }{2}$ 分位数。Fleiss [1] 对Wald区间做了一个连续校正，得到

$C{I}_{Wald,cc}=\hat{\theta }\pm \left\{z_{\frac{\alpha }{2}}\sqrt{\frac{1}{n_1}{\hat{p}}_1\left(1-{\hat{p}}_1\right)+\frac{1}{n_2}{\hat{p}}_2\left(1-{\hat{p}}_2\right)}+\frac{1}{2}\left(\frac{1}{n_1}+\frac{1}{n_2}\right)\right\}.$

Mee [2] 使用 $p_1,p_2$ 的限制最大似然估计 ${\tilde{p}}_1,{\tilde{p}}_2$ 代替最大似然估计 ${\hat{p}}_1,{\hat{p}}_2$ ，得到

$C{I}_{Mee}=\hat{\theta }\pm z_{\frac{\alpha }{2}}\sqrt{\frac{1}{n_1}{\tilde{p}}_1\left(1-{\tilde{p}}_1\right)+\frac{1}{n_2}{\tilde{p}}_2\left(1-{\tilde{p}}_2\right)}.$

Beal [3] 引入了一个讨厌参数 $\eta =\frac{1}{2}\left(p_1+p_2\right)$ ，对 $p_1,p_2$ 重参数化得到 $p_1=\eta +\frac{\theta }{2},p_2=\eta -\frac{\theta }{2}$ ，给定 $\eta$ 和 $\theta$ ，可以得到 $\hat{\theta }$ 的方差是 $var\left(\hat{\theta };\eta ,\theta \right)=u\left[4\eta \left(1-\eta \right)-{\theta }^2\right]+2v\left(1-2\eta \right)\theta$ ，其中 $u=\frac{1}{4}\left(\frac{1}{n_1}+\frac{1}{n_2}\right),v=\frac{1}{4}\left(\frac{1}{n_1}-\frac{1}{n_2}\right)$ 。取 $\eta$ 的一个估计 $\tilde{\eta }$ ，求解 ${\left(\hat{\theta }-\theta \right)}^2\le z_{\frac{\alpha }{2}}^{2}var\left(\hat{\theta };\tilde{\eta },\theta \right)$ 得到Beal区间

$C{I}_{Beal}={\theta }^{*}\pm w,$

其中

${\theta }^{*}=\frac{\hat{\theta }+z_{\alpha /2}^{2}v\left(1-2\tilde{\eta }\right)}{1+z_{\alpha /2}^{2}u},$

$w=\frac{z_{\alpha /2}}{1+z_{\alpha /2}^{2}u}\sqrt{u\left[4\tilde{\eta }\left(1-\tilde{\eta }\right)-{\hat{\theta }}^2\right]+2v\left(1-2\tilde{\eta }\right)\hat{\theta }+4z_{\alpha /2}^2{u}^2\tilde{\eta }\left(1-\tilde{\eta }\right)+z_{\alpha /2}^2{v}^2{\left(1-2\tilde{\eta }\right)}^2}.$

Beal [3] 使用贝叶斯方法得到 $\tilde{\eta }=\frac{1}{2}\left(\frac{X_1+\mu }{n_1+2\mu }+\frac{X_2+\mu }{n_2+2\mu }\right)$ ，其中 $\mu \ge 0$ 。Beal研究了不同 $\mu$ 值得到的区间的小样本行为后建议使用 $\mu =0$ 或 $\mu =\frac{1}{2}$ ，这两个值对应的Beal区间分别又称为Haldane区间和Jeffreys-Perks区间。Roths & Tebbs [4] 发现，细心选择 $\mu$ 值可以提升Beal区间的表现，他们给出了 $\mu$ 值的最大似然估计和矩估计，使用这两个 $\mu$ 值的区间分别记为 $C{I}_{Beal-MLE}$ 和 $C{I}_{Beal-MOM}$ 。

本文我们关注Beal区间中 $\eta$ 值的非对称性问题，提出一种提升Beal区间。

2. 提升Beal区间

Newcomb [5] 通过大量的模拟计算发现，Haldane区间的覆盖率在实际中可以接近0，而Jeffreys-Perks区间虽然可以在一定程度上改善这种情况，但仍然不能彻底避免覆盖率过小的现象。基于此，我们需要改进Beal区间的表现。

记

$r=\frac{\mu }{2}\left(\frac{1}{n_1+2\mu }+\frac{1}{n_2+2\mu }\right),f_i=\frac{n_i}{n_i+2\mu },i=1,2$ (2.1)

其中 $\mu \ge 0$ ，则 $\tilde{\eta }=\frac{1}{2}\left(f_1{\hat{p}}_1+f_2{\hat{p}}_2\right)+r$ 。对Haldane区间， $\mu =0$ ，对Jeffreys-Perks区间， $\mu =\frac{1}{2}$ 。Beal [3] 取 $\eta$ 为 $p_1,p_2$ 的算术平均，但是 $p_1,p_2$ 对 $\eta$ 的影响可能是不同的，因此，我们取

${\eta }_{\lambda }=\lambda p_1+\left(1-\lambda \right)p_2,\lambda \in \left[0,1\right]$

作为讨厌参数，重参数化得到 $p_1={\eta }_{\lambda }+\left(1-\lambda \right)\theta ,p_2={\eta }_{\lambda }-\lambda \theta$ ，则

$var\left(\hat{\theta };{\eta }_{\lambda },\theta \right)=\frac{\left[{\eta }_{\lambda }+\left(1-\lambda \right)\theta \right]\left[1-{\eta }_{\lambda }-\left(1-\lambda \right)\theta \right]}{n_1}+\frac{\left({\eta }_{\lambda }-\lambda \theta \right)\left(1-{\eta }_{\lambda }+\lambda \theta \right)}{n_2}.$

假设 ${\tilde{\eta }}_{\lambda }$ 是 ${\eta }_{\lambda }$ 的一个估计，求解

${\left(\hat{\theta }-\theta \right)}^2-z_{\alpha /2}^{2}var\left(\hat{\theta };{\tilde{\eta }}_{\lambda },\theta \right)=0$ (2.2)

即得到以两个根为端点的的一个置信区间。经过繁琐的计算可以得到提升的Beal区间

其中

(2.3)

使用Beal [3] 的贝叶斯方法可以得到

(2.4)

的值影响区间的端点和中点，我们期望的均方误差(MSE)达到最小。容易计算得到的偏差和方差分别为

其中的定义见(2.1)式。最小化可以得到最优的：

其中。实际中，使用替换可以得到可用的最优调节参数。

3. 模拟

我们使用两个模拟试验验证提升Beal区间的效果，第一个用于检验覆盖率和最小覆盖率，第二个用于检验区间长度。作为对比，我们同时给出Wald方法、Mee方法和Beal方法(包含Roths & Tebbs [4] 改良的两种方法)的模拟结果。

3.1. 检验覆盖率

给定条件下，方法的覆盖率定义为，最小覆盖率定义为。取定，分别取和，计算9种方法的覆盖率和最小覆盖率，结果见图1~图2和表1。

从图1~图2和表1可以看出，Mee方法和提升的Jeffreys-Perks方法具有较高的最小覆盖率。

3.2. 检验置信区间长度

我们来评估9种方法的平均区间长度。给定，平均区间长度定义为

其中表示区间长度。取定，，分别取和，取，计算9种方法的平均区间长度，结果见表2。我们发现，Wald、Haldane、Beal-MOM、Haldane M和Jeffreys-Perks M方法都具有相对较小的平均区间长度。结合3.1节的覆盖率和最小覆盖的结果，我们推荐使用Jeffreys-Perks M方法，即提升的Jeffreys-Perks方法。

4. 实例分析

我们使用Wallenstein [6] 的数据，这是一个有关种族歧视的法律案例，详情见原文。这里，。我们之所以选择这个案例，是因为这里的属于极端情况。判断一种区间估计方法的好坏，其中一个标准就是看这个方法能否恰当地处理这种极端数据。我们使用提升的

Figure 1. CP for nine methods, ,

图1. 九种方法的覆盖率，，

Figure 2. CP for nine methods, ,

图2. 九种方法的覆盖率，，

Beal方法估计比例差的95%和99%置信区间。作为对比，我们也给出前述几种方法的估计结果，见表3。我们发现，对于这种极端情况，除了Mee方法和提升的Beal方法，其它方法估计出的区间都超出了[−1,1]的合理范围，这种现象称为overshoot现象，而Mee方法和提升的Beal方法可以避免这种现象的发生。此外，Mee方法和提升的Haldane方法具有相同的估计结果，但是在3.2节的模拟中，Mee方法的平均区

Table 1. Min CP for nine methods

表1. 九种方法的最小覆盖率

Table 2. Mean confidence interval length for nine methods (,)

表2. 九种方法的平均置信区间长度(,)

Table 3. The estimated 95% and 99% confidence intervals for the selected data

表3. 实际数据的95%和99%置信区间

间长度比提升的Haldane方法要大。综上所述，实际中我们推荐使用Mee方法和我们提出的提升Jeffreys-Perks方法。

5. 结论

本文我们通过改良Beal区间中的讨厌参数的选取，提出了一种提升Beal区间方法，最优调节参数可以通过一个显式表达式给出，计算简单。实验模拟显示我们的方法具有大的覆盖率和最小覆盖率，平均区间长度也比较短。实际中，我们推荐使用Mee方法和我们提出的提升Jeffreys-Perks方法。

基金项目

本文为“广东海洋大学人文社会科学项目：二项抽样下两独立总体的比例差的统计推断”项目成果。