三种扰动下约束LIU估计的影响分析
Influence Analysis of Constrained LIU Estimation under Three Disturbances
DOI: 10.12677/AAM.2020.910212, PDF, HTML, XML,   
作者: 陈 菊, 李 荣：贵州民族大学，数据科学与信息工程学院，贵州 贵阳
关键词: 约束LIU估计；影响分析；广义Cook距离；Constrained LIU Estimation； Influence Analysis； Generalized Cook Distance
摘要: 针对线性模型下约束LIU估计的影响分析问题，得到了原模型与数据删除模型、协方差扰动模型以及均值漂移模型间约束LIU估计的关系式，分别给出了影响度量的广义Cook距离的计算公式。
Abstract: Aiming at the influence analysis of constrained LIU estimation in linear model, the relations between the original model and data deletion model, covariance disturbance model and mean shift model are obtained, and the calculation formulas of generalized Cook distance of influence measure are given respectively.
文章引用：陈菊, 李荣. 三种扰动下约束LIU估计的影响分析[J]. 应用数学进展, 2020, 9(10): 1829-1837. https://doi.org/10.12677/AAM.2020.910212

1. 引言

考虑带等式约束的线性模型：

{ Y = X β + ε , E ( ε ) = 0 , C o v ( ε ) = σ 2 I n R β = 0 (1)

其中y是 n × 1 的响应变量，X是 n × p 的已知设计矩阵， β 为 p × 1 未知参数向量， E ( ε ) 和 C o v ( ε ) 分别表示随机误差向量 ε 的均值和协方差矩阵， I n 表示n阶单位矩阵，R为 q × p 阶的行满秩非零矩阵。

针对模型(1)中未知参数向量 β 的估计问题，Rao [1] 提出了 β 的约束最小二乘估计：

β ^ R o l = ( I − S − 1 R ′ ( R S − 1 R ′ ) − 1 R ) β ^ o l

其中 S = X ′ X ， β ^ o l = ( X ′ X ) − 1 X ′ Y 。

为克服模型中可能存在的复共线性问题，GroB [2] 将线性模型中的岭估计思想引入模型(1)，提出了约束岭估计：

β ^ R k = ( I − S k − 1 R ′ ( R S k − 1 R ′ ) − 1 R ) β ^ k

其中 S k − 1 = ( X ′ X + K I ) − 1 ， β ^ k = ( X ′ X + K I ) − 1 X ′ Y 。

类似的，徐建文 [3] 针对模型(1)中未知参数向量 β 的估计问题，提出了约束LIU估计：

β ^ R d = ( I − S − 1 R ′ ( R S − 1 R ′ ) − 1 R ) β ^ d

其中 β ^ d = ( X ′ X + I ) − 1 ( X ′ X + d I ) β ^ o l 。

当给模型(1)加入微小扰动时，统计推断会发生改变，所以有必要对模型扰动的方式进行研究，同时给出度量扰动对统计推断影响大小的诊断统计量也是有必要的。

于义良和吴诗泳 [4] 研究了模型(1)中 β ^ R o l 的影响问题，得到了基于 β ^ R o l 的强影响点度量W-K统计量和Cook距离的表达式。赵帅 [5] 考虑了模型(1)的单个数据删除模型

{ Y ( i ) = X ( i ) β + ε ( i ) , E ( ε ( i ) ) = 0 , C o v ( ε ( i ) ) = σ 2 I n − 1 R β = 0 (2)

扰动下含k、d参数LIU估计的影响分析问题，得到了模型(1)和模型(2)下LIU估计间的关系式，并给出度量模型(2)扰动前后LIU估计的影响大小的Cook距离表达式，模型(2)中 Y ( i ) ， X ( i ) 和 ε ( i ) 分别为模型(1)中的Y, X, ε 删除第i行数据所得的向量或矩阵。

张尚立和覃红 [6] 给出了模型(1)的协方差扰动模型

{ Y = X β + ε , E ( ε ) = 0 , C o v ( ε ) = σ 2 G − 1 R β = 0 (3)

并研究了协方差阵扰动对最佳线性无偏估计(BLUE)的影响分析问题，得到了度量在约束条件下协方差阵对BLUE的影响程度的广义Cook距离的两个计算公式。其中G为正定矩阵。

邢慧娟 [7] 考虑了模型(1)的均值漂移模型

{ Y = X β + D η + ε , E ( ε ) = 0 , C o v ( ε ) = σ 2 I n R β = 0 (4)

扰动前后岭估计的关系式，定义了用来度量模型(4)扰动前后影响大小的广义Cook距离计算表达式，得出一些有意义的理论结果。模型(4)中 η 为 m × 1 维列向量，D是 n × m 矩阵。

本文主要研究在模型(2)、(3)和(4)扰动下的影响分析问题，得到扰动前后 β ^ R d 间的关系，并给出度量扰动对约束LIU估计的影响程度的广义Cook距离的计算公式。

2. 模型(1)与三种扰动模型下LIU估计的关系

引理 1 [8]：设 A = ( A 11 A 12 A 21 A 22 ) 可逆。若 | A 11 | ≠ 0 ，则 A − 1 = ( A 11 A 12 A 21 A 22 ) − 1 = ( A 11 − 1 + A 11 − 1 A 12 A 22.1 − 1 A 21 A 11 − 1 − A 11 − 1 A 12 A 22.1 − 1 − A 22.1 − 1 A 21 A 11 − 1 A 22.1 − 1 )

若 | A 22 | ≠ 0 ，则 A − 1 = ( A 11 A 12 A 21 A 22 ) − 1 = ( A 11.2 − 1 − A 11.2 − 1 A 12 A 22 − 1 − A 22 − 1 A 21 A 11.2 − 1 A 22 − 1 + A 22 − 1 A 21 A 11.2 − 1 A 12 A 22 − 1 )

其中 A 22.1 = A 22 − A 21 A 11 − 1 A 12 ， A 11.2 = A 11 − A 12 A 22 − 1 A 21 。

引理 2 [8]：若矩阵A, D可逆，则

( A + B D B ′ ) − 1 = A − 1 − A − 1 B ( B ′ A − 1 B + D − 1 ) − 1 B ′ A − 1

( A − B C ) − 1 = A − 1 + A − 1 B ( I − C A − 1 B ) − 1 C A − 1

2.1. 数据删除扰动

定理1模型(1)与模型(3)的LIU估计 β ^ R d 与 β ^ R d ( i ) 有如下关系：

β ^ R d ( i ) = β ^ R d − ( I − S − 1 M ) K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ i − ( I − S − 1 M )     ∗ S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i S − 1 M [ β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ ]     − ( I − S − 1 M ) K − 1 x i [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ K − 1 S d − I ] S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ′ ^     + ( I − S − 1 M ) K − 1 x i ( 1 − h ¯ i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ β ^ d − β ^ o l ]

其中 h ¯ i i = x ′ i K − 1 x i , h i i = x ′ i S − 1 x i , e ^ ′ i = y ′ i − x ′ i β ^ o l , M = R ′ ( R S − 1 R ′ ) − 1 R , N = x ′ i S − 1 M S − 1 x i 。

证明：由模型(4)和约束LIU估计的定义给出 β ^ R d ( i ) 的表达式如下：

β ^ R d ( i ) = β ^ d ( i ) − S ( i ) − 1 R ′ ( R S ( i ) − 1 R ′ ) − 1 R β ^ d ( i ) (5)

其中 β ^ d ( i ) = K ( i ) − 1 S d ( i ) S ( i ) − 1 X ′ ( i ) Y ( i ) ，我们根据 K ( i ) − 1 = ( X ′ ( i ) X ( i ) + I ) − 1 = ( X ′ X + I − x i x ′ i ) − 1 ， S d ( i ) = X ′ ( i ) X ( i ) + d I = X ′ X + d I − x i x ′ i ， S ( i ) − 1 = ( X ′ ( i ) X ( i ) ) − 1 = ( X ′ X − x i x ′ i ) − 1 ， X ′ ( i ) Y ( i ) = X ′ Y − x i y ′ i 。由引理2可将 β ^ d ( i ) 表达成如下形式：

β ^ d ( i ) = ( K − 1 + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i K − 1 ) ( S d − x i x ′ ) ( S − 1 + S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 ) ( X ′ Y − x i y ′ i ) = [ K − 1 S d + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i ( K − 1 S d − I ) ] [ β ^ o l − S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i ] = β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i [ β ^ d − β ^ o l ]     − K − 1 x i x ′ ( K − 1 S d − I ) S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ^ ′ i

注意到 I − N ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 = [ I + N ( 1 − h i i ) − 1 ] − 1 ，由 β ^ R d ( i ) = ( I − S ( i ) − 1 R ′ ( R S ( i ) − 1 R ′ ) − 1 R ) β ^ d ( i ) ，故而有：

S ( i ) − 1 R ′ ( R S ( i ) − 1 R ′ ) − 1 R = [ S − 1 + S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 ] R ′ [ R S − 1 R ′ + R S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 R ′ ] − 1 R = [ S − 1 + S − 1 x i ( 1 − h i i ) − 1 x ′ S − 1 ] { M − M S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M } = S − 1 M + ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M (6)

把(6)式及 β ^ d ( i ) 代入(5)式得

β ^ R d ( i ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M } β ^ d ( i ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M }     ∗ { β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i + K − 1 x i ( 1 − h ¯ i i ) − 1 x ′ i [ β ^ d − β ^ o l ]     − K − 1 x i x ′ ( K − 1 S d − I ) S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ^ ′ i }

= ( I − S − 1 M ) β ^ d − ( I − S − 1 M ) K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i     − ( I − S − 1 M ) S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ S − 1 M [ β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ ]     + ( I − S − 1 M ) K − 1 x i ( 1 − h ¯ i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 { x ′ i [ β ^ d − β ^ o l ] − x ′ ( K − 1 S d − I ) S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i }

化简上式可得模型(1)与模型(2)的约束LIU估计 β ^ R d 与 β ^ R d ( i ) 间的关系式，定理1得证。

2.2. 协方差扰动

定理 2模型(1)与模型(3)的LIU估计 β ^ R d 与 β ^ R d ( G ) 有如下关系：

β ^ R d ( G ) = β ^ R d − ( I − S − 1 M ) K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1     ∗ [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M [ β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ]     + ( I − S − 1 M ) K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 { X [ β ^ d − β ^ o l ] + ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ }     − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M K − 1 X ′ G ¯     ∗ ( I − H k G ¯ ) − 1 { X [ β ^ d − β ^ o l ] + ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ }

其中记 G ¯ = I − G ， K = X ′ X + I ， S d = X ′ X + d I ， S = X ′ X ， M = R ′ ( R S − 1 R ′ ) − 1 R ， N = X S − 1 M S − 1 X ′ ， H = X S − 1 X ′ ， H k = X K − 1 X ′ ， H d = X K − 1 S d S − 1 X ′ ， e ^ = Y − X β ^ 。。

证明：由LIU估计的定义可以给出在线性模型协方差扰动下的LIU估计为：

β ^ d ( G ) = K G − 1 S d , G β ^ ( G ) (7)

同理，模型(2)在协方差扰动下的约束LIU估计为：

β ^ R d ( G ) = β ^ d ( G ) − S G − 1 R ′ ( R S G − 1 R ′ ) − 1 R β ^ d ( G ) (8)

其中 K G − 1 = ( X ′ G X + I ) − 1 ， S d , G = X ′ G X + d I ， S G − 1 = ( X ′ G X ) − 1 ， β ^ ( G ) = S G − 1 X ′ G Y 。

由引理2得到

K G − 1 = ( X ′ G X + I ) − 1 = ( K − X ′ G ¯ X ) − 1 = K − 1 + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X K − 1 (9)

S d , G = X ′ G X + d I = S d − X ′ G ¯ X (10)

S G − 1 = ( X ′ G X ) − 1 = ( S − X ′ G ¯ X ) − 1 = S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) X S − 1 (11)

β ^ ( G ) = S G − 1 X ′ G Y = S G − 1 ( X ′ Y − X ′ G ¯ Y ) (12)

将式(9)至(12)代入(7)整理得

β ^ d ( G ) = ( K − 1 + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X K − 1 ) ( S d − X ′ G ¯ X ) ( S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 ) ( X ′ Y − X ′ G ¯ Y ) = [ K − 1 S d + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X ( K − 1 S d − I ) ] [ β ^ − S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ] = β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X [ β ^ d − β ^ o l ]     + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ (13)

又由(8)式得 β ^ R d ( G ) = { I − ( X ′ G X ) − 1 R ′ [ R ( X ′ G X ) − 1 R ′ ] − 1 R } β ^ d ( G ) ，注意到 I − N G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 = [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1

故

( X ′ G X ) − 1 R ′ [ R ( X ′ G X ) − 1 R ′ ] − 1 R = [ S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 ] R ′ [ R S − 1 R ′ + R S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 R ′ ] − 1 R = [ S − 1 + S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 X S − 1 ] { M − M S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M } = S − 1 M + ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M

从而有

β ^ R d ( G ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M } β ^ d ( G )

把(13)式代入上式得到

β ^ R d ( G ) = { I − S − 1 M − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M } ∗ { β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 X [ β ^ d − β ^ o l ] + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ } = ( I − S − 1 M ) β ^ d − ( I − S − 1 M ) K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ − ( I − S − 1 M )

  ∗ S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M [ β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ]   + { I − S − 1 M − ( I − S − 1 M ) S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M }   ∗ K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 { X [ β ^ d − β ^ o l ] + ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ }

化简上式可得模型(1)与模型(3)的约束LIU估计 β ^ R d 与 β ^ R d ( G ) 间的关系式，定理2得证。

2.3. 均值漂移扰动

定理3 记 Z = ( X D ) ， α = ( β η ) ，模型(4)可改写成 Y = Z α + ε ，参数 α 的最小二乘估计为 α ^ η = ( β ^ η η ^ ) = ( Z ′ Z ) − 1 Z ′ Y ，若 | I m − X 1 ( X ′ X ) − 1 X ′ 1 | 可逆，则 β ^ η = β ^ − ( X ′ X ) − 1 X ′ 1 [ I m − X 1 ( X ′ X ) − 1 X ′ 1 ] − 1 ξ 1

其中 X ′ 1 = X ′ D ， Y 1 = D ′ Y ， I m = D ′ D ， ξ 1 = Y 1 − X 1 β ^ ， β ^ = ( X ′ X ) − 1 X ′ Y 。

证明：因为 Z ′ Z = ( X ′ D ′ ) ( X D ) = ( X ′ X X ′ D D ′ X D ′ D ) = ( X ′ X X ′ 1 X 1 I m ) ，由引理1得 α 的最小二乘估计为：

α ^ η = ( Z ′ Z ) − 1 Z ′ Y = ( X ′ X X ′ 1 X 1 I m ) − 1 ( X ′ Y D ′ Y ) = ( S − 1 + S − 1 X ′ 1 H − 1 X 1 S − 1 − S − 1 X ′ 1 H − 1 − H − 1 X 1 S − 1 H − 1 ) ( X ′ Y D ′ Y ) = ( β ^ − S − 1 X ′ 1 H − 1 ξ 1 H − 1 ξ 1 )

其中 H = I m − X 1 S − 1 X ′ 1 ，则有 β ^ η = β ^ − S − 1 X ′ 1 H − 1 ξ 1 ，该定理给出了最小二乘估计与均值漂移后参数 β 间的关系，且定理3得证。

定理4 若 H k 可逆，则有 β ^ d ( η ) = β ^ d − K − 1 S d S − 1 X ′ 1 H − 1 ξ 1 + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 )     + K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1

证明：因为 α ^ d ( η ) = K η − 1 S d , η α ^ η ，由引理1有

K η − 1 = ( X ′ X + I p X ′ 1 X 1 2 I m ) − 1 = ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 − K − 1 X ′ 1 H k − 1 − H k − 1 X 1 K − 1 H k − 1 ) , S d , η = ( X ′ X + d I p X ′ 1 X 1 ( d + 1 ) I m )

其中 H k = 2 I m − X 1 K − 1 X ′ 1 ，把 K η − 1 ， S d , η ， α ^ η 代入 α ^ d ( η ) = K η − 1 S d , η α ^ η 整理得

α ^ d ( η ) = ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 − K − 1 X ′ 1 H k − 1 − H k − 1 X 1 K − 1 H k − 1 ) ( X ′ X + d I p X ′ 1 X 1 ( d + 1 ) I m ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 H − 1 ξ 1 ) = ( ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 ) ( X ′ X + d I p ) − K − 1 X 1 ′ H k − 1 X 1 ( K − 1 + K − 1 X ′ 1 H k − 1 X 1 K − 1 ) X ′ 1 − K − 1 X ′ 1 H k − 1 ( d + 1 ) I m − H k − 1 X 1 K − 1 ( X ′ X + d I p ) + H k − 1 X 1 − H k − 1 X 1 K − 1 X ′ 1 + H k − 1 ( d + 1 ) I m ) ∗ ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 H − 1 ξ 1 ) = ( β ^ d − K − 1 S d S − 1 X ′ 1 H − 1 ξ 1 + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 ) + K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1 # )

(注：由于只考虑 β 的相关情况，非相关项用#省略)。

定理4得证。

定理5 模型(1)与模型(4)的约束LIU估计 β ^ R d 与 β ^ R d ( η ) 有如下关系

β ^ R d ( η ) = β ^ R d + ( I − S − 1 M ) { K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1 − K − 1 S d S − 1 X ′ 1 H − 1 ξ 1 + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 ) }

证明：根据约束LIU估计的定义，给出模型(4)的约束LIU估计的表达式：

β ^ R d ( η ) = ( I − S − 1 M ) β ^ d ( η ) (14)

这里的M与前文的定义一样。

把定理4代入(14)式化简就可以得到定理5，证毕。

当模型(2)中 R = 0 时，型(1)与模型(2)的LIU估计 β ^ R d 与 β ^ R d ( i ) 退化为不带约束 β ^ d 与 β ^ d ( i ) 间的关系式

β ^ d ( i ) = β ^ d − K − 1 S d S − 1 x i e ^ ′ i / ( 1 − h i i ) − K − 1 x i x ′ i [ K − 1 S d − I ] S − 1 x i e ^ ′ i / ( 1 − h ¯ i i ) ( 1 − h i i )     + K − 1 x i x ′ i [ β ^ d − β ^ o l ] / ( 1 − h ¯ i i )

与张莉莉和张尚立 [9] 的结论相同，同理，模型(2)和模型(3)退化后的结论也与之相同。

3. 诊断统计量

为了度量不同扰动模型下约束LIU估计的影响程度，类似Cook距离的思想，我们定义广义Cook距离

D ( L , c ) = ( β ^ R d ( g ) − β ^ R d ) ′ K ( β ^ R d ( g ) − β ^ R d ) σ 2 (15)

式(15)中 β ^ R d ( g ) 分别表示 β ^ R d ( i ) , β ^ R d ( G ) , β ^ R d ( η ) ，K与前文定义一样， β ^ R d 表示模型(1)的约束LIU估计。

由模型(2)可得Cook距离为：

D ( K , σ 2 ) ( i ) = { − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ i − S − 1 x i ( 1 − h i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i S − 1 M       ∗ [ β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ ] − K − 1 x i [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ K − 1 S d − I ] S − 1 x i       ∗ ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ′ ^ + K − 1 x i ( 1 − h ¯ i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ β ^ d − β ^ o l ] } ′       ∗ ( I − S − 1 M ) K ( I − S − 1 M ) σ 2 ∗ { − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ i − S − 1 x i ( 1 − h i i ) − 1      

  ∗ [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i S − 1 M ∗ [ β ^ d − K − 1 S d S − 1 x i ( 1 − h i i ) − 1 e ′ ^ ]   − K − 1 x i [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ K − 1 S d − I ] S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ′ ^   + K − 1 x i ( 1 − h ¯ i i ) − 1 [ I + N ( 1 − h i i ) − 1 ] − 1 x ′ i [ β ^ d − β ^ o l ] }

根据模型(3)有：Cook距离为：

D ( K , σ 2 ) G = { − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ − S − 1 X ′ G ¯ ( I − H G ¯ ) − 1       ∗ [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M [ β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ]       + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 [ X ( β ^ d − β ^ o l ) − ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ ]       − S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1       ∗ [ X ( β ^ d − β ^ o l ) − ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ ] } ′ ( I − S − 1 M ) K ( I − S − 1 M ) σ 2

  ∗ { − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ − S − 1 X ′ G ¯ ( I − H G ¯ ) − 1   ∗ [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M [ β ^ d − K − 1 S d S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 e ^ ]   + K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1 [ X ( β ^ d − β ^ o l ) − ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ ]   − S − 1 X ′ G ¯ ( I − H G ¯ ) − 1 [ I + N G ¯ ( I − H G ¯ ) − 1 ] − 1 X S − 1 M K − 1 X ′ G ¯ ( I − H k G ¯ ) − 1   ∗ [ X ( β ^ d − β ^ o l ) − ( H − H d ) G ¯ ( I − H G ¯ ) − 1 e ^ ] }

模型(4)的Cook距离如下：

D ( K , σ 2 ) η = { ( β ^ ′ o l − ξ 1 ′ H − 1 X 1 S − 1 ) ( S d K − 1 − I ) X ′ 1 H k − 1 X 1 K − 1 − ξ ′ 1 H − 1 X 1 S − 1 S d K − 1       + ξ ′ 1 H − 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] X 1 K − 1 } ( I − S − 1 M ) K ( I − S − 1 M ) σ 2     ∗ { − K − 1 S d S − 1 X ′ 1 H − 1 ξ + K − 1 X ′ 1 [ I m + H k − 1 X 1 K − 1 X ′ 1 − ( d + 1 ) H k − 1 ] H − 1 ξ 1 1     + K − 1 X ′ 1 H k − 1 X 1 ( K − 1 S d − I ) ( β ^ o l − S − 1 X ′ 1 H − 1 ξ 1 ) }

当模型(2)中 R = 0 时， L = K ，cook距离为：

D ( K , σ 2 ) ( i ) = { − e ^ i ( 1 − h i i ) − 1 x ′ i S − 1 S d − e ^ i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 x ′ i S − 1 [ S d K − 1 − I ] x i x ′ i       + [ β ^ ′ d − β ^ ′ o l ] x i ( 1 − h ¯ i i ) − 1 x ′ i } K − 1 σ 2 { − S d S − 1 x i ( 1 − h i i ) − 1 e ^ ′ i       − x i x ′ i [ K − 1 S d − I ] S − 1 x i ( 1 − h ¯ i i ) − 1 ( 1 − h i i ) − 1 e ^ ′ i + x i ( 1 − h ¯ i i ) − 1 x ′ i [ β ^ d − β ^ o l ] }

与张莉莉和张尚立 [9] 的结论一致，同理，模型(3)和模型(4)的结论也与其的相同。

4. 结论

在约束LIU估计下，得到了数据删除模型、协方差模型及均值漂移模型扰动下 β ^ R d ( G ) 、 β ^ R d ( i ) 及 β ^ R d ( η ) 与原模型 β ^ R d 间的关系式，并根据度量最小二乘估计影响大小的诊断统计量Cook距离的思想，分别推导出了度量数据删除模型、协方差模型及均值漂移模型扰动前后影响大小的广义Cook统计量新的表达式。

参考文献

[1] Rao, C.R. (1973) Linear Statistical Inference and Its Applications. Wiley, New York.
https://doi.org/10.1002/9780470316436
[2] Groß, J. (2003) Restricted Ridge Estimation. Statistics and Probability Letters, 65, 57-64.
https://doi.org/10.1016/j.spl.2003.07.005
[3] 徐建文. 线性模型参数估计的约束有偏估计和预检验估计研究[D]: [博士学位论文]. 重庆: 重庆大学, 2009.
[4] 于义良, 吴诗泳. 约束Welsch-Kuh统计量与约束Cook距离[J]. 应用概率统计, 1991, 7(2): 136-142.
[5] 赵帅. 带约束线性模型LIU估计的影响分析[D]: [硕士学位论文]. 北京: 北京交通大学, 2015.
[6] 张尚立, 覃红. 约束条件下线性模型协方差阵扰动的影响分析[J]. 数学物理学报, 2006, 26(4): 621-628.
[7] 邢慧娟. 带约束线性模型岭估计的影响分析[D]: [硕士学位论文]. 北京: 北京交通大学, 2010.
[8] 张贤达. 矩阵分析与应用[M]. 北京: 清华大学出版社, 2004.
[9] 张莉莉, 张尚立. 线性回归模型LIU估计的影响分析[J]. 科学技术与工程, 2010, 10(9): 2049-2051.

为你推荐