矩生成函数及其应用

Moment Generating Function and Its Application

摘要: 本文主要介绍矩生成函数和累积生成函数，引入高阶张量矩生成函数和累积张量。对大小一致的随机矩阵序列，考察了随机矩阵 对应的高阶张量矩和累积张量的性质。

Abstract: In this paper we mainly introduce moment generating function, cumulative generating function, high-order tensor moment generating function, and the cumulative tensor. For random matrix sequences of the same size, the properties of the higher-order tensor moments and cumulative tensor corresponding to the random matrix are also investigated.

1. 引言

假设X是一个实随机变量，那么它的矩函数就是 $X-\mu$ 的乘方的期望 [1] [2]。X的矩函数可表示样本分布的均值、离散程度和斜度等样本统计特性。矩函数在统计中有重要的地位，如利用矩函数可以实现统计模型中的参数估计 [3]。

矩生成函数可用于快速求解随机变量的各阶矩。利用矩生成函数，我们还可以研究不同阶矩之间的关系 [4] [5]。进一步，矩生成函数与一个变量的分布构成1-1对应关系。因此，我们可以通过矩生成函数来刻画一个随机变量的概率分布特性。另外，矩生成函数和累积生成函数都可以用于估计多元响应降维子空间 [6] [7]。而且，多元矩生成函数可以应用于射线照相胶片系统中信号和噪声传播分析 [8]。本文主要研究多元随机向量的矩生成函数及其应用。我们还将研究矩生成函数和累积生成函数之间的关系，以及它们在正态分布和γ分布中的应用。

2. 预备知识

定义2.1 实随机变量X的矩生成函数定义为随机变量 ${\text{e}}^{tX}$ 的期望，即 $M_X\left(t\right)=E\left({\text{e}}^{tX}\right)$，t为实变量。若 ${\mu }_k=E\left[X^k\right]$ 为随机变量X的k阶矩(或记k-矩)。则矩生成函数满足

$M_X\left(t\right)={\displaystyle \underset{k=0}{\overset{\infty }{\sum }}{\mu }_k\frac{t^k}{k!}}$ (2.1)

一个随机向量 $X\in R^P$ 的矩生成函数定义为

$M_X\left(u\right)=E\left({\text{e}}^{u^{t}X}\right)$ (2.2)

$u\in R^p$ 为实向量。进一步，随机矩阵 $X\in R^{m\times n}$ 的生成函数定义为

$M_X\left(U\right)=E\left[{\text{e}}^{tr\left(U^{\prime }X\right)}\right]$ (2.3)

其中 $U\in R^{m\times n}$ 为实矩阵。 $\langle U,X\rangle =tr\left(U^{\prime }X\right)$ 为矩阵U和X的内积。注意到(2.2)为(2.3)的特殊情形。

定义2.2 变量(包括向量与矩阵) X的累积生成函数定义为

$K_X\left(t\right)=\log \left(M_X\left(t\right)\right)$ (2.4)

对 $K_X$ 进行幂级数展开：

$K_X\left(t\right)={\displaystyle \underset{r=1}{\overset{\infty }{\sum }}{k}_r{t}^r/r!}$ (2.5)

定义 $k_r$ 是Y的累积量。

一个随机张量 $A=\left(a_{i_1{i}_2\cdots i_m}\right)\in R^{n_1\times n_2\times \cdots \times n_m}$ 为一个多元随机数组，它为随机矩阵的高阶情形，其中m称

为A的阶。我们称 $n_1\times \cdots \times n_m$ 为A的大小。当 $n=n_1=\cdots =n_m$ 时，A称为m阶n维张量。所有第m阶n维实张量构成的集合记为。

设 $A,B$ 为大小相同的两个张量，定义它们的内积为 $\langle A,B\rangle ={\displaystyle \underset{i_1,i_2,\cdots ,i_m}{\sum }{a}_{i_1{i}_2\cdots i_m}{b}_{i_1{i}_2\cdots i_m}}$。 $A,B$ 的内积也记为AB。

3. 主要结果

记 $x={\left(x_1,x_2\right)}^{\text{T}}\in R^2$ 为一个2维随机向量， $m_{ij}=E\left[x_1^i{x}_2^j\right]$。则

$m_{10}=E\left[x_1\right],m_{01}=E\left[x_2\right],m_{20}=E\left[x_1^2\right],m_{02}=E\left[x_2^2\right],m_{11}=E\left[x_1{x}_2\right]=E\left[x_2{x}_1\right]$

若记随机向量x的均值向量和协方差矩阵分别为 $\mu$ 和 $\Sigma$，那么有

定理3.1 设 $x={\left(x_1,x_2\right)}^{\text{T}}$ 为随机向量。则其矩生成函数M_x满足以下条件：

1)；

2)。

一个随机向量的k阶矩共有nk个，它们构成一个k阶n维张量，定义为

, (3.1)

这里。对，记为由x生成的秩-1的m阶n维张量，其中。下面的定理为本文主要结论之一：

定理3.2 设随机变量。则有

(3.2)

证明：

我们由定理3.2，不难证明定理3.1。

定理3.3 设为独立随机变量，，则Y的矩生成函数是X_i的矩生成函数之积，即：

(3.3)

或

(3.4)

证明：因为是独立的且，所以

为了说明幂级数展开，我们先来考察Y的1-3阶矩。由X_i的独立性，有

，

令，因彼此独立，所以

因此

但是

因此，的幂级数展开不等于的幂级数展开之和。

定理3.4 设为独立随机变量，且，则

(3.5)

证明：(3.5)可由下式证得：

定理3.5 随机变量X的累积量满足以下条件：

(3.6.1)

(3.6.2)

(3.6.3)

(3.6.4)

证明：由(3.3)式知

(3.7)

由式(2.1)和(2.4)得，X的累积生成函数可表为

(3.8)

注意到的幂级数展开

(3.9)

取，则

(3.10)

由(3.8~3.10)知

(3.11)

比较的系数，可得(3.6.1~3.6.4)。

例3.1设为随机变量且。则矩生成函数满足

(3.12)

因此有。若是独立随机变量，则的累积生成函数为

(3.13)

它对应正态分布。现考虑γ-分布，则，故累积生成函数为

(3.14)

现设独立且服从标准正态分布，那么服从卡方分布。注意到

因此S₁ (因此每个S_i)的密度函数为，从而，故

(3.15)

(3.15)为的矩生成函数。因此的密度函数和密度函数相同：

4. 张量矩生成函数和累积张量

随机向量的矩生成函数可以推广至随机张量的矩生成函数的情形：

定义4.1 一个随机张量的矩生成函数定义为

(4.1)

其中为任意m阶n维张量。

推论4.2 设为随机张量。矩生成函数与矩函数之间满足关系：

(4.2)

其中为的矩函数。

定理4.1 设为统计独立随机张量，且，则

(4.3)

即Y的矩生成函数为生成函数的积，或

(4.4)

证明：因为是线性无关的，且，所以

定义4.2 张量的累积张量为

(4.5)

定理4.2 Y的张量矩生成函数的对数是的张量矩生成函数的对数的总和。即

(4.6)

证明：

同样，定义是Y的累积量，则具有幂级数展开：

(4.7)

并且

(4.8)

由公式(4.2)知，当时，它的累积张量可以写为

(4.9)

取，则

(4.10)

由公式(4.10)知，仅在x中出现，只出现在x和中，依此类推，我们可以得到

(4.11)

将累积量与的系数进行比较，我们可以得到

(4.12)