随机张量的高斯分布

On Tensor Gaussian Distributions

摘要: 本文首先介绍一般多元高斯分布，包括随机向量高斯分布和随机矩阵高斯分布，研究了其基本性质，重点引进随机张量高斯分布，并研究了随机张量高斯分布的基本性质。

Abstract: In this paper, we first introduce the multivariate Gaussian distributions, including the Gaussian distribution of a random vector and the Gaussian distribution of a random matrix. Some basic properties of those Gaussian distributions are also investigated. We then introduce the tensor Gaussian distribution of a random matrix, and present some basic properties for tensor Gaussian distribution.

1. 背景知识

1.1. 高斯分布的背景知识

正态分布由德国数学家和天文学家Moivre于1733年提出，因德国数学家高斯率先将其应用于天文学研究，故又称高斯分布 [1] 。德国印有高斯头像的10马克钞票上还印有正态分布密度曲线。在高斯对数学各分支的诸多贡献中，对人类文明影响最大的当属高斯分布理论。1812年，法国数学家拉普拉斯指出一个二项分布可用正态分布逼近，并将高斯分布与中心极限定理联系起来。1837年，海根正式系统的提出高斯分布理论。

高斯分布大量的运用于统计学 [2] [3] 、经济学 [4] 、自然科学和社会科学 [5] 中，并用于自然界和人类社会中出现的各类分布的近似。如一类人群的身高、动植物生长发育在不同时期的体重、一个较大群体中个体的智力、记忆力和阅读技巧、工资收入分布、一个有1000多人构成的一个同一年级学生的考试成绩分布等，都服从高斯分布；在诸如航天科学 [6] 、天文与地理 [7] 、光学和量子力学 [8] 等高尖端领域，同样涉及到高斯分布。

一个服从高斯分布的一元随机变量 $x$ 对应的高斯分布密度函数(PDF)完全由其均值( $\mu$ )和方差( ${\sigma }^2$ )唯一确定。若随机变量 $x$ 服从均值为 $\mu$ 、方差为 ${\sigma }^2$ 的正态分布，那么x的概率分布密度函数(PDF)为

$f_x\left(x\right)=\frac{1}{\sqrt{2\text{π}{\sigma }^2}}\exp \left[-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}\right]$ (1.1)

记为 $x~N\left(\mu ,{\sigma }^2\right)$ 。若 $\mu =0,{\sigma }^2=1$ ，则称x服从标准正态分布，记为 $x\sim N\left(0,1\right)$ 。

为了得到随机向量的高斯分布，我们令 $z={\left(z_1,\cdots ,z_p\right)}^{\prime }\in R^p$ ，其中 $z_j\sim N\left(0,1\right)$ 独立同分布(i.i.d)由独立性我们可以得到 $z$ 的密度函数为

$f_z\left(z\right)={\left(2\text{π}\right)}^{-p/2}\exp \left(-\frac{1}{2}{z}^{\prime }z\right)$ (1.2)

记为 $z\sim N_p\left(0,I_p\right)$ ，并称 $z$ 服从标准正态分布。为了得到随机向量的更一般的高斯分布，我们记随机向量 $x={\left(x_1,x_2,\cdots ,x_n\right)}^{\prime }\in R^n$ 的均值为 $\mu$ ，且记x的协方差矩阵 $\Sigma$ (正定或半正定矩阵)的一个满秩分解为

$\Sigma ={\tau }^{\prime }\tau ,\tau \in R^{p\times n},rank\left(\tau \right)=p$ (1.3)

若 $x$ 与 $y=\mu +{\tau }^{\prime }z$ 具有相同分布且 $z\sim N_p\left(0,I_p\right)$ ，则称 $x\in R^n$ 服从向量高斯分布，表示为 $x\sim N_n\left(\mu ,\Sigma \right)$ 。若(1.3)中有 $n=p$ ，那么 $\Sigma$ 为正定矩阵，可得y的密度函数 [9]

$f_y\left(y\right)={\left(\text{2π}\right)}^{-n/2}{\left(\det \sum \right)}^{-1/2}\exp \left[-\frac{1}{2}{\left(y-\mu \right)}^{\prime }{\sum }^{-1}\left(y-\mu \right)\right]$ (1.4)

若(1.3)中有 $n>p$ 那么 $\Sigma$ 为非满秩半正定矩阵，对应密度函数可通过矩阵广义逆给出 [10] 。

进一步考虑随机矩阵 $Y=\left(y_{ij}\right)\in R^{m\times n}$ ，即 $Y$ 的每个元均为随机变量。我们有

定义1.1.1 [9] 称一个随机矩阵 $Z=\left(z_{ij}\right)\in R^{m\times n}$ 服从矩阵标准正态分布，记为 $Z\sim N_{m,n}\left(0,I_m,I_n\right)$ ，若满足以下两条：

$Z_{i·}\sim N_m\left(0,I_m\right),\forall i=1,2,\cdots ,m$ (1.5)

$Z_{·j}\sim N_n\left(0,I_n\right),\forall j=1,2,\cdots ,n$ (1.6)

其中 $Z_{i·},Z_{·j}$ 分别表示矩阵Z的第i个行向量和第j个列向量。

定义1.1.2 [9] 设随机矩阵 $Z\sim N_{m,n}\left(0,I_m,I_n\right)$ 。令 $\mu \in R^{m\times n}$ ，且

$\Xi ={\tau }_1{{\tau }^{\prime }}_1,\Sigma ={\tau }_2{{\tau }^{\prime }}_2,{\tau }_1\in R^{m\times r},{\tau }_2\in R^{n\times s}$ (1.7)

若 $Y$ 与 $X=\mu +{\tau }_{1}Z{{\tau }^{\prime }}_2$ 有相同分布，则称矩阵 $Y$ 服从矩阵高斯分布，表示为

$Y\sim N_{m,n}\left(\mu ,\Xi ,\Sigma \right)$ (1.8)

性质1.1.1 [9] 设随机矩阵 $Y\sim N_{m,n}\left(\mu ,\Xi ,\Sigma \right)$ ，其中 $\Xi ,\Sigma$ 都是正定矩阵。那么 $Y$ 的密度函数为

$f_Y\left(y\right)={\left(\text{2π}\right)}^{-mn/2}{\left(\det \Xi \right)}^{-m/2}{\left(\det \Sigma \right)}^{-n/2}\exp \left[-\frac{1}{2}{\left(y-\mu \right)}^{\text{T}}{\Xi }^{-1}\left(y-\mu \right){\Sigma }^{-1}\right]$ (1.9)

性质1.1.2 [9] 设 $Y\in R^{m\times n}$ 为随机矩阵。那么 $Y\sim N_{m,n}\left(\mu ,\Xi ,\Phi \right)$ 当且仅当

$vec\left(Y\right)\sim N_{mn}\left({\mu }_v,{\Sigma }_v\right)$ (1.10)

其中 ${\mu }_v=vec\left(\mu \right),{\sum }_v=\Phi \otimes \Xi$ 是两个(半)正定矩阵的Kronecker积。

证明：由于 $\Xi ,\Sigma$ 为正定或者半正定矩阵，那么 $\Xi ={\tau }_1{{\tau }^{\prime }}_1,\Phi ={\tau }_2{{\tau }^{\prime }}_2$ ,其中 ${\tau }_1\in R^{m\times r},{\tau }_1\in R^{n\times s}$ 。令 $Y=\mu +{\tau }_{1}Z{{\tau }^{\prime }}_2$ ，其中 $Z\sim N_{r,s}\left(0,I_r,I_s\right)$ ，则 $vec\left(Y\right)=vec\left(\mu \right)+\left({\tau }_2\otimes {\tau }_1\right)vec\left(Z\right)$ 。

故 $E\left[vec\left(Y\right)\right]=E\left[vec\left(\mu \right)\right]+\left({\tau }_2\otimes {\tau }_1\right)E\left[vec\left(Z\right)\right]=vec(\mu )$

$\mathrm{cov}\left[vec\left(Y\right)\right]=\left({\tau }_2\otimes {\tau }_1\right)\mathrm{cov}\left[vec\left(Z\right)\right]{\left({\tau }_2\otimes {\tau }_1\right)}^{\prime }=\left({\tau }_2\otimes {\tau }_1\right){\left({\tau }_2\otimes {\tau }_1\right)}^{\prime }={\tau }_2{{\tau }^{\prime }}_2\otimes {\tau }_1{{\tau }^{\prime }}_1=\Phi \otimes \Xi$

为了引入张量高斯分布，我们下面来介绍有关张量的一些基本概念与记号。

1.2. 张量的背景知识

张量又称多维数组 [11] [12] 。一个 $m\times n$ 矩阵为2阶张量，一个 $m$ 阶张量具有m个方向(mode, m-way)，记为 $A\in R^{I_1\times I_2\times \cdots \times I_m}$ 。一个3阶张量 $X\in R^{I\times J\times K}$ 的几何表示如图1。

一个0阶张量为一个标量，一个1阶张量为向量，2阶张量为一个矩阵，3阶或更高阶张量通常称为高阶张量。张量在元素表示上和矩阵相似，其下标个数与其阶数一致。如一个3阶张量 $X\in R^{I\times J\times K}$ 的第 $\left(i,j,k\right)$ 位置的元记为 $x_{ijk}$ 。

本文通过引进三阶张量高斯分布，实现传统形式下的高斯分布的推广。运用高阶张量，简化随机矩阵的特征函数、矩函数和密度函数等基本概念的表述。

Figure 1. Third order tensor $X\in R^{I\times J\times K}$

图1. 3阶张量 $X\in R^{I\times J\times K}$

2. 预备知识

2.1. 随机向量和随机矩阵的高斯分布

定义2.1.1 [9] (1)一个随机向量 $x\in R^n$ 的特征函数为 ${\varphi }_x\left(t\right)=E\left[\exp \left(i{t}^{\prime }x\right)\right]$ ，矩生成函数为 $m_x\left(t\right)=E\left[\exp \left(t^{\prime }x\right)\right]$

(2)一个随机矩阵 $X\in R^{m\times n}$ 的特征函数为 ${\varphi }_X\left(t\right)=E\left[\exp tr\left(i{T}^{\prime }X\right)\right]$ ，矩生成函数为 $m_x\left(t\right)=E\left[\exp tr\left(T^{\prime }X\right)\right]$

定义2.1.2 [10] (1)设给定随机向量 $z\in R^m$ ，其元素 $z_j\sim N\left({\mu }_j,1\right)$ 独立同分布，那么 $z$ 服从标准非中心化向量高斯分布，记作 $z\sim N_m\left(\mu ,I_m\right)$ ，若 $\mu =0$ ，那么 $z$ 称为标准中心向量高斯。

(2) 若 $z\sim N_m\left(0,I_m\right)$ ，有限的常数矩阵 $\Phi \in R^{n\times m}$ 满足 $1\le rank\left(\Phi \right)=m\le n$ ， $y=\Phi z+\mu$ 服从向量高斯分布，记作 $y\sim N_n\left(\mu ,\Sigma \right)$ ，其中 $\Sigma =\Phi {\Phi }^{\prime }$ ， $rank\left(\Sigma \right)=m$ 。

定理2.1.1 [10] (a)一个标准向量高斯分布 $z\sim N_m\left(0,{\sigma }^{2}I\right)$ 有特征函数 ${\varphi }_z\left(t\right)={\text{e}}^{-t^{\prime }t/2}$ ，矩生成函数 $m_z\left(t\right)={\text{e}}^{t^{\prime }t/2}$ ，均值 $E\left(z\right)=0\in {\Re }^m$ ，协方差矩阵 $\nu \left(z\right)=I\in {\Re }^{m\times m}$ 。

(b)一个向量高斯分布 $z\sim N_m\left(\mu ,I\right)$ 有特征函数 ${\varphi }_z\left(t\right)={\text{e}}^{i{t}^{\prime }\mu -t^{\prime }t/2}$ ，矩生成函数 $m_z\left(t\right)={\text{e}}^{t^{\prime }\mu +t^{\prime }t/2}$ ，均值 $E\left(z\right)=\mu \in {\Re }^m$ ，协方差矩阵 $\nu \left(z\right)=I\in {\Re }^{m\times m}$ 。

(c) $y\sim N_n\left(\mu ,\Sigma \right)$ 的特征函数是 ${\varphi }_y\left(t\right)={\text{e}}^{i{t}^{\prime }\mu -t^{\prime }\Sigma t/2}$ ，矩生成函数是 $m_y\left(t\right)={\text{e}}^{t^{\prime }\mu +t^{\prime }\Sigma t/2}$ 。

定理2.1.2 [10] 若 $y_2=C_1{y}_1+c_0$ ，其中 $C_1\in R^{n_2\times n_1}$ ， $c_0\in R^{n_2}$ ， $y_1\sim N_{n_1}\left({\mu }_1,{\Sigma }_1\right)$ 。则

$y_2\sim N_{n_2}\left(C_1{\mu }_1+c_0,C_1{\Sigma }_1{C^{\prime }}_1\right)$

定理2.1.3 设 $Y=AXB+C$ ，其中 $X$ 为随机矩阵， $A,B,C$ 为适当大小矩阵。则

${\varphi }_Y\left(T\right)={\varphi }_X\left(A^{\prime }TB\right)\exp \left[itr\left(T^{\prime }C\right)\right]$ (2.1)

其中 $tr\left(X\right)$ 表示方阵 $X$ 的迹(trace)， $X^{\prime }$ 表示矩阵 $X$ 的转置。

证明：由特征函数定义知

$\begin{array}{c}{\varphi }_Y\left(T\right)=E\left[\exp \left\{tr\left[i{T}^{\prime }\left(AXB+C\right)\right]\right\}\right]=E\left\{\exp \left[tr\left(i{T}^{\prime }AXB\right)+tr\left(i{T}^{\prime }C\right)\right]\right\}\\ =E\left\{\exp \left[tr\left(i{\left(A^{\prime }T{B}^{\prime }\right)}^{\prime }X\right)\right]\right\}\exp \left[itr\left(T^{\prime }C\right)\right]={\varphi }_X\left(A^{\prime }T{B}^{\prime }\right)\exp \left[itr\left(T^{\prime }C\right)\right]\end{array}$

定义2.1.3 [9] 一个 $n\times p$ 矩阵 $Y$ 服从矩阵高斯分布，表为 $Y\sim N_{n,p}\left(M,\Xi ,\Sigma \right)$ ，其中

$\mathrm{cov}\left[co{l}_i\left(Y\right)\right]=\Xi ,\mathrm{cov}\left[vec\left(ro{w}_i\left(Y\right)\right)\right]=\Sigma$

定义 2.1.4 [10] 条件 $Y\sim N_{n,p}\left(M,\Xi ,\Sigma \right)$ 等价于以下三条中的任意一条：

(1) $vec\left(Y\right)\sim N_{np}\left[vec\left(M\right),\Sigma \otimes \Xi \right]$ ；

(2) $vec\left(Y^{\prime }\right)\sim N_{np}\left[vec\left(M^{\prime }\right),\Xi \otimes \Sigma \right]$ ；

(3) $Y=\Psi Z{\Phi }^{\prime }+M$ ，其中 $Z\sim N_{n_1,p_1}\left(0,I_{n_1},I_{p_1}\right)$ ， $\Xi =\Psi {\Psi }^{\prime },\Psi \in R^{n\times n_1}$ 。

$rank\left(\Psi \right)=n_1,\Sigma =\Phi {\Phi }^{\prime },\Phi \in R^{p\times p_1},rank\left(\Phi \right)=p_1$

定理2.1.4 [10] $T=\left[\begin{array}{ccc}{t}_1& \cdots & t_{p_1}\end{array}\right]$ 是任意 $n_1\times p_1$ 的实矩阵， $Z_{n_1\times p_1}\sim N_{n_1,p_1}\left(0,I_{n_1},I_{p_1}\right)$ ， $\left\{z_{jk}\right\}=\left[\begin{array}{ccc}{z}_1& \cdots & z_{p_1}\end{array}\right]$ ， $z_{jk}$ 独立同分布，有 $z_{jk}\sim N\left(0,1\right)$ ，那么Z的特征函数为

$\varphi \left(T;Z\right)=E\left\{\exp \left[tr\left(i{T}^{\prime }Z\right)\right]\right\}=\exp \left[-tr\left(T^{\prime }T\right)/2\right]$

定理2.1.5 [10] 若 $Z_{n_1\times p_1}\sim N_{n_1,p_1}\left(0,I_{n_1},I_{p_1}\right)$ ，常数矩阵 $\Psi \in R^{n\times n_1}$ ， $\Phi \in R^{p\times p_1}$ ， $M\in R^{n\times p}$ 则 $Y=\Psi Z{\Phi }^{\prime }+M\sim \left(S\right)N_{n,p}\left(M,\Xi ,\Sigma \right)$ 的特征函数为

${\varphi }_Y\left(T\right)=\exp \left[itr\left(T^{\prime }M\right)\right]\exp \left[-tr\left(T^{\prime }\Xi T\Sigma \right)/2\right]$

其中 $\Xi =\Psi {\Psi }^{\prime },\Sigma =\Phi {\Phi }^{\prime }$

定理2.1.6 [10] 若 $X\sim \left(S\right)N_{n_1,p_1}\left(M,\Xi ,\Sigma \right)$ ， $A\in R^{n\times n_1}\ne 0,B\in R^{p_1\times p}\ne 0,C\in R^{n\times p}$ 是常数矩阵，那么

$Y=AXB+C\sim N_{n,p}\left(AMB+C,A\Xi A^{\prime },B^{\prime }\Sigma B\right)$ (2.2)

证明：由定理2.1.1可知

$\begin{array}{c}{\varphi }_Y\left(T\right)=\exp \left[itr\left(T^{\prime }M\right)\right]\exp \left\{-tr\left[{\left({\Psi }^{\prime }T\Phi \right)}^{\prime }\left({\Psi }^{\prime }T\Phi \right)/2\right]\right\}\\ =\exp \left[itr\left(T^{\prime }M\right)\right]\exp \left\{-tr\left({\Phi }^{\prime }{T}^{\prime }\Psi {\Psi }^{\prime }T\Phi \right)/2\right\}\\ =\exp \left[itr\left(T^{\prime }M\right)\right]\exp \left[-tr\left(T^{\prime }\Psi {\Psi }^{\prime }T\Phi {\Phi }^{\prime }\right)/2\right]\\ =\exp \left[itr\left(T^{\prime }M\right)\right]\exp \left[-tr\left(T^{\prime }\Xi T\Sigma \right)/2\right]\end{array}$

2.2. 张量的预备知识

定义2.2.1 [11] (张量的切片)切片是张量的降维表示。图2给出了一个3阶张量 $X\in {ℝ}^{I\times J\times K}$ 的三种不同方向上的切片方式，即水平切片(horizontal切片)、左右切片(lateral切片)和前后切片(frontal切片)。类似矩阵A的第 $i$ 行的表示法 $A\left(i,:\right)$ 和第j列表示法 $A\left(:,j\right)$ ，我们用 $X\left(:,\cdots ,:,\underset{k}{i},:,\cdots ,:\right)$ 表示m阶张量 $X$ 的模-k方向的第i个切片，如 $X\left(i,:,:\right)$ 表示3阶张量 $X$ 模-1方向的第 $i$ ， $i=1,\cdots ,I$ 个切片， $X\left(:,j,:\right)$ 表示lateral切片(模-2方向)的第 $j$ ， $j=1,\cdots ,J$ 个切片， $X\left(:,:,k\right)$ 表示frontal切片(模-3方向)的第 $k$ ， $k=1,\cdots ,K$ 个切片。

类似于矩阵向量化，张量同样可进行矩阵化及向量化。下面我们来定义张量的矩阵化。

定义2.2.2 [12] 把一个3阶张量沿某方向的切片按一定顺序排成矩阵形式的过程称为张量的矩阵化(matricization)。

一个3阶张量有3个不同方向的切片，因此有3种形式的矩阵化，如一个2 × 3 × 4张量的模-1方向切片形成2 × 12的矩阵，同理它在模-2方向和模-3方向切片得到3 × 8和4 × 6矩阵。记张量 $X$ 沿模- $i$ 方向展开得到的矩阵为 $X_{\left(i\right)}$ 。

例 2.2.1 设3阶张量 $A\in {ℝ}^{3\times 3\times 2}$ 如图3所示。

则其在模-1、模-2、模-3方向上矩阵化后得到的矩阵分别为

$A_{\left(1\right)}=\left[\begin{array}{cccccc}1& 2& 3& 10& 11& 12\\ 4& 5& 6& 13& 14& 15\\ 7& 8& 9& 16& 17& 18\end{array}\right]$ , $A_{\left(2\right)}=\left[\begin{array}{cccccc}1& 4& 7& 10& 13& 16\\ 2& 5& 8& 11& 14& 17\\ 3& 6& 9& 12& 15& 18\end{array}\right]$ ,

$A_{\left(3\right)}=\left[\begin{array}{ccccccccc}1& 4& 7& 2& 5& 8& 3& 6& 9\\ 10& 13& 16& 11& 14& 17& 12& 15& 18\end{array}\right]$ .

定义2.2.3 [12] 大小 $I_1\times I_2\times \cdots \times I_m$ 的张量 $X\in R^{I_1\times I_2\times \cdots \times I_m}$ 与矩阵 $U\in R^{J\times I_n}$ 沿模-n的乘积为大小 $I_1\times \cdots \times I_{n-1}\times J\times I_{n+1}\times \cdots \times I_m$ 的张量 $Y=X{\times }_{n}U\in R^{I_1\times \cdots \times I_{n-1}\times J\times I_{n+1}\times \cdots \times I_m}$ ，其元定义为

(a) horizontal切片 (b) lateral切片 (c) frontal切片

Figure 2. Slice of the third order tensor in three different directions

图2. 3阶张量在3个不同方向上的切片

Figure 3. An 3 × 3 × 2 tensor A

图3. 一个3 × 3 × 2张量A

$Y_{i_1\cdots i_{n-1}j{i}_{n+1}\cdots i_m}={\displaystyle \underset{i_n=1}{\overset{I_n}{\sum }}{x}_{i_1\cdots i_n\cdots i_m}{u}_{j{i}_n}}$ (2.3)

定理2.2.1 [12] 张量 $X$ 与矩阵 $U$ 在模- $n$ 方向的乘积的模- $n$ 的矩阵化等价于矩阵 $U$ 与张量 $X$ 在模- $n$ 方向矩阵化后的乘积，即

$Y=X{\times }_{n}U\iff Y_{\left(n\right)}=U{X}_{\left(n\right)}$ (2.4)

定理2.2.2. [12] 若 $X\in R^{I_1\times \cdots \times I_N},A\in R^{J_n\times I_n},B\in R^{J_m\times I_m}$ ，则有

$X{\times }_{n}A{\times }_{m}B=X{\times }_{m}B{\times }_{n}A$ (2.5)

3. 随机张量的高斯分布

我们可将定理2.1.6改为张量的形式。若 $X_{n_1\times p_1\times 1}\sim N_{n_1,p_1,1}\left(M,\Xi ,\Sigma \right)$ ，常数矩阵 $\Psi \in R^{n\times n_1}$ ， $\Phi \in R^{p\times p_1}$ ， $M\in R^{n\times p\times 1}$ 则 $Y=X{\times }_{1}A{\times }_{2}B+C\sim \left(S\right)N_{n,p}\left(M{\times }_{1}A{\times }_{2}B+C,A\Xi A^{\prime },B^{\prime }\Sigma B\right)$ 。

为了将定理2.1.6推广到三阶张量的一般情况, 我们从随机矩阵的高斯分布出发定义随机张量的高斯分布，并将定理2.1.6中的结论推广到三阶张量。

定义3.1.称 ${\rm A}=\left(a_{i_1{i}_2\cdots i_m}\right)\in R^{I_1\times \cdots \times I_m}$ 为随机张量，如果每一个 $a_{i_1{i}_2\cdots i_m}$ 都是随机变量。

定义3.2.称一个三阶随机张量 ${\rm A}=\left(a_{ijk}\right)\in R^{m\times n\times p}$ 服从高斯分布，记作

${\rm A}\sim N_{m,n,p}\left({\rm M},{\Sigma }_1,{\Sigma }_2,{\Sigma }_3\right)$ (3.1)

若满足以下三个条件

${{\rm A}}_{\left(1\right)j}\sim N_m\left({{\rm M}}_{\left(1\right)j},{\Sigma }_1\right)$ , ${{\rm A}}_{\left(2\right)j}\sim N_n\left({{\rm M}}_{\left(2\right)j},{\Sigma }_2\right)$ , ${{\rm A}}_{\left(3\right)j}\sim N_p\left({{\rm M}}_{\left(3\right)j},{\Sigma }_3\right)$

其中 ${\rm M}\in R^{m\times n\times p}$ 表示均值张量， ${\Sigma }_i$ 表示张量 ${\rm A}$ 沿第 $i$ 个方向展开的矩阵的任意一列的协方差矩阵。

定义3.3 .如果(3.1)中的 ${\rm M}=0,{\Sigma }_1=I_m,{\Sigma }_2=I_n,{\Sigma }_3=I_p$ ，那么 ${\rm A}\sim N_{m,n,p}\left(0,I_m,I_n,I_p\right)$ 称作标准高斯张量。

定理3.1对于三阶张量 ${\rm A}=\left(a_{ijk}\right)\in R^{m\times n\times p}$ ，若 ${\rm A}\sim N_{m,n,p}\left({\rm M},{\Sigma }_1,{\Sigma }_2,{\Sigma }_3\right)$ ，当且仅当

${{\rm A}}_{\left(1\right)}\sim N_{m,np}\left({{\rm M}}_{\left(1\right)},{\Sigma }_1,{\Sigma }_3\otimes {\Sigma }_2\right)$ (3.2)

${{\rm A}}_{\left(2\right)}\sim N_{n,mp}\left({{\rm M}}_{\left(2\right)},{\Sigma }_2,{\Sigma }_3\otimes {\Sigma }_1\right)$ (3.3)

${{\rm A}}_{\left(3\right)}\sim N_{p,mn}\left({{\rm M}}_{\left(3\right)},{\Sigma }_3,{\Sigma }_2\otimes {\Sigma }_1\right)$ (3.4)

证明：设水平切片(模-1方向)的第 $i$ 个切片为矩阵 $B$ ，左右切片(模-2方向)的第 $j$ 个切片为矩阵 $C$ ，前后切片(模-3方向)的第 $k$ 个切片为矩阵 $D$ 。

由于 $B\sim N_{p,n}\left({\rm M}\left(i,:,:\right),{\Sigma }_3,{\Sigma }_2\right)$ , $C\sim N_{m,p}\left({\rm M}\left(:,j,:\right),{\Sigma }_1,{\Sigma }_3\right)$ , $D\sim N_{m,n}\left({\rm M}\left(:,:,k\right),{\Sigma }_1,{\Sigma }_2\right)$

则 $vec\left(B^{\prime }\right)\sim N_{mp}\left[vec\left({\rm M}\left(j,:,:\right)\right),{\Sigma }_3\otimes {\Sigma }_2\right]$ ， $vec\left(C\right)\sim N_{mp}\left[vec\left({\rm M}\left(:,j,:\right)\right),{\Sigma }_3\otimes {\Sigma }_1\right]$ ，

$vec\left(D\right)\sim N_{mp}\left[vec\left({\rm M}\left(:,:,j\right)\right),{\Sigma }_2\otimes {\Sigma }_1\right]$

故 ${{\rm A}}_{\left(1\right)}\sim N_{m,np}\left({{\rm M}}_{\left(1\right)},{\Sigma }_1,{\Sigma }_3\otimes {\Sigma }_2\right)$ ， ${{\rm A}}_{\left(2\right)}\sim N_{n,mp}\left({{\rm M}}_{\left(2\right)},{\Sigma }_2,{\Sigma }_3\otimes {\Sigma }_1\right)$ ， ${{\rm A}}_{\left(3\right)}\sim N_{p,mn}\left({{\rm M}}_{\left(3\right)},{\Sigma }_3,{\Sigma }_2\otimes {\Sigma }_1\right)$

推论3.1.对于三阶张量 ${\rm A}\in R^{m\times n\times p}$ ，若 ${\rm A}\sim N_{m,n,p}\left({\rm M},{\Sigma }_1,{\Sigma }_2,{\Sigma }_3\right)$ ，则

(1) $vec\left({{\rm A}}_{\left(1\right)}\right)\sim N_{mnp}\left(vec\left({{\rm M}}_{\left(1\right)}\right),{\Sigma }_3\otimes {\Sigma }_2\otimes {\Sigma }_1\right)$

(2) $vec\left({{\rm A}}_{\left(2\right)}\right)\sim N_{nmp}\left(vec\left({{\rm M}}_{\left(2\right)}\right),{\Sigma }_3\otimes {\Sigma }_1\otimes {\Sigma }_2\right)$

(3) $vec\left({{\rm A}}_{\left(3\right)}\right)\sim N_{pmn}\left(vec\left({{\rm M}}_{\left(3\right)}\right),{\Sigma }_2\otimes {\Sigma }_1\otimes {\Sigma }_3\right)$

证明：利用定义4即可

定理3.2 .若 ${\rm A}\sim N_{m_1,n_1,p_1}\left(M,{\Sigma }_1,{\Sigma }_2,{\Sigma }_3\right)$ ，矩阵 $T_1\in R^{m\times m_1}$ ， $T_2\in R^{n\times n_1}$ ， $T_3\in R^{p\times p_1}$ ， $U\in R^{m\times n\times p}$ ，那么

${\rm B}={\rm A}{\times }_1{T}_1{\times }_2{T}_2{\times }_3{T}_3+U\sim N_{m,n,p}\left({\rm A}{\times }_1{T}_1{\times }_2{T}_2{\times }_{3}T+U,T_1{\Sigma }_1{T^{\prime }}_1,T_2{\Sigma }_2{T^{\prime }}_2,T_3{\Sigma }_3{T^{\prime }}_3\right)$ (3.5)

证明：由于 ${\rm B}={\rm A}{\times }_1{T}_1{\times }_2{T}_2{\times }_3{T}_3+U$ ，则 ${{\rm B}}_{\left(1\right)}=T_1{\left({\rm A}{\times }_2{T}_2{\times }_3{T}_3\right)}_{\left(1\right)}+U_{(1)}$

令 $\Lambda ={\rm A}{\times }_2{T}_2{\times }_3{T}_3$ ，则 ${\Lambda }_{\left(1\right)}={{\rm A}}_{\left(1\right)}{\left(T_3\otimes T_2\right)}^{\prime }$ ，则 ${{\rm B}}_{\left(1\right)}=T_1{{\rm A}}_{\left(1\right)}{\left(T_3\otimes T_2\right)}^{\prime }+U_{(1)}$

由定理2.1.6可知

${{\rm B}}_{\left(1\right)}=T_1{{\rm A}}_{\left(1\right)}{\left(T_3\otimes T_2\right)}^{\prime }+U_{\left(1\right)}\sim N_{m,np}\left(T_1{M}_{\left(1\right)}{\left(T_3\otimes T_2\right)}^{\prime }+U_{\left(1\right)},T_1{\Sigma }_1{T^{\prime }}_1,\left(T_3\otimes T_2\right)\left({\Sigma }_3\otimes {\Sigma }_2\right){\left(T_3\otimes T_2\right)}^{\prime }\right)$

由于 $T_1{M}_{\left(1\right)}{\left(T_3\otimes T_2\right)}^{\prime }=T_1{\left(M{\times }_2{T}_2{\times }_3{T}_3\right)}_{\left(1\right)}\iff M{\times }_1{T}_1{\times }_2{T}_2{\times }_3{T}_3$

$\left(T_3\otimes T_2\right)\left({\Sigma }_3\otimes {\Sigma }_2\right){\left(T_3\otimes T_2\right)}^{\prime }=\left(T_3{\Sigma }_3{T^{\prime }}_3\right)\otimes \left(T_2{\Sigma }_2{T^{\prime }}_2\right)$

故 ${\rm B}={\rm A}{\times }_1{T}_1{\times }_2{T}_2{\times }_3{T}_3+U\sim N_{m,n,p}\left({\rm A}{\times }_1{T}_1{\times }_2{T}_2{\times }_{3}T+U,T_1{\Sigma }_1{T^{\prime }}_1,T_2{\Sigma }_2{T^{\prime }}_2,T_3{\Sigma }_3{T^{\prime }}_3\right)$

基金项目

苏州科技大学研究生科研创新项目(SKYCX16_008)。