高维正态分布族Fisher度量的曲率

doi:10.12677/pm.2025.155160

期刊菜单

高维正态分布族Fisher度量的曲率
Curvature Properties of Fisher Metrics for High-Dimensional Normal Distribution Families

DOI: 10.12677/pm.2025.155160, PDF, HTML, XML,
作者: 熊明月：重庆理工大学理学院，重庆
关键词: 正态分布；Fisher度量；爱因斯坦空间；Normal Distribution； Fisher Metric； Einstein Space

摘要: 本文针对高维情形得到了高维正态分布在Fisher度量下的数量曲率，并且证明了当协方差矩阵Σ为对角矩阵时，正态分布族的参数空间是爱因斯坦空间，其Ricci曲率与度量张量成严格比例关系。

Abstract: In this paper, the scalar curvature of high-dimensional normal distribution under Fisher metric is obtained for the high-dimensional case, and it is proved that when the covariance matrix Σ is a diagonal matrix, the parameter space of the normal distribution family is Einstein space, and its Ricci curvature is strictly proportional to the metric tensor.

文章引用：熊明月. 高维正态分布族Fisher度量的曲率[J]. 理论数学, 2025, 15(5): 117-129. https://doi.org/10.12677/pm.2025.155160

1. 引言

在统计学中，为了对含参数的分布族中的某些参数进行估计，我们需要构造适当的统计量。Fisher矩阵可以用来刻画统计量的充分性。假设有一个分布族 $p (x, θ)$ ，那么Fisher矩阵定义为

$g_{i j} = E [\partial_{i} \log p (x, θ) \partial_{j} \log p (x, θ)]$

由于正态分布作为典型指数族分布，其参数空间的几何特性始终是核心研究议题。正态分布族的Fisher矩阵定义了该分布族上的Riemann度量。关于这类度量前人已有很多研究工作。早期突破见于Yoshiharu等学者(1979) [1]对二维正态分布的探索：他们首次证明当协方差矩阵Σ为对角阵时，参数空间具有爱因斯坦流形结构，但其结论限于二维情形，且未揭示高维推广的可能性。Skovgaard (1984) [2]通过将多元正态分布族建模为Fisher-Rao度量下的黎曼流形，系统推导了仿射联络与曲率张量的表达式，但其研究止步于黎曼曲率的定性分析，未深入计算数量曲率等全局几何不变量。

本文突破二维情形限制，一方面在Skovgaard (1984)关于高维正态分布族曲率研究尚不完整的基础上，系统研究了正态分布族的几何结构。得到正态分布族的Fisher度量的曲率张量，Ricci曲率以及数量曲率的完整公式

$R = - \frac{n {(n + 1)}^{2}}{4}$

另一方面得到了当Σ为对角矩阵时，正态分布的参数空间是爱因斯坦空间，该结论推广了Yoshiharu (1979)的二维结果。

2. 预备知识

2.1. 经典信息几何

定义2.1 [3]：设 $p (x, θ)$ 是集合 $X$ 上的概率密度函数，其中 $θ$ 是密度函数的参数，称 $S = {p (x; θ) | θ \in Θ}$ 是统计流形，其中 $Θ \in R^{n}$ 。

定义2.2 [4]：若 $n$ 维统计流形 $S$ 可以表示为：

$p (x, θ) = \exp {θ^{i} h_{i} (x) + k (x) - ψ (θ)}$

则称 $S$ 是一个指数分布族。其中， $x$ 是 $n$ 维随机变量， $θ$ 是该分布族的 $n$ 维自然坐标， $k (x)$ 是关于 $x$ 的函数， $h_{i} (x)$ 是 $n$ 个关于 $x$ 线性无关的函数， $ψ (θ)$ 称为关于参数 $θ$ 的势函数。

若我们规定特定的测量 $d μ (x) = \exp {k (x)} d x$ ，即 $\int p (x, θ) d μ (x) = 1$ ，那么指数族的密度函数就可以写为：

$p (x, θ) = \exp {θ x - ψ (θ)}$

根据指数分布族的定义，可以将正态分布族写为指数分布族的形式。

首先给出 $n$ 维正态分布的概率密度函数：

$p (x; μ, σ) = \frac{1}{\sqrt{{(2 π)}^{n} | Σ |}} \exp {- \frac{1}{2} {(x - μ)}^{T} Σ^{- 1} (x - μ)}$

其中， $μ^{T} = (μ_{1}, μ_{2}, \dots, μ_{n}) \in R^{n}$ 为正态分布的均值， $Σ \in P_{n} (R)$ 是n维协方差矩阵( $P_{n} (R)$ 是n维正定对称矩阵)， $x^{T} = (x_{1}, x_{2}, \dots, x_{n}) \in R^{n}$ 为n维随机变量。

现在定义出新的随机变量 $x = (x_{1}, x_{2})$ ：

${\begin{cases} x_{1} = h_{1} (x) = - x \\ x_{2} = h_{2} (x) = x^{2} \end{cases}$

同时引入新的参数 $(θ, Θ)$ ：

${\begin{cases} θ = Σ^{- 1} μ \\ Θ = \frac{1}{2} Σ^{- 1} \end{cases}$

那么正态分布族的势函数就可以得到：

$ψ (θ) = \frac{1}{4} θ^{T} Θ^{- 1} θ + \frac{n}{2} \log π + \frac{1}{2} \log | Θ |$

并将正态分布族的Fisher信息度量定义为：

$g_{i j} = E [\partial_{i} \log p (x; μ, σ) \partial_{j} \log p (x; μ, σ)]$

正态分布族的Fisher信息度量是由期望来定义，为了方便计算，在计算过程中一般由 $g_{i j} = - E (\partial_{i} \partial_{j} \log p (x; μ, σ))$ 进行计算，下面给出它的证明。

定理2.3 [4]：若 $g_{i j}$ 是光滑的，则

$E (\partial_{i} \log p (x; μ, σ) \partial_{j} \log p (x; μ, σ)) = - E (\partial_{i} \partial_{j} \log p (x; μ, σ)) .$

2.2. 矩阵的迹

下面介绍关于矩阵以及矩阵迹的相关性质，通过矩阵迹转化为元素的形式，进而得到更为简单的计算。

引理2.4：若 $A, B$ 是 $n$ 阶矩阵，则

(1)

$t r (A E_{i j}^{*}) = \frac{1}{2} (a_{i j} + a_{j i})$ (1)

(2) 当 $A$ 或者 $B$ 是 $n$ 阶对称矩阵，有

$\sum_{i \geq j} t r (A E_{i j}^{*}) t r (B E_{i j}^{*}) = \frac{1}{2} t r (A B^{T}) + \frac{1}{2} \sum_{i} a_{i i} b_{i i}$ (2)

(3) 当 $A$ 或者 $B$ 是 $n$ 阶对称矩阵，有

$\sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*}) = t r (A B^{T})$ (3)

(4)

$\sum_{i \geq j} t r (A E_{i j} B E_{i j}^{*}) = \frac{1}{2} t r (A B^{T}) + \frac{1}{2} t r (A) t r (B)$ (4)

(5) 若 $a = {(a_{1}, a_{2}, \dots, a_{n})}^{T}, b = {(b_{1}, b_{2}, \dots, b_{n})}^{T}$ ，则

$\sum_{p} a^{T} E_{p p} b = a^{T} b$ (5)

(6) 若 $a = {(a_{1}, a_{2}, \dots, a_{n})}^{T}, b = {(b_{1}, b_{2}, \dots, b_{n})}^{T}$

$\sum_{p} a e^{T} b = \sum_{i} b_{i} a^{T}$ (6)

(7)

$\sum_{k \geq l} t r (A E_{k l}^{*}) E_{k l} = A$ (7)

(8)

$\sum_{p} t r (A E_{p p}) = t r (A)$ (8)

(9) 当 $A$ 是 $n$ 阶对称矩阵，有

$t r (A B^{T}) = t r (A B)$ (9)

其中 $E_{i j} = {\begin{array}{l} 1_{i, i} & i = j \\ 1_{i, j} + 1_{j, i} & i \neq j \end{array}$ 且 $E_{i j}^{*} = {\begin{array}{l} 1_{i, i} & i = j \\ \frac{1}{2} (1_{i, j} + 1_{j, i}) & i \neq j \end{array}$ 。

证明：

(1)，(8)可以通过简单计算得到，(6)可以将其展开得到，着重证明以下式子。

对于(2)根据公式(2.1)，将迹的形式转换为元素的形式

$\sum_{i \geq j} t r (A E_{i j}^{*}) = \sum_{i \geq j} \frac{1}{2} a_{i j} + \frac{1}{2} a_{j i}$

$\sum_{i \geq j} t r (A E_{i j}^{*}) t r (B E_{i j}^{*}) = \sum_{i \geq j} (\frac{1}{4} a_{i j} b_{i j} + \frac{1}{4} a_{i j} b_{j i} + \frac{1}{4} a_{j i} b_{i j} + \frac{1}{4} a_{j i} b_{j i})$

因为 $A = A^{T}$ ，有

$\sum_{i \geq j} t r (A E_{i j}^{*}) t r (B E_{i j}^{*}) = \sum_{i \geq j} (\frac{1}{2} a_{i j} b_{j i} + \frac{1}{2} a_{j i} b_{i j}) = \sum_{i} a_{i i} b_{i i} + \frac{1}{2} \sum_{i > j} (a_{i j} b_{j i} + a_{j i} b_{i j})$

又因为 $t r (A B)$ 可以写成

$t r (A B) = \sum_{i \geq j} a_{i j} b_{j i} = \sum_{i} a_{i i} b_{i i} + \sum_{i > j} (a_{i j} b_{j i} + a_{j i} b_{i j})$

所以

$\sum_{i \geq j} t r (A E_{i j}^{*}) t r (B E_{i j}^{*}) = \frac{1}{2} t r (A B) + \frac{1}{2} \sum_{i} a_{i i} b_{i i}$

对于(3)， $A$ 或者 $B$ 是 $n$ 阶对称矩阵

$\sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*}) = \sum_{i = j} a_{i i} b_{j j} + \sum_{i > j} (a_{i j} + a_{j i}) \frac{1}{2} (b_{i j} + b_{j i})$

若 $A$ 为对称矩阵就有

$\sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*}) = \sum_{i = j} a_{i i} b_{j j} + \sum_{i > j} (a_{i j} + a_{j i}) \frac{1}{2} (b_{i j} + b_{j i}) = \sum_{i = j} a_{i i} b_{i i} + \sum_{i > j} a_{i j} (b_{i j} + b_{j i})$

$t r (A B^{T}) = \sum_{i = j} a_{i i} b_{i i} + \sum_{i > j} (a_{i j} b_{i j} + a_{j i} b_{j i}) = \sum_{i = j} a_{i i} b_{i i} + \sum_{i > j} a_{i j} (b_{i j} + b_{j i})$

将 $\sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*})$ 展开，就有

$t r (A B^{T}) = \sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*})$

若 $B$ 是对称矩阵就有

$\sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*}) = \sum_{i = j} a_{i i} b_{j j} + \sum_{i > j} (a_{i j} + a_{j i}) \frac{1}{2} (b_{i j} + b_{j i}) = \sum_{i = j} a_{i i} b_{i i} + \sum_{i > j} b_{i j} (a_{i j} + a_{j i})$

综上，若 $A$ 或者 $B$ 是 $n$ 阶对称矩阵，就有

$t r (A B^{T}) = \sum_{i \geq j} t r (A E_{i j}) t r (B E_{i j}^{*})$

对于(4)将 $A E_{i j} B E_{i j}^{*}$ 展开，再计算其迹，有

$\begin{matrix} \sum_{i \geq j} t r (A E_{i j} B E_{i j}^{*}) = \sum_{i} a_{i i} b_{i i} + \frac{1}{2} \sum_{i > j} (a_{i j} b_{i j} + a_{j i} b_{j i} + a_{i i} b_{j j} + a_{j j} b_{i i}) \\ = \frac{1}{2} \sum_{i > j} (a_{i i} b_{i i} + a_{j i} b_{j i} + a_{i j} b_{i j}) + \frac{1}{2} \sum_{i > j} (a_{i i} b_{i i} + a_{i i} b_{j j} + a_{j j} b_{i i}) \\ = \frac{1}{2} t r (A B^{T}) + \frac{1}{2} t r (A) t r (B) \end{matrix}$

对于(5)对 $a^{T} E_{i i} b$ 进行展开，有

$a^{T} E_{i i} b = a_{i} b_{i}$

对其求和，所以有

$\sum_{p} a^{T} E_{p p} b = \sum_{p} a_{p} b_{p} = a^{T} b$

对于(7)因为

$t r (A E_{k l}^{*}) = \frac{1}{2} (a_{k l} + a_{l k})$

所以有

$t r (A E_{k l}^{*}) E_{k l} = \frac{1}{2} (a_{k l} + a_{l k}) E_{k l}$

对所有的 $k, l$ 求和即为

$\sum_{k \geq l} t r (A E_{k l}^{*}) E_{k l} = \sum_{k \geq l} \frac{1}{2} (a_{k l} + a_{l k}) E_{k l} = A$

对于(9)若 $A$ 是 $n$ 阶对称矩阵

$\begin{matrix} t r (A B^{T}) = t r ({(A B^{T})}^{T}) \\ = t r (B A^{T}) \\ = t r (B A) \\ = t r (A B) \end{matrix}$

∎

3. 正态分布的Fisher信息度量的曲率

在这一部分我们将研究高维正态分布族参数空间的曲率，通常用曲率张量来描述空间的曲率，但要直观地把握空间的形状，曲率张量尚不充分。因此，我们在这里也要考虑一些二维曲面中由高斯曲率定义的截面曲率。有了前面的计算基础，这章将对高维正态分布族的曲率进行详细的计算。下面介绍后面计算高维正态分布的曲率所要用到的公式

引理3.1：设 $σ_{i j}$ 是 $Σ$ 中的元素， $μ_{i}$ 是 $μ$ 中的元素，那么就有下面等式成立：

(1)

$\frac{\partial Σ}{\partial σ_{k l}} = - Σ^{- 1} E_{k l} Σ^{- 1}$ (4.1)

(2)

$\frac{\partial | Σ |}{\partial σ_{k l}} = | Σ | t r (Σ^{- 1} E_{k l})$ (4.2)

(3)

$\frac{\partial σ^{k l}}{\partial σ_{i j}} = - t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l}^{*})$ (4.3)

(4)

$E [{(x - μ)}^{T} A (x - μ)] = t r (A Σ)$ (4.4)

(5)

$\frac{\partial t r (A^{- 1} E_{k l})}{\partial a_{i j}} = - t r (A^{- 1} E_{i j} A^{- 1} E_{k l})$ (4.5)

证明：对于(1)，因为

$Σ Σ^{- 1} = E$

对两边求 $σ_{k l}$ 偏导有

$\begin{matrix} \frac{\partial (Σ Σ^{- 1})}{\partial σ_{k l}} = 0 \\ = \frac{\partial Σ}{\partial σ_{k l}} Σ^{- 1} + \frac{\partial Σ^{- 1}}{\partial σ_{k l}} Σ \\ = E_{k l} Σ^{- 1} + \frac{\partial Σ^{- 1}}{\partial σ_{k l}} Σ \end{matrix}$

化简过后得

$\frac{\partial Σ}{\partial σ_{k l}} = - Σ^{- 1} E_{k l} Σ^{- 1}$

对于(2)，设 $A^{*} = B$

有 $| A | I = A^{*} A = B A$ ，对其矩阵展开并取出 $| A | I$ 的 $k$ 行 $k$ 列的元素，就有

$| A | = \sum_{p} b_{k p} a_{p k}$

对其两边求 $a_{k l}$ 的偏导

$\frac{\partial | A |}{a_{k l}} = {\begin{array}{l} b_{k l} + b_{l k} & k \neq l \\ b_{k k} & k = l \end{array}$

即

$\frac{\partial | A |}{\partial a_{k l}} = t r (B E_{k l}) = | A | t r (A^{- 1} E_{k l})$

对于(3)，因为 $Σ^{- 1}$ 是对称矩阵，与 $σ^{k l} = t r (Σ^{- 1} E_{k l})$ ，对 $σ^{k l}$ 求偏导有

$\frac{\partial σ^{k l}}{\partial σ_{i j}} = \frac{\partial}{\partial σ_{i j}} t r (Σ^{- 1} E_{k l}) = \frac{\partial}{\partial σ_{i j}} {(Σ^{- 1})}_{k l} = {(\frac{\partial Σ^{- 1}}{\partial σ_{i j}})}_{k l} = - {(Σ^{- 1} E_{i j} Σ^{- 1})}_{k l}$

因为 $Σ^{- 1} E_{i j} Σ^{- 1}$ 是对称矩阵，所以有

$\frac{\partial σ^{k l}}{\partial σ_{i j}} = - t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l}^{*})$

对于(4),将 ${(x - μ)}^{T} A (x - μ)$ 展开，得到

${(x - μ)}^{T} A (x - μ) = \sum_{i, j} a_{i j} (x_{i} - μ_{i}) (x_{j} - μ_{j})$

对其求期望，所以有

$\begin{matrix} E [{(x - μ)}^{T} A (x - μ)] = \sum_{i, j} a_{i j} (E (x_{i} x_{j}) - E (x_{i}) μ_{j} - E (x_{j}) μ_{i} - μ_{i} μ_{j}) \\ = \sum_{i, j} a_{i j} σ_{i j} \\ = t r (A Σ) \end{matrix}$

对于(5)，

$\frac{\partial t r (A^{- 1} E_{k l})}{\partial a_{i j}} = 2 {(\frac{\partial A^{- 1}}{\partial a_{i j}})}_{k l} = - 2 {(A^{- 1} E_{i j} A^{- 1})}_{k l} = - 2 t r (A^{- 1} E_{i j} A^{- 1} E_{k l}^{*}) = - t r (A^{- 1} E_{i j} A^{- 1} E_{k l})$

∎

定理3.2 [2]：设是高维正态分布的信息度量，则其度量的张量为

${\begin{cases} g_{i, k l} = 0 \\ g_{i j, k l} = \frac{1}{2} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l}) \\ g_{i, j} = σ^{i j} \end{cases}$

度量的逆矩阵就可以表示为

${\begin{cases} g^{i, k l} = 0 \\ g^{i j, k l} = 2 t r (Σ E_{i j}^{*} Σ E_{k l}^{*}) \\ g^{i, j} = σ_{i j} \end{cases}$

定理3.3 [2]：正态分布的联络系数可表示为

${\begin{cases} Γ_{i, j}^{k} = Γ_{i j, k}^{r s} = Γ_{i j, k l}^{r} = 0 \\ Γ_{i, j}^{k l} = t r (E_{k l}^{*} E_{i j}^{*}) \\ Γ_{i j, k}^{l} = - \frac{1}{2} e_{k}^{T} Σ^{- 1} E_{i j} e_{l} \\ Γ_{i j, k l}^{r s} = - \frac{1}{2} t r (E_{r s}^{*} E_{k l} Σ^{- 1} E_{i j}) - \frac{1}{2} t r (E_{r s}^{*} E_{i j} Σ^{- 1} E_{k l}) \end{cases}$

定理3.4 [2]：若 $e_{i} \in R^{n}$ 表示 $μ$ -方向的基向量场， $E_{i j} \in R^{n * n}$ 表示 $σ$ -方向的基向量场，那么正态分布族的仿射联络 $\nabla$ 可以表示为

${\begin{cases} \nabla_{e_{i}} e_{j} = \nabla_{e_{j}} e_{i} = \frac{1}{2} (e_{i} e_{j}^{T} + e_{j} e_{i}^{T}) \\ \nabla_{e_{i}} E_{k l} = \nabla_{E_{k l}} e_{i} = \frac{1}{2} E_{k l} Σ^{- 1} e_{i} \\ \nabla_{E_{i j}} E_{k l} = \nabla_{E_{k l}} E_{i j} = \frac{1}{2} (E_{k l} Σ^{- 1} E_{i j} + E_{i j} Σ^{- 1} E_{k l}) \end{cases}$

定理3.5 [2]：黎曼曲率张量可以表示为

${\begin{cases} R_{i, j, k, l} = - \frac{1}{4} σ^{k i} σ^{j l} + \frac{1}{4} σ^{k j} σ^{i l} \\ R_{i j, k l, r s, p q} = \frac{1}{4} t r (Σ^{- 1} E_{k l} Σ^{- 1} E_{i j} Σ^{- 1} E_{p q} Σ^{- 1} E_{r s}) - \frac{1}{4} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} Σ^{- 1} E_{p q} Σ^{- 1} E_{r s}) \\ R_{i, j, k l, r s} = \frac{1}{4} (e_{i}^{T} Σ^{- 1} E_{k l} Σ^{- 1} E_{r s} Σ^{- 1} e_{j} - e_{i}^{T} Σ^{- 1} E_{r s} Σ^{- 1} E_{k l} Σ^{- 1} e_{j}) \\ R_{i, k l, j, r s} = \frac{1}{4} e_{i}^{T} Σ^{- 1} E_{k l} Σ^{- 1} E_{r s} Σ^{- 1} e_{j} \end{cases}$

下面我们介绍如何利用黎曼曲率张量计算n维正态分布的数量曲率。

定理3.6：n维正态分布的数量曲率为

$R = - \frac{n {(n + 1)}^{2}}{4}$

证明：

首先计算Ricci张量的分量：

$\sum_{k, l} R_{k, i, j, l} g^{k, l} = \frac{1}{4} \sum_{k, l} (σ^{k l} σ^{i j} - σ^{k j} σ^{i l}) σ_{k l} = \frac{n - 1}{4} σ^{i j}$

$\begin{matrix} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} R_{k l, i, j, p q} g^{k l, p q} = - \frac{1}{2} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} e_{i}^{T} Σ^{- 1} E_{k l} Σ^{- 1} E_{p q} Σ^{- 1} e_{j} t r (Σ E_{k l}^{*} Σ E_{p q}^{*}) \\ = \frac{1}{2} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} t r (e_{i}^{T} Σ^{- 1} E_{k l} Σ^{- 1} E_{p q} Σ^{- 1} e_{j}) t r (Σ E_{k l}^{*} Σ E_{p q}^{*}) \\ = - \frac{1}{2} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} t r (Σ^{- 1} e_{j} e_{i}^{T} Σ^{- 1} E_{k l} Σ^{- 1} E_{p q}) t r (Σ E_{k l}^{*} Σ E_{p q}^{*}) \end{matrix}$

由公式(3)

$\begin{matrix} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} R_{k l, i, j, p q} g^{k l, p q} = - \frac{1}{2} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} t r (Σ^{- 1} e_{j} e_{i}^{T} Σ^{- 1} E_{k l} Σ^{- 1} Σ E_{k l}^{*} Σ) \\ = - \frac{1}{2} \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} t r (e_{j} e_{i}^{T} Σ^{- 1} E_{k l} E_{k l}^{*}) \end{matrix}$

由公式(4)

$\sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} R_{k l, i, j, p q} g^{k l, p q} = - \frac{1}{4} (t r (e_{j} e_{i}^{T} Σ^{- 1} I) + t r (e_{j} e_{i}^{T} Σ^{- 1}) t r (I)) = - \frac{n + 1}{4} σ^{i j}$

计算 $\sum_{p, q} R_{p, i j, k l, q} g^{p, q}$

$\begin{matrix} \sum_{p, q} R_{p, i j, k l, q} g^{p, q} = - \frac{1}{4} e_{p}^{T} Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} Σ^{- 1} e_{q} σ_{p q} \\ = - \frac{1}{4} e_{p}^{T} Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} Σ^{- 1} e_{q} e_{q}^{T} Σ e_{p} \\ = - \frac{1}{4} e_{p}^{T} Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} Σ^{- 1} E_{q q} Σ e_{p} \end{matrix}$

由公式(8)，可得

$\begin{matrix} \sum_{p, q} R_{p, i j, k l, q} g^{p, q} = - \frac{1}{4} e_{p}^{T} Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} e_{p} \\ = - \frac{1}{4} t r (e_{p}^{T} Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} e_{p}) \\ = - \frac{1}{4} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l} E_{p p}) \end{matrix}$

由公式(3)，可得

$\sum_{p, q} R_{p, i j, k l, q} g^{p, q} = - \frac{1}{4} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l})$

下面计算

$\begin{matrix} \sum_{\begin{array}{l} p \geq q \\ k \geq l \end{array}} R_{p q, i j, k l, r s} g^{p q, r s} = \frac{1}{4} t r (Σ^{- 1} E_{r s} Σ^{- 1} E_{k l} Σ^{- 1} E_{p q} Σ^{- 1} E_{i j}) 2 t r (Σ E_{r s}^{*} Σ E_{p q}^{*}) \\ - \frac{1}{4} t r (Σ^{- 1} E_{r s} Σ^{- 1} E_{k l} Σ^{- 1} E_{i j} Σ^{- 1} E_{p q}) 2 t r (Σ E_{r s}^{*} Σ E_{p q}^{*}) \end{matrix}$

由公式(3)，可得

$\sum_{\begin{array}{l} p \geq q \\ k \geq l \end{array}} R_{p q, i j, k l, r s} g^{p q, r s} = \frac{1}{2} t r (E_{i j} Σ^{- 1} E_{r s} Σ^{- 1} E_{k l} E_{r s}^{*}) - \frac{1}{2} t r (E_{r s} Σ^{- 1} E_{k l} Σ^{- 1} E_{i j} E_{r s}^{*})$

由公式(4)，可得

$\begin{matrix} \sum_{\begin{array}{l} p \geq q \\ k \geq l \end{array}} R_{p q, i j, k l, r s} g^{p q, r s} = \frac{1}{4} t r (E_{i j} Σ^{- 1} E_{k l} Σ^{- 1}) + \frac{1}{4} t r (E_{i j} Σ^{- 1}) t r (E_{k l} Σ^{- 1}) \\ - \frac{1}{4} t r (E_{i j} Σ^{- 1} E_{k l} Σ^{- 1}) - \frac{1}{4} t r (E_{i j} Σ^{- 1} E_{k l} Σ^{- 1}) t r (I) \\ = \frac{1}{4} t r (E_{i j} Σ^{- 1}) t r (E_{k l} Σ^{- 1}) - \frac{n}{4} t r (E_{i j} Σ^{- 1} E_{k l} Σ^{- 1}) \end{matrix}$

对于二维正态分布的参数空间，Ricci张量的分量由下面的公式给出：

$\begin{matrix} R_{i j} = \sum_{k, l} R_{i, j, k, l} g^{k, l} + \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} R_{k l, i, j, p q} g^{k l, p q} \\ = \frac{n - 1}{4} σ^{i j} - \frac{n + 1}{4} σ^{i j} \\ = - \frac{1}{2} σ^{i j} \end{matrix}$

$\begin{matrix} R_{i j, k l} = \sum_{p, q} R_{p, i j, k l, q} g^{p, q} + \sum_{\begin{array}{l} k \geq l \\ p \geq q \end{array}} R_{p q, i j, k l, r s} g^{p q, r s} \\ = - \frac{1}{4} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l}) + \frac{1}{4} t r (E_{i j} Σ^{- 1}) t r (E_{k l} Σ^{- 1}) - \frac{n}{4} t r (E_{i j} Σ^{- 1} E_{k l} Σ^{- 1}) \\ = - \frac{n + 1}{4} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l}) + \frac{1}{4} t r (E_{i j} Σ^{- 1}) t r (E_{k l} Σ^{- 1}) \end{matrix}$

那么数量曲率可以表示为

$\begin{matrix} R = \sum_{i, j} R_{i, j} g^{i, j} + \sum_{\begin{array}{l} i \geq j \\ k \geq l \end{array}} R_{i j, k l} g^{i j, k l} \\ = - \frac{1}{2} σ^{i j} σ_{i j} - \frac{n + 1}{4} t r (Σ^{- 1} E_{i j} Σ^{- 1} E_{k l}) * 2 t r (Σ E_{i j}^{*} Σ E_{k l}^{*}) \\ + \frac{1}{4} t r (E_{i j} Σ^{- 1}) t r (E_{k l} Σ^{- 1}) * 2 t r (Σ E_{i j}^{*} Σ E_{k l}^{*}) \end{matrix}$

由公式(3)，可得

$\begin{matrix} R = - \frac{n}{2} - \frac{n + 1}{2} \sum_{i \geq j} t r (E_{i j} E_{i j}^{*}) + \frac{1}{2} t r (E_{i j} Σ^{- 1}) t r (Σ E_{i j}^{*}) \\ = - \frac{n}{2} - \frac{n + 1}{2} * \frac{n (n + 1)}{2} + \frac{n}{2} \\ = - \frac{n {(n + 1)}^{2}}{4} \end{matrix}$

∎

上述定理可知n维正态分布的数量曲率是跟维数有关的常数，但是通过Ricci张量和黎曼张量的比较，我们发现一般情况下我们的参数空间不是爱因斯坦空间，但是我们发现在某个特定的子流形下，高维正态分布的参数空间是爱因斯坦空间。下面给出高维正态分布的参数空间是爱因斯坦空间的充分条件。

推论3.7：若 $Σ$ 是对角矩阵，则n-维正态分布的参数空间是爱因斯坦空间。

证明：当 $Σ$ 是对角矩阵时，根据度量公式

$g_{i j} = - E [\partial_{i} \partial_{j} p (x; μ, Σ)]$

可得到正态分布的黎曼度量为

$g = {\begin{cases} g_{i, j j} = 0; \\ g_{i i, j j} = {\begin{array}{l} 0, & i i \neq j j \\ \frac{1}{2} {(σ^{i i})}^{2}, & i i = j j \end{array}; \\ g_{i, j} = σ^{i j} \end{cases}$

因为 $g_{i i, j j}$ 和 $g_{i, j}$ 是对称矩阵，所以有正态分布的Fisher度量的逆矩阵

$g^{- 1} = {\begin{cases} g^{i, j j} = 0; \\ g^{i i, j j} = {\begin{array}{l} 0, & i i \neq j j \\ 2 σ_{i i}^{2}, & i i = j j \end{array}; \\ g^{i, j} = σ_{i j} \end{cases}$

现在计算联络系数

$Γ_{i, j}^{k k} = - \frac{1}{2} g^{k k, k k} \frac{\partial g_{i, i}}{\partial σ_{k k}} = t r (E_{k k} E_{i i})$

当且仅当 $k = i$ 时， $t r (E_{k k} E_{i i}) = 1$ ，其余为零，即

$Γ_{k, k}^{k k} = 1$

$Γ_{i i, k}^{l} = - \frac{1}{2} e_{k}^{T} Σ^{- 1} E_{i i} e_{l}$

由于矩阵 $Σ^{- 1} E_{i i}$ 是对称矩阵所以有

$Γ_{i i, k}^{l} = - \frac{1}{2} t r (Σ^{- 1} E_{i i} E_{k l})$

这个式子只有当 $k = i = l$ 时不为零，即

$Γ_{i i, i}^{i} = - \frac{1}{2} t r (Σ^{- 1} E_{i i} E_{i i}) = - \frac{1}{2} σ^{i i}$

$Γ_{i i, k k}^{r r} = - \frac{1}{2} t r (E_{r r} E_{k k} Σ^{- 1} E_{i i}) - \frac{1}{2} t r (E_{r r} E_{i i} Σ^{- 1} E_{k k})$

这个式子只有当 $k = i = r$ 时不为零，即

$Γ_{i i, i i}^{i i} = - \frac{1}{2} σ^{i i} - \frac{1}{2} σ^{i i} = - σ^{i i}$

${\begin{cases} Γ_{k, k}^{k k} = 1 \\ Γ_{i i, i}^{i} = - \frac{1}{2} σ^{i i} \\ Γ_{i i, i i}^{i i} = - σ^{i i} \end{cases}$

其余的联络系数为0。

正态分布族的仿射联络 $\nabla$ 为

$\nabla_{e_{i}} e_{i} = Γ_{i, i}^{i i} E_{i i} = E_{i i}$

$\nabla_{e}_{i} E_{i i} = Γ_{i, i i}^{i} e_{i} = - \frac{1}{2} σ^{i i} e_{i}$

$\nabla_{E_{i i}} E_{i i} = Γ_{i i, i i}^{i i} E_{i i} = - σ^{i i} E_{i i}$

${\begin{cases} \nabla_{e_{i}} e_{i} = E_{i i} \\ \nabla_{e_{i}} E_{i i} = - \frac{1}{2} σ^{i i} e_{i} \\ \nabla_{E_{i i}} E_{i i} = - σ^{i i} E_{i i} \end{cases}$

其余为0。

接下来求二阶偏导：

$\begin{matrix} \nabla_{e_{i}} \nabla_{e_{i}} e_{i} = \nabla_{e_{i}} (\nabla_{e_{i}} e_{i}) \\ = \nabla_{e_{i}} E_{i i} \\ = - \frac{1}{2} σ^{i i} e_{i} \end{matrix}$

$\begin{matrix} \nabla_{E_{i i}} \nabla_{E_{i i}} E_{i i} = \nabla_{E_{i i}} (\nabla_{E_{i i}} E_{i i}) \\ = - σ^{i i} \nabla_{e_{i}} E_{i i} \\ = - {(σ^{i i})}^{2} E_{i i} \end{matrix}$

$\begin{matrix} \nabla_{e_{i}} \nabla_{e_{i}} E_{i i} = \nabla_{e_{i}} (\nabla_{e_{i}} E_{i i}) \\ = - \frac{1}{2} σ^{i i} \nabla_{e_{i}} e_{i} \\ = - \frac{1}{2} σ^{i i} E_{i i} \end{matrix}$

$\nabla_{E_{i i}} \nabla_{e_{i}} e_{i} = \nabla_{E_{i i}} E_{i i} = - σ^{i i} E_{i i}$

${\begin{cases} \nabla_{e_{i}} \nabla_{e_{i}} e_{i} = - \frac{1}{2} σ^{i i} e_{i} \\ \nabla_{E_{i i}} \nabla_{E_{i i}} E_{i i} = - {(σ^{i i})}^{2} E_{i i} \\ \nabla_{e_{i}} \nabla_{e_{i}} E_{i i} = - \frac{1}{2} σ^{i i} E_{i i} \\ \nabla_{E_{i i}} \nabla_{e_{i}} e_{i} = - σ^{i i} E_{i i} \end{cases}$

其余为0。

黎曼曲率张量就可以表示为

$\begin{matrix} R_{i, i i, i, i i} = g (\nabla_{e_{i}} \nabla_{E_{i i}} e_{i} - \nabla_{E_{i i}} \nabla_{e_{i}} e_{i}, E_{i i}) \\ = g (- \frac{1}{2} σ^{i i} E_{i i} + σ^{i i} E_{i i}, E_{i i}) \\ = \frac{1}{2} σ^{i i} g (E_{i i}, E_{i i}) \\ = \frac{1}{4} {(σ^{i i})}^{3} \end{matrix}$

其余为0。

Ricci曲率表示为

$\begin{matrix} R_{i, i} = R_{i i, i, i, i i} g^{i i, i i} \\ = - R_{i, i i, i, i i} g^{i i, i i} \\ = - \frac{1}{4} {(σ^{i i})}^{3} 2 σ_{i i}^{2} \\ = - \frac{1}{2} σ^{i i} \end{matrix}$

$\begin{matrix} R_{i i, i i} = R_{i, i i, i i, i} g^{i, i} \\ = - R_{i, i i, i, i i} g^{i, i} \\ = - \frac{1}{4} {(σ^{i i})}^{3} σ^{i i} \\ = - \frac{1}{4} {(σ^{i i})}^{2} \end{matrix}$

${\begin{cases} R_{i, i} = - \frac{1}{2} σ^{i i} \\ R_{i i, i i} = - \frac{1}{4} {(σ^{i i})}^{2} \end{cases}$

这个空间的数量曲率为

$\begin{matrix} R = \sum_{i} R_{i, i} g^{i, i} + R_{i i, i i} g^{i i, i i} \\ = \sum_{i} (- \frac{1}{2} σ^{i i} σ_{i i} - \frac{1}{4} {(σ^{i i})}^{2} 2 σ_{i i}^{2}) \\ = - n \end{matrix}$

比较度量张量与Ricci张量，有如下的关系：

${\begin{cases} R_{i, i} = - \frac{R}{2 n} g_{i i} = - \frac{1}{2} g_{i i} \\ R_{i i, i i} = - \frac{R}{2 n} g_{i i, i i} = - \frac{1}{2} g_{i i, i i} \end{cases}$

综上可以看到，n-维正态分布的参数空间是爱因斯坦空间。

∎

参考文献

[1]	Sato, Y., Sugawa, K. and Kawaguchi, M. (1979) The Geometrical Structure of the Parameter Space of the Two-Dimensional Normal Distribution. Reports on Mathematical Physics, 16, 111-119. https://doi.org/10.1016/0034-4877(79)90043-0
[2]	Skovgaard, L.T. (1984) A Riemannian Geometry of the Multivariate Normal Model. Scandinavian Journal of Statistics, 11, 211-223.
[3]	孙华飞, 张真宁, 彭林玉, 段晓敏. 信息几何导引[M]. 北京: 科学出版社, 2016.
[4]	Amari, S. (2016) Information Geometry and Its Applications. Springer.

为你推荐

友情链接