转移概率的性质及其应用
The Property of Transition Probability and Its Application
DOI: 10.12677/AAM.2019.89176, PDF,   
作者: 罗 柱：广东东软学院，广东 佛山
关键词: 转移概率；马尔可夫链；随机过程；Transition Probability； Markov Chain； Stochastic Process
摘要: 转移概率是研究马尔可夫链中状态之间转移的一个重要的计算概率工具，本文导出了转移概率的两个重要的性质，并运用转移概率性质讨论了Polya罐子模型，并导出了一个重要的递推等式。
Abstract: Transition probability is an important computational tool in Markov chain. This paper derives two important properties of transition probability, and discusses the Polya jar model by using these properties, which leads to an important Recursive equation.
文章引用：罗柱. 转移概率的性质及其应用[J]. 应用数学进展, 2019, 8(9): 1511-1514. https://doi.org/10.12677/AAM.2019.89176

1. 引言

古典概型在概率论中占有十分重要的地位，它的计算方法在许多实际问题的研究中有很广泛的应用。Polya罐子模型是古典概型中一类很重要的模型， [1] [2] [3] 用古典概率的方法讨论该模型相关问题，但很少有文献资料用转移概率的思想讨论该模型相关问题，最多也只限于转移矩阵的讨论，目前， [4] 应用Chanpman-Kolmogorov方程讨论了一个古典概型问题。众所周知，转移概率是马尔可夫链中重要的概念，在实际问题中也常常遇到作随机运动的系统。马尔可夫模型是描述这类系统的有力工具，且它也是一类最简单的随机过程，它在自然科学和社会科学的各个领域都有重要的作用。其研究对象为一个系统的状态和状态转移。因此对事物不同状态的研究需要状态之间的转移概率来描述。

2. 定义和性质

2.1. 相关定义

定义2.1.1：随机过程 { X n , n = 0 , 1 , 2 , ⋯ } 称为马尔可夫链，若它只取有限或可列个值，并对任意的 n ≥ 0 及任意状态 i , j , i 0 , i 1 , ⋯ , i n ，有

P ( X n + 1 = j | X n = i , X n − 1 = i n − 1 , ⋯ , X 2 = i 2 , X 1 = i 1 , X 0 = i 0 ) = P ( X n + 1 = j | X n = i ) (1)

其中 X n = i 表示过程在时刻n处于状态i，称 { i 0 , i 1 , i 2 , i 3 , ⋯ } 为该过程的状态空间，记为S。

注：(1)刻画了马尔可夫链的特性，称为马尔可夫性。

定义2.1.2：称 P ( X n + 1 = j | X n = i ) 为马尔可夫链 { X n , n = 0 , 1 , 2 , ⋯ } 的一步转移概率，简称转移概率。

定义2.1.3：若对任何状态 i , j ， P ( X n + 1 = j | X n = i ) 只与 i , j 有关而不依赖于n，则 { X n , n = 0 , 1 , 2 , ⋯ } 为时齐马尔可夫链，否则称非时齐马尔可夫链。

定义2.1.4：称 P i j ( n ) = P ( X m + n = j | X m = i ) , i , j ∈ S , m ≥ 0 , n ≥ 1 为马尔可夫链的n步转移概率。

2.2. 转移概率的性质

性质2.2.1： P ( X n + 1 = j | X n = i ) ≥ 0 , ∑ j ∈ S P ( X n + 1 = j | X n = i ) = 1 。

性质2.2.2： P ( X n = i n , X n − 1 = i n − 1 , ⋯ , X 1 = i 1 , X 0 = i 0 ) = ∏ k = 1 n P ( X k = i k | X k − 1 = i k − 1 ) P ( X 0 = i 0 ) 。

证明：

P ( X n = i n , X n − 1 = i n − 1 , ⋯ , X 1 = i 1 , X 0 = i 0 ) = P ( X n = i n | X n − 1 = i n − 1 , ⋯ , X 1 = i 1 , X 0 = i 0 ) P ( X n − 1 = i n − 1 , ⋯ , X 1 = i 1 , X 0 = i 0 ) = P ( X n = i n | X n − 1 = i n − 1 ) P ( X n − 1 = i n − 1 | X n − 2 = i n − 2 ⋯ , X 1 = i 1 , X 0 = i 0 ) P ( X n − 2 = i n − 2 ⋯ , X 1 = i 1 , X 0 = i 0 ) = P ( X n = i n | X n − 1 = i n − 1 ) P ( X n − 1 = i n − 1 | X n − 2 = i n − 2 ) P ( X n − 2 = i n − 2 ⋯ , X 1 = i 1 , X 0 = i 0 ) = ⋯ = ∏ k = 1 n P ( X k = i k | X k − 1 = i k − 1 ) P ( X 0 = i 0 )

下面我们导出转移概率的2个性质，

性质2.2.3： P ( X n + 1 = j ) = ∑ k ∈ S P ( X n + 1 = j | X n = k ) P ( X n = k ) 。

证明：

P ( X n + 1 = j ) = P { ( X n + 1 = j ) ∩ ( ∪ k ∈ S X n = k ) } = ∑ k ∈ S P { ( X n + 1 = j ) ∩ ( X n = k ) } = ∑ k ∈ S P ( X n + 1 = j | X n = k ) P ( X n = k )

类似于性质2.2.3，我们不加证明给出下面的性质，

性质2.2.4： P ( X n + 1 = j ) = ∑ k ∈ S P ( X n + 1 = j | X 0 = k ) P ( X 0 = k ) 。

3. 应用

Polya罐子模型是概率论中的一个重要模型， [1] 对该模型问题从古典概率角度作了详细的论述。下面，我们从转移概率的角度探讨该模型相关问题。

例3.1：(Polya罐子模型)设罐中有b个黑球、r个红球，每次从罐中随机摸出一个球，观其颜色后放回，并加入c个同颜色的球。如此重复下去，在n次摸球中，恰好取出 n 1 个黑球， n 2 ( n 1 + n 2 = n ) 个红球的概率。

解：设 X n , n = 0 , 1 , 2 , 3 , ⋯ 表示第n次试验结束时罐中黑球的个数，注意到，每取放一次后，黑球数或者保持不变，或者增加c个，因此其一步转移概率为

P ( X n + 1 = j | X n = i ) = { i b + r + n c ,             j = i + c 1 − i b + r + n c ,         j = i 0 ,                                       其 它

又，

P ( X n + 1 = k + c | X n = k ) = k b + r + n c

P ( X n = k | X n − 1 = k ) = 1 − k b + r + ( n − 1 ) c = b + r + ( n − 1 ) c − k b + r + ( n − 1 ) c

P ( X n + 1 = k + c | X n = k + c ) = 1 − k + c b + r + n c = b + r + ( n − 1 ) c − k b + r + n c

P ( X n = k + c | X n − 1 = k ) = k b + r + ( n − 1 ) c

注意到

P ( X n + 1 = k + c | X n = k + c ) P ( X n = k + c | X n − 1 = k ) = P ( X n + 1 = k + c | X n = k ) P ( X n = k | X n − 1 = k ) (2)

(2)说明，罐中黑球数一定时，概率与取黑球白球的次序无关。依次类推，交换黑球白球次序，使前 n 1 次全为黑球，后 n 2 次为红球，则

P ( 前 n 1 次 全 为 黑 球 ,   后 n 2 次 全 为 红 球 ) = P ( X 1 = b + c ) P 12 P 23 ⋯ P n 1 − 1 n 1 P n 1 n 1 + 1 ⋯ P n − 1 n = b b + r b + c b + r + c ⋯ b + ( n 1 − 1 ) c b + r + ( n 1 − 1 ) c r b + r + n 1 c ⋯ r + ( n 2 − 1 ) c b + r + ( n − 1 ) c ≜ P

根据上面分析，与取黑球红球的次序无关，因此

P ( 恰 好 取 出 n 1 个 黑 球 ,   n 2 为 红 球 ) = C n n 1 P

根据性质2.2.3，Polya罐子模型有如下结论

命题3.2： P k ( n + 1 ) = P k ( n ) r + ( n − k ) c b + r + n c + P k − 1 ( n ) b + ( k − 1 ) c b + r + n c ，其中 P k ( n ) 表示前n次取球中出现k个黑球的概率，规定 P − 1 ( n ) = 0 。

证明：设 X n , n = 0 , 1 , 2 , 3 , ⋯ 表示第n次试验结束时罐中黑球的个数，则

P k ( n + 1 ) = P ( X n + 1 = b + k c )

根据性质2.2.3，有

P k ( n + 1 ) = P ( X n + 1 = b + k c ) = P ( X n + 1 = b + k c | X n = b + k c ) P ( X n = b + k c )     + P ( X n + 1 = b + k c | X n = b + ( k − 1 ) c ) P ( X n = b + ( k − 1 ) c ) = P k ( n ) ( 1 − b + k c b + r + n c ) + P k − 1 ( n ) b + ( k − 1 ) c b + r + n c = P k ( n ) r + ( n − k ) c b + r + n c + P k − 1 ( n ) b + ( k − 1 ) c b + r + n c

参考文献

[1] 费勒. 概率论及其应用[M]. 第3版. 北京: 人民邮电出版社, 2006: 91-95.
[2] 茆诗松, 程依明, 濮晓龙. 概率论与数理统计教程[M]. 第2版. 北京: 高等教育版社, 2017: 43-44.
[3] Ross, S.M. 应用随机过程概率模型导论[M]. 第11版. 北京: 人民邮电出版社, 2018: 153-154.
[4] 朱庆峰, 王煜. 一类古典概率问题的解法探究[J]. 高等数学研究, 2017, 20(1): 92-95.

为你推荐