应用物理  >> Vol. 9 No. 9 (September 2019)

(r, s)熵的稳定性的研究
Study on the Stability of (r, s) Entropy

DOI: 10.12677/APP.2019.99047, PDF, HTML, XML, 下载: 279  浏览: 432 

作者: 王甜甜, 汪加梅, 李婉晴:安徽工业大学,数理科学与工程学院,安徽 马鞍山

关键词: (r s)熵迹距离概率分布密度算子(r s) Entropy Trace Distance Probability Distribution Density Operate

摘要: 本文推广了文献中关于Tsallis熵的稳定性的研究,利用概率耦合方法建立了经典情形下(r, s)熵的紧上界,并以同样的方法给出了量子情形的紧上界。这些结果给出了(r, s)熵的一致连续性和稳定性的一些定量刻画。
Abstract: In this paper, the stability of Tsallis entropy in reference  is generalized, and the compact upper bound of (r, s) entropy in classical cases is established by using the probabilistic coupling method, and the upper bound of the quantum condition is given in the same way. These results give some quantitative characterizations of uniform continuity and stability of entropy.

文章引用: 王甜甜, 汪加梅, 李婉晴. (r, s)熵的稳定性的研究[J]. 应用物理, 2019, 9(9): 390-396. https://doi.org/10.12677/APP.2019.99047

1. 引言

在经典力学和量子论中,用状态泛函来量化状态的信息内容是非常重要的。普遍的经典概率分布的Shannon熵和密度算子的Von Neumann熵就是两个范例。此外,还从更一般的物理和数学考虑出发,引入了在描述反常现象中起重要作用的各种广义熵量,如Renyi熵和Tsallis熵等,而这些熵都可由 ( r , s ) 熵根据参数的不同取值得到。关于所以这些状态泛函的一个基本问题是它们的连续性或不连续性质:当基本状态发生变化时,它们是如何变化的?

1982年,Lesche对Renyi熵研究了这个问题,他认为Renyi r-熵对于 r 1 是不稳定的(或者说性质是不强的),用数学语言来说,它们对于迹距离不是一致连续的。2002年,安倍再次讨论了Lesche型的稳定性问题 [2],他证明了Tsallis熵虽然从数学角度来说与Renyi熵无关,但对于有限系统来说是稳定的。此外,Curado and Nobre [3],and Abe et al. [4] 证明了某些广义熵的稳定性。

具体来说,让我们考虑由所有m维向量 p = { p 1 , p 2 , , p m } 组成的纯态下 Δ m 的状态泛函 Φ 。假设p在 Δ m 中变化时, Φ ( p ) 的最大值为 Φ m ,则稳定性性质数学描述为对任何 ε > 0 ,存在 δ > 0 ,使得对任何 i = 1 m | p i q i | < δ ,都有 [2] [3] :

Φ ( p ) Φ ( q ) Φ m ε

在上述稳定性考虑的启发下,本文将通过一些尖锐的不等式,利用迹距离来控制 ( r , s ) 熵的变化,从而更精确地量化 ( r , s ) 熵的稳定性性质。

2. 经典情形

首先回顾一些概念。设 p X 为有限维随机变量X的概率分布

p X = { p X ( i ) : i = 1 , 2 , , m }

则经典 ( r , s ) 熵 [5] 为

H r s ( p X ) = 1 ( 1 r ) s ( ( i = 1 m p X r ( i ) ) s 1 ) (1)

其中r是可以取任意值的,取 r = 1 时可取 r 1 ,但是为了避免其他难题,我们只考虑具有特殊物理意义的 r > 1 , s 0 的情况。当 s 0 r 1 H r s ( p X ) 是由常数因子 log e 2 决定的Shannon熵;

H ( p X ) = i p X ( i ) log p X (i)

对数为以2为底。

很容易看出,m固定时,当且仅当对任意的i, p X ( i ) = 1 m 时, H r s ( p X ) 取最大值,最大值为

H r , m s = m ( 1 r ) s 1 ( 1 r ) s (2)

对于一对可能相关的随机变量 ( X , Y ) ,联合概率分布为 p X Y ,联合 ( r , s ) 熵为:

H r s ( p X Y ) = 1 ( 1 r ) s ( ( i , j = 1 m p X Y r ( i , j ) ) s 1 )

因为 r > 1 ,则有:

p X r ( i ) = ( j p X Y ( i , j ) ) r j p X Y r ( i , j )

( i = 1 m p X r ( i ) ) s ( i , j m p X Y r ( i , j ) ) s (3)

1 r < 0 ,则 H r s ( p X ) H r s ( p X Y )

对于两个随机变量X和Y在相同范围内概率分布分别为 p X p Y ,它们的迹距离定义为:

p X p Y K = 1 2 i = 1 m | p X ( i ) p Y ( i ) | (4)

因子 1 2 可保证迹距离的范围在0到1之间且将简化以后的公式。这个距离在描述概率分布的可分辨

性方面起着重要的作用 [6],也叫作Kolmogorov距离,因为

p X p Y K = sup A | i A p X ( i ) i A p Y ( i ) |

是被Kolmogorov提出的 [7]。

有了以上的准备,我们可以给出以下第一个主要的结论:

定理1. 设 是由等式(4)定义的迹距离,且 H r , m 1 s = ( m 1 ) ( 1 r ) s 1 ( 1 r ) s ,则对于 r > 1 ,有

| H r s ( p X ) H r s ( p Y ) | H r s ( ε ) + ε r s H r , m 1 s (5)

成立。其中 H r s ( ε ) = 1 ( 1 r ) s ( ε r + ( 1 ε ) r 1 ) 为二元 ( r , s ) 熵。

注1 不等式(5)可以取等号,例如当

p X ( 1 ) = 1 ε , p X ( 2 ) = p X ( 3 ) = = p X ( m ) = ε m 1

p Y ( 1 ) = 1 , p Y ( 2 ) = p Y ( 3 ) = = p Y ( m ) = 0

时取等号。

注2注意不等式(5)的左边与 p X p Y 中的元素的顺序无关,但是迹距离 ε = p X p Y k 与元素的顺序有关。因此不等式(5)可以进一步加强:

| H r s ( p X ) H r s ( p Y ) | H r s ( ε τ ) + ε τ r s H r , m 1 s (6)

其中 ε τ = 1 2 i = 1 m | p X ( τ ( i ) ) p Y ( i ) | τ 是集合 { 1 , 2 , , m } 的任意排列。

定理1的证明:我们分两步进行。若 p X = p Y ,结果显然成立,因此证明中我们都假设 p X p Y

I = { i : p X ( i ) p Y ( i ) } I c = { i : p X ( i ) > p Y ( i ) } 是非空的。

1) 首先,对于任意两个概率分布pX和pY,存在一个二元概率分布pXY使得

p X Y ( i , i ) = min { p x ( i ) , p Y ( i ) } , i = 1 , 2 , , m

ε = p ( X Y ) ,则

P { X Y } = 1 P ( X = Y ) = 1 i = 1 m min { p x ( i ) , p Y ( i ) } = 1 2 i = 1 m ( p x ( i ) + p Y ( i ) 2 min { p x ( i ) , p Y ( i ) } ) = 1 2 i = 1 m | p x ( i ) p Y ( i ) | = ε

若令 q j = i : i j p X Y ( i , j ) ,则

j q j = i j p X Y ( i , j ) = p ( X Y ) = ε (7)

2) 不失一般性,我们假设 H r s ( p X ) H r s ( p Y ) ,则根据不等式(3)有

| H r s ( p X ) H r s ( p Y ) | = H r s ( p X ) H r s ( p Y ) H r s ( p X Y ) H r s ( p Y ) (8)

Θ = { 0 , X = Y 1 , X Y ,则明显有 P ( Θ ) = P ( X Y ) = ε ,而

H r s ( p X Y ) H r s ( p Y ) = ( H r s ( p X Y ) H r s ( p Θ Y ) ) + ( H r s ( p Θ Y ) H r s ( p Y ) )

因为

H r s ( p Θ Y ) = 1 ( 1 r ) s [ ( θ , j p Θ Y r ( θ , j ) ) s 1 ]

p Θ Y r ( 0 , j ) = P ( Θ = 0 , Y = j ) = P ( X = Y , Y = j ) = P X Y ( j , j )

p Θ Y r ( 1 , j ) = P ( Θ = 1 , Y = j ) = P ( X Y , Y = j ) = i : i j p X Y ( i , j )

H r s ( p X Y ) H r s ( p Θ Y ) = 1 ( 1 r ) s [ ( i , j p X Y r ( i , j ) ) s 1 ] 1 ( 1 r ) s [ ( j p X Y r ( j , j ) ) s + j ( i : i j p X Y r ( i , j ) ) s 1 ] = 1 ( 1 r ) s [ ( i , j p X Y r ( i , j ) ) s j ( i : i j p X Y r ( i , j ) ) s ] = 1 ( 1 r ) s ( j q j r ) s [ ( i : i j p X Y r ( i , j ) q j r ) s 1 ]

这里 q j = i : i j p X Y ( i , j ) ,因为 1 ( 1 r ) s [ ( i : i j p X Y r ( i , j ) q j r ) s 1 ] 是概率分布

{ p X Y ( i , j ) q j , i 1 , 2 , , m , i j }

熵,对于 m 1 维成立,以 H r , m 1 s 为上界。因此,结合等式(9),对于 r > 1 , s 0

H r s ( p X Y ) H r s ( p Θ Y ) ( j q j r ) s H r , m 1 s ( j q j ) r s H r , m 1 s = ε r H r , m 1 s (9)

根据 r > 1 ,有:

j ( q j k q k ) r j q j k q k = 1

根据指数函数 y = a x 的单调性可知,当 0 < a < 1 , x 0 时, y 1 ,则

( j q j r ) s ( j q j ) r s 1

则第二个不等式成立。

注意到 H r s ( p Θ ) = H r s ( ε , 1 ε ) ,则我们只需证

H r s ( p Θ Y ) H r s ( p Y ) H r s ( p Θ ) (10)

p Θ Y ( θ , j ) = P ( Θ = θ , Y = j ) p Θ | Y ( θ | j ) = P ( Θ = θ | Y = j ) = p Θ Y ( θ , j ) p Y ( j ) ,则

H r s ( p Θ Y ) H r s ( p Y ) 1 ( 1 r ) s [ ( θ , j p Θ Y r ( θ , j ) ) s ( j p Y r ) s ] = 1 ( 1 r ) s ( j p Y r ) s [ ( θ , j p Θ Y r ( θ , j ) ) s ( j p Y r ) s 1 ] = 1 ( 1 r ) s ( j p Y r ) s [ ( θ p Θ Y r ( θ , j ) p Y r ) s 1 ] = 1 ( 1 r ) s ( j p Y r ) s [ ( θ p Θ | Y r ( θ | j ) ) s 1 ]

根据函数 f ( t ) = t r ( r > 1 )的凸性和单调性知

( j p Y ( j ) p Θ | Y ( θ | j ) ) r j p Y ( j ) p Θ | Y r ( θ | j )

( j p Y ( j ) p Θ | Y ( θ | j ) ) r s ( j p Y ( j ) p Θ | Y r ( θ | j ) ) s

因此,根据 1 r < 0 ,有

H r s ( p Θ ) = 1 ( 1 r ) s [ ( θ p Θ r ( θ ) ) s 1 ] = 1 ( 1 r ) s { [ θ ( j p Y ( j ) p Θ | Y ( θ | j ) ) r ] s 1 } 1 ( 1 r ) s [ ( θ j p Y ( j ) p Θ | Y r ( θ | j ) ) s 1 ] = 1 ( 1 r ) s ( j p Y ( j ) ) s [ ( θ p Θ | Y r ( θ | j ) ) s 1 ] 1 ( 1 r ) s ( j p Y r ( j ) ) s [ ( θ p Θ | Y r ( θ | j ) ) s 1 ] = H r s ( p Θ Y ) H r s (pY)

由式可得到定理1成立。

3. 量子延伸

文献 [1] 中作者根据经典情形给出了量子情形Tsallis熵在量子情形下的稳定性;对于两个密度算子 ρ σ ,定义它们的迹距离为

ρ σ K = 1 2 t r | ρ σ | (11)

γ = ρ σ K ,且 S r , m 1 s = ( m 1 ) ( 1 r ) s 1 ( 1 r ) s ,则对于 α > 1 ,有

| S α ( ρ ) S α ( σ ) | H α ( γ ) + γ α S α , m 1

在这一部分中,我们会也将不等式(5)和(6)延伸到量子情形中,用密度算子代替概率密度,求和改为取迹。更具体地说,令 ρ 为密度算子,类比于等式(1),它的 ( r , s ) 熵为

S r s ( ρ ) = 1 ( 1 r ) s [ ( t r ρ r ) s 1 ]

s = 1 , r 1 时, S ( ρ ) = t r ρ log ρ 为Von Neumann熵。

当密度算子被限制在m维复希尔伯特空间上,当 p = 1 m ,即最大混合态时 S r s ( ρ ) 有最大值,且最大值与等式(2)所定义的一样

S r , m s = H r , m s = m ( 1 r ) s 1 ( 1 r ) s

定理2. 令 γ = ρ σ K 为(11)式所定义的迹距离, S r , m 1 s = ( m 1 ) ( 1 r ) s 1 ( 1 r ) s ,则对于 r > 1 , s 0 ,有:

| S r s ( ρ ) S r s ( σ ) | H r s ( γ ) + γ r s S r , m 1 s (12)

这里的 H r s ( · ) 是定理1中定义的二元 ( r , s ) 熵。

定理2的证明令 ρ σ 有谱分解:

ρ = i = 1 m p i | ϕ i ϕ i | σ = i = 1 m q i | ψ i ψ i |

谱集 p = { p i } q = { q i } 分别构成两个经典概率分布,并且有

S r s ( ρ ) = H r s ( p ) S r s ( σ ) = H r s (q)

所以根据定理1或者更确切地说根据不等式(7),我们有对于任何排列的 τ

| S r s ( ρ ) S r s ( σ ) | = | H r s ( ρ ) H r s ( σ ) | | S ( ρ ) S ( σ ) | H r s ( γ τ ) + γ τ r H r , m 1 s (13)

这里 γ τ = 1 2 i = 1 m ( p τ ( i ) q ( i ) )

由 [8] 的定理Ⅲ.4.4知,存在排列u和v,使得 γ u γ γ v ,这里 γ u γ v γ z 的定义一样。函数 f ( γ ) = S r s ( γ ) + γ α S r , m 1 s 是单峰函数(先单调增加,后单调递减),我们得到 f ( γ v ) f ( γ ) f ( γ u ) f ( γ ) ,将该不等式代入到不等式(13)中得到不等式(12)。定理2得证。

对比定理1和定理2可以清晰地看出量子情形是在经典情形的基础上将概率密度改为密度算子,将求和改为取迹,证明过程也基本类似,无论是经典情形还是量子情形, ( r , s ) 熵都有紧上界,也即满足稳定性的结论。

4. 总结

本文利用概率耦合的方法讨论了经典 ( r , s ) 熵的Lesche稳定性,通过一些尖锐的不等式,利用迹距离来控制 ( r , s ) 熵的变化,从而更精确地量化经典 ( r , s ) 熵的稳定性性质,同时也推出了相应的量子 ( r , s ) 熵的稳定性结论,当r,s取不同值时可以直接得到Tsallis熵等其他的熵的稳定性性质。

参考文献

[1] Zhang, Z.M. (2007) Uniform Estimates on the Tsallis Entropies. Letters in Mathematical Physics, 80, 171-181.
https://doi.org/10.1007/s11005-007-0155-1
[2] Abe, S. (2005) Stability of Tsallis Entropy and Instabilities of Rényi and Normalized Tsallis Entropies: A Basis for q-Exponential Distribution. Physical Review E Statistical Nonlinear & Soft Matter Physics, 72, Article ID: 046134.
[3] Abe, S., Kaniadakis, G. and Scarfone, A.M. (2004) Stabilities of Generalized Entropies. Journal of Physics A: Mathematical and General, 37, 10513-10519.
https://doi.org/10.1088/0305-4470/37/44/004
[4] Curado, E.M.F. and Nobre, F.D. (2004) On the Stability of Analytic Entropic Forms. Physica A: Statistical Mechanics and its Applications, 335, 94-106.
https://doi.org/10.1016/j.physa.2003.12.026
[5] Hu, X.H. and Ye, Z.X. (2006) Generalized Quantum Entropy. Journal of Mathematical Physics, 47, Article ID: 023502.
https://doi.org/10.1063/1.2165794
[6] Fuchs, C.A. and van de Graaf, J . (1999) Cryptographic Distinguishability Measures for Quantum-Mechanical States. IEEE Transactions on Information Theory, 45, 1216-1227.
https://doi.org/10.1109/18.761271
[7] Kolmogorov, A.N. (1963) On the Approximation of Distributions of Sums of Independent Summands by Infinitely Divisible Distributions. Sankhyā: The Indian Journal of Statistics, Series A (1961-2002), 25, 159-174.
[8] Bhatia, R. (2011) Matrix Analysis. World Book Publishing Company.