带有无限马尔可夫跳跃的离散系统LQ纳什博弈

LQ Nash Games for Discrete Systems with Infinite Markov Jumps

摘要: 研究具有无限马尔可夫跳跃和(x,u,v)-独立噪声的随机微分方程(SDEs)的无限时域线性二次(LQ)纳什博弈问题。基于矩阵伪逆性质，算子理论，状态稳定性性质，给出不定LQ控制的可达性与ICGAREs解的存在性之间的等价条件。在此基础上，在EMSS-C和强可检测性条件下，确定了无限马尔可夫跳跃系统的无限时域纳什对策。

Abstract: In this paper, we consider infinite horizon linear-quadratic (LQ) Nash games for stochastic differen-tial equations (SDEs) with infinite Markovian jumps and (x,u,v) -dependent noise. Based on the pseudo-inverse property of matrix, operator theory and state stability property, the equivalent conditions between the reachability of indefinite LQ control and the existence of ICGAREs solution are given. On this basis, the infinite-domain Nash games for infinite Markov jump systems are de-termined under the conditions of EMSS-C and strong detectability.

1. 引言

动态博弈论在工程、经济学、管理科学等领域的实际应用引起了研究的广泛关注 [1] - [7] 。此外，LQ Nash博弈在理论和应用中的重要性而成为这些研究的焦点。连续和离散时间系统的纳什对策得到众学者的广泛的研究，包括 [8] [9] 给出了一套保证具有马尔可夫跳跃的线性系统与无限时域LQ微分对策相关的代数黎卡提方程稳定解存在的充分条件。 [10] 给出了有限时域马尔可夫跳跃线性系统与LQ微分对策相关的黎卡提方程稳定解存在的充要条件。 [11] 给出了连续情况下马尔可夫跳跃系统的LQ微分对策相关的黎卡提方程稳定解存在的充要条件。

值得注意的是，许多关于纳什博弈的研究只关注于有限的马尔可夫切换。众所周知，具有无限马尔可夫切换的SDE的纳什对策问题仍未解决。但是具有无限马尔可夫跳跃过程可以对实际生产生活中发生的突变进行更精确的描述。 [12] [13] 表示，对于无限马尔可夫跳跃系统随机稳定性(SS)和条件指数均方稳定(EMSS-C)不再等价。因为具有有限马尔可夫切换的线性系统中两个稳定性概念是等价的。故深入研究无限马尔可夫切换系统是非常有必要的。

本文讨论了具有无限马尔可夫跳跃和 $\left(x,u,v\right)$ -独立噪声的SDEs的无限时域LQ Nash对策问题。主要贡献如下：首先，利用伪逆矩阵的性质，给出不定LQ控制的可达性与ICGARE解的存在性之间的等价条件。基于得到的不定LQ结果，在EMSS-C和强可检测性条件下，确定了无限马尔可夫跳跃系统的无限时域纳什对策。

本文组织结构如下：在第2节中，我们将介绍一些初步准备工作。第3节讨论不定LQ控制的达性，并给出了纳什均衡点存在的充要条件。第4节对本文内容进行总结。

为方便起见，我们采用了以下符号。 $R_{+}$ ：所有非负实数的集合； $R^n$ ：n维实欧氏空间； $R^{m\times n}$ ： $m\times n$ 阶实矩阵所组成的线性空间； $\Vert \cdot \Vert$ : $R^n$ 的欧氏范数或 $R^{m\times n}$ 算子范数； $I_n$ ： $n\times n$ 阶单位矩阵； $A^{\prime }$ ：A矩阵(或向量)的转置； $A^{†}$ ：矩阵A的伪逆； $S_n$ ：所有 $n\times n$ 阶对称矩阵的集合； $A>0\left(\ge 0\right)$ ：A是正(半正)定； ${\delta }_{(\cdot )}$ ：Kronecker函数； $\mathcal{D}=\left\{1,2,\cdots \right\}$ ，状态空间。

2. 模型介绍

给定完备概率空间 $\left(\Omega ,\mathcal{F},P\right)$ ，考虑下列带有无限马尔可夫跳和 $\left(x,u,v\right)$ -独立噪声随机系统：

$\{\begin{array}{l}x\left(t+1\right)=A_0\left({\eta }_t\right)x\left(t\right)+B_0\left({\eta }_t\right)v\left(t\right)+G_0\left({\eta }_t\right)u\left(t\right)+{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{A_k\left({\eta }_t\right)x\left(t\right)+B_k\left({\eta }_t\right)v\left(t\right)+G_k\left({\eta }_t\right)u\left(t\right)\right\}{\omega }_k\left(t\right)}\\ z\left(t\right)=\left(\begin{array}{l}C\left({\eta }_t\right)x\left(t\right)\\ D\left({\eta }_t\right)u\left(t\right)\end{array}\right)D{\left({\eta }_t\right)}^{\prime }D\left({\eta }_t\right)=I_{n^u}\\ x\left(0\right)=x_0\in R^n\eta \left(\text{0}\right)={\eta }_0\in \mathcal{D}t\in Z_{+}\end{array}$ (1)

此处 $x\left(t\right)\in R^n$ ， $u\left(t\right)\in R^{n_u}$ ， $v\left(t\right)\in R^{n_v}$ ， $z\left(t\right)\in R^{n_z}$ 分别为系统状态，外部干扰，控制输入和测量输出。 $\omega \left(t\right)=\left({\omega }_1\left(t\right),{\omega }_2\left(t\right),\cdots ,{\omega }_r\left(t\right)\right)$ ，是一个标准的r维布朗运动，且满足 $E\left(\omega \left(t\right)\right)=0$ ， $E\left({\omega }_k\left(t\right){\omega }_s{\left(t\right)}^{\prime }\right)=I_r{\delta }_{ks}$ 。令 ${\left\{{\eta }_t\right\}}_{t\in Z_{+}}$ 为齐次无穷马尔可夫链，且假设 ${\left\{{\eta }_t\right\}}_{t\in Z_{+}}$ 和 ${\left\{\omega \left(t\right)\right\}}_{t\in Z_{+}}$ 相互独立。转移概率矩阵 $P=\left[p\left(i,j\right)\right]$ ，其中 $p\left(i,j\right)=p\left({\eta }_{t+1}=j|{\eta }_t=i\right)$ 。P为非退化矩阵，即满足对于所有 $i,j\in \mathcal{D}$ ， $p\left(i,j\right)\ge 0$ ， ${\displaystyle {\sum }_{j=1}^{\infty }p\left(i,j\right)}=1$ ， ${\displaystyle {\sum }_{k=1}^{\infty }p\left(k,j\right)}>0$ 。

令 ${ℍ}_{\infty }^{m\times n}$ 表示集 $\left\{H|H\left(1\right),H\left(2\right),\cdots ,H\left(N\right),H\left(i\right)\in R^{m\times n}\right\}$ ，此处H满足 ${\displaystyle {\sum }_{l=1}^{\infty }\Vert H\left(l\right)\Vert }<\infty$ 。 ${ℍ}_{\infty }^{m\times n}$ 为实巴拿赫空间，空间范数定义为 ${\Vert H\Vert }_{\infty }={\sup }_{l\in \mathcal{D}}\Vert H\left(l\right)\Vert$ 。由 $n\times n$ 阶矩阵序列组成的 ${ℍ}_{\infty }^{m\times n}$ 子空间定义为 ${ℍ}_{\infty }^n$ 。而且 ${ℍ}_{\infty }^{n+}$ 表示 ${ℍ}_{\infty }^n$ 的子空间，其元素满足，对所有的 $i\in \mathcal{D}$ ， $H\ge 0$ 当且仅当 $H\left(i\right)\ge 0$ 。假设所考虑的系统系数均有一个有限范数 ${\Vert \cdot \Vert }_{\infty }$ 。

定义1 若对所有 $t\in Z_{+}$ ， $i\in \mathcal{D}$ ， $x_0\in R^n$ ，存在 $\alpha >0$ 且 $\beta \ge 1$ 使得 $E\left[{\Vert x\left(t\right)\Vert }^2|{\eta }_0=i\right]\le \beta {\text{e}}^{-\alpha t}{\Vert x_0\Vert }^2$ ，则称带有无限马尔可夫跳SDE：

$x\left(t+1\right)=A_0\left({\eta }_t\right)x\left(t\right)+{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{A_k\left({\eta }_t\right)x\left(t\right)\right\}{\omega }_k\left(t\right)}t\in Z_{+}$ (2)

或 $\left(A;P\right)\left(A=\left(A_0,\cdots ,A_r\right)\right)$ 称为EMSS-C的。

定义2 若存在序列 ${\left\{K\left({\eta }_t\right)\right\}}_{t\in Z_{+}}\in {ℍ}_{\infty }^{n_u\times n}$ ，使得闭环系统

$x\left(t+1\right)=\left(A_0\left({\eta }_t\right)+G_0\left({\eta }_t\right)K\left({\eta }_t\right)\right)x\left(t\right)+{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{\left(A_k\left({\eta }_t\right)+G_k\left({\eta }_t\right)K\left({\eta }_t\right)\right)x\left(t\right)\right\}{\omega }_k\left(t\right)}$ (3)

即 $\left(A+GK;P\right)$ 是EMSS-C，则称系统(1) $\left(v\left(t\right)=0\right)$ 或 $\left(A,G;P\right)$ 是指数稳定的，其中 $u\left(t\right)=K\left({\eta }_t\right)x\left(t\right)$ 。

定义3 若存在序列 ${\left\{H\left({\eta }_t\right)\right\}}_{t\in Z_{+}}\in {ℍ}_{\infty }^{n\times n_z}$ ，使得

$x\left(t+1\right)=\left\{A_0\left({\eta }_t\right)+H\left({\eta }_t\right)C\left({\eta }_t\right)\right\}x\left(t\right)+{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{A_k\left({\eta }_t\right)x\left(t\right)\right\}{\omega }_k\left(t\right)}t\in Z_{+}$ (4)

或 $\left(A_0+HC,\cdots ,A_r;P\right)$ 是EMSS-C的，则称系统(1) $\left(u\left(t\right)=0,v\left(t\right)=0\right)$ 或 $\left(A|C;P\right)$ 为强可检测的。

引理1 [13] 假设 $K_1\left({\eta }_t\right)\in {ℍ}_{\infty }^{n_v\times n}$ ， $K_2\left({\eta }_t\right)\in {ℍ}_{\infty }^{n_u\times n}$ ， $K_3\left({\eta }_t\right)\in {ℍ}_{\infty }^{n\times n_v}$ ，且 $H_1\left({\eta }_t\right)\in {ℍ}_{\infty }^{n_v+}$ ，定义

$C_1\left({\eta }_t\right)=\left(\begin{array}{c}C\left({\eta }_t\right)\\ H_1{\left({\eta }_t\right)}^{\frac{1}{2}}{K}_3{\left({\eta }_t\right)}^{\prime }\\ K_2\left({\eta }_t\right)\end{array}\right),C_2\left({\eta }_t\right)=\left(\begin{array}{c}C\left({\eta }_t\right)\\ K_2\left({\eta }_t\right)\end{array}\right)$

则有

1) 若 $\left(A|C;P\right)$ 是强可检测的，则 $\left(A+G{K}_2|C_2;P\right)$ 也是强可检测的。

2) $\left(A+B{K}_1|C;P\right)$ 是强可检测的，则 $\left(A+B{K}_1+G{K}_2|C_2;P\right)$ 也是强可检测的。

引理2 [14] 若 $\left(A|C;P\right)$ 也是强可检测的，则 $\left(A;P\right)$ 是EMSS-C的当且仅当存在 $X\in {ℍ}_{\infty }^{n+}$ ，使得

$X\left(i\right)-{\displaystyle \underset{k=0}{\overset{r}{\sum }}{A}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(X\left(i\right)\right)A_k\left(i\right)}=C{\left(i\right)}^{\prime }C\left(i\right)i\in \mathcal{D}$ (5)

引理3 [15] 令矩阵 $L,M$ 和N为给定矩阵，则下列方程 $LXM=N$ 有一个解X当且仅当 $L{L}^{†}N{M}^{†}M=N$ ，而且此解可表示为 $X=L^{†}N{M}^{†}+S-L^{†}LSM{M}^{†}$ ，此处S为适当维数矩阵。

3. 主要结果

考虑下列带有多重噪声的无限马尔可夫跳跃系统：

$\{\begin{array}{l}x\left(t+1\right)=A_0\left({\eta }_t\right)x\left(t\right)+G_0\left({\eta }_t\right)u\left(t\right)+{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{A_k\left({\eta }_t\right)x\left(t\right)+G_k\left({\eta }_t\right)u\left(t\right)\right\}{\omega }_k\left(t\right)}\\ x\left(0\right)=x_0\in R^n\eta \left(0\right)={\eta }_0\in \mathcal{D}t\in Z_{+}\end{array}$ (6)

定义容许控制集 $U_{ad}\left(x_0,i\right),\left(x_0,i\right)\in R^n\times \mathcal{D}$ ，

$U_{ad}\left(x_0,i\right)=\left\{u(\cdot )\in l^2\left(R_{+};R^{n_u}\right)|u(\cdot )是指数稳定的\right\}$ (7)

对于任意 $\left(x_0,i,u(\cdot )\right)\in R^n\times \mathcal{D}\times U_{ad}\left(x_0,i\right)$ ，相关的二次耗散函数(6)为

$J\left(x_0,i,u(\cdot )\right)=E\left\{{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}x{\left(t\right)}^{\prime }Q\left({\eta }_t\right)x\left(t\right)}+u{\left(t\right)}^{\prime }R\left({\eta }_t\right)u\left(t\right)|{\eta }_0=i\right\}$ (8)

其中， $Q\left({\eta }_t\right)$ 和 $R\left({\eta }_t\right)$ 为不定对称矩阵。

不定LQ最优控制是在容许控制集中取值，使代价函数 $J\left(x_0,i,u(\cdot )\right)$ 最小化，值函数V定义为

$V\left(x_0\right)=\underset{u(\cdot )\in U_{ad}\left(x_0,i\right)}{\min }J\left(x_0,i,u(\cdot )\right)$ (9)

若容许控制 $u^{*}(\cdot )$ 使J达到最小值 $V\left(x_0\right)$ ，则称为最优控制， $V\left(x_0\right)$ 为最优耗散值。

定理1 若 $\left(A,G;P\right)$ 是指数稳定的，则不定LQ控制(6)~(9)是可达的，当且仅当下列ICGARE：

$\{\begin{array}{l}\mathcal{Q}\left(P\left(i\right)\right)-\mathcal{G}\left(P\left(i\right)\right)\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)=0\\ \left\{I-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)\right\}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)=0\\ \mathcal{R}\left(P\left(i\right)\right)\ge 0i\in \mathcal{D}\end{array}$ (10)

有唯一稳定解 $P=\left(P\left(1\right),P\left(2\right),\cdots \right)\in {ℍ}_{\infty }^n$ ，最优值函数 $V\left(x_0\right)={x^{\prime }}_{0}P\left(i\right)x_0$ ，最优控制

$u^{*}(\cdot )=-\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)+\left[I-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)\right]M\left(t\right)-\left[I-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)\right]m\left(t\right)$ (11)

其中， $M(\cdot )\in l^2\left(Z_{+};R^{n_u\times n}\right)$ ， $m(\cdot )\in l^2\left(Z_{+};R^{n_u}\right)$ ，

$\begin{array}{l}\mathcal{Q}\left(P\left(i\right)\right)={\displaystyle \underset{k=0}{\overset{r}{\sum }}{A}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)A_k\left(i\right)}-P\left(i\right)+Q\left(i\right)\\ \mathcal{G}\left(P\left(i\right)\right)={\displaystyle \underset{k=0}{\overset{r}{\sum }}{A}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)G_k\left(i\right)}\\ \mathcal{R}\left(P\left(i\right)\right)={\displaystyle \underset{k=0}{\overset{r}{\sum }}{G}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)G_k\left(i\right)}+R(\; i\; )\end{array}$

${\epsilon }_i\left(P\right)={\displaystyle \underset{j=1}{\overset{\infty }{\sum }}p\left(i,j\right)P(\; j\; )}$

证明：(充分性)设 $V\left(t,x\left(t\right),{\eta }_t\right)=x{\left(t\right)}^{\prime }P\left({\eta }_t\right)x(\; t\; )$

$\begin{array}{l}E\left[V\left(t+1,x\left(t+1\right),{\eta }_{t+1}\right)-V\left(t,x\left(t\right),{\eta }_t\right)|{\eta }_t=i\right]\\ =E[x{\left(t\right)}^{\prime }\left({\displaystyle \underset{k=0}{\overset{r}{\sum }}{A}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)A_k\left(i\right)}-P\left(i\right)\right)x\left(t\right)+u{\left(t\right)}^{\prime }{G}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)A_k\left(i\right)x\left(t\right)\\ +u{\left(t\right)}^{\prime }{G}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)G_k\left(i\right)u\left(t\right)+x{\left(t\right)}^{\prime }{A}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)G_k\left(i\right)u\left(t\right)]\end{array}$

上式对t从0到 $T-1$ 求，结合(8)式

$\begin{array}{c}{J}^{T-1}\left(x_0,i,u(\cdot )\right)=E\left\{{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}x{\left(t\right)}^{\prime }Q\left({\eta }_t\right)x\left(t\right)}+u{\left(t\right)}^{\prime }R\left({\eta }_t\right)u\left(t\right)|{\eta }_0=i\right\}\\ =E\left[{x^{\prime }}_{0}P\left(i\right)x_0-x{\left(T\right)}^{\prime }P\left({\eta }_T\right)x\left(T\right)\right]\\ +E{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}[x{\left(t\right)}^{\prime }\left({\displaystyle \underset{k=0}{\overset{r}{\sum }}{A}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)A_k\left(i\right)}-P\left(i\right)+Q\left(i\right)\right)x\left(t\right)}\\ +2u{\left(t\right)}^{\prime }{G}_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)A_k\left(i\right)x\left(t\right)+u{\left(t\right)}^{\prime }\left(G_k{\left(i\right)}^{\prime }{\epsilon }_i\left(P\right)G_k\left(i\right)+R\left(i\right)\right)u\left(t\right)]\end{array}$ (12)

令 $T\to \infty$ ，由上，则(8)式可写为

$J\left(x_0,i,u(\cdot )\right)={x^{\prime }}_{0}P\left(i\right)x_0+E\left[{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}{\left(\begin{array}{c}x\left(t\right)\\ u\left(t\right)\end{array}\right)}^{\prime }\left(\begin{array}{cc}\mathcal{Q}\left(P\left(i\right)\right)& \mathcal{G}\left(P\left(i\right)\right)\\ {\mathcal{G}}^{\prime }\left(P\left(i\right)\right)& \mathcal{R}\left(P\left(i\right)\right)\end{array}\right)}\left(\begin{array}{c}x\left(t\right)\\ u\left(t\right)\end{array}\right)\right]$ (13)

取 $S_1\left(t\right)=M\left(t\right)-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)M\left(t\right)$ ， $S_2\left(t\right)=m\left(t\right)-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)m\left(t\right)$ .

由广义逆矩阵性质，有 $\mathcal{R}\left(P\left(i\right)\right)S_i\left(t\right)=\mathcal{R}{\left(P\left(i\right)\right)}^{†}{S}_i\left(t\right)$ ， $\mathcal{G}\left(P\left(i\right)\right)S_i\left(t\right)=0,i=1,2$ ，ICGARE(10)有唯一解 $P\in {ℍ}_{\infty }^n$ ，则由配方法可得，

$\begin{array}{l}J\left(x_0,i,u(\cdot )\right)={x^{\prime }}_{0}P\left(i\right)x_0+E{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}{\left\{u\left(t\right)+\left[\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)+S_1\left(t\right)\right]x\left(t\right)+S_2\left(t\right)\right\}}^{\prime }}\\ \mathcal{R}\left(P\left(i\right)\right)\left\{u\left(t\right)+\left[\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)+S_1\left(t\right)\right]x\left(t\right)+S_2\left(t\right)\right\}\end{array}$ (14)

由此，在(11)给定的最优控制下，最优值函数则为 ${x^{\prime }}_{0}P\left(i\right)x_0$ 。

(必要性)首先证明ICGARE (10)有一个最大值解。

考虑下列对称矩阵凸集

$\mathcal{P}\left(i\right)=\left\{P\left(i\right)\in S_n|\left(\begin{array}{cc}\mathcal{Q}\left(P\left(i\right)\right)& \mathcal{G}\left(P\left(i\right)\right)\\ {\mathcal{G}}^{\prime }\left(P\left(i\right)\right)& \mathcal{R}\left(P\left(i\right)\right)\end{array}\right)\ge 0,i\in \mathcal{D}\right\}$ (15)

因为不定LQ控制(6)~(7)是可达的，由 [16] 可知，值函数的二次形式为 $V\left(x_0\right)={x^{\prime }}_{0}P\left(i\right)x_0$ ，若 $\mathcal{P}\left(i\right)\ne \varphi$ ，令 $\bar{P}\left(i\right)$ 为 $\mathcal{P}\left(i\right)$ 中任意元素，由(12)则有

$\begin{array}{c}J\left(x_0,i,u(\cdot )\right)={x^{\prime }}_0\bar{P}\left(i\right)x_0+E\left[{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}{\left(\begin{array}{c}x\left(t\right)\\ u\left(t\right)\end{array}\right)}^{\prime }\left(\begin{array}{cc}\mathcal{Q}\left(\bar{P}\left(i\right)\right)& \mathcal{G}\left(\bar{P}\left(i\right)\right)\\ {\mathcal{G}}^{\prime }\left(\bar{P}\left(i\right)\right)& \mathcal{R}\left(\bar{P}\left(i\right)\right)\end{array}\right)}\left(\begin{array}{l}x\left(t\right)\\ u\left(t\right)\end{array}\right)\right]\\ \ge {x^{\prime }}_0\bar{P}\left(i\right)x_0\end{array}$ (16)

进一步则有 $V\left(x_0\right)={x^{\prime }}_{0}P\left(i\right)x_0\ge {x^{\prime }}_0\bar{P}\left(i\right)x_0$ ，可得 $P\left(i\right)\ge \bar{P}\left(i\right),i\in \mathcal{D}$

现证 $P\left(i\right)\in \mathcal{P}\left(i\right)$ ，应用动态规划法 [17] 则有

${x^{\prime }}_{0}P\left(i\right)x_0\le E\left\{{\displaystyle \underset{t=0}{\overset{s-1}{\sum }}x{\left(t\right)}^{\prime }Q\left({\eta }_t\right)x\left(t\right)}+u{\left(t\right)}^{\prime }R\left({\eta }_t\right)u\left(t\right)+x{\left(s\right)}^{\prime }P\left({\eta }_s\right)x\left(s\right)\right\}$ (17)

利用(11)，并令 $s=1$ ，则有

$E\left[{\left(\begin{array}{c}x\left(0\right)\\ u\left(0\right)\end{array}\right)}^{\prime }\left(\begin{array}{cc}\mathcal{Q}\left(P\left(i\right)\right)& \mathcal{G}\left(P\left(i\right)\right)\\ {\mathcal{G}}^{\prime }\left(P\left(i\right)\right)& \mathcal{R}\left(P\left(i\right)\right)\end{array}\right)\left(\begin{array}{c}x\left(0\right)\\ u\left(0\right)\end{array}\right)\right]\ge 0$ (18)

由 $x\left(0\right)$ 和 $u\left(0\right)$ 的任意性，由上式可得

$\left(\begin{array}{cc}\mathcal{Q}\left(P\left(i\right)\right)& \mathcal{G}\left(P\left(i\right)\right)\\ {\mathcal{G}}^{\prime }\left(P\left(i\right)\right)& \mathcal{R}\left(P\left(i\right)\right)\end{array}\right)\ge 0$ (19)

这表明 $P\left(i\right)$ 为 $\mathcal{P}\left(i\right)$ 中最大元素，由Schur引理 [18] ，则有

$\{\begin{array}{l}\mathcal{Q}\left(P\left(i\right)\right)-\mathcal{G}\left(P\left(i\right)\right)\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)\ge 0\\ \left\{I-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)\right\}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)=0\\ \mathcal{R}\left(P\left(i\right)\right)\ge 0i\in \mathcal{D}\end{array}$ (20)

再令 $u^{\ast }\left(t\right)$ 和 $x^{\ast }\left(t\right)$ 为最优控制和最优轨迹，类似(13)的证明，则有

$\begin{array}{c}V\left(x_0\right)=J\left(x_0,i,u^{*}(\cdot )\right)\\ ={x^{\prime }}_{0}P\left(i\right)x_0+E{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}{x}^{*}{\left(t\right)}^{\prime }\left[\mathcal{Q}\left(P\left(i\right)\right)-\mathcal{G}\left(P\left(i\right)\right)\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)\right]x^{*}\left(t\right)}\\ +{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}{\left[u^{*}\left(t\right)+\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)x^{*}\left(t\right)\right]}^{\prime }\mathcal{R}\left(P\left(i\right)\right)\left[u^{*}\left(t\right)+\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)x^{*}\left(t\right)\right]}\end{array}$ (21)

又有 $V\left(x_0\right)={x^{\prime }}_{0}P\left(i\right)x_0$ ，由(20)和(21)有

$\mathcal{Q}\left(P\left(i\right)\right)-\mathcal{G}\left(P\left(i\right)\right)\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)=0$ (22)

$\mathcal{R}{\left(P\left(i\right)\right)}^{\frac{1}{2}}\left[u^{*}\left(t\right)+\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)x^{*}\left(t\right)\right]=0$ (23)

由(22)可知 $P\left(i\right)$ 为ICGARE (10)的解，又由 $\bar{P}\left(i\right)$ 的任意性，则 $P\left(i\right)$ 为ICGARE(10)的最大值解。

其次，证明 $P\left(i\right)$ 为稳定解，由 $\mathcal{R}\left(P\left(i\right)\right)u^{*}\left(t\right)+{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)x^{*}\left(t\right)=0$ ，由引理3可解 $u^{*}\left(t\right)=-\mathcal{R}{\left(P\left(i\right)\right)}^{†}{\mathcal{G}}^{\prime }\left(P\left(i\right)\right)x^{*}\left(t\right)-\left[I-\mathcal{R}{\left(P\left(i\right)\right)}^{†}\mathcal{R}\left(P\left(i\right)\right)\right]m\left(t\right)$ 令 $M\left(t\right)=0$ ， $S=-m\left(t\right)$ ，则ICGARE (10)有稳定解。

最后证唯一性，令 $P_1\left(i\right)$ 和 $P_2\left(i\right)$ 为ICGARE (10)的两个解，由于 $V\left(x_0\right)={x^{\prime }}_0{P}_1\left(i\right)x_0={x^{\prime }}_0{P}_2\left(i\right)x_0$ ，所以 $P_1\left(i\right)=P_2\left(i\right)$ ，证毕。

考虑下列关系两个二次性能指标的纳什博弈问题：

$J_1\left(x_0,i,u^{*}(\cdot ),v(\cdot )\right)=E{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}\left[{\gamma }^2{\Vert v\left(t\right)\Vert }^2-{\Vert z\left(t\right)\Vert }^2|{\eta }_0=i\right]}$ (24)

$J_2\left(x_0,i,u(\cdot ),v^{*}(\cdot )\right)=E{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}\left[{\Vert z\left(t\right)\Vert }^2|{\eta }_0=i\right]}$ (25)

此处 $\gamma >0$ 为给定的扰动衰减水平。

定义3 若

$J_1\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)\le J_1\left(x_0,i,u^{*}(\cdot ),v(\cdot )\right)$ (26)

$J_2\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)\le J_2\left(x_0,i,u(\cdot ),v^{*}(\cdot )\right)$ (27)

则称策略对 $\left(u^{*}(\cdot ),v^{*}(\cdot )\right)\in l^2\left(Z_{+};R^{n_u}\right)\times l^2\left(Z_{+};R^{n_v}\right)$ 为纳什均衡点。

接下来，在定理1的基础上，给出线性反馈纳什均衡点存在的充要条件。

定理2 对于系统(1)，若 $\left(A|C;P\right)$ , $\left(A+B{K}_1|C;P\right)$ 为强可检测的，则(26)，(27)有一线性反馈纳什均衡点 $\left(u^{*}(\cdot ),v^{*}(\cdot )\right)=\left(K_2\left({\eta }_t\right)x\left(t\right),K_1\left({\eta }_t\right)x\left(t\right)\right)$ ，此为最优策略当且仅当

$\{\begin{array}{l}{\displaystyle \underset{k=0}{\overset{r}{\sum }}{\left[A_k\left(i\right)+G_k\left(i\right)K_2\left(i\right)\right]}^{\prime }{P}_1}\left(i\right)\left[A_k\left(i\right)+G_k\left(i\right)K_2\left(i\right)\right]\\ -C{\left(i\right)}^{\prime }C\left(i\right)-K_2{\left(i\right)}^{\prime }{K}_2\left(i\right)-P_1\left(i\right)-L_1\left(i\right){\Phi }_1{\left(i\right)}^{†}{L}_1{\left(i\right)}^{\prime }=0\\ \left(I-{\Phi }_1\left(i\right){\Phi }_1{\left(i\right)}^{†}\right)L_1\left(i\right)=0\\ {\Phi }_1\left(i\right)\ge 0\end{array}$ (28)

$K_1\left(i\right)=-{\Phi }_1{\left(i\right)}^{†}{L}_1{\left(i\right)}^{\prime }$ (29)

$\{\begin{array}{l}{\displaystyle \underset{k=0}{\overset{r}{\sum }}{\left[A_k\left(i\right)+B_k\left(i\right)K_1\left(i\right)\right]}^{\prime }{P}_2}\left(i\right)\left[A_k\left(i\right)+B_k\left(i\right)K_1\left(i\right)\right]+C{\left(i\right)}^{\prime }C\left(i\right)-P_2\left(i\right)-L_2\left(i\right){\Phi }_2{\left(i\right)}^{-1}{L}_2{\left(i\right)}^{\prime }=0\\ {\Phi }_2\left(i\right)>0\end{array}$ (30)

$K_2\left(i\right)=-{\Phi }_2{\left(i\right)}^{-1}{L}_2{\left(i\right)}^{\prime }$ (31)

有一组解 $\left(P_1\left(i\right),K_1\left(i\right),P_2\left(i\right),K_2\left(i\right)\right)$ ，且对任意 $i\in \mathcal{D}$ ，满足 $P_1\left(i\right)\le 0$ ， $P_2\left(i\right)\ge 0$ 。

其中， ${\Phi }_1\left(i\right)={\gamma }^{2}I+{\displaystyle \underset{k=0}{\overset{r}{\sum }}{B}_k{\left(i\right)}^{\prime }{P}_1}\left(i\right)B_k(\; i\; )$

${\Phi }_2\left(i\right)=I+{\displaystyle \underset{k=0}{\overset{r}{\sum }}{G}_k{\left(i\right)}^{\prime }{P}_2}\left(i\right)G_k(\; i\; )$

$L_1\left(i\right)={\displaystyle \underset{k=0}{\overset{r}{\sum }}{\left[A_k\left(i\right)+G_k\left(i\right)K_2\left(i\right)\right]}^{\prime }{P}_1}\left(i\right)B_k(\; i\; )$

$L_2\left(i\right)={\displaystyle \underset{k=0}{\overset{r}{\sum }}{\left[A_k\left(i\right)+B_k\left(i\right)K_1\left(i\right)\right]}^{\prime }{P}_2}\left(i\right)G_k(\; i\; )$

证明 (充分性)因为ICGARE (28)~(31)有一组解 $\left(P_1\left(i\right),K_1\left(i\right),P_2\left(i\right),K_2\left(i\right)\right)$ 且 $P_1\left(i\right)\le 0$ ， $P_2\left(i\right)\ge 0$ ，设 $u^{*}\left(t\right)=K_2\left({\eta }_t\right)x\left(t\right)$ ， $v^{*}\left(t\right)=K_1\left({\eta }_t\right)x\left(t\right)$ ，将 $u^{*}\left(t\right)$ 带入(1)，则有

$\{\begin{array}{l}x\left(t+1\right)=\left(A_0\left({\eta }_t\right)+G_0\left({\eta }_t\right)K_2\left(t\right)\right)x\left(t\right)+B_0\left({\eta }_t\right)v\left(t\right)\\ +{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{\left(A_k\left({\eta }_t\right)+G_k\left({\eta }_t\right)K_2\left(t\right)\right)x\left(t\right)+B_k\left({\eta }_t\right)v\left(t\right)\right\}{\omega }_k\left(t\right)}\\ z\left(t\right)=\left(\begin{array}{c}C\left({\eta }_t\right)\\ D\left({\eta }_t\right)K_2\left(t\right)\end{array}\right)x\left(t\right)D{\left({\eta }_t\right)}^{\prime }D\left({\eta }_t\right)=I_{n_u}\\ x\left(0\right)=x_0\in R^n\eta \left(0\right)={\eta }_0\in \mathcal{D}t\in Z_{+}\end{array}$ (32)

性能指标(24)可写作

$J_1\left(x_0,i,u^{*}(\cdot ),v(\cdot )\right)=E{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}\left[{\gamma }^{2}v{\left(t\right)}^{\prime }v\left(t\right)-x{\left(t\right)}^{\prime }\left(C{\left({\eta }_t\right)}^{\prime }C\left({\eta }_t\right)+K_2{\left(t\right)}^{\prime }{K}_2\left(t\right)\right)x\left(t\right)|{\eta }_0=i\right]}$ (33)

注意到在(32)的约束下，对容许控制集下的(33)取最小值，这是不定LQ问题，其中控制加权矩阵 $R\left({\eta }_t\right)={\gamma }^{2}I$ ， $Q\left({\eta }_t\right)=-\left[C{\left({\eta }_t\right)}^{\prime }C\left({\eta }_t\right)+K_2{\left(t\right)}^{\prime }{K}_2\left(t\right)\right]$ 。由引理1， $\left(A+B{K}_1|C;P\right)$ 为强可检测的，则 $\left(A+B{K}_1+G{K}_2|C_2;P\right)$ 也为强可检测的，且(30)可写作

${\displaystyle \underset{k=0}{\overset{r}{\sum }}{\left[A_k\left(i\right)+B_k\left(i\right)K_1\left(i\right)+G_k\left(i\right)K_2\left(i\right)\right]}^{\prime }{P}_2}\left(i\right)\left[A_k\left(i\right)+B_k\left(i\right)K_1\left(i\right)+G_k\left(i\right)K_2\left(i\right)\right]+C_2{\left(i\right)}^{\prime }{C}_2\left(i\right)-P_2\left(i\right)=0$ (34)

此处 $C_2\left(i\right)$ 与引理1中定义相同。根据引理2， $\left(A+B{K}_1+G{K}_2;P\right)$ 是EMSS-C的。基于定理1和(28)， $v^{*}\left(t\right)=K_1\left({\eta }_t\right)x\left(t\right)$ ， $K_1\left(i\right)=-{\Phi }_1{\left(i\right)}^{†}{L}_1{\left(i\right)}^{\prime }$ 为不定LQ问题的最优控制。这说明 $J_1\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)\le J_1\left(x_0,i,u^{*}(\cdot ),v(\cdot )\right)$ 。

同理，取 $v\left(t\right)=v^{*}\left(t\right)=K_1\left({\eta }_t\right)x\left(t\right)$ 带入(1)中，得到

$\{\begin{array}{l}x\left(t+1\right)=\left(A_0\left({\eta }_t\right)+B_0\left({\eta }_t\right)K_1\left(t\right)\right)x\left(t\right)+G_0\left({\eta }_t\right)u\left(t\right)\\ +{\displaystyle \underset{k=1}{\overset{r}{\sum }}\left\{\left(A_k\left({\eta }_t\right)+B_k\left({\eta }_t\right)K_1\left(t\right)\right)x\left(t\right)+G_k\left({\eta }_t\right)u\left(t\right)\right\}{\omega }_k\left(t\right)}\\ z\left(t\right)=\left(\begin{array}{c}C\left({\eta }_t\right)x\left(t\right)\\ D\left({\eta }_t\right)u\left(t\right)\end{array}\right)D{\left({\eta }_t\right)}^{\prime }D\left({\eta }_t\right)=I_{n^u}\\ x\left(0\right)=x_0\in R^n\eta \left(0\right)={\eta }_0\in \mathcal{D}t\in Z_{+}\end{array}$ (35)

则在(35)得约束下，带有控制加权矩阵 $R\left({\eta }_t\right)=I$ 和控制加权矩阵 $Q\left({\eta }_t\right)=C{\left({\eta }_t\right)}^{\prime }C\left({\eta }_t\right)$ 的 $J_2\left(x_0,i,u(\cdot ),v^{*}(\cdot )\right)$ 取最小值为得标准LQ问题。由定理1和(30)可得到 $u^{*}(\cdot )=K_2\left({\eta }_t\right)x\left(t\right)$ ， $K_2\left(i\right)=-{\Phi }_2{\left(i\right)}^{-1}{L}_2{\left(i\right)}^{\prime }$ 使得 $J_2\left(x_0,i,u(\cdot ),v^{*}(\cdot )\right)$ 可取最小值，因此 $J_2\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)\le J_2\left(x_0,i,u(\cdot ),v^{*}(\cdot )\right)$ 。

(必要性)假设纳什博弈(26)~(27)有线性反馈纳什均衡点 $\left(u^{*}(\cdot ),v^{*}(\cdot )\right)=\left(K_2\left({\eta }_t\right)x\left(t\right),K_1\left({\eta }_t\right)x\left(t\right)\right)$ ，不定LQ控制是可达的，且 $v^{*}(\cdot )$ 为指数稳定，则 $\left(A+B{K}_1+G{K}_2;P\right)$ 是EMSS-C。结合(26)和(32)充分利用定理1，取 $R\left({\eta }_t\right)={\gamma }^{2}I$ ， $Q\left({\eta }_t\right)=-\left[C{\left({\eta }_t\right)}^{\prime }C\left({\eta }_t\right)+K_2{\left(t\right)}^{\prime }{K}_2\left(t\right)\right]$ ，则(28)有解 $P_1=\left(P_1\left(1\right),P_1\left(2\right),\cdots \right)\in {ℍ}_{\infty }^n$ ，

$v^{*}\left(t\right)=K_1\left({\eta }_t\right)x\left(t\right)=-{\Phi }_1{\left(i\right)}^{-1}{L}_1{\left(i\right)}^{\prime }x\left(t\right)$ ， $J_1\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)={x^{\prime }}_0{P}_1\left(i\right)x_0$ 。

下证 $P_1\left(i\right)\le 0,P_2\left(i\right)\ge 0,i\in \mathcal{D}$ 。首先由 $J_1\left(x_0,i,u(\cdot ),v(\cdot )\right)$ 定义，可看出

$\begin{array}{c}{x^{\prime }}_0{P}_1\left(i\right)x_0=J_1\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)\\ \le J_1\left(x_0,i,u^{*}(\cdot ),0\right)\\ =E{\displaystyle \underset{t=0}{\overset{\infty }{\sum }}\left[-{\Vert z\left(t\right)\Vert }^2|{\eta }_0=i\right]}\\ \le 0\end{array}$ .

进一步，对任意 $x_0\in R^n$ ，可推断 $P_1\left(i\right)\le 0,i\in \mathcal{D}$ 。若系统(1)中取 $v\left(t\right)=v^{*}\left(t\right)=K_1\left({\eta }_t\right)x\left(t\right)$ ，则可得(35)，由 [19] 定理4，可知存在 $P_2=\left(P_2\left(1\right),P_2\left(2\right),\cdots \right)\in {ℍ}_{\infty }^{n+}$ 为(30)的稳定解。而且 $J_2\left(x_0,i,u^{*}(\cdot ),v^{*}(\cdot )\right)={x^{\prime }}_0{P}_2\left(i\right)x_0$ ，其中 $u^{*}(\cdot )=K_2\left({\eta }_t\right)x\left(t\right)=-{\Phi }_2{\left(i\right)}^{-1}{L}_2{\left(i\right)}^{\prime }x\left(t\right)$ 。

4. 总结

本文研究了具有无限马尔可夫跳跃和 $\left(x,u,v\right)$ -独立噪声的SDEs的无限时域线性二次纳什对策。我们给出了所考虑系统的一个不定LQ纳什对策，在此基础上，用黎卡提方程的可解性提出了纳什均衡点存在的充要条件。可将此理论应用到H₂/H_∞控制研究中。

NOTES

^*通讯作者。