具有状态切换的二人零和随机微分对策的动态规划原理

Dynamic Programming Principles for Two-Player Zero-Sum Stochastic Differential Games with Regime Switching

摘要: 本文研究了具有状态切换的二人零和随机微分对策，主要结果是在倒向随机微分方程框架下具有状态切换的二人零和随机微分对策的动态规划原理。

Abstract: In this paper, we study dynamic programming principles for two-player zero-sum stochastic dif-ferential games with regime switching. The main results of this paper concern dynamic program-ming principles with the help of the theory of backward stochastic differential equations.

1. 引言

自从Fleming和Souganidis [1] 的开创性工作以来，人们对随机微分对策进行了深入的研究。Buckdahn和Li [2] 利用倒向随机微分方程的方法考虑了具有非线性代价泛函的零和二人随机微分对策。由于具有表征各种随机事件的能力和易处理性，状态切换模型近年来受到人们的广泛关注。本文的主要结果是关于状态切换随机系统的二人零和随机微分对策的动态规划原理。

动态规划原则是解决最优控制问题最主要、也是最常用的方法之一，它意味着从今天来看的最优控制，在明天来看仍然是最优的，参见Fleming and Soner [3] 和Yong and Zhou [4]。该方法的基本思想是考虑一系列具有不同初始状态的最优控制问题，通过所谓的Hamilton-Jacobi-Bellman方程建立这些问题之间的联系。

本文的组织结构如下。在第2节中，我们将介绍一些符号和基本知识。在后文中将用到。在第三节中，我们将介绍动态规划原理。在第4节中，我们将讨论本文给出的结果的一些可能的应用。

2. 准备工作

设 $\left(\Omega ,\mathcal{F},\mathbb{P}\right)$ 是一个固定概率空间，其上定义了d维布朗运动 ${\left\{B_s\right\}}_{s\in \left[0,T\right]}$ 和马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$，其中 $\Omega$ 是从 $\left[0,T\right]$ 到 ${\text{R}}^d$ 的连续函数的集合，从0开始 $\left(\Omega =C_0\left(\left[0,T\right],{\text{R}}^d\right)\right)$， $\mathcal{F}$ 是 $\Omega$ 上完备的Borel $\sigma$ -代数，P是维纳测度。这里我们假设 $\mathcal{F}={\left({\mathcal{F}}_s\right)}_{s\in \left[0,T\right]}$，其中 ${\mathcal{F}}_s\triangleq {\mathcal{F}}_s^{\theta }\vee {\mathcal{F}}_s^B$。令 ${\left({\mathcal{F}}_s^B\right)}_{s\in \left[0,T\right]}$ 表示布朗运动 ${\left\{B_s\right\}}_{s\in \left[0,T\right]}$ 产生的过滤。且 ${\left({\mathcal{F}}_s^{\theta }\right)}_{s\in \left[0,T\right]}$ 表示马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$ 生成的过滤。假设B和 ${\theta }_{\cdot }$ 是独立的。马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$ 取有限状态空间 $\mathcal{M}=\left\{1,\cdots ,m\right\}$ 中的值，是可观测的。马氏链 ${\left\{{\theta }_s\right\}}_{s\in \left[0,T\right]}$ 的生成元 $Q={\left(q_{ik}\right)}_{i,k\in \mathcal{M}}\in {\text{R}}^{m\times m}$ 由下式给出

$\text{P}\left({\theta }_{s+\delta }=k|{\theta }_s=i,s\in \left[0,T\right]\right)=\{\begin{array}{ll}{q}_{ik}\delta +\text{o}\left(\delta \right),\hfill & k\ne i,\hfill \\ 1+q_{ii}\delta +\text{o}\left(\delta \right),\hfill & k=i,\hfill \end{array}$

其中 $q_{ik}$ 是从市场机制i到k的切换概率，对于每个 $\left(i,k\right)\in \mathcal{M}\times \mathcal{M}$， $q_{ii}=-\underset{k\ne i}{\sum }{q}_{ik}<0$ 且 $q_{ik}\ge 0$。

我们将在倒向随机微分方程的框架下，在有限时间范围内研究一个具有切换的两人零和随机微分对策。随机微分对策的动态由下面随机微分方程描述：对于 $t\in \left[0,T\right]$，

(2.1)

其中 $T>0$ 为固定的有限时间范围， $\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M}$ 视为初始状态， $\text{P}\left\{{\theta }_t^{t,i}=i\right\}=1$。 $X_t$ 是X在时间t的值， $\left(u,v\right)={\left(u_s,v_s\right)}_{s\in \left[t,T\right]}$ 是一对 ${\mathcal{F}}_t$ 适应的过程，它们在一些紧致度量空间U和V中取值，分别称为两个参与者I和II的容许控制。下面给出了系数 $b:\left[0,T\right]\times {\text{R}}^n\times \mathcal{M}\times U\times V\to {\text{R}}^n$ 和 $\sigma :\left[0,T\right]\times {\text{R}}^n\times \mathcal{M}\times U\times V\to {\text{R}}^{n\times d}$ 的精确假设。映射b和 $\sigma$ 满足下列条件：

(H2.1)

(i) 对于每一固定 $x\in {\text{R}}^n,i\in \mathcal{M}$， $b\left(\cdot ,x,i,\cdot ,\cdot \right)$ 和 $\sigma \left(\cdot ,x,i,\cdot ,\cdot \right)$ 是关于 $\left(t,u,v\right)$ 连续的；

(ii) 对于任意 $x,x^{\prime }\in {\text{R}}^n,i\in \mathcal{M}$ 和 $u\in U,v\in V$，存在一正的常数C使得，

$\left|b\left(t,x,i,u,v\right)-b\left(t,x^{\prime },i,u,v\right)\right|+\left|\sigma \left(t,x,i,u,v\right)-\sigma \left(t,x^{\prime },i,u,v\right)\right|\le C\left|x-x^{\prime }\right|.$

从(H2.1)我们能够得到b和 $\sigma$ 的局部增长条件即，存在 $C>0$ 使得，对于所有的 $0\le t\le T$， $u\in U$， $v\in V$， $x\in {\text{R}}^n$， $i\in \mathcal{M}$

$\left|b\left(t,x,i,u,v\right)\right|+\left|\sigma \left(t,x,i,u,v\right)\right|\le C\left(1+\left|x\right|\right).$

如果上述假设成立，对于任意 $u\in U$ 和 $v\in V$，控制系统(2.1)有唯一解 $\left\{X^{t,x,i;u,v},0\le t\le s\le T\right\}$。且我们有如下估计。

引理2.1. 在映射b和 $\sigma$ 的假设下，存在一常数 $C>0$ 使得，对于任意 $x,x^{\prime }\in {\text{R}}^n,i\in \mathcal{M}$ 和 $u\in U,v\in V$，

$\begin{array}{l}E\left\{\underset{t\le s\le T}{\sup }{\left|X_s^{t,x,i;u,v}\right|}^2|{\mathcal{F}}_t\right\}\le C\left(1+{\left|x\right|}^2\right),\text{P-}a.s.,\\ E\left\{\underset{t\le s\le T}{\sup }{\left|X_s^{t,x,i;u,v}-X_s^{t,x^{\prime },i;u,v}\right|}^2|{\mathcal{F}}_t\right\}\le C{\left|x-x^{\prime }\right|}^2,\text{P-}a.s.\end{array}$

玩家的成本泛函由倒向随机微分方程：

$Y_s^{t,x,i;u,v}=\Phi \left(X_T^{t,x,i;u,v},{\theta }_T^{t,i}\right)+{\displaystyle {\int }_s^{T}f}\left(r,X_r^{t,x,i;u,v},Y_r^{t,x,i;u,v},Z_r^{t,x,i;u,v},{\theta }_r^{t,i},u_r,v_r\right)\text{d}r-{\displaystyle {\int }_s^T{Z}_r^{t,x,i,u,v}}\text{d}{B}_r,s\in \left[t,T\right],$ (2.2)

给出，其中 $X^{t,x,i;u,v}$ 和 ${\theta }^{t,i}$ 是 给出的。上面的倒向随机微分方程有唯一一个解 ${\left(Y_s^{t,x,i;u,v},Z_s^{t,x,i;u,v}\right)}_{s\in \left[t,T\right]}$。

我们现在给出两个函数 $f:\left[0,T\right]\times {\text{R}}^n\times \text{R}\times {\text{R}}^d\times {\text{R}}^{m\times m}\times U\times V\to \text{R}$ 和端点成本函数 $\Phi :{\text{R}}^n\to \text{R}$ 满足下面条件：

(H2.2)

(i) 对于任意固定的 $\left(x,y,z,i\right)\in {\text{R}}^n\times \text{R}\times {\text{R}}^d\times \mathcal{M}$， $f\left(\cdot ,x,y,z,i,\cdot ,\cdot \right)$ 是关于 $\left(t,u,v\right)$ 连续的。

(ii) 存在 $C>0$ 使得，对于所有 $t\in \left[0,T\right]$， $x,x^{\prime }\in {\text{R}}^n$， $y,y^{\prime }\in \text{R}$， $z,z^{\prime }\in {\text{R}}^d$， $i\in \mathcal{M}$， $u\in U$ 和 $v\in V$，

$\left|f\left(t,x,y,z,i,u,v\right)-f\left(t,x^{\prime },y^{\prime },z^{\prime },i,u,v\right)\right|\le C\left(\left|x-x^{\prime }\right|+\left|y-y^{\prime }\right|+\left|z-z^{\prime }\right|\right).$

(iii) 存在 $C>0$ 使得，对于所有的 $x,x^{\prime }\in {\text{R}}^n$， $i\in \mathcal{M}$

$\left|\Phi \left(x,i\right)-\Phi \left(x^{\prime },i\right)\right|\le C\left|x-x^{\prime }\right|.$

在上面的条件下，我们有如下估计。

引理2.2. 对于所有的 $t\in \left[0,T\right]$， $i\in \mathcal{M}$， $u\in U$ 和 $v\in V$，存在一常数 $C>0$ 使得，

(2.3)

现在，我们介绍容许控制和容许策略。令 $t_1,t_2$ 是两个确定时间，且 $0\le t_1\le t_2\le T$。

定义2.3. 对于玩家I (或者，player II)在时间 $\left[t,T\right]$ 上取值于 $U_{t,T}$ (或者， $V_{t,T}$ )的容许控制过程 $u=\left\{u\left(s,\omega \right):s\in \left[t_1,t_2\right]\right\}$ (或者， $v=\left\{v\left(s,w\right):s\in \left[t_1,t_2\right]\right\}$ )关于滤波 $\mathcal{F}$ 是循序可测的。

在时间 $\left[t_1,t_2\right]$ 上对于玩家I (或者，玩家II)的所有容许控制被定义为 $U_{t_1,t_2}$ (或者， $V_{t_1,t_2}$ )。

定义2.4.在时间 $\left[t,T\right]$ 上玩家Ⅰ的非预测性策略是一映射 $\alpha :V\to U$ 使得，对于任意 ${\mathcal{F}}_t$ -停时S和任意的 $v,v^{\prime }\in V_{t,T}$，如果在 $〚t,S〛$ 上 $v\equiv v^{\prime }$ (符号 $〚t,S〛=\left\{\left(s,\omega \right)\in \left[0,T\right]\times \Omega ,t\le s\le S\left(\omega \right)\right\}$ )。同理，我们可以定义在 $\left[t,T\right]$ 上玩家II的非预测性策略 $\beta :U_{t,T}\to V_{t,T}$。

在时间 $\left[t,T\right]$ 上对于玩家I (或者，玩家II)的所有非预测性策略被定义为 ${\mathcal{A}}_{t,T}$ (或者， ${\mathcal{B}}_{t,T}$ )。

对于给定的控制过程 $u\in U_{t,T}$ 和 $v\in V_{t,T}$，我们定义相关的成本泛函

$J\left(t,x,i;u,v\right)=E\left[Y_t^{t,x,i;u,v}|{\mathcal{F}}_t\right],\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M},$

其中， $Y^{t,x,i;u,v}$ 是由倒向随机微分方程 定义的。在对策中，我们分别定义下值函数W和上值函数U，

$W\left(t,x,i\right)=\underset{\beta \in {\mathcal{B}}_{t,T}}{\text{essinf}}\underset{u\in U_{t,T}}{\text{esssup}}J\left(t,x,i;u,\beta \left(u\right)\right),$

和

$U\left(t,x,i\right)=\underset{\alpha \in {\mathcal{A}}_{t,T}}{\text{esssup}}\underset{v\in V_{t,T}}{\text{essinf}}J\left(t,x,i;\alpha \left(v\right),v\right).$

上面的引理在 [5] 中已经被证明，只是随机微分对策的情况有一些差异。因此，参考 [5] 在本文的框架中，很容易得到上述结果。

引理2.5. 在假设(H2.1)和(H2.2)下，对于所有 $\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M}$，值函数 $W\left(t,x,i\right)$ 和 $U\left(t,x,i\right)$ 是确定性函数。

引理2.6. 在假设(H2.1)和(H2.2)下，对于所有 $\left(t,x,i\right)\in \left[0,T\right]\times {\text{R}}^n\times \mathcal{M}$ 和 $x,x^{\prime }\in {\text{R}}^n$，我们有

$\left|W\left(t,x,i\right)\right|\le C\left(1+\left|x\right|\right).$

$\left|W\left(t,x,i\right)-W\left(t^{\prime },x,i\right)\right|\le C\left(1+\left|x\right|\right){\left|t-t^{\prime }\right|}^{\frac{1}{2}},$

$\left|W\left(t,x,i\right)-W\left(t,x^{\prime },i\right)\left|\le C\right|x-x^{\prime }\right|,$

对于函数U相同性质成立。

3. 动态规划原理

现在我们引入倒向随机半群，对于给定的初始状态 $\left(t,x,i\right)$，我们定义了一个正数 $\delta \le T-t$，对于允许的控制过程 $u(\cdot )\in U_{t,t+\delta }$ 和 $v(\cdot )\in V_{t,t+\delta }$，以及一个实值随机变量 $\eta \in \left(\Omega ,{\mathcal{F}}_{t+\delta },\text{P};\text{R}\right)$，我们定义

$G_{t,t+\delta }^{t,x,i;u,v}\left[\eta \right]={\overline{Y_t}}^{t,x,i;u,v}$

其中， ${\left({\bar{Y}}_s^{t,\xi ,i;u,v},{\bar{Z}}_s^{t,\xi ,i;u,v}\right)}_{s\in \left[t,t+\delta \right]}$ 是下面倒向随机微分方程在端点时刻 $t+\delta$ 的解，

${\bar{Y}}_s^{t,x,i;u,v}=\eta +{\displaystyle {\int }_s^{t+\delta }f}\left(r,X_r^{t,\xi ,i;u,v},{\bar{Y}}_r^{t,\xi ,i;u,v},{\bar{Z}}_r^{t,\xi ,i;u,v},{\theta }_r^{t,i},u_r,v_r\right)\text{d}r-{\displaystyle {\int }_s^{t+\delta }{\bar{Z}}_r^{t,\xi ,i;u,v}}\text{d}{B}_r,\text{P-}a.s.,s\in \left[t,t+\delta \right],$

且 $X^{t,x,i;u,v}$ 是随机微分方程(2.1)的解。根据倒向随机微分方程解的唯一性，我们得到倒向随机微分方程(2.2)的解 $Y^{t,x,i;u,v}$ 满足

$\begin{array}{c}J\left(t,x,i;u,v\right)=E\left[Y_t^{t,x,i;u,v}|{\mathcal{F}}_t\right]=E\left[G_{t,T}^{t,x,i;u,v}\left[\Phi \left(X_T^{t,x,i;u,v},{\theta }_T^{t,i}\right)\right]|{\mathcal{F}}_t\right]\\ =E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[Y_{t+\delta }^{t,x,i;u,v}\right]|{\mathcal{F}}_t\right]=E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[E\left[Y_{t+\delta }^{t,x,i;u,v}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]\\ =E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[J\left(t+\delta ,X_{t+\delta }^{t,x,i;u,v},{\theta }_{t+\delta }^{t,i};u,v\right)\right]|{\mathcal{F}}_t\right].\end{array}$

我们现在介绍具有状态切换的随机微分对策的值函数的动态规划原理。

命题3.1. 在假设(H2.1)和(H2.2)下，下面动态规划原理成立：对于所有 $0<\delta \le T-t$， $x\in {\text{R}}^n$， $i\in \mathcal{M}$，

$U\left(t,x,i\right)=\underset{\alpha \in {\mathcal{A}}_{t,t+\delta }}{\text{esssup}}\underset{v\in V_{t,t+\delta }}{\text{essinf}}E\left[G_{t,t+\delta }^{t,x,i;\alpha \left(v\right),v}\left[U\left(t+\delta ,X_{t+\delta }^{t,x,i;\alpha \left(v\right),v},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right],$

和

$W\left(t,x,i\right)=\underset{\beta \in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}\underset{u\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u,\beta \left(u\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u,\beta \left(u\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right].$

证明：令

$W_{\delta }\left(t,x,i\right)=\underset{\beta \in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}\underset{u\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u,\beta \left(u\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u,\beta \left(u\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right].$

我们将 $W_{\delta }\left(t,x,i\right)$ 与 $W\left(t,x,i\right)$ 相吻合的证明分几个步骤进行证明。

第一步.令 $\beta \in {\mathcal{B}}_{t,T}$ 是任意固定的，则给定 $u_2\in U_{t+\delta ,T}$，我们定义 $\beta$ 在 $U_{t,t+\delta }$ 的限制 ${\beta }_1$ 如下：

${\beta }_1\left(u_1\right)=\beta \left(u_1\oplus u_2\right){|}_{\left[t,t+\delta \right]},u_1\in U_{t,t+\delta },$

其中 $u_1\oplus u_2=u_1{\chi }_{\left[t,t+\delta \right]}+u_2{\chi }_{\left(t+\delta ,T\right]}$ 将 $u_1$ 扩展为 $U_{t,T}$ 中的一个元素。显然， ${\beta }_1\in {\mathcal{B}}_{t,t+\delta }$。且从 $\beta$ 的非预测性性质，我们得到 ${\beta }_1$ 独立于 $u_2\in U_{t+\delta ,T}$ 的特殊选择。因此，从 $W_{\delta }\left(t,x,i\right)$ 的定义得

$W_{\delta }\left(t,x,i\right)\le \underset{u_1\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right],$

令 ${\mathcal{I}}_{\delta }\left(t,x,i;u,v\right)=E\left[G_{t,t+\delta }^{t,x,i;u,v}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u,v},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]$ 且对于一些序列 $\left\{u_l^1,l\ge 1\right\}\subset U_{t,t+\delta }$ 使得，

${\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right)=\underset{u_1\in U_{t,t+\delta }}{\text{esssup}}{\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_1\left(u_1\right)\right)=\underset{l\ge 1}{\sup }{\mathcal{I}}_{\delta }\left(t,x,i;u_l^1,{\beta }_1\left(u_l^1\right)\right),\text{P-}a.s.$

令 $ϵ>0$ 且设 ${\tilde{\Gamma }}_l=\left\{{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right)\le {\mathcal{I}}_{\delta }\left(t,x,i;u_l^1,{\beta }_1\left(u_l^1\right)\right)+ϵ\right\}\in {\mathcal{F}}_t,l\ge 1$。构造 ${\Gamma }_1={\tilde{\Gamma }}_1$， ${\Gamma }_l={\tilde{\Gamma }}_l\setminus \left({\displaystyle \underset{k=1}{\overset{l-1}{\cup }}{\tilde{\Gamma }}_k}\right)\in {\mathcal{F}}_t,l\ge 2$， ${\left\{{\Gamma }_l\right\}}_{l\ge 1}$ 是 $\left(\Omega ,{\mathcal{F}}_t\right)$ 的一分割，且 $u_1^{ϵ}=\underset{l\ge 1}{{\displaystyle \sum }}{\chi }_{{\Gamma }_l}{u}_l^1\in U_{t,t+\delta }$。此外，从 ${\beta }_1$ 的非预测性，我们得到 ${\beta }_1\left(u_1^{ϵ}\right)=\underset{l\ge 1}{\sum }{\chi }_{{\Gamma }_l}{\beta }_1\left(u_l^1\right)$。由倒向随机微分方程的存在性和唯一性，得到对于 ${\beta }_1\in {\mathcal{B}}_{t,t+\delta }$，

因此，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\le {\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right)\\ \le \underset{l\ge 1}{\sum }{\chi }_{{\Gamma }_l}{\mathcal{I}}_{\delta }\left(t,x,i;u_l^1,{\beta }_1\left(u_l^1\right)\right)+ϵ\\ ={\mathcal{I}}_{\delta }\left(t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)\right)+ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]+ϵ,\text{P-}a.s.\end{array}$ (3.1)

我们现在关注区间 $\left[t+\delta ,T\right]$，借助 ${\beta }_1(\cdot )=\beta \left(\cdot \oplus u_2\right)\in {\mathcal{B}}_{t,t+\delta }$ 不依赖于 $u_2\in U_{t+\delta ,T}$，我们能定义 ${\beta }_2\left(u_2\right)=\beta \left(u_1^{ϵ}\oplus u_2\right){|}_{\left[t+\delta ,T\right]}$，对于任意 $u_2\in U_{t+\delta ,T}$，从 $\beta \in {\mathcal{B}}_{t,T}$ 可知， ${\beta }_2:U_{t+\delta ,T}\to V_{t+\delta ,T}$ 属于 ${\mathcal{B}}_{t+\delta ,T}$。因此，由 $W\left(t+\delta ,y,j\right)$ 的定义知，对于任意的 $\left(y,j\right)\in {\text{R}}^n\times \mathcal{M}$ 使得，

$W\left(t+\delta ,y,j\right)\le \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,y,j;u_2,{\beta }_2\left(u_2\right)\right),\text{P-}a.s.$

从引理2.2和引理2.6，存在一常数 $C\in \text{R}$ 使得，对于任意 $u_2\in U_{t+\delta ,T}$， $y,y^{\prime }\in {\text{R}}^n$，

(i) $\left|W\left(t+\delta ,y,j\right)-W\left(t+\delta ,y^{\prime },j\right)\right|\le C\left|y-y^{\prime }\right|,$

(ii) $\left|J\left(t+\delta ,y,j;u_2,{\beta }_2\left(u_2\right)\right)-J\left(t+\delta ,y^{\prime },j;u_2,{\beta }_2\left(u_2\right)\right)\right|\le C\left|y-y^{\prime }\right|,\text{P-}a.s.$ (3.2)

我们通过近似 $X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}$ 来表示构造，

$W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1(u_1^{ϵ})},{\theta }_{t+\delta }^{t,i}\right)\le \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right),\text{P-}a.s.$

为了估计上面不等式的右边，我们注意到存在一些序列 $\left\{u_k^2,k\ge 1\right\}\subset U_{t+\delta ,T}$ 使得

$\underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right)=\underset{k\ge 1}{\sup }J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i},u_k^2,{\beta }_2\left(u_k^2\right)\right),\text{P-}a.s.$

令 $ϵ>0$ 且

$\begin{array}{l}{\widetilde{△}}_k=\{\underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right)\\ \le J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_k^2,{\beta }_2\left(u_k^2\right)\right)+ϵ\}\in {\mathcal{F}}_{t+\delta },k\ge 1.\end{array}$

构造 ${△}_1={\widetilde{△}}_1,{△}_k={\widetilde{△}}_k\setminus \left({\displaystyle \underset{j=1}{\overset{k-1}{\cup }}{\widetilde{△}}_j}\right)\in {\mathcal{F}}_{t+\delta },k\ge 2$， ${\left\{{△}_k\right\}}_{k\ge 1}$ 是 $\left(\Omega ,{\mathcal{F}}_{t+\delta }\right)$ 一分割，此外， $u_2^{ϵ}=\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{u}_k^2\in U_{t+\delta ,T}$。因此，从 ${\beta }_2$ 的非预测性知， ${\beta }_2\left(u_2^{ϵ}\right)=\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{\beta }_2\left(u_k^2\right)$，且由 ${\beta }_1,{\beta }_2$ 的定义，我们得到 $\beta \left(u_1^{ϵ}\oplus u_2^{ϵ}\right)={\beta }_1\left(u_1^{ϵ}\right)\oplus {\beta }_2\left(u_2^{ϵ}\right)$。由倒向随机微分方程的存在性和唯一性，我们知

$\begin{array}{l}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2^{ϵ},{\beta }_2\left(u_2^{ϵ}\right)\right)\\ =E\left[Y_{t+\delta }^{t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2^{ϵ},{\beta }_2\left(u_2^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\\ =E\left[\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{Y}_{t+\delta }^{t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_k^{ϵ},{\beta }_2\left(u_k^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\\ =\underset{k\ge 1}{\sum }{\chi }_{{△}_k}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_k^{ϵ},{\beta }_2\left(u_k^{ϵ}\right)\right),\text{P-}a.s.\end{array}$

因此，

$\begin{array}{l}W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i}\right)\\ \le \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_2\left(u_2\right)\right)\\ \le E\left[\underset{k\ge 1}{\sum }{\chi }_{{△}_k}{Y}_{t+\delta }^{t,x,i;u_1^{ϵ}\oplus u_k^2,\beta \left(u_1^{ϵ}\oplus u_k^2\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ\\ =E\left[Y_{t+\delta }^{t,x,i;u_1^{ϵ}\oplus u_2^{ϵ},\beta \left(u_1^{ϵ}\oplus u_2^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ\\ =E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ,\text{P-}a.s.,\end{array}$ (3.3)

其中 $u^{ϵ}=u_1^{ϵ}\oplus u_2^{ϵ}\in U_{t,T}$。从(3.1)和(3.3)可以知道，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\le E\left[G_{t,t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]+ϵ\right]|{\mathcal{F}}_t\right]\\ \le E\left[G_{t,t+\delta }^{t,x,i;u_1^{ϵ},{\beta }_1\left(u_1^{ϵ}\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}\left[Y_{t+\delta }^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}\right]|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =E\left[Y_t^{t,x,i;u^{ϵ},\beta \left(u^{ϵ}\right)}|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ \le \underset{u\in U_{t,T}}{\text{esssup}}E\left[Y_t^{t,x,i;u,\beta \left(u\right)}|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ,\text{P-}a.s.\end{array}$ (3.4)

因为 $\beta \in {\mathcal{B}}_{t,T}$ 是任意选择的对于所有的 $\beta \in {\mathcal{B}}_{t,T}$，我们有 。因此，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\le \underset{\beta \in {\mathcal{B}}_{t,T}}{\text{essinf}}\underset{u\in U_{t,T}}{\text{esssup}}E\left[Y_t^{t,x,i;u,\beta \left(u\right)}|{\mathcal{F}}_t\right]+\left(C+1\right)ϵ\\ =W\left(t,x,i\right)+\left(C+1\right)ϵ.\end{array}$

则令 $ϵ\to 0$，我们得到 $W_{\delta }\left(t,x,i\right)\le W\left(t,x,i\right)$。

第二步 我们现在处理 $W\left(t,x,i\right)\le W_{\delta }\left(t,x,i\right)$ 的情况。从 $W_{\delta }\left(t,x,i\right)$ 的定义，我们得到

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)=\underset{{\beta }_1\in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}\underset{u_1\in U_{t,t+\delta }}{\text{esssup}}E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]\\ =\underset{{\beta }_1\in {\mathcal{B}}_{t,t+\delta }}{\text{essinf}}{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_1\right),\end{array}$

且对于一些 $\left\{{\beta }_l^1,l\ge 1\right\}\subset {\mathcal{B}}_{t,t+\delta }$ 使得，

对于任意的 $ϵ>0$，我们令 ${\tilde{\Lambda }}_l=\left\{{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_l^1\right)-ϵ\le W_{\delta }\left(t,x,i\right)\right\}\in {\mathcal{F}}_t,l\ge 1$， $\Lambda ={\tilde{\Lambda }}_1$ 且 ${\Lambda }_l={\tilde{\Lambda }}_l\setminus \left({\displaystyle \underset{k=1}{\overset{l-1}{\cup }}{\tilde{\Lambda }}_k}\right)\in {\mathcal{F}}_t,l\ge 2$， ${\left\{{\Lambda }_l\right\}}_{l\ge 1}$ 是 $\left(\Omega ,{\mathcal{F}}_t\right)$ 的一分割，且 ${\beta }_1^{ϵ}=\underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\beta }_l^1\in {\mathcal{B}}_{t,t+\delta }$。由倒向随机微分方程的存在性和唯一性，我们得到对于所有的 $u_1\in U_{t,t+\delta }$

${\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)\right)=\underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_l^1\left(u_1\right)\right),\text{P-}a.s.,$

此外，对于所有的 $u_1\in U_{t,t+\delta }$，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\ge \underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\mathcal{I}}_{\delta }\left(t,x,i;{\beta }_l^1\right)-ϵ\\ \ge \underset{l\ge 1}{\sum }{\chi }_{{\Lambda }_l}{\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_l^1\left(u_1\right)\right)-ϵ\\ ={\mathcal{I}}_{\delta }\left(t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)\right)-ϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]-ϵ,\text{P-}a.s.\end{array}$ (3.5)

我们现在关注区间 $\left[t+\delta ,T\right]$，从 $W\left(t+\delta ,y,j\right)$ 的定义，我们得到，对于任意 $\left(y,j\right)\in {\text{R}}^n\times \mathcal{M}$，存在 ${\beta }_{y,j}^{ϵ}\in {\mathcal{B}}_{t+\delta ,T}$ 使得

$W\left(t+\delta ,y,j\right)\ge \underset{u_2\in U_{t+\delta ,T}}{\text{esssup}}J\left(t+\delta ,y,j;u_2,{\beta }_{y,j}^{ϵ}\left(u_2\right)\right)-ϵ,\text{P-}a.s.$ (3.6)

我们现在考虑 ${\text{R}}^n$ 的分割，即， $\underset{l\ge 1}{\sum }{O}_l={\text{R}}^n$ 满足对于每一 $l\ge 1$， $diam\left(O_l\right)\le ϵ$。令任意的 $\left(y_l,j\right)\in O_l\times \mathcal{M},l\ge 1$ 是固定的，且定义

$\overline{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}}=\underset{l\ge 1,j\in \mathcal{M}}{\sum }{y}_l{\chi }_{\left\{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\in O_l,{\theta }_{t+\delta }^{t,i}=j\right\}}.$

显然，我们有

$\left|X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}-\overline{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}}\right|\le ϵ,$ (3.7)

在 $\Omega$ 的每一处，对于任意的 $u_1\in U_{t,t+\delta }$。而且，对于每一个 $y_l$ 和j，存在 ${\beta }_{y_l,j}^{ϵ}\in {\mathcal{B}}_{t+\delta ,T}$ 使得 成立，且

${\beta }_{u_1}^{ϵ}=\underset{l\ge 1,j\in \mathcal{M}}{\sum }{\chi }_{\left\{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\in O_l,{\theta }_{t+\delta }^{t,i}=j\right\}}{\beta }_{y_l,j}^{ϵ}\in {\mathcal{B}}_{t+\delta ,T}.$

现在我们定义新的策略 ${\beta }^{ϵ}\left(u\right)={\beta }_1^{ϵ}\left(u_1\right)\oplus {\beta }_{u_1}^{ϵ}\left(u_2\right),u\in U_{t,T}$，其中 $u_1=u{|}_{\left[t,t+\delta \right]}$， $u_2=u{|}_{\left(t+\delta ,T\right]}$。显然， ${\beta }^{ϵ}:U_{t,T}\to V_{t,T}$。

接下来，我们将证明 ${\beta }^{ϵ}$ 是非预测性的，实际上，令 $\mathcal{S}:\Omega \to \left[t,T\right]$ 是 $\mathcal{F}$ -停时， $u,u^{\prime }\in U_{t,T}$，使得 $u\equiv u^{\prime }$ 在 $〚t,S〛$ 上。将 $u,u^{\prime }$ 分解为 $u_1,{u^{\prime }}_1\in U_{t,t+\delta }$，使得 $u=u_1\oplus u_2$ 和 $u^{\prime }={u^{\prime }}_1\oplus {u^{\prime }}_2$。因为在 $〚t,\mathcal{S}\wedge \left(t+\delta \right)〛$ 上， $u_1\equiv {u^{\prime }}_1$，我们有 ${\beta }_1^{ϵ}\left(u_1\right)\equiv {\beta }_1^{ϵ}\left({u^{\prime }}_1\right)$ 在 $〚t,\mathcal{S}\wedge \left(t+\delta \right)〛$ 上。另一方面，在 $〛t+\delta ,\mathcal{S}\wedge \left(t+\delta \right)〛\left(\subset \left(t+\delta ,T\right]\times \left\{\mathcal{S}>t+\delta \right\}\right)$ 上 $u_2\equiv {u^{\prime }}_2$，且在 $\mathcal{S}>t+\delta$ 上，我们有 $X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}=X_{t+\delta }^{t,x,i;{u^{\prime }}_1,{\beta }_1^{ϵ}\left({u^{\prime }}_1\right)}$。因此，从定义知，在 $\left\{\mathcal{S}>t+\delta \right\}$ 上， ${\beta }_{u_1}^{ϵ}={\beta }_{{u^{\prime }}_1}^{ϵ}$ 且在 $〛t+\delta ,\mathcal{S}\vee \left(t+\delta \right)〛$ 上， ${\beta }_{u_1}^{ϵ}\left(u_2\right)\equiv {\beta }_{{u^{\prime }}_1}^{ϵ}\left({u^{\prime }}_2\right)$。所以，在 $〚t,S〛$ 上，

${\beta }^{ϵ}\left(u\right)={\beta }_1^{ϵ}\left(u_1\right)\oplus {\beta }_{u_1}^{ϵ}\left(u_2\right)\equiv {\beta }_1^{ϵ}\left({u^{\prime }}_1\right)\oplus {\beta }_{{u^{\prime }}_1}^{ϵ}\left({u^{\prime }}_2\right)={\beta }^{ϵ}(\; u\; \prime \; )$

从而知 ${\beta }^{ϵ}\in {\mathcal{B}}_{t,T}$。

固定 $u\in U_{t,T}$ 是任意的且分为 $u_1=u{|}_{\left[t,t+\delta \right]}\in U_{t,t+\delta }$， $u_2=u{|}_{\left(t+\delta ,T\right]}\in U_{t+\delta ,T}$，则从(3.5)，(3.2) (i)和(3.7)，我们知

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[W\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]-ϵ\\ \ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[W\left(t+\delta ,\overline{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}},{\theta }_{t+\delta }^{t,i}\right)-Cϵ\right]|{\mathcal{F}}_t\right]-ϵ\\ \ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[W\left(t+\delta ,\overline{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}},{\theta }_{t+\delta }^{t,i}\right)\right]|{\mathcal{F}}_t\right]-Cϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[\underset{l\ge 1,j\in \mathcal{M}}{\sum }{\chi }_{\left\{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\in O_l,{\theta }_{t+\delta }^{t,i}=j\right\}}W\left(t+\delta ,y_l,j\right)\right]|{\mathcal{F}}_t\right]-Cϵ.\end{array}$

从(3.6)，(3.2) (ii)和(3.7)得，对于任意的 $u\in U_{t,T}$，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[\underset{l\ge 1,j\in \mathcal{M}}{\sum }{\chi }_{\left\{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\in O_l,{\theta }_{t+\delta }^{t,i}=j\right\}}J\left(t+\delta ,y_l,j;u_2,{\beta }_{y_l}^{ϵ}\left(u_2\right)\right)-ϵ\right]|{\mathcal{F}}_t\right]-Cϵ\\ \ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[\underset{l\ge 1,j\in \mathcal{M}}{\sum }{\chi }_{\left\{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\in O_l,{\theta }_{t+\delta }^{t,i}=j\right\}}J\left(t+\delta ,y_l,j;u_2,{\beta }_{y_l}^{ϵ}\left(u_2\right)\right)\right]|{\mathcal{F}}_t\right]-Cϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[J\left(t+\delta ,\overline{X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_{u_1}^{ϵ}\left(u_2\right)\right)\right]|{\mathcal{F}}_t\right]-Cϵ\\ \ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_{u_1}^{ϵ}\left(u_2\right)\right)-Cϵ\right]|{\mathcal{F}}_t\right]-Cϵ\end{array}$

$\begin{array}{l}\ge E\left[G_{t,t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)}\left[J\left(t+\delta ,X_{t+\delta }^{t,x,i;u_1,{\beta }_1^{ϵ}\left(u_1\right)},{\theta }_{t+\delta }^{t,i};u_2,{\beta }_{u_1}^{ϵ}\left(u_2\right)\right)\right]|{\mathcal{F}}_t\right]-Cϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u,{\beta }^{ϵ}\left(u\right)}\left[E\left[Y_{t+\delta }^{t,x,i;u,{\beta }^{ϵ}\left(u\right)}|{\mathcal{F}}_{t+\delta }\right]\right]|{\mathcal{F}}_t\right]-Cϵ\\ =E\left[G_{t,t+\delta }^{t,x,i;u,{\beta }^{ϵ}\left(u\right)}\left[Y_{t+\delta }^{t,x,i;u,{\beta }^{ϵ}\left(u\right)}\right]|{\mathcal{F}}_t\right]-Cϵ\\ =E\left[Y_t^{t,x,i;u,{\beta }^{ϵ}\left(u\right)}|{\mathcal{F}}_t\right]-Cϵ,\text{P-}a.s.,\end{array}$

因此，

$\begin{array}{c}{W}_{\delta }\left(t,x,i\right)\ge \underset{u\in U_{t,T}}{\text{esssup}}J\left(t,x,i;u,{\beta }^{ϵ}\left(u\right)\right)-Cϵ\\ \ge \underset{\beta \in {\mathcal{B}}_{t,T}}{\text{essinf}}\underset{u\in U_{t,T}}{\text{esssup}}J\left(t,x,i;u,\beta \left(u\right)\right)-Cϵ\\ =W\left(t,x,i\right)-Cϵ,\text{P-}a.s.\end{array}$

令 $ϵ\to 0$，我们有 $W_{\delta }\left(t,x,i\right)\ge W\left(t,x,i\right)$。

证毕。

4. 总结

传统扩散模型相比，状态切换模型有两个明显的优点。首先，底层的马尔可夫链可以用来为具有长期系统影响的离散事件建模。其次，在进行数值实验时，状态切换模型只需要非常有限的数据输入。由于具有表征各种随机事件的能力和易处理性，状态切换模型近年来受到人们的广泛关注。本文的结果可以通过所谓的哈密顿雅可比–贝尔曼方程与一些最优控制问题联系起来。