随机微分博弈模型中的库存管理问题：马尔可夫链近似和最优策略

Inventory Management Problems in Stochastic Differential Game Models: Markov Chain Approximation and Optimal Policies

摘要: 本文研究了在随机参考价格影响下，两个垄断厂商竞争下的生产和定价策略。设定的库存管理系统包括随机参考价格和随机需求。在随机微分博弈模型的框架下研究了库存管理问题，我们给出该背景下支付函数的定义。为了得到最优生产和定价，我们采用动态规划原理的方法，博弈的上下值满足一个耦合的非线性积分微分Hamilton-Jacobi-Isaacs (HJI)方程组。本文还证明了该对策问题鞍点的存在性，由于很难得到封闭形式的解，我们采用马尔可夫链近似来近似值函数和最优控制，并给出了收敛性分析。最后，我们进行了数值实验，并且根据实验结果，提出了相应的管理建议。

Abstract: This paper investigates the production and pricing strategies employed by two monopolies in a competitive environment, considering the influence of random reference prices. The inventory management system incorporates both random reference prices and random demand. The problem of inventory management is examined within the framework of a stochastic differential game model, with the payment function defined accordingly. To obtain optimal production and pricing decisions, dynamic programming principles are utilized, and coupled nonlinear integral differential Hamilton-Jacobi-Isaacs (HJI) equations that govern the upper and lower values of the game are established. Furthermore, the existence of saddle points for this game problem is proven. Due to challenges in obtaining closed-form solutions, Markov chain approximation is employed to approximate functions and optimal controls while providing convergence analysis. Finally, numerical experiments are conducted to validate our findings, leading to corresponding managerial recommendations.

1. 引言

库存管理在供应链中起着至关重要的作用，直接塑造了公司的运营效率和财务业绩。随着市场竞争的日益激烈，有效地管理和优化库存已成为企业获得竞争优势不可或缺的因素。自从Whitin发表了关于库存问题的稳定需求曲线模型以来，众多学者一直致力于探索如何更有效地降低公司的管理成本，以实现利润最大化 [1] 。Bertsimas和De Boer研究了一个周期性的多产品定价和库存控制问题，考虑了生产和定价收入的影响作为影响因素，进一步深入研究了库存控制的利润模型，得出了更符合实际的结果 [2] 。Chen等人将这个问题扩展到动态定价和动态生产环境中的库存控制，考虑了可变条件对最大化预期长期利润的影响 [3] 。值得注意的是，在上述研究中，参考价格效应作为影响消费者购买意愿的关键因素并未得到足够的重视，这在研究动态定价和生产问题时显然是不合理的。

Greenleaf强调了参考价格效应对公司盈利能力的重要影响 [4] 。这种现象表现为，如果销售价格低于参考价格，买家会感觉利润并增加购买欲望；相反，如果销售价格高于参考价格，买家会感觉亏损，导致购买欲望下降。Hu等人从长期角度关注动态销售定价的整体收入，考虑消费者囤积行为，但没有探讨库存方面 [5] 。Chen等人进一步考虑了库存的影响，系统地将参考价格效应引入动态库存控制问题 [6] 。通过一种新的转移方法，得到了一个凹形的长期期望收益函数，解释了最优基本库存水平和目标参考价格对当前参考价格的依赖性。Chen等人假设参考价格是一个固定值；然而，将参考价格的可变性视为随机和客户感知的波动似乎更现实 [6] 。因此，在此基础上，我们引入了随机参考价格的概念。

参考价格受顾客的主观感受影响，受商品平均价格、折扣、品牌效应等因素影响，具有明显的记忆性。Chen等人认识到参考价格的随机性和无限连续时间演化下的最优定价，推导出明确表达的最优定价策略 [7] 。受此启发，Cao和Duan首次将随机参考价格引入库存问题，分析了基于不确定需求和参考价格的随机最优库存控制 [8] 。最优定价与库存水平负相关，与参考价格水平正相关。制造商利用参考价格效应，根据客户记忆参数确定价格，调整库存水平以控制运营成本，同时确保正常出货水平被视为最佳控制。

在上述研究中，研究人员经常假设制造业处于垄断地位；然而，在现实中，涉及两家或两家以上公司的竞争是普遍存在的。寻求更低的经营风险和占领更多的市场份额已成为企业的重点。公司必须考虑降低其运营风险，同时最大限度地减少竞争对手风险的影响。Pang和Fukushima提出了一个多领导者和追随者的竞争市场模型，其中不存在合作，建立了风险变化下的奖惩机制 [9] 。Elliott和Siu考虑了在零和博弈背景下进行风险预测的必要性，通过有限马尔可夫链预测市场变化下的消费者选择变化 [10] 。Adida和Perakis将上述研究应用于更现实的情景，设想两个公司在市场上竞争，寻求获得对方的市场份额以获得垄断优势 [11] 。一家公司的决策影响另一家公司的市场决策，遵循纳什均衡。随着时间的推移，两家公司都寻求通过动态定价和库存控制来提高竞争力，从而实现利润最大化。尽管研究人员试图尽可能真实地模拟该模型，但他们没有考虑参考价格对消费者购买意愿的重大影响。考虑到参考价格和消费者购买意愿之间的密切相关性，理解公司产品的市场竞争力应该包括考虑消费者的看法。为了获得更真实的结果，将随机参考价格的影响纳入博弈模型是必要的。

这个模型福尔斯一个追逐–逃避博弈，是一种定性微分博弈。Berkovitz和Dresher使用变分方法显式求解了战争模型中的追逃博弈的最优解问题，提供了一种使用微分方程求解最优控制的方法 [12] 。Fleming专注于有限连续时间微分对策的收敛性，进一步描述了在预定初始条件下的对策解 [13] 。Elliott和Kalton提出用微分方程组来求解零和动态对策，并分析了微分对策中值的存在性 [14] 。Jin等人引入了两家保险公司之间利润再投资的博弈场景，使用状态转移模型来捕捉环境不确定性的变化 [15] 。它们之间的竞争，可以用微分方程来分析。考虑到Hamilton-Jacobi Isaacs (HJI)方程组很难得到封闭解，利用马尔可夫链近似观察盈余变化，预测动态规划中鞍点的存在性。

马尔可夫链方法在博弈模型中的应用，显著地强调了近似结果在决策预测中的关键作用。采用马尔可夫链近似有助于处理模型中的非均匀可分析分段函数所带来的挑战。最初，Pan和Basar研究了状态跳跃下的不完美测量方案，提出了一种当系统函数呈现分段特征时使用离散时间马尔可夫链进行近似的方法 [16] 。Yin等人继续了Pan和Basar的方法，通过研究奇异摄动马尔可夫链来解决离散时间中大规模复杂系统的控制优化问题，显着降低了系统的复杂性 [17] 。

受Jin等人的启发，他们使用马尔可夫链近似来构造离散时间控制的马尔可夫链以获得最优解，我们将马尔可夫链近似应用于解决企业中库存控制和产品运营的博弈问题 [15] 。建立了考虑参考价格影响的定价与库存控制模型。在该模型中，企业的初始品牌价值和利润收入不相等，市场需求不确定，消费者对两家企业产品的记忆参数不同，初始参考价格也不同。企业可以在连续的时间内随时调整自己的经营策略，寻求挤压竞争对手的市场份额，直到它们之间的利润差距扩大或缩小到一定值。这表明一家公司无法再挑战另一家公司的市场地位，该模式停止。

本文的主要贡献如下：

(1) 本文首次利用马尔可夫链近似方法求解了两个公司在参考价格作用下的联合生产定价模型的随机最优控制问题。

(2) 进行了数值实验，我们对得到的结果给出分析和管理的见解。

其余的工作组织如下：在第2节中，我们提出了两个制造商公司竞争下的随机微分对策的一般形式和假设。在第3节中，我们讨论了马尔可夫链近似方法的数值算法。用近似马尔可夫链很好地逼近了博弈的上、下界，并给出了动态规划方程。在第4节中，我们讨论了近似格式的收敛性。证明了鞍点的存在性。最后，在第5节中，我们进行了数值实验，并给出了我们的结果。在此基础上，对数值模拟结果进行了合理的分析和讨论，并给予相应的管理意见。

2. 模型

我们使用一个随机微分方程来表示公司1的参考价格：

$d{R}^{\left(1\right)}\left(t\right)=\beta \left(p_1\left(t\right)-R^{\left(1\right)}\left(t\right)\right)dt+{ϵ}^{\left(1\right)}\sqrt{R^{\left(1\right)}\left(t\right)}d{Y}^{\left(1\right)}\left(t\right)$ (1)

平方根扩散项 ${ϵ}^{\left(1\right)}\sqrt{R^{\left(1\right)}\left(t\right)}$ 表示随机参考价格的波动性。这里， ${ϵ}^{\left(1\right)}$ 为参考价格的波动性参数。参考价格的内存参数或调整速度用 $\beta$ 表示。制造公司1的累积消费者需求 $D^{\left(1\right)}\left(t\right)$ 是一个随机过程，由：

$$ (2)

潜在需求的波动性参数用 ${\sigma }^{\left(1\right)}$ 表示，维纳过程 $W^{\left(1\right)}\left(t\right)$ 仍然与 $Y^{\left(1\right)}\left(t\right)$ 保持不相关。库存的连续时间动态受生产率和需求率之间的相互作用的控制，遵循一个随机微分方程：

$d{X}^{\left(1\right)}\left(t\right)=u_1\left(t\right)dt-d{D}^{\left(1\right)}\left(t\right)$ (3)

考虑到公式(2)，上述库存动态变为：

$d{X}^{\left(1\right)}\left(t\right)=\left(u_1\left(t\right)-\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)\right)dt+\sigma dW\left(t\right),X^{\left(1\right)}\left(0\right)=x^{\left(1\right)},t⩾0.$ (4)

假设连续时间公司盈利过程包括价格 $p_1\left(t\right)$ 、需求率 $D_1\left(t\right)$ 、生产成本 $C\left(u_1\left(t\right)\right)$ 和库存成本 $H\left(X^{\left(1\right)}\left(t\right)\right)$ ，它满足随机微分方程：

$d{Z}^{\left(1\right)}\left(t\right)=[p_1\left(t\right)d{D}^{\left(1\right)}\left(t\right)-\left(C\left(u_1\left(t\right)\right)+H\left(X^{\left(1\right)}\left(t\right)\right)\right)]dt$ (5)

考虑到(2)，制造公司1的剩余过程可以写为：

$\begin{array}{c}d{Z}^{\left(1\right)}\left(t\right)=[p_1\left(t\right)\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)+p_1\left(t\right)\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)\\ -\left(C\left(u_1\left(t\right)\right)+H\left(X^{\left(1\right)}\left(t\right)\right)\right)]dt-p_1\left(t\right){\sigma }_{1}d{W}^{\left(1\right)}\left(t\right),Z^{\left(1\right)}\left(0\right)=z^{\left(1\right)},t⩾0\end{array}$

同样，与制造公司1竞争的制造公司2也出现了随后的盈余

$\begin{array}{c}d{Z}^{\left(2\right)}\left(t\right)=[p_2\left(t\right)\left(a-b{p}_2\left(t\right)+\gamma \left(R^{\left(2\right)}\left(t\right)-p_2\left(t\right)\right)\right)+p_2\left(t\right)\left(a-b{p}_2\left(t\right)+\gamma \left(R^{\left(2\right)}\left(t\right)-p_2\left(t\right)\right)\right)\\ -\left(C\left(u_2\left(t\right)\right)+H\left(X^{\left(2\right)}\left(t\right)\right)\right)\text{]}dt-p_2\left(t\right){\sigma }_{2}d{W}^{\left(2\right)}\left(t\right),Z^{\left(2\right)}\left(0\right)=z^{\left(2\right)},t⩾0.\end{array}$

在本研究中，我们将描述两家制造企业之间的竞争。这两家公司的表现是通过其盈余 $Z^{\left(1\right)}-Z^{\left(2\right)}$ 的差值来衡量的。在不失一般性的前提下，我们假设 $Z^{\left(1\right)}>Z^{\left(2\right)}$ 。盈余越大的公司努力扩大盈余差距，而盈余越小的公司则努力减少盈余差距，使差距最小。因此，这两家公司之间的竞争形成了一个双人游戏，每个参与者都可以根据其生产和定价策略来响应其竞争对手的策略。设 $\bar{Z}\left(t\right)=Z^{\left(1\right)}-Z^{\left(2\right)}$ 。因此，两个盈余 $\bar{Z}\left(t\right)$ 的差异由以下动态控制：

$\begin{array}{l}d\bar{Z}\left(t\right)=[p_1\left(t\right)\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)\\ -\left(C\left(u_1\left(t\right)\right)+H\left(X^{\left(1\right)}\left(t\right)\right)\right)-p_2\left(t\right)\left(a-b{p}_2\left(t\right)+\gamma \left(R^{\left(2\right)}\left(t\right)-p_2\left(t\right)\right)\right)]\\ -p_1\left(t\right){\sigma }_{1}d{W}^{\left(1\right)}\left(t\right)+p_2\left(t\right){\sigma }_{2}d{W}^{\left(2\right)}\left(t\right),\bar{Z}\left(0\right)=\bar{z},t⩾0.\end{array}$ (6)

其中 $\bar{z}=z^{\left(1\right)}-z^{\left(2\right)}$ 。为了更好地研究公司1和公司2的需求过程之间的关系，我们假设公司1和公司2的累积需求过程之间存在相关性。设 $\alpha$ 为 $W^{\left(1\right)}(\cdot )$ 与 $W^{\left(2\right)}(\cdot )$ 、 $\alpha \in \left(-1,1\right)$ 之间的相关系数。通过这种方式，我们可以将 $W^{\left(2\right)}(\cdot )$ 重写如下：

$d{W}^{\left(2\right)}\left(t\right)=\nu d{W}^{\left(1\right)}\left(t\right)+\sqrt{1-{\nu }^2\left(t\right)}d{\tilde{W}}^{\left(2\right)}\left(t\right)$ (7)

${\tilde{W}}^{\left(2\right)}(\cdot )$ 是一个标准的布朗运动，并且独立于 $W^{\left(1\right)}(\cdot )$ 。我们允许将盈余以价格投资于金融市场上的资产 $M\left(t\right)$ ， $\mu$ 为资产的收益率， ${\sigma }_3$ 为相应的波动率， $W^{\left(3\right)}\left(t\right)$ 为标准布朗运动。并且我们假设它满足以下形式：

$\frac{dM\left(t\right)}{M\left(t\right)}=\mu dt+{\sigma }_{3}d{W}^{\left(3\right)}\left(t\right)$ (8)

因此，结合(7)和(8)，我们可以将等式(6)改写如下：

$\begin{array}{c}dZ\left(t\right)=[\mu Z\left(t\right)+p_1\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)\\ -C\left(u_1\left(t\right)-H\left(X^{\left(1\right)}\left(t\right)\right)\right)-p_2\left(t\right)(a-b{p}_2\left(t\right)\\ \gamma \left(R^{\left(2\right)}\left(t\right)-p_2\left(t\right)\right)+C\left(u_2\left(t\right)\right)+H\left(X^{\left(2\right)}\left(t\right)\right)\text{]}dt\\ +\left(p_2\left(t\right){\sigma }_2\nu -p_1\left(t\right){\sigma }_1\right)d{W}^{\left(1\right)}\left(t\right)+p_2\left(t\right){\sigma }_2\sqrt{1-{\nu }^2}d{\tilde{W}}^{\left(2\right)}\left(t\right)\\ +{\sigma }_{3}Z\left(t\right)d{W}^{\left(3\right)}\left(t\right)\end{array}$ (9)

为了简化过程，我们将在下面用6维的形式来表示它：

$dL\left(t\right)=f\left(L\left(t\right),\theta \left(t\right)\right)dt+\sigma \left(L\left(t\right)\right)d\bar{W}$

$L\left(t\right)=\left(Z\left(t\right),X^{\left(1\right)}\left(t\right),X^{\left(2\right)}\left(t\right),R^{\left(1\right)}\left(t\right),R^{\left(2\right)}\left(t\right)\right)$ ， $f={\left(f_1,f_2,f_3,f_4,f_5\right)}^T$ ，

$\sigma =(\begin{array}{cccccc}{p}_2\left(t\right){\sigma }_2\nu -p_1\left(t\right){\sigma }_1& p_2\left(t\right){\sigma }_2\sqrt{1-{\nu }^2}& 0& {\sigma }_{3}Z\left(t\right)& 0& 0\\ {\sigma }_1& 0& 0& 0& 0& 0\\ 0& 0& {\sigma }_2& 0& 0& 0\\ 0& 0& 0& 0& {ϵ}_1\sqrt{R^{\left(1\right)}\left(t\right)}& 0\\ 0& 0& 0& 0& 0& {ϵ}_2\sqrt{R^{\left(2\right)}(\; t\; ))}\end{array}$

$W\left(t\right)=\left(W^{\left(1\right)}\left(t\right),{\tilde{W}}^{\left(2\right)}\left(t\right),W^{\left(3\right)}\left(t\right),Y^{\left(1\right)}\left(t\right),Y^{\left(2\right)}\left(t\right)\right)$ ，和 $f_1$ ， $f_2$ ， $f_3$ ， $f_4$ ， $f_5$ 具有以下形式

$\begin{array}{c}{f}_1=\mu Z\left(t\right)+p_1\left(t\right)\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)\\ -(C\left(u_1\left(t\right)\right)+H\left(X^{\left(1\right)}\left(t\right)\right)-p_2\left(t\right)(a-b{p}_2\left(t\right)\\ +\gamma \left(R^{\left(2\right)}-p_2\left(t\right)\right))+(C\left(u_2\left(t\right)\right)+H\left(X^{\left(2\right)}\left(t\right)\right))\\ f_2=u_1\left(t\right)-\left(a-b{p}_1\left(t\right)+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\left(t\right)\right)\right)\\ f_3=u_2\left(t\right)-\left(a-b{p}_2\left(t\right)+\gamma \left(R^{\left(2\right)}\left(t\right)-p_2\left(t\right)\right)\right)\\ f_4=\beta \left(p_1\left(t\right)-R^{\left(1\right)}\left(t\right)\right)\\ f_5=\beta \left(p_2\left(t\right)-R^{\left(2\right)}(\; t\; )\right)\end{array}$

$L\left(0\right)=l=\left(z,x^{\left(1\right)},x^{\left(2\right)},r^{\left(1\right)},r^{\left(2\right)}\right)$ ，对于所有 $t<\tau$ ， $\tau =\text{inf}\left\{t\ge 0:Z\left(t\right)\notin \left(a,b\right)\right\}$ 表示退出游戏的时间， $a$ ， $b$ 是满足一个 $a<b$ 的常数。我们假设，如果盈余之差的绝对值太大，游戏就会停止。无论是积极的还是消极的方向，巨大的差异意味着一家公司主导市场并赢得游戏。

我们根据两个公司在到达下势垒之前的盈余差的可能性，建立了值函数。在这个游戏中，公司1努力最大化这个概率，而公司2则努力最小化相同的概率。随后，我们确定了值函数。用 $\rho >0$ 表示折扣系数。设 ${\Gamma }_{11}$ 和 ${\Gamma }_{21}$ 分别是所有生产策略的集合，假设它们是紧集。 ${\Gamma }_{12}$ 和 ${\Gamma }_{22}$ 分别是定价策略，它们也被假定为紧凑集。让 $\theta =\left({\theta }_1,{\theta }_2\right)$ ， ${\theta }_k=\left(u_k,p_k\right),k=1,2$ ， ${\theta }_1\in {\Gamma }_1={\Gamma }_{11}\times {\Gamma }_{12},{\theta }_2\in {\Gamma }_2={\Gamma }_{21}\times {\Gamma }_{22}$ ，以及 $\theta \in \Gamma ={\Gamma }_{11}\times {\Gamma }_{12}\times {\Gamma }_{21}\times {\Gamma }_{22}$ 。

假设当剩余差异的大小变得过于重要时，游戏就会停止。无论是在积极的还是消极的领域，巨大的差距意味着一家公司的市场主导地位的游戏和胜利。我们将收益函数建立为两个参与者在达到5个下阈值之前达到上阈值的盈余差的可能性。因此，在这个游戏中，公司1的目标是最大化概率，而公司2则寻求最小化相同的概率。用 $\rho >0$ 表示折扣系数。让 $\theta =\left({\theta }_1,{\theta }_2\right)$ 和 ${\theta }_i=\left(u_{i,}{p}_i\right),i=1,2,\theta \in \Gamma ={\Gamma }_1\times {\Gamma }_2$ 。对于任何可接受的控制 $\theta$ ，支付函数是

$\begin{array}{c}\mathcal{J}\left(l,\theta \right)=\mathbb{P}\left\{Z\left(\tau \right)=b|L\left(0\right)=l\right\}\\ =E_z\left[{\displaystyle {\int }_0^{\tau }{e}^{-\rho t}K\left(L\left(t\right),\theta \left(t\right)\right)dt}\right]\end{array}$ (10)

如果 $u_1,p_1,u_2,p_2$ 满足以下条件，则控制 $\theta =\left({\theta }_1,{\theta }_2\right)$ 被认为是可接受的。

(1) $u_1\left(t\right),p_1\left(t\right),u_2\left(t\right),p_2\left(t\right)$ 对于任何 $t\ge 0$ 都为非负值；

(2) 对于任何 $t\le \tau$ ， $Z\left(t\right)\in \left(a,b\right)$ ；

(3) $u_1\left(t\right),p_1\left(t\right),u_2\left(t\right),p_2\left(t\right)$ 是对至少包含 $\sigma \left\{W\left(s\right),0\le s\le t\right\}$ 的 ${\mathcal{F}}_t$ 是可适的；

(4) $\mathcal{J}\left(l,\theta \right)<\infty$ 对于任何 $l\in G$ 和容许对 $\theta =\left(u_1,p_1,u_2,p_2\right)$ ，其中 $\mathcal{J}$ 是在(10)中定义的函数。

假设 $\Gamma$ 是可能的保留级别 $\theta \left(t\right)$ 的集合。在本文中，我们假设 $\Gamma$ 是一个给定的紧集，并且函数 $K\left(t\right)$ 相对于 $\left({\theta }_1,{\theta }_2\right)$ 是凹凸的。

对于 $k=1,2$ ，设 $\mathcal{B}\left({\Gamma }_k\times \left[0,\infty \right)\right)$ 为 ${\Gamma }_k\times \left[0,\infty \right)$ 的Borel子集的 $\sigma$ 代数。对于每个 $t\ge 0$ ，有一个可接受的松弛控制 $m_k\left(\cdot ,\cdot \right)$ 是对 ${\Gamma }_k\times \left[0,\infty \right)$ 的一个度量，这样的 $m_k\left({\Gamma }_k\times \left[0,t\right]\right)=t$ 。在给定的概率空间下，如果 $m_k(\cdot )$ 是 $W(\cdot )$ 或 $\left(m(\cdot ),W(\cdot )\right)$ 的，并且 $m_k\left(\cdot ,\cdot ,\omega \right)$ 是所有的 $n_k\left(A\times B\times \left[0,t\right]\right)$ 的确定性松弛控制。有一个导数 $m_{t,k}\left(\cdot ,\cdot \right)$ ，使得 $m_{t,k}\left(\cdot ,\cdot \right)$ 对于所有的 $A\times B\in \mathcal{B}\left({\Gamma }_k\right)$ 是 ${\mathcal{F}}_t$ 可适的。给定 ${\theta }_k(\cdot )$ 的放松控制 $m_k\left(\cdot ,\cdot \right)$ ，其中 $k=1,2$ 。我们定义导数 $m_{t,k}\left(\cdot ,\cdot \right)$ 使得

$m_1\left(A,B\right)={\displaystyle {\int }_{{\Gamma }_{11}\times {\Gamma }_{12}\left[0,\infty \right)}{I}_{\left\{\left({\theta }_1,t\right)\in \mathcal{B}\left({\Gamma }_1\times \left[0,\infty \right)\right)\right\}}{m}_{t,1}\left(d{\varphi }_1\right)}dt$

对于所有有界的Borel集 $A\times B\in \mathcal{B}\left({\Gamma }_1\times \left[0,\infty \right)\right)$ 和对于每个 $t$ ， $m_{t,1}\left(\cdot ,\cdot \right)$ 是对满足 $m_{t,1}\left({\Gamma }_1\right)=1$ 在 $\mathcal{B}\left({\Gamma }_1\right)$ 的测度。例如，我们可以用任何方便的方式定义 $t=0$ 的 $m_{t,1}\left(\cdot ,\cdot \right)$ ，并定义为 $t>0$ 的左导数，

$m_{t,1}\left(A,B\right)=\underset{\delta \to 0}{\lim }\frac{n_1\left(A\times B\times \left[t-\delta ,t\right]\right)}{\delta },A\times B\in \mathcal{B}(\; \Gamma \; 1\; )$

要注意的是 $m_k\left(d{\varphi }_{1}dt\right)=m_{t,1}\left(d{\varphi }_1\right)dt$ ，自然可以定义 $m_1\left(\cdot ,\cdot \right)$ 的松弛控制表示 ${\theta }_1\left(\cdot ,\cdot \right)$ ，

$m_{t,1}^h\left(A\right)=I_{\left\{{\theta }_1\left(\cdot ,\cdot \right)\in A\times B\right\}},\forall A\times B\in \mathcal{B}(\; \Gamma \; 1\; )$

类似地，当 $k=1,2$ 时，我们有

$m_2\left(A,B\right)={\displaystyle {\int }_{{\Gamma }_2\times \left[0,\infty \right)}{I}_{\left\{\left({\theta }_2,t\right)\in \mathcal{B}\left({\Gamma }_2\times \left[0,\infty \right)\right)\right\}}{m}_{t,2}\left(d{\varphi }_2\right)}dt$

用导数 $m_t\left(\cdot ,\cdot ,\cdot ,\cdot \right)=\left(m_{t,1}\left(\cdot ,\cdot \right)\times m_{t,2}\left(\cdot ,\cdot \right)\right)$ 来定义松弛控制 $m\left(\cdot ,\cdot ,\cdot ,\cdot \right)=\left(m_1\left(\cdot ,\cdot \right)\times m_2\left(\cdot ,\cdot \right)\right)$ 。因此 $m\left(\cdot ,\cdot ,\cdot ,\cdot \right)$ 是 $\left({\Gamma }_{11}\times {\Gamma }_{12}\times {\Gamma }_{21}\times {\Gamma }_{22}\right)\times \left[0,\infty \right)$ 的Borel集上的一个测度。基于 [18] 的方法和假设，我们开始定义上值、下值和鞍点。设 ${{\rm Y}}_k$ 是 ${\theta }_k$ 的可接受的普通控制。对于 $\Delta >0$ ，用 ${{\rm Y}}_k\left(\Delta \right)$ 表示分段常数控制 ${\theta }_k=\left(u_{1,k}(\cdot ),p_{1,k}(\cdot )\right)$ 上的区间 $\left(\left[n_1\Delta ,\left(n_1+1\right)\Delta \right],\left[n_2\Delta ,\left(n_2+1\right)\Delta \right]\right)$ ， $n_1=0,1,2,\mathrm{...},n_2=0,1,2,\mathrm{...},$ 其中 ${\theta }_k\left(n_1\Delta ,n_2\Delta \right)$ 是 ${\mathcal{F}}_{n\Delta }$ 测度，并且 ${{\rm Y}}_k\left(\Delta ,\Delta \right)\subset {{\rm Y}}_k$ 。我们设 $A_1$ 为 ${\Gamma }_1$ 的Borel子集， ${\mathcal{R}}_1\left(\Delta ,\Delta \right)\subset {{\rm Y}}_1\left(\Delta ,\Delta \right)$ 表示由 ${\mathcal{R}}_1\left(\Delta ,\Delta \right)\subset {{\rm Y}}_1\left(\Delta ,\Delta \right)$ ， $i=0,1,2,\mathrm{...},j=0,1,2,\mathrm{...}$ 所表示的分段常数控制集的条件概率类型：

$P\left\{{\theta }_1\left(i{n}_1,j{n}_2\right)\in A_1|W\left(s_1,s_2\right),{\theta }_2\left(s_1,s_2\right),s_1<i{n}_1,s<j{n}_2;{\theta }_1\left(n_1\Delta ,n_2\Delta \right),n_1<i,n_2<j\right\}$ (11)

在此 $F_{1,ij}\left(A_1,\cdot ,\cdot \right)$ 是 $A_1\in \mathcal{B}\left({\Gamma }_1\right)$ 的可测函数。如果控制规则 ${\theta }_1\left({\theta }_2\right)$ 由(11)给出，则我们表示 ${\theta }_1\left({\theta }_2\right)$ 来强调 ${\theta }_1$ 对 ${\theta }_2$ 的依赖性。类似地，我们定义了 ${\mathcal{R}}_2\left(\Delta ,\Delta \right)$ 和相关的控制规则 ${\theta }_2\left({\theta }_1\right)$ 。为了继续，我们定义上值和下值。上面的值被定义为

$V^{+}\left(l\right)=\underset{\Delta \to 0}{\lim }\underset{{\theta }_1\in {\mathcal{R}}_1\left(\Delta ,\Delta \right)}{\text{inf}}\underset{{\theta }_2\in {\Gamma }_2}{\text{sup}}\mathcal{J}\left(l,{\theta }_1\left({\theta }_2\right),{\theta }_2\right)$

同样的，我们可以定义下值为

$V^{-}\left(l\right)=\underset{\Delta \to 0}{\lim }\underset{{\theta }_2\in {\mathcal{R}}_2\left(\Delta ,\Delta \right)}{\text{inf}}\underset{{\theta }_1\in {\Gamma }_1}{\text{sup}}\mathcal{J}\left(l,{\theta }_2\left({\theta }_1\right),{\theta }_1\right)$

如果下值和上值相等，那么我们说存在一个鞍点。

$V\left(l\right)=V^{+}\left(l\right)=V^{-}\left(l\right)$ (12)

对于任意的 $\theta \in \Gamma$ 和 $V\left(\cdot ,\cdot ,\cdot ,\cdot ,\cdot \right)\in C^5\left(ℝ\right)$ ，定义一个操作符 ${\mathcal{L}}^{\theta }$

$\begin{array}{c}{\mathcal{L}}^{\theta }V=V_z[\mu z+p_1\left(a-b{p}_1+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\right)\right)-\left(C\left(u_1\right)+H\left(X^{\left(1\right)}\right)\right)\\ -p_2\left(t\right)\left(a-b{p}_2+\gamma \left(R^{\left(2\right)}-p_2\right)\right)+\left(C\left(u_2\right)+H\left(X^{\left(2\right)}\right)\right)]\\ +V_{x^{\left(1\right)}}\left[u_1-\left(a-b{p}_1+\gamma \left(R^{\left(1\right)}\left(t\right)-p_1\right)\right)\right]\\ +V_{x^{\left(2\right)}}\left[u_2-\left(a-b{p}_2+\gamma \left(R^{\left(2\right)}\left(t\right)-p_2\right)\right)\right]\\ +V_{r^{\left(1\right)}}\left[\beta \left(p_1-r^{\left(1\right)}\right)\right]+V_{r^{\left(2\right)}}\left[\beta \left(p_2-r^{\left(2\right)}\right)\right]\\ -\frac{1}{2}{\sigma }_1^2{p}_1{V}_{x^{\left(1\right)}z}-\frac{1}{2}{\sigma }_1^2{p}_1{V}_{z{x}^{\left(2\right)}}+\frac{1}{2}{\sigma }_2^2{p}_2{V}_{x^{\left(2\right)}z}+\frac{1}{2}{\sigma }_2^2{p}_2{V}_{z{x}^{\left(2\right)}}\\ +\frac{1}{2}{\sigma }_1^2{V}_{x^{\left(1\right)}{x}^{\left(1\right)}}+\frac{1}{2}{\sigma }_2^2{V}_{x^{\left(2\right)}{x}^{\left(2\right)}}+\frac{1}{2}{ϵ}_1^2{r}^{\left(1\right)}{V}_{r^{\left(1\right)}{r}^{\left(1\right)}}+\frac{1}{2}{ϵ}_2^2{r}^{\left(2\right)}{V}_{r^{\left(2\right)}{r}^{\left(2\right)}}\\ +\frac{1}{2}\left({\sigma }_1^2{p}_1^2+{\sigma }_2^2{p}_2^2+{\sigma }_3^2{z}^2\right)V_{zz}\end{array}$

其中 $V_i=\partial V/\partial i$ 以及 $V_{ii}={\partial }^{2}V/\partial i^2$ ， $i=z,x^{\left(1\right)},x^{\left(2\right)},r^{\left(1\right)},r^{\left(2\right)}$ 。另一方面，鞍点 $V\left(l\right)$ ， $l=\left(z,x^{\left(1\right)},x^{\left(2\right)},r^{\left(1\right)},r^{\left(2\right)}\right)$ 满足HJI方程

$\begin{array}{l}\underset{{\theta }_1\in {\Gamma }_1}{\text{inf}}\underset{{\theta }_2\in {\Gamma }_2}{\text{sup}}\left({\mathcal{L}}^{\theta }\left(V\left(x\right)\right)-\rho V\left(x\right)+K\left(l,\theta \right)\right)\\ =\underset{{\theta }_2\in {\Gamma }_2}{\text{sup}}\underset{{\theta }_1\in {\Gamma }_1}{\text{inf}}\left({\mathcal{L}}^{\theta }\left(V\left(x\right)\right)-\rho V\left(x\right)+K\left(l,\theta \right)\right)\\ =0,l\in \left(a,b\right)\\ V\left(x\right)=\tilde{h}\left(l\right),l=a,b.\end{array}$ (13)

3. 数值算法

现在，我们寻找一个对 $L\left(t\right)$ 的有限状态的马尔可夫链近似，并且这个马尔可夫链的形式有利于离散化的模拟计算。利用弱收敛理论证明了我们构造的马尔可夫链收敛于 $L\left(t\right)$ 。设 $h>0$ 为离散步长，边界点a，b为h的整数倍， $e_i$ 为第i个坐标方向上的单位向量， $i=1,2,3,4,5$ 。近似受控马尔可夫链具有五维晶格的状态空间， $n_i$ 为整数， $i=1,2,3,4,5$ 。

$L_h^5=\left\{l=h{\displaystyle \underset{i=1}{\overset{5}{\sum }}{n}_i{e}_i}\right\}$

设 $G_h$ 表示 $G$ 上的有限差分网格，其中 $G=\left[a,b\right]$ 和 $G^0=\left(a,b\right)$ 。也就是说，如果 $l\in L_h^5$ ，那么它存在非负整数 $n_1,n_2,n_3,n_4,n_5$ 使得 $l={\displaystyle {\sum }_i^{}{e}_{i}h{n}_i}$ ，定义 $G_h=L_h^5\cap G$ 。现在，对于一些函数 $\Delta t^h\left(y\right)$ ，它是 $h\to 0$ ，我们假设马尔可夫链满足以下要求：

$\begin{array}{l}{E}_l\left[{\xi }_{n+1}^h-{\xi }_n^h|{\xi }_n^h=y\right]=f\left(y\right)\Delta t^h\left(y\right)+o\left(\Delta t^h\left(y\right)\right)\\ {\text{cov}}_l\left[{\xi }_{n+1}^h-{\xi }_n^h|{\xi }_n^h=y\right]=2a\left(y\right)\Delta t^h\left(y\right)+o\left(\Delta t^h\left(y\right)\right)\\ P_l\left\{|{\xi }_{n+1}^h-{\xi }_n^h|⩾ϵ|{\xi }_n^h=y\right\}=o\left(\Delta t^h\left(y\right)\right)\\ 2a\left(y\right)=\sigma \left(y\right){\sigma }^{\prime }(\; y\; )\end{array}$

设 ${\theta }^h:={\theta }_n^h,n>0$ 为控制动作的顺序。如果 ${\theta }_n^h=\left({\theta }_{1,n}^h,{\theta }_{2,n}^h\right)$ 是 $\sigma \left\{{\xi }_0^h,\cdots ,{\xi }_n^h,{\theta }_0^h,\cdots ,{\theta }_{n-1}^h\right\}$ 可适的，那么序列 ${\theta }^h$ 可以被认为是允许的。由于我们考虑的是连续时间情况，控制离散时间马尔可夫链改写为

${\xi }^h={\xi }_k^h$ ， ${\theta }^h={\theta }_k^h$ ，

对于 $t\in \left[t_n^h,t_{n+1}^h\right)$ ，其中 $t_0^h:=0,t_n^h={\displaystyle {\sum }_{k=0}^{n-1}\Delta t^h\left({\xi }_k^h,{\theta }_k^h\right)}$ ，让 ${\eta }_h:=\text{inf}\left\{n:{\xi }_n^h\in \partial G\right\}$ 。那么 ${\xi }^h$ 从 $G$ 的第一次是 ${\tau }^h={\tau }_{{\eta }_h}^h$ 。让 ${\xi }_0^h=l\in G_h$ 和 ${\xi }_0^h=l\in G_h$ 是容许控制，将受控马尔可夫链的收益函数定义为

${\mathcal{J}}^h\left(l,{\theta }^h\right)={\mathbb{P}}_{z^h}\left\{Z^h\left({\tau }^h\right)=b|Z^h\left(0\right)=z^h\right\}=E_l{\displaystyle \underset{k=1}{\overset{{\eta }_h-1}{\sum }}{e}^{-\rho t_k^h}\left[K\left({\xi }_k^h,{\theta }_k^h\right)\Delta t_k^h\right]}$

我们用 ${\theta }_n^h=\left({\theta }_{1,n}^h,{\theta }_{2,n}^h\right)\subset \Gamma$ 表示随机变量，即链在n时刻的规则控制作用。设 ${\theta }^h:=\left\{{\theta }_n^h,n\ge 0\right\}$ 为控制动作的顺序。此外，设 ${\Gamma }_{1,k}^h$ 表示公司 $k$ 为首发的控制集合，它由一系列可测函数 $F_n^h(\cdot )$ 决定，使得

${\theta }_{k,n}^h=F_n^h\left({\xi }_i^h,i\le n\right)$

${\Gamma }_{2,k}^h$ 表示播放 $k$ 随后进行的普通控制的集合，该策略由一个可测函数 ${\tilde{F}}_n^h(\cdot )$ 的序列定义

${\theta }_{k,n}^h={\tilde{F}}_n^h\left({\xi }_i^h,i\le n;{\theta }_i^h,i\le n;{\theta }_{j,n}^{h}j\ne k\right)$

将 ${\mathcal{O}}_t^h$ 定义为由 $\left\{{\xi }^h\left(s\right),{\theta }^h\left(s\right),s<t\right\}$ 生成的最小 $\sigma$ 代数。此外， ${\Gamma }_k^h={\Gamma }_{1,k}^h\times {\Gamma }_{2,k}^h$ 等价于关于 ${\mathcal{O}}_t^h$ 的所有分段常数容许控制的集合。现在，我们可以用 ${\mathcal{J}}^h(\cdot )$ 和 ${\Gamma }^h$ 有来定义上下值

$V^{h,+}\left(l\right)=\underset{{\theta }_1^h\in {\Gamma }_{1,1}^h}{\text{inf}}\underset{{\theta }_2^h\in {\Gamma }_{2,2}^h}{\text{sup}}{\mathcal{J}}^h\left(l,{\theta }_1^h,{\theta }_2^h\right)$

而下值也可以被定义为

$V^{h,-}\left(l\right)=\underset{{\theta }_2^h\in {\Gamma }_{1,2}^h}{\text{sup}}\underset{{\theta }_1^h\in {\Gamma }_{2,1}^h}{\text{inf}}{\mathcal{J}}^h\left(l,{\theta }_1^h,{\theta }_2^h\right)$

如果存在一个鞍点， $V^h\left(l\right)=V^{h,+}\left(l\right)=V^{h,-}\left(l\right)$ 。可以很容易地验证了 $V^h\left(l\right)$ 满足以下动态规划方程

$\begin{array}{l}{V}^{h,+}\left(l\right)=\underset{{\theta }_1\in {\Gamma }_1}{\text{inf}}\left\{\underset{{\theta }_2\in {\Gamma }_2}{\text{sup}}{\displaystyle \underset{y}{\sum }{e}^{-\rho h}{p}^{\theta }\left(\left(x,y\right)|\theta \right)V^h\left(y\right)}\right\}\\ V^{h,-}\left(l\right)=\underset{{\theta }_2\in {\Gamma }_2}{\text{sup}}\left\{\underset{{\theta }_1\in {\Gamma }_1}{\text{inf}}{\displaystyle \underset{y}{\sum }{e}^{-\rho h}{p}^{\theta }\left(\left(x,y\right)|\theta \right)V^h\left(y\right)}\right\}\end{array}$ (14)

让

$\begin{array}{c}{f}_1\left(l\right)=\mu z+p_1\left(a-b{p}_1+\gamma \left(r^{\left(1\right)}-p_1\right)\right)-\left(C\left(u_1\right)+H\left(x^{\left(1\right)}\right)\right)\\ -p_2\left(a-b{p}_2+\gamma \left(r^{\left(2\right)}-p_2\right)\right)-\left(C\left(u_2\right)+H\left(x^{\left(2\right)}\right)\right)\\ f_2\left(r^{\left(1\right)}\right)=u_1-\left(a-b{p}_1+\gamma \left(r^{\left(1\right)}-p_1\right)\right)\end{array}$

$\begin{array}{c}{f}_3\left(r^{\left(2\right)}\right)=u_2-\left(a-b{p}_2+\gamma \left(r^{\left(2\right)}-p_2\right)\right)\\ f_4\left(r^{\left(1\right)}\right)=\beta \left(p_1-r^{\left(1\right)}\right),f_5\left(r^{\left(2\right)}\right)=\beta \left(p_1-r^{\left(2\right)}\right)\end{array}$ (15)

以及 $f_i^{+}=\max \left(f_i,0\right),f_i^{-}=\max \left(-f_i,0\right)$ 。其中，我们称 $f_i^{+}$ 和 $f_i^{-}$ 分别为 $f_i$ 的正负部分， $i=1,2,3,4,5$ 。对V的一阶导数和二阶导数使用以下近似值：

$\begin{array}{c}{\Delta }^2{V}_{l_i}=\frac{V\left(l+h{e}_i\right)+V\left(l-h{e}_i\right)-2V\left(l\right)}{h^2}\\ {\Delta }^2{V}_{l_i}=\frac{V\left(l+h{e}_i\right)+V\left(l-h{e}_i\right)-2V\left(l\right)}{h^2}\\ {\Delta }_{+}^2{V}_{l_i{l}_j}=\frac{2V\left(l\right)+V\left(l+h{e}_i+h{e}_j\right)+V\left(l-h{e}_i-h{e}_j\right)}{2h^2}\\ -\frac{V\left(l+h{e}_i\right)+V\left(l-h{e}_i\right)+V\left(l+h{e}_j\right)+V\left(l-h{e}_j\right)}{2h^2}\\ {\Delta }_{-}^2{V}_{l_i{l}_j}=-\frac{2V\left(l\right)+V\left(l+h{e}_i-h{e}_j\right)+V\left(l-h{e}_i+h{e}_j\right)}{2h^2}\\ +\frac{V\left(l+h{e}_i\right)+V\left(l-h{e}_i\right)+V\left(l+h{e}_j\right)+V\left(l-h{e}_j\right)}{2h^2}\end{array}$ (16)

接下来，我们使用上面给出的有限差分来近似 $V\left(l\right)$ ， $i=1,2,3,4,5$ 。

$\begin{array}{l}V\left(l\right)\to V^h\left(l\right),\\ V_{l_i}\left(l\right)\to {\Delta }^{+}{V}_{l_i}^h\left(l\right),f_i>0,\\ V_{l_i}\left(l\right)\to {\Delta }^{-}{V}_{l_i}^h\left(l\right),f_i<0,\\ V_{l_i{l}_j}\left(l\right)\to {\Delta }_{+}^2{V}_{l_i{l}_j}^h\left(l\right),a_{ij}\left(l\right)\ge 0,i\ne j\\ V_{l_i{l}_j}\left(l\right)\to {\Delta }_{-}^2{V}_{l_i{l}_j}^h\left(l\right),a_{ij}\left(l\right)\le 0,i\ne j\end{array}$

通过将(15)和(16)代入(12)，并重新排列这些项，我们得到了动态规划的等价形式为

$\begin{array}{l}\rho V^h\left(l\right)\\ =f_1^{+}\left(l\right)\frac{V^h\left(l+h{e}_1\right)-V^h\left(l\right)}{h}-f_1^{-}\left(l\right)\frac{V^h\left(l\right)-V^h\left(l-h{e}_1\right)}{h}\\ +f_2^{+}\left(l\right)\frac{V^h\left(l+h{e}_2\right)-V^h\left(l\right)}{h}-f_2^{-}\left(l\right)\frac{V^h\left(l\right)-V^h\left(l-h{e}_2\right)}{h}\\ +f_3^{+}\left(l\right)\frac{V^h\left(l+h{e}_3\right)-V^h\left(l\right)}{h}-f_3^{-}\left(l\right)\frac{V^h\left(l\right)-V^h\left(l-h{e}_3\right)}{h}\\ +f_4^{+}\left(l\right)\frac{V^h\left(l+h{e}_4\right)-V^h\left(l\right)}{h}-f_4^{-}\left(l\right)\frac{V^h\left(l\right)-V^h\left(l-h{e}_4\right)}{h}\\ +f_5^{+}\left(l\right)\frac{V^h\left(l+h{e}_5\right)-V^h\left(l\right)}{h}-f_5^{-}\left(l\right)\frac{V^h\left(l\right)-V^h\left(l-h{e}_5\right)}{h}\\ +{\sigma }_1^2{p}_1\left[\frac{2V^h\left(l\right)+V^h\left(l+h{e}_1-h{e}_2\right)+V^h\left(l-h{e}_1+h{e}_2\right)}{2h^2}\right]\\ -{\sigma }_1^2{p}_1\left[\frac{V^h\left(l+h{e}_1\right)+V^h\left(l-h{e}_1\right)+V^h\left(l-h{e}_2\right)+V^h\left(l+h{e}_2\right)}{2h^2}\right]\end{array}$

$\begin{array}{l}+{\sigma }_2^2{p}_2\left[\frac{2V^h\left(l\right)+V^h\left(l+h{e}_1+h{e}_3\right)+V^h\left(l-h{e}_1-h{e}_3\right)}{2h^2}\right]\\ -{\sigma }_2^2{p}_2\left[\frac{V^h\left(l+h{e}_1\right)+V^h\left(l-h{e}_1\right)+V^h\left(l+h{e}_3\right)+V^h\left(l-h{e}_3\right)}{2h^2}\right]\\ +\frac{1}{2}\left({\sigma }_1^2{p}_1^2+{\sigma }_2^2{p}_2^2+{\sigma }_3^2{z}^2\right)\frac{V^h\left(l+h{e}_1\right)+V^h\left(x-h{e}_1\right)-V^h\left(l\right)}{h^2}\\ +\frac{1}{2}{\sigma }_1^2\frac{V^h\left(l+h{e}_3\right)+V^h\left(l-h{e}_2\right)-2V\left(l\right)}{h^2}\\ +\frac{1}{2}{\sigma }_2^2\frac{V^h\left(l+h{e}_3\right)+V^h\left(l-h{e}_3\right)-2V^h\left(l\right)}{h^2}\\ +\frac{1}{2}{ϵ}_1^2{r}^{\left(1\right)}\frac{V^h\left(l+h{e}_4\right)+V^h\left(l-h{e}_4\right)-2V^h\left(l\right)}{h^2}\\ +\frac{1}{2}{ϵ}_2^2{r}^{\left(2\right)}\frac{V^h\left(l+h{e}_5\right)+V^h\left(l-h{e}_5\right)-2V^h\left(l\right)}{h^2}\\ +K\left(x^{\left(1\right)},x^{\left(2\right)},r^{\left(1\right)},r^{\left(2\right)},\theta \right)\end{array}$ (17)

简化(17)，并将结果与(14)进行比较，我们得到了一步转移概率的具体表达式如下：

$\begin{array}{l}{p}^{\theta }\left(l,l\pm h{e}_1\right)=\frac{\left({\sigma }_1^2{p}_1^2+{\sigma }_2^2{p}_2^2+{\sigma }_3^2{z}^2\right)/2-\left({\sigma }_1^2{p}_1+{\sigma }_2^2{p}_2\right)+h{f}_1^{\pm }\left(l\right)}{Q_h}\\ p^{\theta }\left(l,l\pm h{e}_2\right)=\frac{{\sigma }_1^2/2-{\sigma }_1^2{p}_1+h{f}_2^{\pm }\left(r^{\left(1\right)}\right)}{Q_h}\\ p^{\theta }\left(l,l\pm h{e}_3\right)=\frac{{\sigma }_2^2/2-{\sigma }_2^2{p}_2+h{f}_3^{\pm }\left(r^{\left(2\right)}\right)}{Q_h}\\ p^{\theta }\left(l,l\pm h{e}_4\right)=\frac{\left({ϵ}_1^2{r}^{\left(1\right)}\right)/2+h{f}_4^{\pm }\left(r^{\left(1\right)}\right)}{Q_h}\\ p^{\theta }\left(l,l\pm h{e}_5\right)=\frac{\left({ϵ}_2^2{r}^{\left(2\right)}\right)/2+h{f}_5^{\pm }\left(r^{\left(2\right)}\right)}{Q_h}\\ p^{\theta }\left(l,l+h{e}_1-h{e}_2\right)=p^{\theta }\left(l,l-h{e}_1+h{e}_2\right)=-\frac{\left({\sigma }_1^2{p}_1\right)/2}{Q_h}\\ p^{\theta }\left(l,l+h{e}_1+h{e}_3\right)=p^{\theta }\left(l,l-h{e}_1-h{e}_2\right)=-\frac{\left({\sigma }_2^2{p}_2\right)/2}{Q_h}\\ p^{\theta }\left(l,y\right)=0,allother,l,y\in G^h\\ \end{array}$ (18)

$Q_h=\left({\sigma }_1^2{p}_1^2+{\sigma }_2^2{p}_2^2+{\sigma }_3^2{z}^2+{\sigma }_1^2+{\sigma }_2^2+{ϵ}_1^2{r}^{\left(1\right)}+{ϵ}_1^2{r}^{\left(2\right)}\right)-\left({\sigma }_1^2{p}_1+{\sigma }_2^2{p}_2\right)+h{\displaystyle {\sum }_{i=1}^4\left|f_i\left(l\right)\right|}+h^2$

为了满足非负性，我们需要做出一些假设

$\begin{array}{l}{\left({\sigma }_2{p}_2\varrho -{\sigma }_1{p}_1\right)}^2+{\sigma }_2^2{p}_2^2\left(1-{\varrho }^2\right)+{\sigma }_3^2{Z}^2-\left|{\sigma }_1{\sigma }_2{p}_2-{\sigma }_1^2{p}_1\right|⩾0\\ {\sigma }_1^2-\left|{\sigma }_1{\sigma }_2{p}_2-{\sigma }_1^2{p}_1\right|⩾0\end{array}$ (19)

基于之前的零售价格假设，零售价格p有一个上界 $\bar{p}$ 和一个下界 $\underset{\_}{p}$ 。然后，利用零售价格p的上界和下界进行简单的尺度计算，我们可以得到满足公式(19)的条件如下

$\begin{array}{l}\sqrt{\frac{{\sigma }_1}{2{\sigma }_2\left(1-\varrho \right)}}⩽p_1⩽\frac{{\sigma }_1}{{\sigma }_1+{\sigma }_2\rho }\\ \sqrt{\frac{{\sigma }_1}{2{\sigma }_2\left(1-\varrho \right)}}⩽p_2⩽\frac{{\sigma }_1}{{\sigma }_1+{\sigma }_2\rho }\end{array}$ (20)

此外，动态规划方程组是对(14)的修正。对于 $l\in G^h$ ：

$V^h\left(l\right)=\underset{{\theta }_2\in {\Gamma }_2}{\text{sup}}\left\{\underset{{\theta }_1\in {\Gamma }_1}{\text{inf}}{\displaystyle \underset{y}{\sum }{e}^{-\rho h}{p}^{\theta }\left(x,y|\theta \right)V^h\left(y\right)+K\left(l,\theta \right)}\right\}$ (21)

4. 收敛性分析

在本节中，我们给出了连续时间马尔可夫链 $\left\{{\xi }_n^h,n=1,2,\cdots ,n\right\}$ 的收敛性分析，使马尔可夫链可行地逼近连续时间过程 $L\left(t\right)$ ，包括我们定义的控制 ${\theta }^h(\cdot )$ 。

设 ${\tau }_h=t_{{\eta }_h}^h$ 是 ${\xi }^h(\cdot )$ 的第一个退出时间 $G_h$ ， ${\mathcal{D}}_n^h$ 是 $\left\{{\xi }_k^h,{\theta }_k^h,k\le n\right\}$ 的最小 $\sigma$ -代数。当然， ${\tau }_h$ 是一个 ${\mathcal{D}}_n^h$ 停止时间。在连续时间插值的情况下，我们可以改写(10)为

${\mathcal{J}}^h\left(l,{\theta }^h\right)=E_l\left[{\displaystyle {\int }_0^{{\tau }_h}{e}^{-\rho t_k^h}K\left({\xi }^h\left(t\right),{\theta }^h\left(t\right)\right)dt}\right]$ (22)

定义 ${\xi }_0^h=l$ 并使用 $E_n^h$ 表示基于时间 $n$ 的信息的期望，即基于 ${\mathcal{D}}_n^h$ 的期望。结合局部一致性，我们有

$\begin{array}{l}{\xi }_n=l+{\displaystyle \underset{k=0}{\overset{n-1}{\sum }}\Delta {\xi }_k^h}\\ =l+{\displaystyle \underset{k=0}{\overset{n-1}{\sum }}{E}_k^h\Delta {\xi }_k^h}+{\displaystyle \underset{k=0}{\overset{n-1}{\sum }}\left(\Delta {\xi }_k^h-E_k^h\Delta {\xi }_k^h\right)}\\ =l+{\displaystyle \underset{k=0}{\overset{n-1}{\sum }}f\left({\xi }_k^h,{\theta }^h\right)}\Delta t^h\left({\xi }_k^h\right)+M_n^h\end{array}$ (23)

定义

$M_n^h={\displaystyle \underset{k=0}{\overset{n-1}{\sum }}\left(\Delta {\xi }_k^h-E_k^h\Delta {\xi }_k^h\right)}$

我们试图表示类似于(2.10)中的扩散项的 $M^h\left(t\right)$ 。定义 $W^h(\cdot )$ 为

$W^h\left(t\right)={\displaystyle \underset{k=0}{\overset{n-1}{\sum }}\frac{\Delta {\xi }_k^h-E_k^h\Delta {\xi }_k^h}{\sigma \left({\xi }_k^h\right)}}={\displaystyle {\int }_0^t{\sigma }^{-1}\left({\xi }^h\left(s\right)\right)d{M}^h\left(s\right)}$ (24)

结合(23)和(24)，我们将(23)重写为

${\xi }^h\left(t\right)=l+{\displaystyle {\int }_0^{t}f\left({\xi }^h\left(s\right),{\theta }^h\right)}ds+{\displaystyle {\int }_0^t\sigma \left({\xi }^h\left(s\right)\right)}d{W}^h\left(s\right)+{ϵ}^h\left(t\right)$ (25)

其中 ${ϵ}^h\left(t\right)$ 是一个可以忽略的误差，满足 $\underset{h\to \infty }{\lim }\underset{0\le t\le T}{\text{sup}}E\left|{ϵ}^h\left(t\right)\right|\to 0$ 对于任何 $0<T<\infty$ 。

我们也可以将(24)改写为

$L\left(t\right)=l+{\displaystyle {\int }_0^{t}f\left(L\left(t\right),\theta \right)}ds+{\displaystyle {\int }_0^t\sigma \left(L\left(t\right)\right)}dW\left(s\right)$ (26)

设 ${\mathcal{F}}_t^h$ 是一个过滤，它表示度量的最小 $\sigma$ -代数

$\left\{{\xi }^h\left(s\right),m_s^h(\cdot ),W^h\left(s\right),N^h\left(s\right),s⩽t\right\}$

使用 ${\Theta }^h$ 表示关于 $W^h(\cdot )$ 的允许松弛控制的集合 $m^h(\cdot )$ ，这样 $m_t^h(\cdot )$ 在给定 ${\mathcal{F}}_t^h$ 的区间内是一个固定的概率测度。那么 ${\Theta }^h={\Theta }_1^h\times {\Theta }_2^h$ 是一个包含 ${\Gamma }^h$ 的大控制空间。用上面给出的松弛控制的符号，我们可以将(25)写为

${\xi }^h\left(t\right)=l+{\displaystyle {\int }_0^t{\displaystyle {\int }_{{\Theta }_1^h\times {\Theta }_2^h}f\left({\xi }^h\left(s\right),n\right)\times m_s^h}}\left(d{n}_1\times d{n}_2\right)ds+{\displaystyle {\int }_0^t\sigma \left({\xi }^h\left(s\right)\right)}d{W}^h\left(s\right)+{ϵ}^h\left(t\right)$ (27)

引理4.1 假设让 $\left\{L_n(\cdot )\right\}$ 在 $C^m\left[c,d\right]$ 上有一个连续的路径，并且和 $\left\{L_n(\cdot )\right\}$ 是紧的，当且仅当 $\forall \eta >0,\exists N_h<\infty$ ，使得 $P\left\{L_n\left(c\right)\ge N_h\right\}\le \eta$ ，对于所有 $n$ ，当且仅当存在 $k$ ， $a>0$ ， $b>0$ ，使得 $E{\left|L_n\left(t\right)-L_n\left(s\right)\right|}^2\le k{\left|t-s\right|}^{1+b}$ 。

证明：该证明与 [17] 类似，在此省略。

定理4.2让近似链 $\left({\xi }_n^h,n<\infty \right)$ 由转移概率定义， $n^h(\cdot )$ 是 $\left\{{\theta }_n^h,n<\infty \right\}$ ， ${\xi }^h$ 是连续时间插值， $\left\{{\tilde{\tau }}_h\right\}$ 是 ${\mathcal{F}}_t^h$ 停止时间的序列，则 $\left\{{\xi }^h(\cdot ),n^h(\cdot ),W^h(\cdot ),{\tilde{\tau }}_h\right\}$ 是紧的。

证明：使用一点紧化的证明， $\tilde{\tau }\in \left[0,\infty \right)$ 。让 $T<\infty$ ， ${\tilde{v}}_h$ 是一个 ${\mathcal{F}}_t$ 停时。对于 $\delta >0$ ，我们有

$E_{{\tilde{v}}_h}^{{\theta }^h}{\left(W^h\left({\tilde{v}}_h+\delta \right)-W^h\left({\tilde{v}}_h\right)\right)}^2=\delta +{\widetilde{ϵ}}_h$

其中 ${\widetilde{ϵ}}^h\to 0$ 一致收敛于 ${\tilde{v}}_h$ ，取 $\lim \text{sup}h\to 0$ 和 $\lim \delta \to 0$ ，其紧密性为 $\left\{W^h(\cdot )\right\}$ 。一个类似的论点产生了 $M^h(\cdot )$ 的紧密性。序列 $\left\{m^h(\cdot )\right\}$ 是紧凑的，因为它的范围空间是紧凑的。这些结果以及 $c(\cdot )$ 和 $\theta (\cdot )$ 的有界性暗示了 $\left\{{\xi }^h(\cdot )\right\}$ 的紧密性，则 $\left\{{\xi }^h(\cdot ),n^h(\cdot ),W^h(\cdot ),{\tilde{\tau }}_h\right\}$ 是紧的。

定理4.3 让 $\left\{\xi (\cdot ),{\theta }^h(\cdot ),W(\cdot ),\tilde{\tau }\right\}$ 是一个弱收敛序列， ${\mathcal{F}}_t$ 是由 $\left\{L\left(s\right),\theta \left(s\right),W\left(s\right),s\le t\right\}$ 生成的 $\sigma$ 代数，那么 $W(\cdot )$ 分别是一个标准的 ${\mathcal{F}}_t$ -维纳过程， $\tilde{\tau }$ 是一个 ${\mathcal{F}}_t$ 停时， $\theta (\cdot )$ 是一个允许的控制，让索赔时间用 $v_n$ 表示，则(27)是成立的。

证明：该证明与 [15] 类似，在此省略。

定理4.4在上一节中分别定义的值函数。然后我们有

$\underset{h\to 0}{\lim }{V}^{h,+}\left(l\right)=V^{+}\left(l\right)$ (28)

$\underset{h\to 0}{\lim }{V}^{h,-}\left(l\right)=V^{-}\left(l\right)$ (29)

证明：该证明请参考 [15] ，在此省略。

引理4.5 设 $G_1$ 和 $G_2$ 为紧致空间。假设一个连续函数 $K\left(l,y\right)\in G_1\times G_2$ 满足凹凸条件，即对于所有 $y\in G_2$ ， $f\left(\cdot ,y\right)$ 是凸的，而对于所有 $l\in G_1$ ， $K\left(l,\cdot \right)$ 是凹的。然后

$\underset{l\in G_1}{\text{inf}}\underset{y\in G_2}{\text{sup}}K\left(l,y\right)=\underset{y\in G_2}{\text{sup}}\underset{l\in G_1}{\text{inf}}K\left(l,y\right)$ (30)

定理4.6 对于 $l\in S_h$ ，一个在(18)中定义的马尔可夫链，如果满足(20)，则存在一个鞍点

$V^{h,+}\left(l\right)=V^{h,-}\left(l\right)$ (31)

证明：该证明请参考 [15] ，在此省略。

定理4.7 假设满足定理4.6中的条件，则鞍点存在为

$V^{+}\left(l\right)=V^{-}\left(l\right)$ (32)

证明：因为对于在(27)中定义的近似马尔可夫链，我们可以实现

$\underset{h\to 0}{\lim }{V}^{h,-}\left(l\right)=V^{-}(\; l\; )$

$\underset{h\to 0}{\lim }{V}^{h,+}\left(l\right)=V^{+}\left(l\right)$ (33)

通过在定理4.6中使用类似的方法。根据定理4.7，我们得到存在一个鞍点

$V^{+}\left(l\right)=V^{-}\left(l\right)$ (34)

5. 数值结果

在本节中，我们使用给定的数值格式和证明的收敛结果对模型进行了数值实验。数值实验中涉及的参数值见 [8] [15] [19] 和 [20] 。

数值模拟示例

示例5.1：让我们假设总生产成本为 $C_1\left(u_1\right)=-5u_1+5u_1{}^2,C_2\left(u_2\right)=-3u_2+3u_2{}^2$ 。我们假设总库存持有成本和总积压成本为 $H_1\left(x_1\right)=-2x_1+x_1{}^2,H_2\left(x_2\right)=-2x_2+0.5x_2{}^2$ 。我们设置了参考价格 $\beta =2$ 的调整速度，参考价格的波动性参数 ${ϵ}_1=0.1,{ϵ}_2=0.2$ 。平均市场潜力为 $a=7$ ，价格敏感性为 $b=0.3$ ，资产的回报率为 $\mu =0.4$ ，参考价格效应的大小为 $\gamma =0.5$ 。同时，我们假设波动率参数 ${\sigma }_1=0.25,{\sigma }_2=0.45,{\sigma }_3=0.75$ 。最后，我们假设贴现因子 $\rho =0.1$ 。

为了简单起见，我们考虑离散事件有两个状态的情况。也就是说，连续时间马尔可夫链有两个给定索赔额分布的状态。此外，我们假设索赔额分布是相同的，在每个政权。利用数值迭代方法，数值求解了最优控制问题。我们将支付函数作为两个参与者之间的盈余差在到达下障碍之前到达上障碍的概率。因此，在博弈中，公司1想要最大化概率，而公司2想要最小化相同的概率。

(a) (b)

Figure 1. Optimal retail price under some fixed parameters

图1. 某些固定参数下的最优零售价格

从图1(a)~(b)，我们知道当其他参数保持不变，当公司1的库存水平与公司2一样，两家公司的定价策略是公司1设置价格高于公司2，定价差异是最大之间的三个曲线。可能，公司1和公司2有相同的库存水平，也就是说，相同的库存过剩压力。这类似于我们生活中大品牌公司和小品牌公司之间的商业竞争。同时，在公司1的库存水平大于公司2的情况下，当公司2与公司1的利润差迅速达到下限时，公司1的定价低于公司2。这是因为当两家公司的竞争相等时，公司1的库存压力很大，只能以利润小、营业额快的形式保持竞争力；当公司2与公司1具有相同的库存水平时，无论达到什么竞争水平，公司2的价格总是低于公司1，以增加赢得竞争的可能性。

(a) (b)

Figure 2. Optimal production rate under some fixed parameters

图2. 某些固定参数下的最优生产速率

从图2(a)~(b)可以看出，当公司1的库存水平超过公司2，两家公司之间的利润差迅速接近下界时，公司1的生产率下降。这是由于在平等竞争的情况下，公司1的高库存水平导致了货物的积累和成本的增加。因此，公司1采取了降低生产速度、减少库存的战略，通过降低成本来提高盈利能力。当公司1的库存水平超过公司2，两家公司的利润差迅速接近上限时，最优策略表明公司1的生产力提高，公司2的生产力下降，公司1的价格上升，公司2的价格下降。这意味着当公司1在高库存水平的条件下能够获得巨大的利润时，最优策略意味着利润小，快速周转对公司2不再可行，最好的利润策略是减少生产和定价，通过降低成本提高竞争胜率。在现实的环境中，一个类似于公司2的策略往往是失败的，这就足以基本上结束公司1的胜利。

数值例子提供了动态策略和库存水平分析，为决策者在减少错误决策造成的重大损失的风险方面提供了实用的指导。虽然在扩散模型中包含跳跃过程在捕捉市场转变方面更为现实，但它也给开发有效的数值算法带来了更大的复杂性和计算挑战。此外，在一个随机博弈框架内，公司可以根据对手的行动，灵活地调整其最优策略，以最大化他们成功的机会。

6. 结论

本文研究的是基于随机参考价格的库存管理问题，在随机博弈的框架下，每个公司都可以根据自己的对手调整最优再保险策略。根据问题的背景条件给出支付函数和马尔可夫链逼近方法来解决随机博弈的最优控制问题。这两个保险公司之间的竞争看作是随机微分博弈。两个公司给出两公司的支付函数，各个公司都设法找到一个最佳策略，其中一个公司以最大化支付函数，而另一个公司试图最小化相同的支付函数。利用动态规划原理，我们证明了该背景的博弈模型的上限值和下限值满足一个耦合的非线性积分微分HJI方程组。而因为HJI方程组非常难以求得封闭解，所以我们使用一个可行的数值方法去求解，即使用马尔可夫链近似方法来获得数值解。同时我们还证明了该对策问题鞍点的存在性，证明了逼近序列收敛于跳扩散过程，逼近序列分别收敛于对策上值和下值。最后的数值例子提供了动态策略和库存水平分析，为决策者在减少错误决策造成的重大损失的风险方面提供了实用的指导。

另外，本文存在以下不足，只考虑了两家公司间的竞争关系，不适用于多公司博弈的情况。同时没有考虑跳跃的情形。若扩散模型中包含跳跃过程则在捕捉市场转变方面更为现实，但它也给开发有效的数值算法带来了更大的复杂性和计算挑战。