对带熵的随机线性二次最优控制问题的收敛性证明

The Proof of the Convergence of Stochastic Linear Quadratic Optimal Control Problem with Entropy

摘要: 本文通过矩阵变换将带熵的随机线性二次最优控制问题的解转化为其等价形式后，证明了线性二次方程的二次项系数解的唯一性和迭代式的收敛性，而一次项系数为0，常数项系数只与二次项有关，控制过程的最优概率分布也只与二次项有关。然后用蒙特卡洛随机抽样样本的均值估计期望值，由此设置了算法1，并证明了算法1中的迭代式具有波动性，波动率的大小和随机参数的方差有关，也与蒙特卡洛中的样本数有关，样本数越多，波动对应的方差越小。然后用两个数值案例比较了随机逼近Q-learning算法和蒙特卡洛Q-learning算法，相同迭代次数下，随机逼近Q-learning算法计算时间更少，但误差更大，蒙特卡洛Q-learning算法收敛更快更稳定，并且可以通过增加随机抽取的样本数使误差更小。

Abstract: In this paper, after transforming the solution of the stochastic linear quadratic optimal control problem with entropy into its equivalent form through matrix transformation, we prove the uniqueness of the solution of the quadratic coefficient of the linear quadratic equation and the convergence of the iterative formula, and the result shows that the coefficient of the first term is 0, the coefficient of the constant term is only related to the quadratic term, and the optimal proba-bility distribution of the control process is only related to the quadratic term. Then, the mean value of random sampling samples in Monte Carlo is used to estimate the expected value, thus algorithm 1 is set up, and it is proved that the iterative formula in algorithm 1 has volatility, the volatility is related to the variance of random parameters and the number of samples in Monte Carlo, the more sample number, the smaller the variance of the fluctuation. Then, two numerical cases are used to compare Q-learning algorithm with stochastic approximation and Q-learning algorithm with Monte Carlo. Under the same number of iterations, Q-learning algorithm with stochastic approximation takes less time to compute, but the error is larger. Q-learning algorithm with Monte Carlo converges faster and more stable. Moreover, the error can be reduced by increasing the number of randomly selected samples.

1. 引言

因为广泛的应用背景，线性二次最优控制问题已经有了很多研究 [1] - [6] ，根据 [7] 可知，对于给定初始状态 $x_0=x\in {ℝ}^n$ ，系统

$x_{t+1}=A_{t+1}{x}_t+B_{t+1}{u}_t={\Lambda }_{t+1}\left[\begin{array}{c}{x}_t\\ u_t\end{array}\right],t=0,1,2,\cdots$

对应的折扣问题的价值函数为

$V\left(x\right)=\underset{\pi \in \mathcal{A}\left(x\right)}{\min }{\displaystyle \int {\pi }_t}\left(u\right)E\left[r_t\left(x,u\right)+\gamma V\left(x_{t+1}\right)|x_t=x\right]\text{d}u$

的随机线性二次控制问题，可以根据控制过程的概率分布，用熵增加对控制过程的探索。其中 $\mathcal{A}\left(x\right)$ 是 $x_t=x$ 下的可行性控制分布集， $r_t\left(x,u\right)=\left[x^{\text{T}},u^{\text{T}}\right]N_{t+1}\left[\begin{array}{c}x\\ u\end{array}\right]$ 是t时刻时状态x控制概率为 ${\pi }_t\left(u\right)$ 下的即时奖励。假设值函数为二次型时 $V\left(x\right)=x^{\text{T}}{K}_{2}x+K_{1}x+K_0$ ，可求得随机控制的最优概率分布

$\begin{array}{c}{\pi }^{*}\left(u\right)=\frac{\exp \left\{-\frac{1}{\lambda }\left(u^{\text{T}}{M}_{uu}u+u^{\text{T}}{M}_{ux}x+x^{\text{T}}{M}_{xu}u+x^{\text{T}}{M}_{xx}x+N_{u}u+N_{x}x+K_0\right)\right\}}{{\displaystyle \int \exp }\left\{-\frac{1}{\lambda }\left(u^{\text{T}}{M}_{uu}u+u^{\text{T}}{M}_{ux}x+x^{\text{T}}{M}_{xu}u+x^{\text{T}}{M}_{xx}x+N_{u}u+N_{x}x+K_0\right)\right\}\text{d}u}\\ =\mathcal{N}\left(u|-\frac{M_{uu}^{+}}{2}\left(2M_{ux}x+N_u^{\text{T}}\right),\frac{\lambda }{2}{M}_{uu}^{+}\right)\end{array}$

并根据概率分布可以求得线性二次最优控制各项系数的迭代式：

$K_2=\Pi \left(E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}{K}_2{\Lambda }_{t+1}\right)\right)$

$K_1={\Gamma }_1\left(E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}{K}_2{\Lambda }_{t+1}\right),E\left(\gamma K_1{\Lambda }_{t+1}\right)\right)$

$K_0=\frac{1}{1-\gamma }{\Gamma }_0\left(M\left(K_2\right),N\left(K_1\right)\right)$

其中的函数映射定义为

$\Pi \left(P\right):=P_{xx}-P_{xu}{P}_{uu}^{+}{P}_{ux}\text{with}{P}_{xx}\in {ℝ}^{n\times n},P_{xu}\in {ℝ}^{n\times m}$

${\Gamma }_1\left(P,Q\right):=Q_x-Q_u{P}_{uu}^{+}{P}_{ux}\text{with}{Q}_x\in {ℝ}^{1\times n},Q_u\in {ℝ}^{1\times m}$

${\Gamma }_0\left(P,Q\right):=-\frac{1}{4}{Q}_u{P}_{uu}^{+}{Q}_u^{\text{T}}+\frac{\lambda }{2}\ln \left({\left(\lambda \pi e\right)}^m\det \left(P_{uu}^{+}\right)\right)+\frac{\lambda m}{2}$

$M\left(K_2\right)=E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}{K}_2{\Lambda }_{t+1}\right)$

$N\left(K_1\right)=E\left(\gamma K_1{\Lambda }_{t+1}\right)$

根据推导出来的系数的迭代公式定义函数

$Q_2^{*}=E\left[N+\gamma {\Lambda }^{\text{T}}{K}_2\Lambda \right]$

$Q_1^{*}=E\left[\gamma K_1\Lambda \right]$

由此可得到

$Q_2^{*}=E\left[N+\gamma {\Lambda }^{\text{T}}\Pi \left(Q_2^{*}\right)\Lambda \right]$

$Q_1^{*}=E\left[\gamma {\Gamma }_1\left(Q_2^{*},Q_1^{*}\right)\Lambda \right]$

所以最终 $K_2=\Pi \left(Q_2^{*}\right)$ ， $K_1={\Gamma }_1\left(Q_2^{*},Q_1^{*}\right)$ 。

参考文献 [7] 只给出了问题解的迭代形式，但是没有证明解的唯一性以及根据迭代式算得的结果的收敛性。因此本文在参考文献 [7] 的基础上继续研究，证明了 $Q_{\text{2}}^{\text{*}}$ 和 $Q_{\text{1}}^{\text{*}}$ 解的唯一性，同时确定 $Q_{\text{1}}^{\text{*}}=0$ ，所以在后续计算过程中不需要再继续计算 $Q_{\text{1}}^{\text{*}}$ ，减少了计算过程。然后证明了当期望可准确求出时，迭代得到的 $Q_2\left(t\right)$ 是收敛的，但使用蒙特卡洛近似期望后， $Q_2\left(t\right)$ 具有波动性，波动方差与随机参数有关，但是也可以通过调节蒙特卡洛方法中的随机抽样样本数来减少误差。

2. 解的唯一性

为了求得 $Q_{\text{2}}^{\text{*}}$ 和 $Q_{\text{1}}^{\text{*}}$ ，使用迭代式

$Q_2\left(t+1\right)=Q_2\left(t\right)+\alpha \left[E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_{t+1}\right)-Q_2\left(t\right)\right]$

$Q_1\left(t+1\right)=Q_1\left(t\right)+\alpha \left[E\left(\gamma {\Gamma }_1\left(Q_2\left(t\right),Q_1\left(t\right)\right){\Lambda }_{t+1}\right)-Q_1\left(t\right)\right]$

但是参考文献 [7] 没有证明 $Q^{*}$ 解的唯一性以及 $Q\left(t\right)$ 的收敛性，因此本文继续证明Q值的收敛问题。假设线性二次最优控制问题有解，可以将问题转化为等价形式再求解。假设 $E\left[{\Vert N\Vert }^2+\gamma {\Vert {\Lambda }^{\text{T}}\Lambda \Vert }^2\right]$ 是有限的， $E\left[N\right]$ 是正定矩阵。首先定义一个关于 $Q_2\left(t\right)$ 的函数

$F_2\left(Q_2\left(t\right)\right)\triangleq E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_{t+1}\right)$

所以

$Q_2\left(t+1\right)=Q_2\left(t\right)+\alpha \left[F_2\left(Q_2\left(t\right)\right)-Q_2\left(t\right)\right]=\alpha F_2\left(Q_2\left(t\right)\right)+\left(1-\alpha \right)Q_2(\; t\; )$

根据文献 [6] 的Theorem1.1可知 $Q_{\text{2}}^{\text{*}}$ 有唯一解， $Q_2\left(t\right)$ 是收敛的。

然后证明 $Q_1\left(t\right)$ 的收敛性。因为 $E\left[N\right]$ 是正定的，所以存在 ${\epsilon }_0\in \left(\text{0,1}\right)$ 使得 $E\left[N\right]\ge {\epsilon }_0{I}_d$ (矩阵 $A\ge B$ 意味着 $A-B$ 是半正定矩阵)，所以

$K_2=\Pi \left(E\left(N+\gamma {\Lambda }^{\text{T}}{K}_2\Lambda \right)\right)\ge \Pi \left(E\left[N\right]\right)>0$

同理 $E\left[Q_2^{*}\right]>0$ ，令L和M为可逆矩阵且

$L^{\text{T}}KL=I_n,M^{\text{T}}{Q}_{2uu}^{*}M=I_m$

根据文献 [6] 的证明过程，定义一个 $n+m$ 的矩阵

$C:=\left[\begin{array}{cc}{I}_n& O\\ \Gamma & I_m\end{array}\right]\left[\begin{array}{cc}L& O\\ O& M\end{array}\right]=\left[\begin{array}{cc}L& O\\ \Gamma L& M\end{array}\right]$

其中 $\Gamma :=\Gamma \left(Q_2^{*}\right)=-{\left(Q_{2uu}^{*}\right)}^{-1}{Q}_{2ux}^{*}$ 是矩阵 $Q_2$ 的子矩阵运算的简化形式。利用矩阵C首先对 $Q_2$ 及相关矩阵做矩阵变换

${\tilde{\Lambda }}_t:=L^{-1}{\Lambda }_{t}C$

${\tilde{N}}_t:=C^{\text{T}}{N}_{t}C$

${\tilde{Q}}_2\left(t\right):=C^{\text{T}}{Q}_2\left(t\right)C$

变换后的矩阵具有以下关系

${\tilde{Q}}_2=C^{\text{T}}{Q}_2^{*}C=\left[\begin{array}{cc}{I}_n& O\\ O& I_m\end{array}\right]$

然后对矩阵 $Q_1\left(t\right)$ 做变换

${\tilde{Q}}_1\left(t\right):=Q_1\left(t\right)C$

变换后可得到以下关系式

${\tilde{Q}}_1=Q_1^{*}C=E\left[\gamma {\Gamma }_1\left({\tilde{Q}}_2,{\tilde{Q}}_1\right)\tilde{\Lambda }\right]=\left[\gamma {\tilde{Q}}_{1x}\tilde{\Lambda }\right]$

然后定义一个关于 ${\tilde{Q}}_1$ 的函数

$T\left({\tilde{Q}}_1\left(t\right)\right)=E\left[\gamma {\tilde{Q}}_{1x}\left(t\right){\tilde{\Lambda }}_t\right]$

根据T函数定义可得 $0=T\left(0\right)$ ，因为 $E\left[N\right]>0$ 可以推得 $E\left[\tilde{N}\right]>0$ ，又因为 ${\tilde{Q}}_2$ 的性质 $I_d=C^{\text{T}}{Q}_2^{*}C=E\left[\tilde{N}+\gamma {\tilde{\Lambda }}^{\text{T}}\tilde{\Lambda }\right]$ ，所以存在一个正数 $\beta <1$ 使得

$E\left({\tilde{\Lambda }}^{\text{T}}\tilde{\Lambda }\right)=I_d-E\left[\tilde{N}\right]\le \beta I_d$

根据矩阵2范数的定义知 ${\Vert E\left[\tilde{\Lambda }\right]\Vert }_2=\sqrt{{\lambda }_{\max }}$ ， ${\lambda }_{\max }$ 表示为 ${\tilde{\Lambda }}^{\top }\tilde{\Lambda }$ 的最大特征值，因为 $E\left[{\tilde{\Lambda }}^{\text{T}}\tilde{\Lambda }\right]\le \beta I_d$ ，所以 ${\lambda }_{\max }\le \beta$ ，所以

$\frac{{\Vert T\left({\tilde{Q}}_1\right)\Vert }_2}{{\Vert {\tilde{Q}}_1\Vert }_2}=\frac{{\Vert E\left[\gamma {\tilde{Q}}_{1x}\tilde{\Lambda }\right]\Vert }_2}{{\Vert {\tilde{Q}}_1\Vert }_2}\le \frac{\Vert \gamma {\tilde{Q}}_{1x}\Vert {\Vert E\left[\tilde{\Lambda }\right]\Vert }_2}{{\Vert {\tilde{Q}}_1\Vert }_2}\le \gamma \sqrt{\beta }<1$

所以 $T(\cdot )$ 是关于矩阵2范数的压缩映射，且不动点为0。所以对于迭代式

${\tilde{Q}}_1\left(t+1\right)={\tilde{Q}}_1\left(t\right)+{\alpha }_t(T\left({\tilde{Q}}_1\left(t+1\right)\right)-{\tilde{Q}}_1(\; t\; ))$

此时 ${\tilde{Q}}_1\left(t\right)$ 是收敛的。

又因为 ${\tilde{Q}}_1=T\left({\tilde{Q}}_1\right)$ ，所以 ${\tilde{Q}}_1$ 是 $T(\cdot )$ 的不动点，由不动点唯一性可得 ${\tilde{Q}}_1=0$ ，所以最终线性二次问题只需要求二次项系数 $K_2$ 和常数项 $K_0$ 的值。

$K_2=\Pi \left(M\left(K_2\right)\right)=\Pi \left(E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}{K}_2{\Lambda }_{t+1}\right)\right)$

$K_0=\frac{1}{1-\gamma }\left[\frac{\lambda }{2}\ln \left({\left(\lambda \pi e\right)}^m\det \left(Q_{2uu}^{+}\right)\right)+\frac{\lambda m}{2}\right]$

3. 算法及其收敛性

根据Q-learning算法，迭代公式为

$Q_2\left(t+1\right)=Q_2\left(t\right)+\alpha \left[E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\top }\Pi \left(Q_2\left(t\right)\right){\Lambda }_{t+1}\right)-Q_2\left(t\right)\right]$

因为参数是随机的，所以无法求得准确期望值，因此使用蒙特卡洛法求期望的近似值。蒙特卡洛由Metropolis [8] 提出，是根据随机抽样来估计数学函数或者复杂系统 [9] 。蒙特卡洛应用广泛于不同领域，目前已有大量理论研究和实践经验 [10] [11] [12] 。蒙特卡洛通过随机抽样生成大量样本，然后用样本统计量估计问题的解。本文中使用抽样样本均值来估计期望值，计算方法为

$E\left(N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_{t+1}\right)\approx \frac{1}{s}\underset{k=1}{\overset{s}{{\displaystyle \sum }}}\left[N_k+\gamma {\Lambda }_k^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_k\right]$

其中s为随机生成的样本数，本文中设置样本数量为s = 200。由此设置算法1，见表1。其中学习率满足 $\underset{t=0}{\overset{\infty }{{\displaystyle \sum }}}{\alpha }_t=+\infty$ ， $\underset{t=0}{\overset{\infty }{{\displaystyle \sum }}}{\alpha }_t^2<+\infty$ 。

Table 1. Q-learning algorithm with Monte-Carlo

表1. 蒙特卡洛Q-learning算法

然后证明算法1 (见表1)中 $Q_2\left(t\right)$ 的收敛性。根据算法1中的迭代式定义关于 $Q_2\left(t\right)$ 的一个函数

${\tilde{F}}_2\left(Q_2\left(t\right)\right)\triangleq \frac{1}{s}\underset{k=1}{\overset{s}{{\displaystyle \sum }}}\left[N_k+\gamma {\Lambda }_k^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_k\right]$

所以 $Q_2\left(t+1\right)=Q_2\left(t\right)+\alpha \left[{\tilde{F}}_2\left(Q_2\left(t\right)\right)-Q_2\left(t\right)\right]=\alpha {\tilde{F}}_2\left(Q_2\left(t\right)\right)+\left(1-\alpha \right)Q_2\left(t\right)$ ，可以转化为以下等式

$\begin{array}{c}{Q}_2\left(t+1\right)=\alpha {\tilde{F}}_2\left(Q_2\left(t\right)\right)+\left(1-\alpha \right)Q_2\left(t\right)\\ =\alpha F_2\left(Q_2\left(t\right)\right)+\left(1-\alpha \right)Q_2\left(t\right)+\alpha \left[{\tilde{F}}_2\left(Q_2\left(t\right)\right)-F_2\left(Q_2\left(t\right)\right)\right]\end{array}$

因为前半部分 $Q_2\left(t+1\right)=\alpha F_2\left(Q_2\left(t\right)\right)+\left(1-\alpha \right)Q_2\left(t\right)$ 是收敛的，所以主要考虑 $\tilde{F}\left(Q_2\left(t\right)\right)-F_2\left(Q_2\left(t\right)\right)$ 的收敛性。因为随机变量独立同分布，所以 $E\left[{\tilde{F}}_2\left(Q_2\left(t\right)\right)\right]=F_2\left(Q_2\left(t\right)\right)$ ，所以 $E\left[\left(\tilde{F}\left(Q_2\left(t\right)\right)-F_2\left(Q_2\left(t\right)\right)\right)\right]=0$ ，令 $N_k+\gamma {\Lambda }_k^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_k=x_k$ ，

$\begin{array}{c}var\left[{\tilde{F}}_2\left(Q_2\left(t\right)\right)-F_2\left(Q_2\left(t\right)\right)\right]=E\left[{\left({\tilde{F}}_2\left(Q_2\left(t\right)\right)-F_2\left(Q_2\left(t\right)\right)\right)}^2\right]\\ =E\left[{\left(\frac{1}{s}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{x}_k}-E\left(\frac{1}{s}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{x}_k}\right)\right)}^2\right]\\ =var\left(\frac{1}{s}{\displaystyle \underset{k=1}{\overset{s}{\sum }}{x}_k}\right)\end{array}$

这里的方差代表着矩阵的协方差矩阵，因为方差不为0，所以算法1中的 $Q_2\left(t\right)$ 不收敛。根据方差计算结果可知， $Q_2\left(t\right)$ 在一定范围内波动，波动率与随机参数的方差有关，也与随机生成抽样的样本数有关，样本数越多，对应的方差越小。

然后根据随机逼近理论考虑另一种算法。Robbins-Monro首创了随机逼近理论 [13] ，然后被快速应用到随机优化问题中 [14] [15] 。随机逼近算法是为了解决寻根问题，其中的函数是一个期望值。 [16] 结合随机逼近思想证明了Q-learning的收敛性， [6] 将随机逼近算法应用到线性二次问题中。根据文献 [6] ，本文也考虑使用随机逼近算法。根据随机逼近思想，迭代式为

$Q_2\left(t+1\right)=Q_2\left(t\right)+\alpha (N_{t+1}+\gamma {\Lambda }_{t+1}^{\text{T}}\Pi \left(Q_2\left(t\right)\right){\Lambda }_{t+1}-Q_2(\; t\; ))$

因此设置算法2，见表2。Dai [6] 已经证明线性二次问题中使用随机逼近的Q-learning算法是收敛的。

Table 2. Q-learning algorithm with stochastic approximation

表2. 随机逼近Q-learning算法

4. 数值分析

比较两种算法的可行性和有效性，选择两个不同的例子，其中折扣因子 $\gamma =0.99$ ，算法中的学习率 $\alpha =\frac{t}{5+t}$ 。首先考虑状态空间 $n=2$ ，控制空间 $m=1$ 时的情况，此时使 ${\Lambda }_t={\Lambda }^{\left(0\right)}+{\omega }_t^{\left(1\right)}{\Lambda }^{\left(1\right)}+{\omega }_t^{\left(2\right)}{\Lambda }^{\left(2\right)}$ ， $N_t=N^{\left(0\right)}$ ，其中 ${\omega }_t^{\left(1\right)}$ ， ${\omega }_t^{\left(2\right)}$ 独立同分布且服从标准正态分布。

${\Lambda }^{\left(0\right)}=\left[\begin{array}{ccc}-1& -0.1& -0.2\\ 2.6& 0.5& 0.5\end{array}\right]$ , ${\Lambda }^{\left(1\right)}=\left[\begin{array}{ccc}0.6& 0.075& 0.125\\ -0.8& 0.1& -0.375\end{array}\right]$

${\Lambda }^{\left(2\right)}=\left[\begin{array}{ccc}-0.06& -0.06& 0.02\\ 0.2& 0.23& -0.09\end{array}\right]$ , $N^{\left(0\right)}=\left[\begin{array}{ccc}3.11& 1.5626& -0.2798\\ 1.5626& 1.816175& -1.021425\\ -0.2798& -1.021425& 0.91585\end{array}\right]$

根据算法收敛性证明过程知道，蒙特卡洛算法的波动大小和随机抽样的样本数有关，样本量越大方差越小。

Figure 1. The convergence for different values of s

图1. s取不同值时的收敛情况

由图1可以看出，随着抽样数s的增加，误差越来越小(见图1)。蒙特卡洛Q-learning可以通过改变s值来控制误差，但是抽样数s越大计算所需时间也越长，因此从计算时长和精确度考虑，选s = 200。

Figure 2. The convergence of Q₂ when n = 2

图2. n = 2时Q₂的收敛情况

Figure 3. The convergence of K₀ when n = 2

图3. n = 2时K₀的收敛情况

图2是状态空间 $n=\text{2}$ 时，不同算法下真实值 $Q^{*}$ 与算法计算出来的值 $Q_2\left(t\right)$ 之间的差值取对数后的结果(见图2)，图3是根据 $Q_2\left(t\right)$ 计算得到 $K_0$ (见图3)。

然后考虑状态空间 $n=3$ ，控制空间 $m=1$ 时的情况，令 ${\Lambda }_t={\Lambda }^{\left(0\right)}+{\omega }_t^{\left(1\right)}{\Lambda }^{\left(1\right)}$ ，其中 ${\omega }_t^{\left(1\right)}$ 标准正态分布。

${\Lambda }^{\left(0\right)}=\left[\begin{array}{cccc}-0.7718& 0.3632& 0.1619& 0.7298\\ 0.0335& 0.1955& -0.0709& 0.3275\\ -0.0738& 0.2609& 0.5275& -0.5730\end{array}\right]$ ,

${\Lambda }^{\left(1\right)}=\left[\begin{array}{cccc}-0.4505& 0.0671& 0.1783& 0.1651\\ -0.900& -0.0628& -0.1045& -0.4122\\ -0.6539& -0.4185& -0.2444& 0.9814\end{array}\right]$ , $N^{\left(0\right)}=I_d$

Figure 4. The convergence of Q₂ when n = 3

图4. n = 3时Q₂的收敛情况

Figure 5. The convergence of K₀ when n = 3

图5. n = 3时K₀的收敛情况

同样的，图4是状态空间 $n=3$ 时，不同算法的计算误差取对数后的值(见图4)，图5是对应的 $K_0$ 结果(见图5)。

根据数值实例的运算结果可以看出，通过改变抽取的随机样本的个数，我们可以很容易地改变蒙特卡洛Q-learning算法的精确度。对于不同的实例两种算法都能使结果趋近于真实值。蒙特卡洛Q-learning算法收敛更快更稳定误差值更小，迭代次数大于1000次以后，误差值就趋于稳定，而随机逼近Q-learning算法计算的结果误差一直存在波动，误差总体大于蒙特卡洛Q-learning算法。在相同迭代次数下，随机逼近Q-learning算法计算时间所用更少，蒙特卡洛Q-learning算法计算结果更准确。

5. 结论

本文在原有加熵的随机线性二次最有控制问题的基础上，证明了解的唯一性，然后证明了算法中迭代式的收敛性。结果表示对于一般形式的线性二次最优控制问题，加熵后根据贝尔曼原理求得的一次项系数为零，常数项系数只与二次项系数有关，由此在后续计算中只需要计算二次项系数与常数项系数的值，减少了运算步骤。然后证明了蒙特卡洛Q-learning算法中，由于用样本均值代替原有期望，所以根据迭代式求得的值具有波动性，波动率大小和随机参数的方差有关，也与蒙特卡洛算法中选取的样本数量有关，样本数量越多对应的方差越小，反之波动越大。最后比较了蒙特卡洛Q-learning算法和随机逼近Q-learning算法。迭代相同次数下随机逼近Q-learning算法计算更快，蒙特卡洛Q-learning算法收敛更快更稳定，而且可以通过改变s值的大小改变算法的准确度。

致谢

感谢导师的辛苦指导，给了我很多意见和帮助。感谢师兄师妹的鼓励和帮助。