基于Actor-Critic强化学习的投资与消费问题

Investment and Consumption Problems Based on Actor-Critic Reinforcement Learning

摘要: 本文研究了基于Actor-Critic强化学习的最优资产与消费问题。为了描述个体对退休后实际消费水平较低的现象，我们假设个体在退休后的最低消费水平和养老金水平较低，金融市场的资产价格由马尔可夫链调节，考虑通胀因素、习惯消费水平，建立状态转换的财富模型。利用动态规划原理得到了Hamilton-Jacobi-Bellman(HJB)方程。由于扩散过程和状态切换，几乎不可能得到一个封闭形式的解。我们设计出一种基于Actor-Critic强化学习框架下的数值算法来解决最优控制问题，通过对财富过程、优化函数的离散化和对值函数、控制函数的神经网络参数化，采用策略梯度下降算法来改进控制函数，而对于值函数，采用一种TD误差方法来更新。最后是对该优化问题的数值结果展示。

Abstract: This paper investigates the optimal asset and consumption problem based on Actor-Critic reinforcement learning. To describe the phenomenon of relatively low actual consumption levels after retirement, we assume that individuals have lower minimum consumption levels and pension levels after retirement. The asset prices in the financial market are regulated by a Markov chain, and we consider inflation factors and habitual consumption levels to establish a wealth model with state transitions. By applying the principle of dynamic programming, we derive the Hamilton-Jacobi-Bellman (HJB) equation. Due to the diffusion process and state switching, it is nearly impossible to obtain a closed-form solution. We design a numerical algorithm based on the Actor-Critic reinforcement learning framework to solve the optimal control problem. By discretizing the wealth process and the optimization function, and parameterizing the value function and control function using neural networks, we use a gradient descent algorithm to improve the control function. For the value function, we use a TD error method to update it. Finally, we present the numerical results of the optimization problem.

1. 引言

资产配置和消费控制是金融学中的经典问题，其目标是在不确定的市场环境中，通过合理分配资金于不同资产类别并制定最优消费计划，实现投资者财富的长期稳健增长和消费效用的增大。传统方法通常基于效用最大化理论，假设市场环境已知且投资者风险偏好固定。经典的投资消费模型可以追溯到Merton [1]，具有CRRA效用的Merton模型提出了消费–总财富比和生命周期投资策略。直到近年来投资与消费的问题还在以模型不断更新优化的形式在被各个领域研究着。在2023年，Ferreira等人[2]研究了稳健公用事业条件下的最佳消费、投资和人寿保险选择；如Tao等人[3]提出了一个非均匀状态切换的随机控制问题，并将其应用于消费投资模型；如Wang等人[4]研究了在年龄依赖性风险偏好下的家庭投资–消费–保险政策，即在不确定的生命周期范围内，从跨期消费、遗产和最终财富中最大化预期的贴现效用。虽然这些作者考虑了跨期消费加上终端财富的预期效用最大化，但并没有考虑到个体的习惯参考水平的内源性更新会更加贴近现实意义。

习惯的持久性最初是由Pollak [5]、Ryder [6]研究的，它们认为消费具有习惯性参考依赖，习惯消费水平应该由过去的实际消费的加权值得到。根据实际消费是否高于习惯消费，可以把效用函数分成两类，第一类是当实际消费超过习惯消费时，个体可以获得正效用，反之，第二类，个体将获得负效用。文献[7] [8]在这基础上定义了S型效用函数，认为个体一生获得的总效用是正效用和负效用之和。从而探索了习惯性持久性和S型效用来描述个人对消费的偏好。本文目的是引入习惯消费过程来更好地研究个体参与社会养老保险模型下的资产与消费问题。本文研究内容是假设个体参与各种风险投资，拥有工资过程，以及退休金过程，考虑通胀因素和随机市场环境，寻找最优控制，实现最大化整体超额消费效用，如文献[9]，虽然该文章使用鞅方法来讨论个体退休前后的投资与消费问题，但投资模型较为简单，以及没有考虑随机市场环境、通胀因素的影响，也就是缺乏更复杂的模型场景。因此，本文不仅把模型更加丰富化，还引入一种新的强化学习算法来进行研究。

强化学习作为机器学习领域的重要分支，近年来在解决复杂决策问题方面取得了显著进展。近年来，基于Actor-Critic框架的强化学习方法在连续时间金融决策问题中得到了广泛关注。Actor-Critic框架结合了策略梯度(Policy Gradient)算法和价值函数逼近的优点，能够有效处理高维状态空间和连续动作空间。例如，Wang和Zhou等人[10]在强化学习框架下研究了连续时间和空间下的探索性随机控制问题，为金融决策问题提供了新的解决思路。Jia和Zhou [11]进一步在Actor-Critic框架下研究了连续时间和空间下的策略梯度算法，显著提升了算法的稳定性和效率。此外，Zhou等人[12]提出了一种求解高维哈密顿–雅可比–贝尔曼(HJB)方程的数值方法，通过学习确定性策略和策略梯度，有效提高了控制效率和样本利用率，这有助于平衡探索和开发，避免局部最优。基于强化学习中的Actor-Critic框架，本文目的是设计一种数值方法来解决上述最优控制问题。该框架包括两部分：第一部分是用于评论家的策略评估(Policy Evaluation, PE)，PE能够求解价值函数，另一部分是用于演员的策略迭代(Policy Iteration, PI)，PI能够求解策略函数。演员根据策略做出相应的动作，而评论家对其进行价值评估，演员根据得分重新改变策略，调整动作。它们能够相互评价，促进策略和价值函数的更新与优化。目前关于研究消费问题的强化学习方法还尚少，本文为连续时间下具有复杂模型的优化问题提供一种新的数值方法，与传统方法相比，具有超强的学习能力，能够更快地收敛。

本文的其余部分如下，第二节是最优控制问题的制定；在第三节中，构造基于策略迭代的演员–评论家方法来近似值函数和控制函数；在第四节中，给出一个数值例子作为优化问题的数值结果。

2. 数学模型

我们设$\left(\Omega ,ℱ,\mathbb{F},\mathbb{P}\right)$ 是一个完全滤波的概率空间，其中$\mathbb{F}={\left\{{ℱ}_t\right\}}_{t\in [0,T]}$ 是一个滤子，满足通常的条件${ℱ}_t$ 表示直到时间$t$ 所有可获得的市场信息，$T$ 是最大生存时刻，下面所有的随机过程都适应于$\mathbb{F}$ 。

2.1. 财富过程

为了描述随机市场环境对我们的投资过程、工资过程和养老金过程的影响，我们使用了一个连续时间的马尔科夫链$\alpha \left(t\right)$ 去表示市场状态，它具有有限状态并取值在一个有限空间$ℳ=\left\{1,\cdots ,m\right\}$ 中。转移概率矩阵$Q=\left(q_{ij}\right)\in {ℝ}^{m\times m}$ 生成连续时间的马尔科夫链$\alpha \left(t\right)$ ，也就是说

$P\left\{\alpha \left(t+\delta \right)=j|\alpha \left(t\right)=i,\alpha \left(u\right),u\le t\right\}=\{\begin{array}{l}{q}_{ij}\delta +o\left(\delta \right),j\ne i,\hfill \\ 1+q_{ii}\delta +o\left(\delta \right),j=i.\hfill \end{array}$

假设投资者有三种可供投资的金融资产：无风险资产、风险资产和通胀指数债券。无风险资产价格$S_0=\left\{S_0\left(t\right),t\ge 0\right\}$ 被定义为：

$\frac{\text{d}{S}_0\left(t\right)}{S_0\left(t\right)}=R\left(\alpha \left(t\right)\right)\text{d}t.$

风险资产价格$S_1=\left\{S_1\left(t\right),t\ge 0\right\}$ 满足以下随机微分方程：

$\frac{\text{d}{S}_1\left(t\right)}{S_1\left(t\right)}={\mu }_S\left(\alpha \left(t\right)\right)\text{d}t+{\sigma }_S\left(\alpha \left(t\right)\right)\text{d}{W}_S\left(t\right).$

通货膨胀水平$I=\left\{I\left(t\right),t\ge 0\right\}$ 表示为：

$\frac{\text{d}I\left(t\right)}{I\left(t\right)}={\mu }_I\left(\alpha \left(t\right)\right)\text{d}t+{\sigma }_I\left(\alpha \left(t\right)\right)\text{d}{W}_I\left(t\right).$

此外，由于通货膨胀的影响，个人可以考虑通过购买通货膨胀指数债券进行对冲，因此通货膨胀指数债券被纳入模型。假设通货膨胀指数债券的价格水平$B=\left\{B\left(t\right),t\ge 0\right\}$ 服从如下式子：

$\frac{\text{d}B\left(t\right)}{B\left(t\right)}=r\left(\alpha \left(t\right)\right)\text{d}t+\frac{\text{d}I\left(t\right)}{I\left(t\right)}=\left(r\left(\alpha \left(t\right)\right)+{\mu }_I\left(\alpha \left(t\right)\right)\right)\text{d}t+{\sigma }_I\left(\alpha \left(t\right)\right)\text{d}{W}_I\left(t\right).$

假设$\tau \in \left[0,T\right)$ 是个人的退休时间，并且以个人名义工资水平过程$L_I=\left\{L_I\left(t\right),0\le t\le \tau \right\}$ 表示为：

$\frac{\text{d}{L}_I\left(t\right)}{L_I\left(t\right)}={\mu }_L\left(\alpha \left(t\right)\right)\text{d}t+{\sigma }_I\left(\alpha \left(t\right)\right)\text{d}{W}_I\left(t\right)+{\sigma }_L\left(\alpha \left(t\right)\right)\text{d}{W}_L\left(t\right).$

在个人退休后，假设个人名义养老金水平过程$D_I=\left\{D_I\left(t\right),\tau \le t\le T\right\}$ 被描述为：

$\frac{\text{d}{D}_I\left(t\right)}{D_I\left(t\right)}={\mu }_D\left(\alpha \left(t\right)\right)\text{d}t+{\sigma }_I\left(\alpha \left(t\right)\right)\text{d}{W}_I\left(t\right)+{\sigma }_D\left(\alpha \left(t\right)\right)\text{d}{W}_D\left(t\right).$

在工作期间，个人有长期稳定的工作以获得工资收入，并向社会养老保险基金支付一定比例k。在退休后，个人将获得养老金收入。因此，个人的名义财富过程满足以下SDE：

$\begin{array}{l}\text{d}{X}_I\left(t\right)=X_I\left(t\right)\left[\left(1-u_1\left(t\right)-u_2\left(t\right)\right)\frac{\text{d}{S}_0\left(t\right)}{S_0\left(t\right)}+u_1(t)\frac{\text{d}{S}_1\left(t\right)}{S_1\left(t\right)}+u_2\left(t\right)\frac{\text{d}B\left(t\right)}{B\left(t\right)}\right]\\ +\left(1-k\right)L_I\left(t\right)\text{d}t-C_I\left(t\right)\text{d}t,\text{for}0\le t\le \tau ,\end{array}$

和

$\begin{array}{l}\text{d}{X}_I\left(t\right)=X_I\left(t\right)\left[\left(1-u_1\left(t\right)-u_2\left(t\right)\right)\frac{\text{d}{S}_0\left(t\right)}{S_0\left(t\right)}+u_1\left(t\right)\frac{\text{d}{S}_1\left(t\right)}{S_1\left(t\right)}+u_2\left(t\right)\frac{\text{d}B\left(t\right)}{B\left(t\right)}\right]\\ +D_I\left(t\right)\text{d}t-C_I\left(t\right)\text{d}t,\text{for}\tau \le t\le T.\end{array}$

其中$u_1\left(t\right)$ 和$u_2\left(t\right)$ 分别表示个人名义财富投资于金融市场风险资产和通胀指数债券的金额比例，$1-u_1\left(t\right)-u_2\left(t\right)$ 代表投资于无风险资产的名义财富比例，$C_I\left(t\right)$ 代表名义实际消费量。

我们设

$L\left(t\right)=\frac{L_I\left(t\right)}{I\left(t\right)},D\left(t\right)=\frac{D_I\left(t\right)}{I\left(t\right)},X\left(t\right)=\frac{X_I\left(t\right)}{I\left(t\right)},C\left(t\right)=\frac{C_I\left(t\right)}{I\left(t\right)},$

上述表示剔除通胀因素后的过程。因此，根据伊藤公式，我们有：对于$0\le t\le \tau$

$\begin{array}{c}\text{d}X\left(t\right)=\{X\left(t\right)[R\left(\alpha \left(t\right)\right)-{\mu }_I\left(\alpha \left(t\right)\right)+{\sigma }_I^2\left(\alpha \left(t\right)\right)+u_1\left(t\right)\left({\mu }_S\left(\alpha \left(t\right)\right)-R\left(\alpha \left(t\right)\right)\right)\\ +u_2\left(t\right)\left(r\left(\alpha \left(t\right)\right)+{\mu }_I\left(\alpha \left(t\right)\right)-R\left(\alpha \left(t\right)\right)-{\sigma }_I^2\left(\alpha \left(t\right)\right)\right)]+\left(1-k\right)L\left(t\right)-C\left(t\right)\}\text{d}t\\ +X\left(t\right)\left(u_2\left(t\right)-1\right){\sigma }_I\left(\alpha \left(t\right)\right)\text{d}{W}_I\left(t\right)+X\left(t\right)u_1\left(t\right){\sigma }_S\left(\alpha \left(t\right)\right)\text{d}{W}_S\left(t\right),\end{array}$

$\text{d}L\left(t\right)=L\left(t\right)\left[{\mu }_L\left(\alpha \left(t\right)\right)-{\mu }_I\left(\alpha \left(t\right)\right)\right]\text{d}t+L\left(t\right){\sigma }_L\left(\alpha \left(t\right)\right)\text{d}{W}_L\left(t\right),$

和对于$\tau \le t\le T$

$\begin{array}{c}dX\left(t\right)=\{X\left(t\right)[R\left(\alpha \left(t\right)\right)-{\mu }_I\left(\alpha \left(t\right)\right)+{\sigma }_I^2\left(\alpha \left(t\right)\right)+u_1\left(t\right)\left({\mu }_S\left(\alpha \left(t\right)\right)-R\left(\alpha \left(t\right)\right)\right)\\ +u_2\left(t\right)\left(r\left(\alpha \left(t\right)\right)+{\mu }_I\left(\alpha \left(t\right)\right)-R\left(\alpha \left(t\right)\right)-{\sigma }_I^2\left(\alpha \left(t\right)\right)\right)]+D\left(t\right)-C\left(t\right)\}\text{d}t\\ +X\left(t\right)\left(u_2\left(t\right)-1\right){\sigma }_I\left(\alpha \left(t\right)\right)\text{d}{W}_I\left(t\right)+X\left(t\right)u_1\left(t\right){\sigma }_S\left(\alpha \left(t\right)\right)\text{d}{W}_S\left(t\right),\end{array}$

$\text{d}D\left(t\right)=D\left(t\right)\left[{\mu }_D\left(\alpha \left(t\right)\right)-{\mu }_I\left(\alpha \left(t\right)\right)\right]\text{d}t+D\left(t\right){\sigma }_D\left(\alpha \left(t\right)\right)\text{d}{W}_D\left(t\right).$

其中${\mu }_S\left(\alpha \left(t\right)\right)$ 、${\sigma }_S\left(\alpha \left(t\right)\right)$ 是风险资产的预期回报和波动性，${\mu }_I\left(\alpha \left(t\right)\right)$ 、${\sigma }_I\left(\alpha \left(t\right)\right)$ 是通货膨胀因子的预期水平和波动性，${\mu }_L\left(\alpha \left(t\right)\right)$ 和${\sigma }_L\left(\alpha \left(t\right)\right)$ 是个人退休前工资的预期回报和波动性，${\mu }_D\left(t\right)$ 和${\sigma }_D\left(t\right)$ 是个人退休后养老金的预期回报和波动性，$R\left(\alpha \left(t\right)\right)$ 是名义无风险利率，$r\left(\alpha \left(t\right)\right)$ 为实际利率。

2.2. 优化目标

习惯消费过程定义如下：

$\text{d}H\left(t\right)=\left[\psi \left(t\right)C\left(t\right)-\eta \left(t\right)H\left(t\right)\right]\text{d}t,\text{H}\left(0\right)=h,t\in \left[s,T\right],$

其中$\psi \left(t\right)$ 、$\eta \left(t\right)$ 是习惯消费参数。

参照文献[9]，我们建立了个体的S型效用函数，只有实际消费和习惯性消费之间的差异才能产生效用。此外，我们假设实际消费低于习惯水平是允许的。因此，我们需要一个定义良好的效用函数来综合表示正效用和负效用，我们自然地选择S型效用函数，

$u\left(c\left(t\right)\right)=u\left(C\left(t\right)-H\left(t\right)\right)=\frac{{\left(C\left(t\right)-H\left(t\right)\right)}^{1-\gamma }}{1-\gamma }{1}_{\{C(t)\ge H(t)\}}+\left(-\kappa \right)\frac{{\left(H\left(t\right)-C\left(t\right)\right)}^{1-\gamma }}{1-\gamma }{1}_{\{C(t)<H(t)\}},$

对于任意$t\in \left[s,T\right]$ ，定义$c\left(t\right)=C\left(t\right)-H\left(t\right)$ 表示为超额消费。其中$\gamma \left(0<\gamma <1\right)$ 是指个人的相对风险规避参数，$\kappa$ 为损失厌恶参数，$C\left(t\right)$ 为实际消费，$H\left(t\right)$ 为习惯消费。

我们从可容许控制集$\Pi$ 中找到最优资产配置和消费使得在有限时间内投资者的超额消费的整体效用最大化，也就是说找到最优资产配置和消费策略$\pi =\left\{\pi \left(t\right)=\left(u_1\left(t\right),u_2\left(t\right),C\left(t\right)\right),s\le t\le T\right\}$ 使下述优化准则达到最优：

$J\left(s,x,l,d,h,i,\pi \right)=E_{s,x,l,d,h,i}\left[{\displaystyle {\int }_s^T{\text{e}}^{-\rho t}}u\left(C\left(t\right)-H\left(t\right)\right)\text{d}t\right],t\in \left[s,T\right].$

其中，$\rho >0$ 表示折扣系数。接着我们将与随机优化问题对应的值函数定义为

$V\left(s,x,l,d,h,i\right)=\underset{\pi \in \Pi }{\sup }J\left(s,x,l,d,h,i,\pi \right).$

2.3. HJB方程

对于一个固定的退休时间$\tau$ ，我们将详细讨论个人退休前的最优控制问题，而个人退休后的优化问题可以类似地进行分析。为了方便阐述，我们对模型进行了改写。对于$0\le t\le \tau$ ，

$\text{d}Z\left(t\right)=f\left(Z\left(t\right),\alpha \left(t\right),\pi \left(t\right)\right)\text{d}t+\sigma \left(Z\left(t\right),\alpha \left(t\right),\pi \left(t\right)\right)\text{d}W\left(t\right).$

其中，

$Z\left(t\right)={\left(X\left(t\right),L\left(t\right),H\left(t\right)\right)}^{\text{T}},$

$W\left(t\right)={\left(W_I\left(t\right),W_S\left(t\right),W_L\left(t\right)\right)}^{\text{T}},$

$f\left(Z\left(t\right),\alpha \left(t\right),\pi \left(t\right)\right)={\left(f_X,f_L,f_H\right)}^{\text{T}},$

$\sigma \left(Z\left(t\right),\alpha \left(t\right),\pi \left(t\right)\right)=\left[\begin{array}{ccc}{\sigma }_{X_1}& {\sigma }_{X_2}& 0\\ 0& 0& {\sigma }_{L_1}\\ 0& 0& 0\end{array}\right],$

$\begin{array}{c}{f}_X=X\left(t\right)[R\left(\alpha \left(t\right)\right)-{\mu }_I\left(\alpha \left(t\right)\right)+{\sigma }_I^2\left(\alpha \left(t\right)\right)+u_1\left(t\right)\left({\mu }_S\left(\alpha \left(t\right)\right)-R\left(\alpha \left(t\right)\right)\right)\\ +u_2\left(t\right)\left(r\left(\alpha \left(t\right)\right)+{\mu }_I\left(\alpha \left(t\right)\right)-R\left(\alpha \left(t\right)\right)-{\sigma }_I^2\left(\alpha \left(t\right)\right)\right)]+\left(1-k\right)L\left(t\right)-C\left(t\right),\end{array}$

$\begin{array}{l}{f}_L=L\left(t\right)\left[{\mu }_L\left(\alpha \left(t\right)\right)-{\mu }_I\left(\alpha \left(t\right)\right)\right],\\ f_H=\psi \left(t\right)C\left(t\right)-\eta \left(t\right)H\left(t\right),\\ {\sigma }_{X_1}=X\left(t\right)\left(u_2\left(t\right)-1\right){\sigma }_I\left(\alpha \left(t\right)\right),\\ {\sigma }_{X_2}=X\left(t\right)u_1\left(t\right){\sigma }_S\left(\alpha \left(t\right)\right),\\ {\sigma }_{L_1}=L\left(t\right){\sigma }_L\left(\alpha \left(t\right)\right).\end{array}$

如果价值函数$V^{\pi }\left(s,z,i\right)$ 足够光滑，它可以被描述为通过动态规划原理的Hamilton-Jacobi-Bellman (HJB)方程的解。相应的HJB方程如下：

$\begin{array}{l}0=V_s^{\pi }+\underset{\pi \in U}{\sup }\{V_h^{\pi }{f}_h+V_x^{\pi }{f}_x+V_{xx}^{\pi }{f}_{xx}+V_l^{\pi }{f}_l+V_{ll}^{\pi }{f}_{ll}\\ +{\displaystyle \sum _{j\ne i}{q}_{ij}\left[V^{\pi }\left(s,z,j\right)-V^{\pi }\left(s,z,i\right)\right]}-\rho V^{\pi }\left(s,z,i\right)+U\left(c\right)\},\end{array}$

其中$z\in R^3,i\in ℳ,s\in \left[0,\tau \right)$ 。然而，上述HJB方程的显式解不容易获得，因此我们采用数值求解方法。

3. 数值算法

基于强化学习中的演员–评论家(Actor-Critic)框架，可以同时求解价值函数和策略函数。该框架包括两部分：第一部分是用于评论家的策略评估(Policy Evaluation, PE)，PE能够求解价值函数，另一部分是用于演员的策略迭代(Policy Iteration, PI)，PI能够求解策略函数。目前，在Actor-Critic框架下已经开发了许多算法，例如文献[11] [13]。特别是，文献[12]设计了一种TD算法来学习PE部分的值函数，使用策略梯度下降算法来更新PI部分的控制函数，从而提高其收敛性，提高样本利用率，避免局部最优，并平衡开发和利用的程度。

3.1. 策略评估

在本节中，我们开发相应的PE程序，并使用函数逼近方法来获得价值函数的估计。对于连续最优控制问题的TD，我们应用Itô’s公式求解${\text{e}}^{-\rho (t-s)}{V}^{\pi }\left(s,z,i\right)$ ，得到

$\begin{array}{c}{V}^{\pi }\left(s,z,i\right)={\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}U\left(c\left(t\right)\right)\text{d}t-{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{V}_x^{\pi }{\sigma }_{x_1}\text{d}{W}_I\left(t\right)\\ -{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{V}_x^{\pi }{\sigma }_{x_2}\text{d}{W}_S\left(t\right)-{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{V}_l^{\pi }{\sigma }_{l_1}\text{d}{W}_L\left(t\right)+{\text{e}}^{-\rho (\tau -s)}{V}^{\pi }\left(\tau ,z,i\right).\end{array}$

现在让我们将连续设置中的TD误差定义为：

$\begin{array}{c}T{D}^{\pi }={\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}U\left(c\left(t\right)\right)\text{d}t-{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{V}_x{\sigma }_{x_1}\text{d}{W}_I\left(t\right)\\ -{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{V}_x{\sigma }_{x_2}\text{d}{W}_S\left(t\right)-{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{V}_l{\sigma }_{l_1}\text{d}{W}_L\left(t\right)+{\text{e}}^{-\rho (\tau -s)}V\left(\tau ,z,i\right)-V\left(s,z,i\right).\end{array}$

为了对高维价值函数$V$ 和控制$\pi$ 进行参数化，我们使用神经网络来拟合它们，价值函数$V$ 通过 $V\left(\cdot ,\cdot ,\cdot ;{\theta }_V\right)=F_V\left(\cdot ,\cdot ,\cdot ;{\theta }_V\right)$ 参数化，控制$\pi$ 通过$\pi \left(\cdot ,\cdot ,\cdot ;{\theta }_{\pi }\right)=F_{\pi }\left(\cdot ,\cdot ,\cdot ;{\theta }_{\pi }\right)$ 参数化，其参数分别表示为${\theta }_V$ 和${\theta }_{\pi }$ 。

此外，我们计划使用另一个神经网络$G\left(\cdot ,\cdot ,\cdot ;{\theta }_G\right)$ 来表示$V$ ，即 $V\left(\cdot ,\cdot ,\cdot ;{\theta }_G\right)=G\left(\cdot ,\cdot ,\cdot ;{\theta }_G\right)$ ，这将用于计算$V$ 的梯度，可以使用有限差分算法来拟合梯度。

进一步介绍我们的神经网络结构。具有$\mathcal{Q}$ 个隐藏层的神经网络$F\left(\cdot ,\cdot ,\cdot ;\phi \right)$ 可以设置为$F\left(\cdot ,\cdot ,\cdot ;\phi \right)={\phi }_{\mathcal{Q}}\circ {\sigma }_{\mathcal{Q}}\circ {\phi }_{\mathcal{Q}-1}\circ {\sigma }_{\mathcal{Q}-1}\circ \cdot \cdot \cdot \circ {\phi }_1\circ {\sigma }_1\circ {\phi }_0\left(\cdot ,\cdot ,\cdot \right),$ 其中$\phi =\left\{{\phi }_i,i=1,\cdots ,\mathcal{Q}\right\}$ ，${\phi }_i=\left\{w_i,b_i\right\}$ 是关于隐藏层输入和输出维度的适当维度的线性变换，而${\sigma }_i$ 是作用于相邻隐藏层的激活函数：${\sigma }_i\left(\cdot ,\cdot ,\cdot \right)=\text{ReLU}\left(\cdot ,\cdot ,\cdot \right)$ 。

我们进一步为评论家定义以下损失函数：

$\begin{array}{c}L\left({\theta }_V,{\theta }_G\right)=E_{s,z,i}\left[\frac{1}{2}{\left(T{D}^{\pi }\right)}^2\right]=E_{s,z,i}[\frac{1}{2}({\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}U\left(c\left(t\right)\right)\text{d}t\\ -{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{\nabla }_{x}V\left(t,z,i;{\theta }_G\right){\sigma }_{x_1}\text{d}{W}_I\left(t\right)-{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{\nabla }_{x}V\left(t,z,i;{\theta }_G\right){\sigma }_{x_2}\text{d}{W}_S\left(t\right)\\ {-{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}{\nabla }_{l}V\left(t,z,i;{\theta }_G\right){\sigma }_{l_1}\text{d}{W}_L\left(t\right)+{\text{e}}^{-\rho (\tau -s)}V\left(\tau ,z,i;{\theta }_V\right)-V\left(s,z,i;{\theta }_V\right))}^2].\end{array}$

我们考虑使用随机梯度下降法来最小化上述损失函数，以获得价值函数的最佳近似。损失函数的梯度近似如下：

${\nabla }_{V}L\left({\theta }_V,{\theta }_G\right)\approx {\nabla }_V\left[\frac{1}{2}{\left(T{D}^{\pi }\right)}^2\right]=T{D}^{\pi }{\nabla }_{V}T{D}^{\pi }.$

然后使用Adam优化器来更新值函数的参数${\theta }_{value}=\left({\theta }_V,{\theta }_G\right)$ ：

${\theta }_{\text{value}}\to {\theta }_{\text{valu}e}+\alpha {\nabla }_{V}L.$

其中，$\alpha$ 为合适的学习率。

3.2. 策略迭代

在本小节中，我们介绍演员部分，并使用策略梯度来改进演员的策略。回忆我们的最优控制问题并利用动态规划原理，我们可以使用以下目标函数来定义演员(Actor)的目标，我们有

$J\left(s,z,i;\pi \right)=E_{s,z,i,\pi }\left[{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}}U\left(c\left(t\right)\right)\text{d}t+{\text{e}}^{-\rho (\tau -s)}V\left(\tau ,z,i\right)\right].$

在数值算法中，我们将控制$\pi$ 参数化为神经网络$\pi \left(\cdot ;{\theta }_{\pi }\right)$ ，其中${\theta }_{\pi }$ 称为参数。使用对$J\left(\cdot ;\pi \right)$ 梯度的随机近似(即导数$\tilde{\nabla }J\approx {\nabla }_{{\theta }_{\pi }}J$ )来优化参数，因此参数更新为

${\theta }_{\pi }\to {\theta }_{\pi }+\alpha \tilde{\nabla }J.$

其中，$\alpha$ 为合适的学习率。我们将功能导数近似为

$\tilde{\nabla }J=E_{s,z,i,\pi }\left[{\displaystyle {\int }_s^{\tau }{\text{e}}^{-\rho (t-s)}{\pi }_t{}^{-\gamma }\frac{\delta {\pi }_t}{\delta {\theta }_{\pi }}\text{dt}}+{\text{e}}^{-\rho (\tau -s)}\frac{\delta V}{\delta z}\frac{\delta z_{\tau }}{\delta {\theta }_{\pi }}\right].$

4. 数值结果

在本节中，我们为数值实验选择了适当的参数并获得了一些结果。对于金融市场，金融市场的无风险利率为$R=0.01$ ，对冲债券的预期回报率为$r=0.02$ ，通胀因子的预期水平为${\mu }_I=0.01$ ，通胀的波动率为${\sigma }_I=0.2$ 。对于切换模型，转移率矩阵为$Q=\left(\begin{array}{cc}-2& 2\\ 1& -1\end{array}\right)$ 。风险资产的预期回报率为${\mu }_S\left(1\right)=0.04$ ，${\mu }_S\left(2\right)=0.08$ ，风险资产的波动率为${\sigma }_S\left(1\right)=0.1$ ，${\sigma }_S\left(2\right)=0.2$ 。对于个人工资过程，工资增长的预期速率为${\mu }_L=0.4\times t+0.05$ ，工资过程的波动率为${\sigma }_L=0.02$ ，养老金增长的预期速率为${\mu }_D=0.1\times t+0.05$ ，养老金过程的波动率为${\sigma }_D=0.02$ 。

不失一般性，我们假设初始时间为$s=0$ ，退休时间为$\tau =1$ ，最大生存时间为$T=2$ ，退休前个人养老保险的缴费率为$k=0.2$ ，退休前习惯性消费的预期增长率为$\psi =\eta =0.1\times t+0.05$ ，退休后习惯性消费的预期增长率为$m\psi =m\eta$ ，习惯性消费的敏感度为$m=0.6$ ，损失厌恶参数为$\kappa =2.25$ ，相对风险厌恶系数为$\beta =0.6$ ，贴现因子为$\rho =0.5$ ，工资的比例为$x_1=x_2=0.8$ 。假设这些初始值为$h_0=12$ ，$L_0\text{=}20$ ，$D_0=16$ ，$X_0=200$ 。

Figure 1. Selection of the number of neurons

图1. 神经元个数的选择

在神经网络的架构方面，如图1，隐藏层神经元个数不宜过大，选择128个能减少数据量，同时也有不错的收敛性，策略网络中的隐藏层数量为2，价值网络中的隐藏层数量为3，学习率设置为0.01。我们还使用了经验回放技术，就是每次抽取一定数量的样本进行训练，可以重复抽取，达到有效利用样本的效果，经验证，将每次批量大小设置为128为宜，并将基本步长$\Delta t$ 设置为0.001。

Figure 2. Optimal actual consumption $C\left(t\right)$ , habitual consumption $H\left(t\right)$ , excess consumption $c\left(t\right)$

图2. 最优实际消费$C\left(t\right)$ ，习惯消费$H\left(t\right)$ ，超额消费$c\left(t\right)$

在图2中，我们可以看到我们可以首先，财富随着时间增加，而较高的财富会导致较高的个人消费，从而导致实际消费随时间增加。其次，习惯性消费是个体过去实际消费的加权平均值，因此习惯性消费会随着实际消费的增长而增加。此外，个人消费受到财富的影响，而在退休后，他们的工资收入减少，导致实际消费迅速下降。最后，由于个体在退休后减少了许多不必要的开支，即习惯性水平和敏感度的降低，导致超额消费增加。

总之，在退休后，尽管个人的实际消费有所下降，但超额消费却有所增加，这表明个体在退休后仍然对较低的实际消费水平感到满意。

(a) (b)

Figure 3. Impacts of the parameters $\psi$ and $\eta$ on the habitual consumption and the optimal excess consumption

图3. 不同习惯参数$\psi$ 和$\eta$ 对习惯消费和最优超额消费的影响

在图3中，展示了习惯性消费和超额消费随习惯性参数$\psi$ 和$\eta$ 的演变。我们可以看到，习惯性消费随着习惯性参数的增加而增加，而超额消费则随着习惯性参数的增加而减少。这是因为当个体工资水平保持不变时，实际消费也保持不变，而习惯性参数的增加会导致习惯性消费水平的上升，从而导致个体超额消费水平的下降。

总之，习惯性参数$\psi$ 和$\eta$ 影响个体习惯水平增长的幅度。如果个体在退休前的习惯性增长速度较快，那么他们在退休后也会经历过快的习惯性增长速度。如果实际消费保持不变，这将不可避免地导致超额消费水平较低，个体可能会感到不满意。因此，最好让个体保持适度的习惯性增长速度。