零和博弈下的策略惯性正则化多智能体Actor-Critic算法

Policy Inertia Regularization Multi-Agent Actor-Critic Algorithm in Zero-Sum Game

摘要: 随着多智能体系统在复杂物理环境中的广泛应用，如何解决多智能体随机博弈过程中的动力学非平稳性与物理安全约束缺失问题，已成为强化学习领域亟待突破的关键挑战。针对传统算法在随机博弈对抗中易陷入策略震荡以及依赖“试错”机制无法保障系统绝对安全的核心缺陷，本文提出了一种基于策略惯性正则化多智能体Actor-Critic算法。针对随机博弈环境下的纳什均衡收敛难题，本文建立了基于策略惯性正则化的博弈动力学模型。通过在优化目标中引入基于欧氏距离的策略锚点约束，重构了多智能体博弈的优化景观。微分动力学谱分析表明，该正则化机制使得系统雅可比矩阵的特征值实部发生负向平移，将原本不稳定的纳什均衡点转化为局部渐近稳定的，有效抑制了随机博弈中的高频梯度抖动与策略循环现象。在“湿滑网格世界”的数值对比实验中，该机制成功抑制了高频梯度抖动与策略退化现象，使智能体在强随机干扰下仍能习得时间最优路径，验证了改进算法在非平稳环境下的鲁棒收敛能力。

Abstract: With the widespread application of multi-agent systems in complex physical environments, addressing the dynamic non-stationarity and lack of physical security constraints in multi-agent stochastic games has become a key challenge in reinforcement learning. To address the core shortcomings of traditional algorithms, such as their susceptibility to policy oscillations in stochastic adversarial games and the inability to guarantee absolute system security through trial-and-error mechanisms, this paper proposes a multi-agent Actor-Critic algorithm based on policy inertia regularization. To solve the Nash equilibrium convergence problem in stochastic game environments, this paper establishes a game dynamics model based on policy inertia regularization. By introducing policy anchor constraints based on Euclidean distance into the optimization objective, the optimization landscape of multi-agent games is reconstructed. Differential dynamics spectrum analysis shows that this regularization mechanism causes a negative shift in the real parts of the eigenvalues of the system’s Jacobian matrix, transforming the originally unstable Nash equilibrium point into a locally asymptotically stable one, effectively suppressing high-frequency gradient jitter and policy looping in stochastic games. In a numerical comparison experiment using a “slippery grid world”, this mechanism successfully suppressed high-frequency gradient jitter and policy degradation, enabling the agent to learn the time-optimal path even under strong random disturbances. This verifies the robust convergence capability of the improved algorithm in non-stationary environments.

1. 引言

多智能体系统在无人机编队、自动驾驶车队及仓储机器人等领域的应用日益广泛。作为解决多智能体序贯决策问题的核心方法，强化学习通过智能体与环境的交互来优化策略，已在众多领域展现出显著的性能[1] [2]。然而，将强化学习应用于具有竞争性质的随机博弈环境时，仍面临着非平稳性收敛难题。

多智能体博弈动力学的非平稳性与发散问题：随机博弈描述了多个局中人在动态环境中的交互过程，其状态转移概率与奖励函数显式依赖于所有参与者的联合动作[3]。在标准的多智能体Actor-Critic算法框架下，各智能体并发更新策略参数导致环境呈现高度非平稳特性[4]。对于单一智能体而言，对手策略的时变性使得目标函数不再满足马尔可夫决策过程的静态假设，导致价值网络的估计误差在贝尔曼迭代中累积放大[5]。特别是在零和博弈中，各方利益的严格对立导致梯度场包含显著的旋转分量。标准的梯度上升算法使得策略参数在单纯形顶点之间产生极限环震荡，系统缺乏耗散梯度场旋转能量的机制，从而无法收敛至纳什均衡点。

针对收敛性的问题，本文提出了一种基于策略惯性正则化的Actor-Critic改进算法，通过在原始目标函数中引入基于欧氏距离的策略锚点约束项，重构了多智能体博弈的优化景观。从微分动力系统的角度分析，该正则化项相当于在参数更新的动力学方程中显式引入了一个与参数变化率成正比的耗散力。通过对连续时间动力系统的雅可比矩阵进行谱分析证明，引入惯性系数后，系统特征值的实部发生了负向平移，确保了所有特征值的实部严格小于零。这一数学变换成功地将原本处于临界稳定或不稳定状态的纳什均衡点转化为局部渐近稳定的吸引子，利用Lyapunov第一法严格证明了改进算法在博弈均衡点邻域内的收敛稳定性，为解决多智能体学习中的震荡问题提供了坚实的控制理论依据。

多智能体强化学习的核心挑战在于多个决策主体在共享环境中的交互导致了马尔可夫决策过程平稳性的丧失。早期的研究试图将单智能体算法直接应用于多智能体环境，即独立学习范式。然而Tan等人的研究表明，由于其他智能体策略参数的时变特性，环境状态转移概率分布呈现出非平稳漂移，导致独立Q学习算法中的经验回放机制失效，无法保证算法收敛至纳什均衡[6]。针对这一问题，集中式训练去中心化执行框架应运而生。Lowe等人提出的多智能体深度确定性策略梯度算法通过引入集中式价值网络来逼近联合状态动作价值函数，利用全局信息降低了策略梯度估计的方差，在一定程度上缓解了环境非平稳性带来的震荡。Rashid等人提出的QMIX算法则通过引入单调性约束，将联合价值函数分解为个体价值函数[7]，解决了协作环境下的信用分配难题。

尽管集中式价值评估提升了算法的稳定性，但在零和博弈或一般和博弈的微分动力学系统中，单纯的梯度上升更新仍面临严峻的理论瓶颈。在博弈论视角下，各智能体收益函数的对立性使得系统的梯度向量场包含显著的旋转分量。Singh等人指出，在纳什均衡点附近，标准的梯度动力学可能导致策略参数在单纯形顶点之间形成极限环震荡[8]，系统雅可比矩阵的特征值实部为零或正值，缺乏收敛所需的耗散阻尼。为了解决这一动力学不稳定性，二阶优化方法逐渐受到关注。Foerster等人提出的LOLA算法通过在策略更新中引入对对手学习过程的预测[9]，利用二阶泰勒展开重塑梯度流场，使得智能体能够通过预判对手行为来调整自身策略。Letcher等人进一步提出了辛梯度调节方法[10]，通过分解哈密顿向量场来分离保守分量与耗散分量，从而设计出能够保证局部渐近稳定的更新规则。

然而，高阶优化方法通常涉及Hessian矩阵的计算，在高维神经网络参数空间中计算复杂度过高。因此，基于正则化的其一阶近似方法成为当前研究的热点。Schulman等人提出的信任域策略优化算法通过限制新旧策略之间的KL散度[11]，确保了策略更新的单调改进，但其在多智能体博弈中的直接应用常因联合策略空间的拓扑复杂性而失效。为了增强策略的鲁棒性与探索能力，Haarnoja等人提出的软Actor-Critic算法引入了最大熵正则化项[12]，将优化目标转化为最大化累积回报与策略熵的加权和，在一定程度上平滑了优化景观。近期的研究开始聚焦于策略惯性与锚点机制。Czarnecki等人探讨了在博弈动力学中引入策略正则化项对纳什均衡收敛性的影响[13]，证明了适当的正则化能够将原本发散的梯度流转化为收敛流。Littman正式提出了将马尔可夫博弈作为多智能体强化学习的理论框架[14]，为后续随机博弈的研究奠定了基础。

2. 零和博弈下的策略惯性正则化多智能体Actor-Critic算法

在多智能体系统中，标准的Actor-Critic算法虽然提供了一种基于梯度优化的求解范式，但由于环境的非平稳性以及目标函数的非凸性，该类算法在实际应用中往往面临探索能力不足与易陷入局部最优的严峻挑战。仅仅依赖确定性策略或简单的随机噪声，难以在复杂的策略空间中寻找到全局最优的纳什均衡点。针对上述问题，本章提出了一种基于最大熵正则化的多智能体Actor-Critic改进算法。该方法通过在优化目标中引入策略熵项，将寻找纳什均衡的问题转化为寻找软纳什均衡的问题[15]，从而在最大化累积期望回报的同时，显式地鼓励智能体保持策略的随机性与探索性。

2.1. 标准多智能体Actor-Critic算法

本文所基于的基准算法采用了集中式训练去中心化执行的架构。在该框架下，每个智能体 $i\in \left\{1,\cdots ,N\right\}$ 的状态值函数都由两个神经网络来近似：策略网络(Actor)与价值网络(Critic)。其中，主要通过TD Learning算法来更新价值网络(Critic)中的参数以使得其对智能体的动作预测越来越准确；通过策略梯度算法更新价值网络(Critic)使得每个智能体获得越来越高的累计折扣奖励。

策略网络(Actor)：记为${\pi }_i\left(a_i|s_i;{\theta }_i\right)$ ，其中${\theta }_i$ 为神经网络参数。该网络仅接收智能体i的局部观测$s_i$ ，并输出动作空间上的概率分布。这一设计保证了算法在执行阶段仅需局部信息即可完成决策，满足分布式控制的要求。

价值网络(Critic)：记为$Q_i\left(s,a;w_i\right)$ ，其中$w_i$ 为神经网络参数，$s=\left(s_1,\cdots ,s_N\right)$ 为联合状态，$a=\left(a_1,\cdots ,a_N\right)$ 为联合动作。Critic网络利用全局信息来评估当前联合策略在特定状态下的价值。

Critic更新：

Critic的目标是准确估计联合策略$\pi$ 下的动作值函数$Q_i^{\pi }\left(s,a\right)$ 。根据算法设定，在时刻t，对于智能体i，其Critic网络的更新基于时序差分误差。

首先，计算目标Q值。根据下一时刻的联合状态$s^{t+1}$ ，各智能体依据当前策略采样出下一时刻的动作${\tilde{a}}_i^{t+1}~{\pi }_i\left(\cdot |s_i^{t+1};{\theta }_i\right)$ ，构成联合动作${\tilde{a}}^{t+1}$ 。目标值$y_i^t$ 定义为：

$y_i^t=r_i^t+\gamma Q_i\left(s^{t+1},{\tilde{a}}^{t+1};w_i\right)$ (1)

其中，$r_i^t$ 是环境反馈的即时奖励，r是折扣因子。

接着，定义Critic的损失函数$L\left(w_i\right)$ 为TD误差的均方误差：

$L\left(w_i\right)=\frac{1}{2}{\left(y_i^t-q_i^t\right)}^2$ (2)

Critic参数$w_i$ 通过梯度下降法进行更新：

$w_i^{t+1}\leftarrow w_i^t-{\alpha }_i\cdot {\delta }_i^t\cdot {\nabla }_{w_i}{Q}_i\left(s^t,a^t;w_i\right)$

其中${\delta }_i^t=y_i^t-Q_i\left(s^t,a^t;w_i\right)$ 为TD误差，${\alpha }_i$ 为Critic的学习率。

Actor更新：

Actor的目标是最大化智能体的期望累积折扣回报$J\left({\theta }_i\right)=\mathbb{E}\left[{\displaystyle \sum _t{\gamma }^t{r}_i^t}\right]$ 。基于策略梯度定理，参数${\theta }_i$ 的更新方向由Critic提供的价值评估指导。在Q-based Actor-Critic算法中，梯度方向近似为策略对数概率的梯度与当前Q值的乘积。具体的更新规则为

${\theta }_i^{t+1}\leftarrow {\theta }_i^t+{\beta }_i\cdot Q_i\left(s^t,a^t;w_i^t\right)\cdot {\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i^t|s_i^t;{\theta }_i\right)$

其中${\beta }_i$ 是Actor的学习率。该式直观地表明：若某个动作$a_i^t$ 在当前全局状态下产生了较高的Q值(即$Q_i$ 较大)，则Actor会沿着增加该动作概率的方向更新参数${\theta }_i$ ；反之则减小该动作的概率。通过上述Actor与Critic的交替迭代更新，算法旨在寻找纳什均衡策略${\pi }^{*}$ ，使得没有任何智能体能通过单方面改变策略获得更高的收益。

2.2. 现有方法的局限性分析

标准多智能体Actor-Critic算法的理论缺陷源于缺乏对策略更新幅度的有效约束。首先，多智能体并发学习使得环境的状态转移与奖励反馈不再满足平稳性前提，导致价值网络拟合的目标始终处于动态漂移中，破坏了学习过程的连贯性。其次，在博弈动力学层面，各参与者仅依据局部梯度进行的贪婪更新极易进入非收敛的循环轨道，使策略在离散状态之间剧烈震荡而无法稳定在最优混合均衡点。最后，由于网络参数与输出概率分布之间存在高度非线性的映射关系，无约束的参数更新会导致策略分布发生不可控的突变，一旦新策略进入低价值区域，将引发采样质量恶化与价值评估失效的恶性循环，最终导致系统性能崩塌。

2.3. 针对传统算法的改进机制分析

标准多智能体Actor-Critic算法的理论缺陷源于缺乏对策略更新幅度的有效约束。首先，多智能体并发学习使得环境的状态转移与奖励反馈不再满足平稳性前提，导致价值网络拟合的目标始终处于动态漂移中，破坏了学习过程的连贯性。其次，在博弈动力学层面，各参与者仅依据局部梯度进行的贪婪更新极易进入非收敛的循环轨道，使策略在离散状态之间剧烈震荡而无法稳定在最优混合均衡点。最后，由于网络参数与输出概率分布之间存在高度非线性的映射关系，无约束的参数更新会导致策略分布发生不可控的突变，一旦新策略进入低价值区域，将引发采样质量恶化与价值评估失效的恶性循环，最终导致系统性能崩塌。

2.4. 目标函数构建及参数更新规则

本文提出在原始目标函数中引入基于策略惯性的正则化项。其核心思想是：在追求高回报的同时，强加一个针对策略空间的惯性约束，使得新策略${\theta }_i^t$ 不会过度偏离上一阶段的稳定策略，因此，我们将优化问题转化为一个正则化最大化问题。定义智能i的惯性正则化目标函数$J_{total}\left({\theta }_i\right)$ 如下：

$J_{total}\left({\theta }_i\right)=J\left({\theta }_i\right)-{\lambda }_i\cdot \Omega \left({\theta }_i^t,{\theta }_i^{old}\right)$ (3)

其中：

${\theta }_i^t$ 表示当前更新的策略参数。

${\theta }_i^{old}$ 表示上一阶段的策略参数锚点。

${\lambda }_i\ge 0$ 为惯性系数，用于调节探索收益与策略稳定性之间的权衡。

$\Omega \left(\cdot ,\cdot \right)$ 为衡量新旧策略差异的正则化项。

智能体i的正则项如下所示：

$\Omega \left({\theta }_i^t,{\theta }_i^{old}\right)=\frac{1}{2}{\Vert {\theta }_i^t-{\theta }_i^{old}\Vert }_2^2$ (4)

为了利用基于梯度的优化算法对网络参数${\theta }_i$ 进行更新，我们需要推导总目标函数$J_{total}\left({\theta }_i\right)$ 关于参数${\theta }_i$ 的梯度${\nabla }_{{\theta }_i}{J}_{total}$ 。根据公式(3)，总梯度由两部分组成：

${\nabla }_{{\theta }_i}{J}_{total}={\nabla }_{{\theta }_i}J\left({\theta }_i\right)-{\lambda }_i{\nabla }_{{\theta }_i}\Omega \left({\theta }_i^t,{\theta }_i^{old}\right)$ (5)

1) 原始策略梯度项推导：第一项${\nabla }_{{\theta }_i}J\left({\theta }_i\right)$ 为标准的确定性或随机性策略梯度。在本研究采用的随机高斯策略设定下，利用对数导数技，其梯度推导过程如下：

对等式两边关于参数${\theta }_i$ 求梯度，即得到最终的策略梯度公式：

$\begin{array}{c}{\nabla }_{{\theta }_i}J\left({\theta }_i\right)={\displaystyle \sum }_{a_i}\left[{\pi }_i\left(a_i^t|s;{\theta }_i\right)\cdot {\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i^t|s;{\theta }_i\right)\right]\cdot Q_{{\pi }_i}\left(s,a_i^t;w_i^t\right)\\ ={\displaystyle \sum }_{a_i}{\pi }_i\left(a_i^t|s;{\theta }_i\right)\cdot {\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i^t|s;{\theta }_i\right)\cdot Q_{{\pi }_i}\left(s,a_i^t;w_i^t\right)\\ ={\mathbb{E}}_{s,a}\left[{\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i|s_i;{\theta }_i\right)\cdot Q_i\left(s,a\right)\right]\end{array}$ (6)

应用蒙特卡洛采样，最终梯度可以表示为以下形式：

$\begin{array}{c}{\nabla }_{{\theta }_i}J\left({\theta }_i\right)={\mathbb{E}}_{s,a}\left[{\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i|s_i;{\theta }_i\right)\cdot Q_i\left(s,a\right)\right]\\ \approx \frac{1}{B}{\displaystyle \sum }_{k=1}^B{\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i^{\left(k\right)}|s_i^{\left(k\right)};{\theta }_i\right)\cdot Q_i\left(s^{\left(k\right)},a^{\left(k\right)}\right)\end{array}$ (7)

其中：

表示我们在训练的一个批次中采样了B条数据，用这B条数据的平均值来近似真实的梯度。k表示第k个样本数据。

2) 惯性正则项梯度推导：第二项为惯性约束的梯度，将公式(4)对${\theta }_i$ 求导，根据链式法：

$\begin{array}{c}{\nabla }_{{\theta }_i}\Omega \left({\theta }_i^t,{\theta }_i^{old}\right)={\nabla }_{{\theta }_i}\left(\frac{1}{2}{\Vert {\theta }_i-{\theta }_i^{old}\Vert }_2^2\right)={\theta }_i^t-{\theta }_i^{old}\end{array}$ (8)

3) 最终更新公式：(7)综合(8)与，智能体i的Actor网络参数更新规则如下：

$\begin{array}{c}{\theta }_i^{t+1}\leftarrow {\theta }_i^t+{\beta }_i\cdot \left(\mathbb{E}\left[\nabla \log {\pi }_i\cdot Q_i\right]-{\lambda }_i\left({\theta }_i^t-{\theta }_i^{old}\right)\right)\end{array}$ (9)

公式(9)括号内的部分是总梯度，它指示了参数应该朝着什么方向移动才能优化目标函数。

2.5. 算法执行流程

本研究提出的改进算法延续了集中式训练去中心化执行的总体架构，但在策略更新阶段引入了惯性锚点机制。整个算法的执行流程可被形式化地描述为初始化、交互采样、价值评估、策略修正与锚点更新五个核心阶段。

1) 初始化阶段：对于系统中的每一个智能体i，首先初始化其策略网络(Actor)参数${\theta }_i$ 与价值网络(Critic)参数$w_i$ 。同时，为了在训练初期建立惯性参考系，将初始时刻的策略参数直接赋值给惯性锚点${\theta }_i^{old}$ 。此外，需设定Critic学习率${\alpha }_i$ 、Actor学习率${\beta }_i$ 、折扣因子$\gamma$ 以及关键的惯性正则化系数$\lambda$ 。

2) 分布式交互与采样：在每一个时间步$t$ ，智能体与环境进行交互，生成训练数据：

局部观测：每个智能体i获取局部观测状态$s_i^t$ 。

动作采样：智能体依据当前策略网络采样动作$a_i^t$ ：$a_i^t~{\pi }_i\left(\cdot |s_i^t;{\theta }_i^t\right)$

联合执行：形成联合动作向量$a^t=\left(a_1^t,\cdots ,a_N^t\right)$ 并执行。

环境反馈：环境反馈所有智能体的即时奖励$r_i^t$ 及下一时刻的联合状态$s^{t+1}$ 。

3) 集中式价值评估：Critic网络负责评估当前联合策略的质量，并计算时序差分(TD)误差以驱动价值函数的收敛。

下一步动作采样：为了计算TD目标值，需采样下一时刻的联合动作${\tilde{a}}^{t+1}$ 。对于每个智能体i： ${\tilde{a}}_i^{t+1}~{\pi }_i\left(\cdot |s_i^{t+1};{\theta }_i^t\right)$

Q值计算：当前时刻Q值估计：$q_i^t=Q_i\left(s^t,a^t;w_i^t\right)$ ；下一时刻Q值估计：$q_i^{t+1}=Q_i\left(s^{t+1},{\tilde{a}}^{t+1};w_i^t\right)$ ；

TD误差计算(${\delta }_i^t$ )：计算当前Q值与目标Q值(即时奖励 + 折扣后的未来价值)之间的偏差： ${\delta }_i^t=q_i^t-\left(r_i^t+\gamma \cdot q_i^{t+1}\right)$

Critic梯度计算($d_{w,i}^t$ )：$d_{w,i}^t={{\nabla }_{w_i}{Q}_i\left(s^t,a^t;w_i\right)|}_{w_i=w_i^t}$

Critic参数更新：沿着最小化TD误差平方的方向更新参数：$w_i^{t+1}\leftarrow w_i^t-{\alpha }_i\cdot {\delta }_i^t\cdot d_{w,i}^t$

4) 正则化策略提升：这是算法的核心步骤。Actor的更新不仅取决于Critic提供的价值梯度，还受到惯性锚点的约束，以抑制策略参数的剧烈震荡。

标准策略梯度计算($d_{\theta ,i}^t$ )：计算最大化动作对数概率的梯度方向：$d_{\theta ,i}^t={{\nabla }_{{\theta }_i}\log {\pi }_i\left(a_i^t|s_i^t;{\theta }_i\right)|}_{{\theta }_i={\theta }_i^t}$

惯性正则化梯度计算($g_{reg}^t$ )：计算当前参数与旧参数(锚点)之间欧氏距离的梯度，该梯度充当参数层面的阻尼力：

$g_{reg}^t={\nabla }_{{\theta }_i}\left(\frac{1}{2}\lambda {\Vert {\theta }_i^t-{\theta }_i^{old}\Vert }^2\right)=\lambda \left({\theta }_i^t-{\theta }_i^{old}\right)$

Actor参数更新：合成总梯度方向进行更新。其中，$q_i^t\cdot d_{\theta ,i}^t$ 推动策略向高回报方向移动，而$-g_{reg}^t$ 将策略拉向旧参数锚点：${\theta }_i^{t+1}\leftarrow {\theta }_i^t+{\beta }_i\cdot \left(q_i^t\cdot d_{\theta ,i}^t-g_{reg}^t\right)$

5) 惯性锚点更新(Anchor Update)在完成单步参数更新后，更新惯性锚点，使其跟随策略的演化，形成滑动窗口式的约束：${\theta }_i^{old}\leftarrow {\theta }_i^t$

上述流程在每一个训练回合中循环执行，直至算法收敛或达到预设的最大迭代次数。

2.6. 基于惯性正则化的局部渐近稳定性分析

在多智能体强化学习中，纳什均衡点的收敛稳定性是衡量算法性能的关键指标。特别是在零和博弈场景下，由于博弈动力学的固有旋转特性，传统的基于梯度的优化方法往往难以收敛，而是表现为围绕均衡点的持续震荡。本节将从连续时间动力系的视角，建立博弈动力学的微分方程模型，并严格证明引入策略惯性正则化后，系统雅可比矩阵的谱分布将发生平移，从而保证了算法在纳什均衡点附近的局部渐近稳定性。

综合公式(3)和公式(4)可知，在二人零和博弈中，对于第i个智能体，有：

$J_i^{total}=J_i\left(\theta \right)-\frac{1}{2}\cdot \lambda {\Vert {\theta }_i-{\theta }_i^{old}\Vert }^2$

其中，$J_i^{total}$ 为改进后的第i个智能体的惯性正则化联合目标函数，又因为原始目标函数同时依赖于智能体i以及对手的策略，所以其原始目标函数中含有两个智能体的策略参数，其中，$\theta$ 表联合策略参数，即所有智能体参数的集合，$\theta ={\left[{\theta }_1,{\theta }_2\right]}^{\top }$ 。为方便表示，我们将两个智能体的目标函数用联合目标函数形式

表示，即$J\left(\theta \right)=\left[\begin{array}{c}{J}_1\left(\theta \right)\\ J_2\left(\theta \right)\end{array}\right]$ 。又因为现在主要研究零和博弈，则有$J_1\left(\theta \right)=-J_2\left(\theta \right)$ 。下面将进行联合动力方程的推导。

1) 原始部分的梯度：

$\begin{array}{c}{\nabla }_{\theta }J\left(\theta \right)=v\left(\theta \right)=\left[\begin{array}{c}{\nabla }_{{\theta }_1}{J}_1\left(\theta \right)\\ {\nabla }_{{\theta }_2}{J}_2\left(\theta \right)\end{array}\right]\end{array}$ (10)

2) 正则化项部分的梯度：${\nabla }_{\theta }\left(-\frac{\lambda }{2}{\Vert \theta -{\theta }^{old}\Vert }^2\right)=-\frac{\lambda }{2}\cdot 2\left(\theta -{\theta }^{old}\right)=-\lambda \left(\theta -{\theta }^{old}\right)$

合并后的总梯度方向：

$\begin{array}{c}{g}_{total}=v\left(\theta \right)-\lambda \left(\theta -{\theta }^{old}\right)\end{array}$ (11)

按照梯度上升规则，参数更新公式为($\eta$ 为学习率/步长)：${\theta }^{k+1}={\theta }^k+\eta \cdot \left(v\left({\theta }^k\right)-\lambda \left({\theta }^k-{\theta }^{old}\right)\right)$

进行以下步骤的变换，则有：

$\begin{array}{c}\frac{{\theta }^{k+1}-{\theta }^k}{\eta }=v\left({\theta }^k\right)-\lambda \left({\theta }^k-{\theta }^{old}\right)\end{array}$ (12)

$\underset{\eta \to 0}{\lim }\frac{{\theta }^{k+1}-{\theta }^k}{\eta }=\frac{\text{d}\theta }{\text{d}t}=\dot{\theta }$ (13)

综合公式(12)和公式(13)，则有：

$\begin{array}{c}\dot{\theta }=v\left(\theta \right)-\lambda \left(\theta -{\theta }^{old}\right)\end{array}$ (14)

因为我们的目的是证明算法在纳什均衡点${\theta }^{*}$ 附近的局部行为。我们假设系统已经运行到了${\theta }^{*}$ 的很小的邻域内。所以在公式(14)中我们使用${\theta }^{*}$ 代替${\theta }^{old}$ 。则最终的联合动力方程如下所示：

$\begin{array}{c}\dot{\theta }=v\left(\theta \right)-\lambda \left(\theta -{\theta }^{*}\right)\end{array}$ (15)

大量研究表明，深度神经网络的损失曲面在解附近呈现出显著的平坦性特征。Hochreiter & Schmidhuber (1997)最早提出了“平坦极小值”(Flat Minima)概念[16]，指出泛化能力强的解往往位于海森矩阵特征值极小的平坦区域。随后，Goodfellow et al. (2014)通过线性插值实验进一步证实[17]，尽管深层网络具有高度非线性，其优化路径和局部景观却表现出惊人的平滑性。所以我们做出以下假设。

假设2.1设${\theta }^{*}$ 为原始博弈系统的微分纳什均衡点，$\theta$ 是其邻域内的任意一点，在此区域内，有智能体1与智能体2的原始目标函数的二阶导近似为0，即${\nabla }_{{\theta }_1{\theta }_1}^2{J}_1\left(\theta \right)=0$ ，${\nabla }_{{\theta }_2{\theta }_2}^2{J}_2\left(\theta \right)=-{\nabla }_{{\theta }_2{\theta }_2}^2{J}_1\left(\theta \right)=0$ 。

定理2.1惯性正则化系统的渐近稳定性：对于修正后的连续时间动力系统：$\dot{\theta }=v\left(\theta \right)-\lambda \left(\theta -{\theta }^{*}\right)$ ，若假设2.1成立，且惯性系数$\lambda >0$ ，则该系统在均衡点${\theta }^{*}$ 处是局部渐近稳定的。

证明：首先在${\theta }^{*}$ 的邻域内对公式(10)再一次求导，我们可以得到原始目标函数的雅可比矩阵如下所示：

$J=\nabla v=\left[\begin{array}{cc}\frac{\partial \left({\nabla }_{{\theta }_1}{J}_1\left(\theta \right)\right)}{\partial {\theta }_1}& \frac{\partial \left({\nabla }_{{\theta }_1}{J}_1\left(\theta \right)\right)}{\partial {\theta }_2}\\ \frac{\partial \left(-{\nabla }_{{\theta }_2}{J}_1\left(\theta \right)\right)}{\partial {\theta }_1}& \frac{\partial \left(-{\nabla }_{{\theta }_2}{J}_1\left(\theta \right)\right)}{\partial {\theta }_2}\end{array}\right]=\left[\begin{array}{cc}{\nabla }_{{\theta }_1{\theta }_1}^2{J}_1\left(\theta \right)& {\nabla }_{{\theta }_1{\theta }_2}^2{J}_1\left(\theta \right)\\ -{\nabla }_{{\theta }_2{\theta }_1}^2{J}_1\left(\theta \right)& -{\nabla }_{{\theta }_2{\theta }_2}^2{J}_1\left(\theta \right)\end{array}\right]$

由于假设2.1，则有

$J=\left[\begin{array}{cc}0& {\nabla }_{{\theta }_1{\theta }_2}^2{J}_1\left(\theta \right)\\ -{\nabla }_{{\theta }_2{\theta }_1}^2{J}_1\left(\theta \right)& 0\end{array}\right]$

显然，上述矩阵为一个反对称矩阵($J^{\text{T}}=-J$ )

设$\mu$ 是矩阵$J$ 的特征值，$x$ 是对应的非零特征向量

$\begin{array}{c}Jx=\mu x\end{array}$ (16)

对上式两边取共轭转置：

$x^H{J}^{\text{T}}=\overline{\mu }{x}^H$

其中，$\overline{\mu }$ 是$\mu$ 的复共轭；$x^H$ 为非零特征向量$x$ 的共轭转置。

利用反对称性质$J^{\text{T}}=-J$ ：

$\begin{array}{c}{x}^H\left(-J\right)=\overline{\mu }{x}^H\Rightarrow -x^{H}J=\overline{\mu }{x}^H\end{array}$ (17)

将公式(17)两边乘以$x$ ：

$-x^H\left(Jx\right)=\overline{\mu }{x}^{H}x$

将公式(16)代入左边的括号：

$-x^H\left(\mu x\right)=\overline{\mu }\left(x^{H}x\right)$

提取标量后则有：$-\mu \left(x^{H}x\right)=\overline{\mu }\left(x^{H}x\right)$

又因为${\Vert x\Vert }^2=x^{H}x$ 是一个正实数，约掉后得到：$-\mu =\overline{\mu }$

设$\mu =a+bi$ ，($a$ ，$b$ 为实数)则有：$-\left(a+bi\right)=a-bi$ ，$-a-bi=a-bi\Rightarrow a=0$

由此证得原始目标函数的雅可比矩阵的特征值$\mu$ 的实部为0。

在${\theta }^{*}$ 的邻域内对公式(15)再一次求导，我们可以得到改进后的目标函数的雅可比矩阵如下所示：

$\begin{array}{c}\frac{\partial }{\partial \theta }\left(v\left(\theta \right)-\lambda \left(\theta -{\theta }^{*}\right)\right)=\frac{\partial v\left(\theta \right)}{\partial \theta }-\frac{\partial }{\partial \theta }\left(\lambda \theta \right)+\frac{\partial }{\partial \theta }\left(\lambda {\theta }^{*}\right)\end{array}=J-\lambda I$

由公式(16)则有；

$\left(J-\lambda I\right)x=Jx-\lambda Ix=\mu x-\lambda x=\left(\mu -\lambda \right)x$

即修正后的特征值${\mu }^{\prime }$ 满足${\mu }^{\prime }=\mu -\lambda$ 。

考察修正后特征值${\mu }^{\prime }$ 的实部：

$\text{Re}\left({\mu }^{\prime }\right)=\text{Re}\left(\mu -\lambda \right)=\text{Re}\left(\mu \right)-\lambda$

又因为原始目标函数的雅可比矩阵的特征值$\mu$ 的实部为0，则：

$\text{Re}\left({\mu }^{\prime }\right)=0-\lambda =-\lambda$

由于惯性系数$\lambda$ 被设定为严格正实数($\lambda >0$ )，故对于所有特征值${{\mu }^{\prime }}_k\left(k=1,\cdots ,d\right)$ ，均有：$\text{Re}\left({{\mu }^{\prime }}_k\right)<0$ 。

根据yapunov第一方法，引入惯性正则化后的动力系统在纳什均衡点${\theta }^{*}$ 处是局部渐近稳定的。

证毕。

2.7. 算法收敛性数值验证

为了验证基于惯性正则化的Actor-Critic算法在高随机性环境和离散动作空间下的鲁棒性与收敛能力，本节构建了一个名为“湿滑网格世界”的零和博弈场景。该场景模拟了现实世界中执行器误差或环境扰动带来的不确定性，旨在测试算法是否能在高方差梯度下坚持学习最优策略，而非陷入局部极小值。

1) 场景描述：在一个$N\times N$ 的离散网格中，存在两个智能体：追捕者与逃逸者。

追捕者：目标是在最短的时间内捕获逃逸者(即坐标重合)。

逃逸者：目标是尽可能延长被捕获的时间，或保持与追捕者的距离。

环境特性：地面具有“湿滑”特性，智能体的移动指令无法被100%精确执行，存在随机滑动的风险。例如，当智能体选择“向上”时，有80%的概率向上移动，但有10%的概率向左滑，10%的概率向右滑。若目标位置超出边界，则智能体保持原地不动(撞墙)。

2) 马尔可夫博弈五元组$\left(\mathcal{S},A,P,R,\gamma \right)$ 定义

状态空间$\mathcal{S}$ ：联合状态由两个智能体的二维坐标组成：$s^t=\left[x_p,y_p,x_e,y_e\right]$ ，其中$s_p^t=\left[x_p^t,y_p^t\right]$ ，$s_e^t=\left[x_e^t,y_e^t\right]$ 分别代表追捕者和逃逸者两个智能体的状态，即二者在离散网格中的坐标， $x,y\in \left\{0,1,\cdots ,N-1\right\}$ 。在本实验中，网格大小设为$N=6$ 。

动作空间$A$ ：双方均为离散动作空间，包含四个基本方向：$A_i=\left\{\text{Up},\text{Down},\text{Left},\text{Right}\right\}$ 。

状态转移概率：对于追捕者和逃逸者中某个智能体，当其选择动作$a$ 时，实际状态$s^{\prime }$ 服从以下分布：

$P\left(s^{\prime }|s,a\right)=\{\begin{array}{ll}0.8,\hfill & 智能体移�到目�位置\hfill \\ 0.1,\hfill & 智能体移�到与目�方向垂直的左�位置\hfill \\ 0.1,\hfill & 智能体移�到与目�方向垂直的右�位置\hfill \end{array}$

奖励函数$R$ 设计：已知$s_p^t=\left[x_p,y_C\right]$ ，$s_e^t=\left[x_e,y_e\right]$ 分别代表追捕者和逃逸者两个智能体的状态，即$t$ 时刻两个智能体在网格中的坐标，我们采用曼哈顿距离作为距离度量，以适应离散网格环境的移动特性。对于追捕者，每一时刻$t$ 的即时奖励$r_C^t$ 定义如下：

$r_p^t=\{\begin{array}{ll}+10,\hfill & 如果追捕者在t�刻抓捕到逃逸者\hfill \\ -\frac{1}{2}\cdot \left(\left|x_p^t-x_e^t\right|+\left|y_p^t-y_e^t\right|\right),\hfill & 其他情�\hfill \end{array}$

为了构建严格的对抗环境，逃逸者的奖励函数$r_M^t$ 被定义为追捕者的相反数：$r_p^t=-r_e^t$ ，这意味着追捕者的收益严格等于逃逸者的损失。

3) 实验设置

学习率设置为0.002；折扣因子$\gamma$ 设置为0.95；惯性正则化系数$\lambda$ 设置为5.0；训练回合数设置为1000；回合最大步数设置为60。

2.8. 实验结果与分析

图1展示了训练过程中每回合总奖励的变化曲线，该指标综合反映了算法的收敛效能。原始算法的奖励曲线在训练初期迅速下降，并长期停滞在−250左右的理论下界。这种现象表明智能体陷入了严重的策略退化。由于环境存在20%的随机转移概率，早期的探索行为常因环境噪声而遭受距离惩罚。在缺乏参数更新约束的情况下，原始梯度算法表现出过度的风险规避倾向，智能体倾向于采取原地不动或撞墙等保守策略以避免即时惩罚，最终因超时而获得最低累积奖励；相比之下，基于惯性正则化的Actor-Critic算法的奖励曲线在经历约100个回合的探索后显著回升，并稳定收敛于−25左右。这一数值显著优于基准算法，且接近理论上的平均捕获成本。实验结果证明，惯性正则项成功抑制了由单次随机滑动引起的高频梯度抖动，使得智能体能够基于长期的期望收益坚持执行最优策略，而非受限于短期的随机负反馈。

Figure 1. Comparison of convergence performance of average cumulative reward per round during the training phase

图1. 训练阶段平均回合累积奖励的收敛性能对比

如图2所示，原始算法的成功率长期维持在0%，证实了其低奖励并非源于路径规划的次优，而是彻底的任务失败，智能体完全丧失了在规定时间内捕获目标的能力。相反，基于惯性正则化的Actor-Critic算法的成功率呈现显著上升趋势，最终稳定在95%至98%之间。尽管环境具有强随机性，该算法依然实现了极高的任务可靠性，证明其习得的策略具有极强的闭环纠错能力。

Figure 2. Evolution curve of task capture success rate during training

图2. 训练过程中的任务捕获成功率演变曲线

如图3所示，原始算法的平均步数始终重合于60步的最大限制线，进一步印证了其因无法完成任务而耗尽时间窗口。基于惯性正则化的Actor-Critic算法的捕获步数则从初始值迅速下降，最终收敛至15至18步区间。考虑到网格环境的曼哈顿距离为10且存在滑倒干扰，该数值已经逼近随机最短路径的理论下界，表明该算法实现了时间维度上的最优性。

Figure 3. Analysis of average time steps and execution efficiency of successful capture rounds

图3. 成功捕获回合的平均时间步数与执行效率分析

图4表明在原始算法生成的轨迹中，追捕者智能体的策略表现出显著的局部最优收敛特征。追捕者的状态转移序列主要约束在二维网格的下边界区域，即纵坐标$y=0$ 的子空间内。追捕者从初始状态(0, 0)出发后，其策略网络$\pi \left(a|s\right)$ 输出的动作概率分布高度偏向于水平位移，导致轨迹仅在x轴方向上产生微小的增量，随后陷入停滞。这种现象表明原始算法在处理稀疏奖励或延迟奖励时，价值函数$V\left(s\right)$ 的更新未能有效传播至全局状态空间。智能体仅通过减小x轴方向的曼哈顿距离分量来获取局部奖励信号，而未能探索到能够显著降低总势能的纵向移动策略。逃逸者智能体位于状态空间边缘(5, 5)附近，由于追捕者未能构建有效的逼近策略，逃逸者仅需维持在局部区域即可保持较大的状态间距，双方未能形成高水平的对抗博弈，系统陷入次优的稳定平衡态。(横坐标(X轴)：代表智能体在离散网格中的水平位置坐标，取值范围为[0, 5]。纵坐标(Y轴)：代表智能体在离散网格中的垂直位置坐标，取值范围为[0, 5]。)

Figure 4. Pursuit and escape adversarial trajectory based on the original Actor-Critic algorithm

图4. 基于原始Actor-Critic算法的追捕与逃逸对抗轨迹

图5显著体现了惯性正则化机制对策略空间探索能力的提升。追捕者智能体的状态转移序列展示出一种分层递进的全局规划策略，其并未受限于初始状态附近的局部梯度，而是优先执行了沿纵轴正方向的高阶位移操作。这种行为模式表明智能体的策略网络已经成功构建了对整个二维状态网格的价值评估映射，能够识别出通过占据网格中心或边界关键点来压缩逃逸者机动空间的战术优势。在追捕者逼近的压力下，逃逸者智能体表现出基于当前状态观测的随机规避行为，试图沿上边界区域进行反向机动以最大化曼哈顿距离。然而，由于追捕者采用了具备前瞻性的拦截路径，逃逸者的可行状态空间被迅速收敛。最终，双方的状态向量在坐标(3, 5)处发生重合，系统的状态距离范数归零。这一收敛过程证明了该方法在解决稀疏奖励下的长视距规划问题上具有显著的数学优越性。(横坐标(X轴)：代表智能体在离散网格中的水平位置坐标，取值范围为[0, 5]。纵坐标(Y轴)：代表智能体在离散网格中的垂直位置坐标，取值范围为[0, 5]。)

Figure 5. Pursuit and escape adversarial trajectories based on the inertial regularization Actor-Critic algorithm

图5. 基于惯性正则化的Actor-Critic算法的追捕与逃逸对抗轨迹

2.9. 总结

针对原始Actor-Critic架构在处理高阶动力学系统与强随机环境时存在的策略震荡与收敛困难问题，本章提出了一种基于惯性的策略正则化改进方案。算法在Actor网络的损失函数中引入了惯性惩罚项

$\Omega \left(\theta \right)=\frac{\lambda }{2}{\Vert {\theta }_t-{\theta }_{old}\Vert }^2$ ，这限制了参数在单次迭代中的剧烈突变。它确保了策略的演化必须遵循连续性原则，防止了智能体因单次采样偏差或瞬时环境反馈而产生过激的策略调整。

在具有20%滑动概率的离散网格博弈中，原始算法因无法抵抗单次负反馈样本的干扰，发生了严重的策略退化(如原地停滞)，导致任务成功率为0%。基于惯性正则化的Actor-Critic算法则展现了极强的抗噪能力，保持了策略在宏观方向上的一致性。实验结果表明，改进算法不仅将捕获成功率提升至98%，且习得了抵抗环境扰动的阶梯状最优路径，证明了其在非确定性环境下的鲁棒性。

NOTES

^*通讯作者。