基于强化学习的多智能体系统一致性跟踪控制算法

Reinforcement Learning-Based Consensus Tracking Control Algorithm for Multi-Agent Systems

摘要: 本文提出了一种新颖的基于强化学习的无模型自适应控制算法，适用于具有未知动态的离散时间非线性多智能体系统。采用等效动态线性化算法来设计最优控制器。针对Q学习策略和演员–评论家(actor-critic)神经网络进行了重构，以促进一致性控制。所提出的强化学习方法能够仅基于输入–输出数据实时动态调整线性化参数。通过数值仿真验证了该方法的有效性。

Abstract: This paper presents a novel reinforcement learning-based model-free adaptive control algorithm for discrete-time nonlinear multi-agent systems with unknown dynamics. The equivalent dynamic linearization algorithm is employed to design an optimal controller. The Q-Learning strategy and actor-critic neural network are restructured to facilitate consensus control. The proposed reinforcement learning approach dynamically adjusts linearization parameters in real-time using only input-output data. Numerical simulations validate the method’s effectiveness.

1. 引言

近年来，随着计算能力的提升，神经网络在解决复杂非线性系统的跟踪控制问题方面展现出了巨大潜力。强化学习(Reinforcement Learning, RL)是一种机器学习的分支，其中智能体(agent)通过与环境的交互进行决策训练。在强化学习中，智能体通过试错学习，并根据获得的奖励或惩罚来优化决策策略。深度学习的引入使强化学习能够处理复杂的高维输入空间[1]，从而大幅扩展了其适用范围。随着强化学习的发展及其有效性的提升，越来越多的控制方法基于强化学习算法被设计。在[2]中，强化学习方法通过跟踪误差变换实现了数据驱动的最优控制器的演化；在[3]中，强化学习被集成到迭代学习控制中。

无模型自适应控制(Model-Free Adaptive Control, MFAC)是一种无需精准数学模型即可运行的控制策略，特别适用于动态特性复杂或未知的系统。MFAC方法能够根据当前系统性能调整控制策略，其自适应性使其非常适用于处理许多实际应用中的非线性和不确定性问题。在[4]中，事件触发的MFAC方法被用于在传感器故障和拒绝服务(DoS)攻击情况下保证跟踪性能。在[5]中，MFAC方法成功解决了无人水面艇的航向控制问题，并有效应对了系统的不确定性。此外，在[6]中，MFAC与神经网络的结合实现了更精确的控制效果。

在多智能体系统(Multi-Agent Systems, MASs)领域，控制问题的复杂性显著增加。MAS由多个智能体组成，这些智能体在决策过程中协同工作，并不断变化，表现出复杂的非线性行为[7] [8]。一致性控制[9] [10]是MAS研究的核心内容，旨在使所有智能体在个体差异和外部不确定性影响下仍能实现共同目标。确保系统协调行为是一项重大挑战，且受制于系统的非线性特性。[11]和[12] [13]分别采用了非周期采样数据方法和事件触发方法，实现了对复杂非线性系统的有效一致性控制。

结合强化学习与无模型自适应控制以控制MASs提供了一种新颖而有效的方法。该组合充分利用了两种方法的优势，为离散非线性MAS的一致性控制提供了全面的解决方案。基于上述讨论，本文的主要贡献可总结如下：本文研究了强化学习和无模型自适应控制在MASs中的集成，并重新设计了Q学习策略和演员–评论家(actor-critic)神经网络，使其更适用于MASs。通过重新设计，这些方法能够更精确地逼近最优动态线性化参数。结合MFAC方法，所提出的算法在MASs的一致性控制方面表现出较强的能力。此外，该算法显著增强了对环境变化的适应性和鲁棒性，并加快了收敛速度。通过仿真实验进一步验证了其实用性。

2. 控制器设计

在多智能体系统中，网络结构由$\mathcal{G}=\left(\mathcal{V},ℰ,\mathcal{A}\right)$ 表示，其中$\mathcal{V}$ 表示智能体集合$\left\{1,2,\cdots ,N\right\}$ 。集合$ℰ$ 是$\mathcal{V}\times \mathcal{V}$ 的子集，描述了智能体之间可能的通信连接。邻接矩阵$\mathcal{A}$ 的元素为$a_{ij}$ ，其中$a_{ij}=1$ 表示智能体j到智能体i存在直接通信链接，而$a_{ij}=0$ 表示没有直接通信。此外，当智能体i接收来自领导者的数据时，设定$d_i=1$ ；否则，$d_i=0$ 。对角矩阵$\mathcal{D}$ 定义为$diag\left(d_1,d_2,\cdots ,d_N\right)$ 。每个智能体i的邻居集合表示为$N_i=\left\{j\in \mathcal{V}|\left(j,i\right)\in ℰ\right\}$ 。智能体i的入度(in-degree)定义为$d_i^{\text{in}}={\displaystyle {\sum }_{j=1}^N{a}_{ij}}$ 。最终，拉普拉斯矩阵(Laplacian Matrix) $ℒ$ 由$ℒ=L-\mathcal{A}$ 给出，其中L是$diag\left(d_1^{\text{in}},d_2^{\text{in}},\cdots ,d_N^{\text{in}}\right)$ 。

由N个智能体组成的MAS的动力学可以表示为：

$y_i\left(t+1\right)=f_i\left(y_i\left(t\right),y_i\left(t-1\right),\cdots ,y_i\left(t-n_y\right),u_i\left(t\right),u_i\left(t-1\right),\cdots ,u_i\left(t-n_u\right)\right)$ (1)

其中，$i\in \mathcal{V}$ ，$f_i(·)$ 代表一个未知的非线性函数。变量$y_i\left(t\right)\in ℝ$ 表示智能体i在离散时间$t\in {\mathbb{Z}}^{+}$ 时刻的输出，$u_i\left(t\right)\in ℝ$ 表示对应的输入。常数$n_y$ 和$n_u$ 分别表示系统的未知阶数。

根据文献[14]，如果存在理想的非线性控制器，则系统(1)可以转换为如下形式：

$u_i\left(t\right)=C_i\left(e_i\left(t+1\right),\cdots ,e_i\left(t-n_e\right),u_i\left(t-1\right),\cdots ,u_i\left(t-n_c\right)\right)$ (2)

其中，$C_i(·)$ 是智能体i的未知非线性函数，$e_i\left(t\right)=y_d\left(t\right)-y_i\left(t\right)$ 代表智能体i的跟踪误差，$y_d\left(t\right)$ 是理想系统输出，$n_e,n_c\in {\mathbb{Z}}^{+}$ 是未知阶数。

假设系统满足以下条件：

假设1：对于任何时间$t\in {\mathbb{Z}}^{+}$ ，控制器$C_i(·)$ 相对于误差输入$e_i\left(t+1\right),e_i\left(t-1\right),\cdots ,e_i\left(t-n_e+2\right)$ 和控制输入$u_i\left(t\right),u_i\left(t-1\right),\cdots ,u_i\left(t-n_c\right)$ 的偏导数是连续的，其中$n_e,n_c$ 是预设的常数。

假设2：控制器(2)满足广义Lipschitz条件，即：

$\left|\Delta u_i\left(t\right)\right|\le L\Vert {\zeta }_i\left(t\right)\Vert \left|\Delta u_i\left(t\right)\right|\le L\left|{\zeta }_i\left(t\right)\right|\left|\Delta u_i\left(t\right)\right|\le L\Vert {\zeta }_i\left(t\right)\Vert$ (3)

其中，$L>0$ 是Lipschitz常数，${\zeta }_i\left(t\right)={\left[\Delta e_i\left(t+1\right),\cdots ,\Delta e_i\left(t-n_e+2\right),\Delta u_i\left(t-1\right),\cdots ,\Delta u_i\left(t-n_c\right)\right]}^{\text{T}}$ ，$\Delta u_i\left(t\right)=u_i\left(t\right)-u_i\left(t-1\right)$ 。

假设3：存在理想的控制器参数，使得${\text{e}}_i\left(t+1\right)=0$ 成立。

假设4：虚拟领导者(编号0)的输出，即理想轨迹$y_d\left(t\right)$ ，至少被一个跟随者(follower)智能体所知，并且该智能体的信息可以沿着拓扑结构的有向路径传播至所有智能体。

引理1：对于满足假设1~3的系统智能体i，根据文献[14]，理想控制器(2)可以转换为：

$\Delta u_i\left(t\right)={\overline{\zeta }}_i{}^{\text{T}}\left(t\right){\psi }_i\left(t\right)$ (4)

${\overline{\zeta }}_i\left(t\right)={\left[-e_i\left(t\right),\cdots ,\Delta e_i\left(t-n_e+2\right),\Delta u_i\left(t-1\right),\cdots ,\Delta u_i\left(t-n_c\right)\right]}^{\text{T}}$和${\psi }_i\left(t\right)={\left[{\psi }_{i,1}\left(t\right),\cdots ,{\psi }_{i,n_e+n_c}\left(t\right)\right]}^{\text{T}}$ 是有界的。

引理2：对于方程(1)，采用等效动态线性化(Equivalent Dynamic Linearization, EDL)技术[15]，可推导出系统(1)的等效数据模型，并将其表示为部分形式动态线性化(Partial Form Dynamic Linearization, PFDL)形式：

$y_i\left(t+1\right)=y_i\left(t\right)+v_i^{\text{T}}\left(t\right){\varphi }_i\left(t\right)$ (5)

$v_i^{\text{T}}\left(t\right)=\left[\Delta u_i\left(t\right),\cdots ,\Delta u_i\left(t-n_u+1\right),\Delta y_i\left(t\right),\cdots ,\Delta y_i\left(t-n_y+1\right)\right]$ ，${\varphi }_i\left(t\right)={\left[{\varphi }_{i,1}\left(t\right),\cdots ,{\varphi }_{i,n_u+n_y}\left(t\right)\right]}^{\text{T}}$ 。

随后，基于数据模型参数${\varphi }_i\left(t\right)$ 的调整规则，在每个采样时刻的更新公式如下：

${\widehat{\varphi }}_i\left(t\right)={\widehat{\varphi }}_i\left(t-1\right)-\Gamma {\widehat{e}}_i\left(t\right)v_i\left(t-1\right)$ (6)

其中，$\Gamma$ 是步长矩阵，${\widehat{e}}_i\left(t\right)={\widehat{y}}_i\left(t\right)-y_i\left(t\right)$ 。因此，PFDL形式(5)可以转换为：

${\widehat{y}}_i\left(t+1\right)=y_i\left(t\right)+v_i^{\text{T}}\left(t\right){\widehat{\varphi }}_i\left(t\right)$ (7)

3. 强化学习算法设计

在第三部分中，提出了一种创新的无模型自适应控制方法，该方法结合了强化学习技术。其主要创新点在于构建了一种基于强化学习算法的Actor-Critic神经网络框架的控制器架构。此外，通过将动态线性化技术与强化学习过程相结合，可以保证系统的稳定性。

3.1. 价值函数

价值函数$r_i\left(t\right)\in ℝ$ 由一致性误差${\xi }_i\left(t\right)$ 表示，即：

$r_i\left(t\right)=\alpha \left|{\xi }_i\left(t\right)\right|$ (8)

${\xi }_i\left(t\right)={\displaystyle {\sum }_{j\in N_i}{a}_{ij}}\left(y_j\left(t\right)-y_i\left(t\right)\right)+d_i\left(y_d\left(t\right)-y_i\left(t\right)\right)$ (9)

其中，$\alpha >0$ 是预设参数。

性能指标$Q_i\left(t\right)\in ℝ$ 表示为：

$Q_i\left(t\right)={\beta }^N{r}_i\left(t+1\right)+{\beta }^{N-1}{r}_i\left(t+2\right)+\cdots +{\beta }^{k+1}{r}_i\left(N\right)+\cdots$ (10)

其中，$0<\beta <1$ 和$N>0$ 为预设常数，该公式可简化为以下形式：

$Q_i\left(t\right)={\text{min}}_{u_i\left(t\right)}\left(\beta Q_i\left(t-1\right)-{\beta }^{N+1}{r}_i\left(t\right)\right)$ (11)

3.2. Actor-Critic神经网络

Critic Network用于估计值函数$Q_i\left(t\right)$ ，而Actor Network用于逼近控制器参数${\psi }_i\left(t\right)$ 。它们的数学表达式如下：

$\widehat{Q}i\left(t\right)=\widehat{W}i,c^{\text{T}}\left(t\right)H_{i,c}\left(t\right)$ (12)

$\widehat{\psi }i\left(t\right)=\widehat{W}i,a^{\text{T}}\left(t\right)H_{i,a}\left(t\right)$ (13)

${\widehat{\psi }}_i\left(t\right)=sat\left(\underset{\_}{\widehat{\psi }},\overline{\widehat{\psi }}\right)$

其中，$\underset{\_}{\widehat{\psi }}$ 和$\overline{\widehat{\psi }}$ 为预定义常数，${\widehat{W}}_{i,c}^{\text{T}}$和${\widehat{W}}_{i,a}^{\text{T}}$分别表示评论神经网络和演员神经网络的权重矩阵。演员网络和评论网络的输出激活分别表示为$H_{i,a}$ 和$H_{i,c}$ 。

$h_{i,c,m}\left(t\right)=\text{exp}\left(-{\left|{\xi }_i\left(t\right)-c_{c,m}\right|}^2/{\gamma }_i^2\right),m\in \left\{1,\cdots ,L_c\right\}$ (14)

$h_{i,a,n}\left(t\right)=\text{exp}\left(-{\left|{\xi }_i\left(t\right)-c_{a,n}\right|}^2/{\gamma }_i^2\right),n\in \left\{1,\cdots ,L_a\right\}$ (15)

其中，$h_{i,c,m}$ 和$h_{i,a,n}$ 分别表示评论神经网络的第m层隐藏层激活和演员神经网络的第n层隐藏层激活，${\gamma }_i$ 和c分别指定隐藏层的宽度和中心。评论神经网络的目标函数表示如下：

$E_{i,c}\left(t\right)=\frac{1}{2}{\text{e}}_{i,c}^2\left(t\right)$ (16)

其中，$e_{i,c}\left(t\right)={\widehat{Q}}_i\left(t\right)-\beta \left({\widehat{Q}}_i\left(t-1\right)-{\beta }^N{r}_i\left(t\right)\right)$ ，权重更新规则如下：

$\widehat{W}i,c\left(t+1\right)=\widehat{W}i,c\left(t\right)-{\eta }_c{H}_{i,c}\left(t\right)\left(\widehat{Q}i\left(t\right)+{\beta }^{N+1}ri\left(t\right)-\beta {\widehat{Q}}_i\left(t-1\right)\right)$ (17)

${\widehat{W}}_{i,a}^T\left(t+1\right)={\widehat{W}}_{i,a}^T\left(t-1\right)-\frac{{\eta }_a{\overline{\zeta }}_i\left(t-1\right)\left(e_i\left(t\right)-{\widehat{Q}}_{i,a}\left(t\right)\right){\widehat{\varphi }}_{i,1}\left(t-1\right)H_{i,a}^T\left(t-1\right)}{1+\left|{\overline{\zeta }}_i\left(t-1\right){|}^2\right|H_{i,a}\left(t-1\right){|}^2|{\widehat{\varphi }}_{i,1}\left(t-1\right){|}^2}$ (18)

其中，${\eta }_a,{\eta }_c\in ℝ$ 为更新速率，${\widehat{Q}}_{i,a}\left(t\right)={\widehat{Q}}_i\left(t\right)\alpha sign\left({\xi }_i\left(t\right)\right){\beta }^{N+1}$ 。随后，控制信号表示为：

$\Delta u_i\left(t\right)=\overline{\zeta }{i}^{\text{T}}\left(t\right)\widehat{\psi }i\left(t\right)$ (19)

为了更好地说明本文讨论的控制技术，RLMFAC算法的架构如图1所示。

Figure 1. The architecture of RLMAFC algorithm

图1. RLMFAC算法结构

备注1：由于系统模型不可直接获取，因此无法直接计算${\varphi }_i\left(t-1\right)$ 。因此，在RLMFAC算法中，必须使用数据模型来对${\varphi }_i\left(t-1\right)$ 进行逼近。

备注2：与传统MFAC方法不同，以往方法通常使用输入输出数据逼近$\partial y_i\left(t+1\right)/\partial u_i\left(t\right)$ 和$y_i\left(t+1\right)$ ，而当前RLMFAC策略在控制器设计过程中无需逼近$y_i\left(t+1\right)$ ，从而大大拓展了其在实际应用中的适用范围。

4. 仿真验证

本节展示了仿真结果，以验证所提出算法在多智能体系统(MASs)中的有效性。

对于包含四个智能体及一个领导者(编号0)的MAS，其网络拓扑结构如图2所示。系统的动力学方程如下：

$y_1\left(t+1\right)=1.2u_1\left(t\right)\left(5+\cos \left(2y_1\left(t\right)u_1\left(t\right)\right)\right)+0.8\sin \left(y_1\left(t\right)\right)$

$y_2\left(t+1\right)=0.8u_2\left(t\right)\left(4+\cos \left(3y_2\left(t\right)u_2\left(t\right)\right)\right)+\sin \left(y_2\left(t\right)\right)$

$y_3\left(t+1\right)=1.1u_3\left(t\right)\left(3+\cos \left(4y_3\left(t\right)u_3\left(t\right)\right)\right)+1.2\sin \left(y_3\left(t\right)\right)$

$y_4\left(t+1\right)=0.9u_4\left(t\right)\left(6+\text{cos}\left(y_4\left(t\right)u_4\left(t\right)\right)\right)+0.6\text{sin}\left(y_4\left(t\right)\right)$

Figure 2. The network topology structure of the MAS

图2. 多智能体系统网络拓扑结构

其中，$t\in {\mathbb{Z}}^{+}$ 表示采样时间。理想轨迹$y_d\left(t\right)$ 定义如下：

$y_d\left(t\right)=0.55+0.25\left(\text{sin}\left(\frac{2\pi t}{50}\right)+\text{sin}\left(\frac{2\pi t}{100}\right)+\text{sin}\left(\frac{2\pi t}{150}\right)\right)$

系统的初始条件设定如下：${\varphi }_i\left(1\right)={\left[1,1,1,1\right]}^{\text{T}},u_i\left(1\right)=0,y_i\left(1\right)=0,{\widehat{Q}}_i\left(1\right)=0,{\widehat{W}}_{i,c}\left(1\right)=0_{27\times 1},H_{i,c}\left(1\right)=0_{27\times 1},{\widehat{W}}_{i,a}\left(1\right)=0_{9\times 4},H_{i,a}\left(1\right)=0_{9\times 4}$。

仿真参数设定如下：$\Gamma =0.001\times {\text{I}}_{4\times 4},L=9,N=4,n_u=1,n_y=3,n_c=1,n_e=3$ , ${\eta }_a=0.06,{\eta }_c=0.03,\alpha =7,\beta =0.1$ 。

仿真结果如图3~5所示。图3展示了RLMFAC算法对理想轨迹$y_d\left(t\right)$ 的跟踪性能，图4显示了相应的跟踪误差，而图5展示了控制信号的轨迹。

Figure 3. The tracking performances of RLMFAC algorithm

图3. RLMFAC算法的跟踪效果

Figure 4. The tracking errors of RLMFAC algorithm

图4. RLMFAC算法的跟踪误差

Figure 5. The trajectories of input signals

图5. 输入信号轨迹

仿真结果表明，RLMFAC算法在MASs中具有良好的性能。因此，该算法能够有效应用于非线性离散时间系统。

5. 结论

在本研究中，提出了RLMFAC算法，旨在解决离散时间非线性多智能体系统中的一致性跟踪问题。该方法的核心基于专门设计的值函数策略，以应对MASs的复杂性挑战。仿真结果表明，RLMFAC算法在跟踪理想轨迹方面具有良好的效果。然而，该算法在跟踪快速变化的目标时仍存在一定的困难。因此，使RLMFAC算法适应各种实际应用场景仍然是我们持续研究的目标。