基于一致性的多智能体动态编队方法

A Consistency-Based Approach to Dynamic Formation of Multi-Agents

摘要: 近年来，多智能体的协同控制在机器人等领域已经引起了很多学者的广泛关注，并得到了迅速的发展。本文针对无人机在飞行过程当中只有一个固定编队的问题展开研究，通过对算法进行改进从而实现无人机群的动态编队，以达到解决在多种情况下的不能实现自适应问题的目的。本文基于传统的多智能体编队方法，通过引入新变量的方法进行改进，首先引入了一个时间变量，在状态量后分别加入与时间相关的函数X(t)、Y(t)，通过改变参数对编队进行仿真，使编队中心随时间的改变而不断变化，编队形式也随之改变，从而实现动态编队。最后仿真结果表明改进的算法能够实现无人机群的动态编队控制，且改进后的动态编队与原编队相比，应用范围更加广泛，更加具有普遍性。

Abstract: In recent years, the cooperative control of multi-agent in robotics and other fields has attracted extensive attention of many scholars, and has been developed rapidly. In this paper, we study the problem that there is only one fixed formation in the flight process of UAV, and improve the algorithm to realize the dynamic formation of UAV group, in order to solve in many cases can not achieve the goal of adaptive problem. In this paper, based on the traditional multi-agent formation method, a new variable is introduced to improve the formation process. Firstly, a time variable is introduced, and then time-dependent functions X(t) and Y(t) are added after the static volume , respectively, by changing the parameters to simulate the formation, the formation center changes with the time, and the formation forms also change, so as to achieve dynamic formation. The simulation results show that the improved algorithm can realize the dynamic formation control of UAV group, and the improved dynamic formation has wider application range and more universality than the original formation.

1. 课题背景和意义

随着时间的推移，机器人技术迅速发展，机器人在越来越多的领域得到应用。然而，在一些工作环境较为恶劣、工作复杂程度较高的条件下，单个机器人往往难以应对，因此，多智能体协调控制应运而生。与单智能体相比，多智能体在各方面具有更强大的优越性，能够完成更复杂、更有技术含量的工作。

作为多智能体协调控制的重要组成部分，多智能体编队具有很广阔的发展前景，已经在工业、农业、军事等多个领域得到广泛应用。

在工业方面，文献 [1] 提出了一种防撞灯多种闪光模式在编队飞行中的应用方法。文献 [2] 针对内蒙古地区输电线路运维跨度大、环境复杂、单向辐射半径长、人员到岗率低等问题，研制了基于泛在物联网的多机编队智能自主巡检移动式机舱。

在军事方面，文献 [3] 指出两栖编队指挥信息系统是两栖作战力量形成基于信息系统的一体化作战能力的关键，具备跨平台、规模庞大、组成结构复杂和作战方式灵活多变等特点。文献 [4] 以军事决策思想为切入点，解析了目前航母编队防空作战的决策思想。

编队问题的研究是多智能体协同控制中的基础性问题，编队的实现可以提高多个智能体的工作效率，在多智能体领域具有十分重要的意义。

本文基于一致性，对旧的多智能体动态编队方法进行改进，引入新的时间变量，从而得到新的、更具有普遍性、应用范围更广的编队方法。

2. 编队常用方法及文献

近几十年，学术界已经对多智能体编队进行了许多研究。多智能体编队主要分为两步，第一步确定被控对象自身的位置坐标，第二步则根据其位置坐标和目标位置设计控制策略，驱动智能体以期望编队队形向目标位置驶进。目前在机器人领域有三种经典的编队控制方法，分别是：跟随领航者法(Leader-Follower)、基于行为法(Behavior Base)和虚拟结构法(Virtual Structure)。

跟随领航者法(Leader-Follower)是指从多个智能体中选出一个作为领航者，而编队中的其它智能体作为跟随者跟随领航者运动。整个多智能体系统的输入量是领航者自身的状态量如位置、速度等，其余智能体作为跟随者通过与领航者保持一定的距离或角度来实现编队的形成。当领航者的状态量发生改变时，跟随者将根据改变量来控制编队。文献 [5] 研究了大规模固定翼无人机集群编队控制问题。文献 [6] 在研究中说明了领航者与跟随者的状态、速度和方向信息是共享的，因而，该方法在控制多智能体时具有控制简单的特点，因此，可以把编队控制问题简化为独立的跟踪问题，每个跟随者只需获得领航者的状态信息即可，这大大简化了队形间的合作问题。文献 [7] 在研究过程当中，通过将跟随领航者法与群集运动相结合，并改进人工势场避障模型将其应用于多机器人系统当中，提出了基于势场避障的多机器人群集运动控制的可行性的观点。

基于行为法(Behavior Base)是指在进行编队控制时，对多智能体系统中的各个智能体设定某些基本行为，多个智能体共同工作，从而实现多智能体系统的整体编队。在进行编队的过程中，需要明确编队系统的基本行为是什么，当智能体的传感器接收到外界传来的信号如周围环境信息或编队队形后，根据这些输入信号做出及时的反应并输出信号。文献 [8] 研究了基于临近行为的多架无人机编队维护问题，利用近距离的行为观测建立了多架联合飞机自适应分布式编队飞行策略，解决了分布式编队灵活性差的问题。文献 [9] 主要针对航天器编队位置协同控制问题，采用行为方式控制策略，定义位置机动目标趋近和位置机动编队保持两个行为，并给出了误差指标，设计利用自身和邻近航天器状态和速度信息的位置协同控制器，通过Lyapunvo直接方法和LaSalle不变集原理分析了控制器的稳定性和收敛性。

虚拟结构法(Virtual Structure)的主要思想是将整个多智能体系统看作一个整体，也就是一个刚性的虚拟结构每个智能体都看作刚性结构中的一点。在系统进行编队时，队形中每一个点的位置会发生变化，但点与点之间的相对位置保持不变。虚拟结构法实际上就是整个多智能体系统跟踪一虚拟点的问题。相对于其它方法，虚拟结构法有许多优点：编队误差的引入使得系统的控制精度更高；各个智能体之间的通讯协议较为简单。文献 [10] 针对多无人机编队控制问题，提出了一种基于虚拟结构法的非线性鲁棒控制算法。在考虑多无人机近距离编队飞行时相互间的气流扰动影响的同时，设计了基于supertwisting的鲁棒控制算法，提高了编队系统的控制精度和稳定性。利用Lyapunov稳定性分析方法，证明了位置跟踪误差在有限时间内收敛到滑模面，得到闭环系统全局渐近稳定的结果。文献 [11] 在研究多移动机器人协同编队控制问题时，提出一种基于虚拟结构的分布式预测控制算法。与现有编队控制方法相比，基于虚拟结构的方法可以使移动团队更加稳定地保持期望编队队形运动。

除此之外，其余编队方法如基于图论法也广泛应用。在执行任务时，多个智能体往往会形成一定规模，智能体之间需要相互通信，从而形成了网络结构，此时便可通过数学中的图论将网络结构建模，形成图的形式。数学中图论的相关知识发展已经非常完善，所以以图论为基础将编队进行建模后，便能更清晰、快捷地分析多智能体系统的性质。

3. 本论文研究内容

第1~3节介绍了编队算法在多智能体领域的重要意义及作用，当前编队方面使用的常用方法，以及本篇论文的主要贡献。

第4节首先对系统进行建模，介绍相关算法及控制原理。然后定义控制目标，给出了具体的控制算法，通过矩阵运算证明算法的运算过程，并对算法的原理进行解释说明。最后描述改进前算法的实验过程，并对原算法进行仿真，计算得到最终的实验结果以及编队误差图。

第5节给出改进后的公式，得出新的算法，仿真后得出新的实验结果。

第6节对文章进行总结，给出实验结论。

本论文在参考文献 [12] 的基础上，对该系统进行改进，通过改变其参考函数，对每个系统的初始状态量进行跟踪，使编队结果能够随着不同初始状态量的变化而变化，从而使编队系统由原来的静态变为动态。与静态编队相比，动态编队考虑到多智能体系统的初始状态量可能会受到时间以及外界环境的影响发生变化，从而影响最终的编队形成，与实际情况更加符合，具有更强的说服力。

4. 改进前编队及控制算法

参考文献 [12] 对编队控制方法的假设描述，假设一个无人机群系统由若干无人机组成，对于每一架无人机，编队控制都可以分为外环控制和内环控制两个部分(如图1所示)。其中，内环控制用于稳定姿态，外环控制用于驱动无人机走向所需位置。外环控制将输入的编队信息与理想编队进行比较，不断改变智能体的位置、速度，最终使得编队形成。本论文主要研究编队的外环控制，内环控制可通过参考文献 [13] 中的PD控制器进行控制。无人机编队外环控制的动力学方程可用式(1)来表示。

$\{\begin{array}{l}{\stackrel{\dot{}}{x}}_i\left(t\right)=v_i\left(t\right)\\ {\stackrel{\dot{}}{v}}_i\left(t\right)=u_i\left(t\right)\end{array}$ (1)

其中 $x_i\left(t\right)$ 、 $v_i\left(t\right)$ 、 $u_i\left(t\right)$ 分别代表无人机的位置、速度、控制输入量。

Figure 1. UAV formation control chart

图1. 无人机编队控制图

N架无人机之间的交互拓扑可用无向图 $G=\left\{V,E,W\right\}$ 来表示，其中V代表点集，E代表边集，W代表非负元素 $w_{ij}$ 的对称邻接矩阵。定义拉普拉斯矩阵L为 $L=D-W$，其中D为入度矩阵， $D=diag\left\{{\displaystyle {\sum }_{j=1}^N{w}_{ij}},i=1,2,\cdots ,N\right\}$。如果每一个节点到其它节点都存在任意一条连通的路径，则称无向图G是连通的。拉普拉斯矩阵在编队控制中可以起到简化计算的作用，具有重要意义。

令 ${\psi }_i\left(t\right)={\left[x_i\left(t\right),v_i\left(t\right)\right]}^{\text{T}}$， $A_1={\left[1,0\right]}^{\text{T}}$， $A_2={\left[1,0\right]}^{\text{T}}$，代入式(1)，则无人机群系统可表示为

${\stackrel{\dot{}}{\psi }}_i\left(t\right)=A_1{A}_2^{\text{T}}{\psi }_i\left(t\right)+A_2{u}_i\left(t\right)$ (2)

令 $\mu \left(t\right)$ 为时变编队， $\mu \left(t\right)={\left[{\mu }_1^{\text{T}}\left(t\right),{\mu }_2^{\text{T}}\left(t\right),\cdots ,{\mu }_N^{\text{T}}\left(t\right)\right]}^{\text{T}}$， ${\mu }_i\left(t\right)$ 为分段的连续可微向量， ${\mu }_i\left(t\right)={\left[{\mu }_{ix}\left(t\right),{\mu }_{iv}\left(t\right)\right]}^{\text{T}}$。

若系统(2)满足 $\underset{t\to \infty }{\lim }\left({\psi }_i\left(t\right)-{\mu }_i\left(t\right)-r\left(t\right)\right)=0\left(i=1,2,\cdots ,N\right)$，则其可实现时变编队 $\mu \left(t\right)$。

根据参考文献 [12]，对于第i架无人机，具有切换交互拓扑的时变编队控制协议为

$u_i\left(t\right)=K_1\left({\psi }_i\left(t\right)-{\mu }_i\left(t\right)\right)+K_2{\displaystyle {\sum }_{j=1}^N{w}_{ij}}\left(\left({\psi }_j\left(t\right)-{\mu }_j\left(t\right)\right)-\left({\psi }_i\left(t\right)-{\mu }_i\left(t\right)\right)\right)+{\stackrel{\dot{}}{\mu }}_{iv}\left(t\right)$ (3)

具有交换拓扑的无人机群系统实现时变编队的充要条件为：对于任意 $i\in \left\{1,2,\cdots ,N\right\}$，均有

$\underset{t\to \infty }{\lim }\left(\left({\mu }_{iv}\left(t\right)-{\mu }_{jv}\left(t\right)\right)-\left({\stackrel{\dot{}}{\mu }}_{iv}\left(t\right)-{\stackrel{\dot{}}{\mu }}_{jv}\left(t\right)\right)\right)=0,j\in N_{\sigma \left(t\right)}^i$ (4)

(3)式中 $K_1$ 、 $K_2$ 均为增益矩阵。 $K_1$ 、 $K_2$ 的值可通过下述方法求得：

对于给定的编队，检查其是否满足式(4)，若不满足，则无人机群系统(2)不能在式(3)条件下实现编队。

通过在复平面内为特征式 $A_2{K}_1+A_1{A}_2^{\text{T}}$ 赋值来选择 $K_1$，以此确定编队的运动模式。

根据公式 $P\left(A_2{K}_1+A_1{A}_2^{\text{T}}\right)+{\left(A_2{K}_1+A_1{A}_2^{\text{T}}\right)}^{\text{T}}P-P{A}_2{A}_2^{\text{T}}P+I=0$ 求解P， $K_2={\left(2{\lambda }_{\min }\right)}^{-1}{A}_2^{\text{T}}P$。

根据参考文献 [12] 进行仿真分析，四旋翼飞机按以下形式进行编队：

${\mu }_i\left(t\right)=\left[\begin{array}{c}r\cos \left(\omega t+\left(i-1\right)\pi /2\right)\\ -\omega r\sin \left(\omega t+\left(i-1\right)\pi /2\right)\\ r\sin \left(\omega t+\left(i-1\right)\pi /2\right)\\ \omega r\cos \left(\omega t+\left(i-1\right)\pi /2\right)\end{array}\right]\left(i=1,2,3,4\right)$ (5)

根据参考文献 [12]， $r=10\text{m}$， $\omega =0.6\text{rad}/\text{s}$。仿真结果如图2所示。

对该编队进行误差分析，得出位置与速度分别在x轴、y轴方向的误差，仿真结果如图3所示。

Figure 2. Formation position simulation diagram (1)

图2. 编队位置仿真图(1)

Figure 3. Error simulation curve

图3. 误差仿真曲线

5. 修改后的算法

原算法只有一个固定编队，编队形式不能随输入信号的改变而发生变化。即该编队不是动态的，很多情况下不能解决问题，不具有普遍性，所以我们考虑能否对原算法进行改进，从而实现动态编队。

考虑在原公式中加入一个时间变量，使输入信号随时间的变化线性或非线性改变，多智能体编队也随之改变，从而实现由动态编队到动态编队的转变。具体方法如下：

在公式(5)的基础上，分别在x、y方向上两个表示位置的量后加入与时间有关的函数X(t)、Y(t)，与之相对应，x、y方向上两个表示速度的量后应加入函数 $X^{\prime }\left(t\right)$ 、 $Y^{\prime }\left(t\right)$。改进后，输入信号将按不同方式发生改变，四旋翼飞机也将按不同形式进行编队，具体编队如下：

${\mu }_i\left(t\right)=\left[\begin{array}{c}r\cos \left(\omega t+\left(i-1\right)\pi /2\right)+X\left(t\right)\\ -\omega r\sin \left(\omega t+\left(i-1\right)\pi /2\right)+X^{\prime }\left(t\right)\\ r\sin \left(\omega t+\left(i-1\right)\pi /2\right)+Y\left(t\right)\\ \omega r\cos \left(\omega t+\left(i-1\right)\pi /2\right)+Y^{\prime }\left(t\right)\end{array}\right]\left(i=1,2,3,4\right)$ (6)

代入不同的X(t)、Y(t)，其中两种编队方式如下：

${\mu }_i\left(t\right)=\left[\begin{array}{c}r\cos \left(\omega t+\left(i-1\right)\pi /2\right)+0.5t\\ -\omega r\sin \left(\omega t+\left(i-1\right)\pi /2\right)+0.5\\ r\sin \left(\omega t+\left(i-1\right)\pi /2\right)+0.5t\\ \omega r\cos \left(\omega t+\left(i-1\right)\pi /2\right)+0.5\end{array}\right]\left(i=1,2,3,4\right)$ (7)

Figure 4. Formation position simulation diagram (2)

图4. 编队位置仿真图(2)

Figure 5. Formation position simulation diagram (3)

图5. 编队位置仿真图(3)

${\mu }_i\left(t\right)=\left[\begin{array}{c}r\cos \left(\omega t+\left(i-1\right)\pi /2\right)+\sin t\\ -\omega r\sin \left(\omega t+\left(i-1\right)\pi /2\right)+\cos t\\ r\sin \left(\omega t+\left(i-1\right)\pi /2\right)+0.5t\\ \omega r\cos \left(\omega t+\left(i-1\right)\pi /2\right)+0.5\end{array}\right]\left(i=1,2,3,4\right)$ (8)

其中， $r=10\text{m}$， $\omega =0.6\text{rad}/\text{s}$。对上述两种时变编队进行仿真，仿真结果如图4、图5所示。

6. 结论

本文首先对参考文献 [12] 中的编队进行了仿真，发现其为固定编队，不能实现动态编队。为了解决该问题，我们引入了一个时间变量，在状态量 ${\mu }_i\left(t\right)$ 后分别加入与时间有关的函数X(t)、Y(t)，使编队中心随时间的改变而不断变化，编队形式也随之改变，从而实现动态编队。最后经过仿真验证，该算法有效。改进后的动态编队与原编队相比，应用范围更加广泛，更加具有普遍性。