基于椭球积分的集群扰动及其数值方法
Cluster Disturbance Based on Ellipsoid Calculus and Its Numerical Method
DOI: 10.12677/PM.2022.124054, PDF, HTML, XML, 下载: 218  浏览: 338 
作者: 侯 敏, 敬鲁晶:青岛大学,数学与统计学院,山东 青岛
关键词: 椭球积分随机扰动HJB方程值函数数值方法Ellipsoidal Calculus Stochastic Disturbance Hamilton-Jacobi-Bellman Equation Value Function Numerical Method
摘要: 本文基于椭球积分考察了具有随机扰动的集群控制问题。通过HJB方程计算值函数,并建立数值方法得到集群的最优控制。主要结论可用于处理集群在风场、信号场等现实场景的运动控制问题。
Abstract: In this paper, the cluster control problem with random disturbance is investigated based on the ellipsoid integral. The value function is calculated by the HJB equation, and a numerical method is established to obtain the optimal control of the swarm. The main conclusions can be used to deal with the movement of the cluster in real scenes such as wind field and signal field.
文章引用:侯敏, 敬鲁晶. 基于椭球积分的集群扰动及其数值方法[J]. 理论数学, 2022, 12(4): 482-489. https://doi.org/10.12677/PM.2022.124054

1. 引言

本文考察具有非退化椭球值轨迹的多值控制微分系统。无论是Pontryagin LS处理基于控制参数满足限制条件的最优控制问题 [1],还是Bellman R和Kalaba R等学者依据Lyapunov技术、Bellman动态规划和Pontryagin极大值原理的优化技术进行分析和综合 [2],或者是Krasovskii NN提出的关于线性系统的运动控制理论 [3],这些理论方法都是解决最优控制问题的相关工具,对集值微积分和集值动力学的发展具有重要意义 [4]。

俄罗斯莫斯科国立大学的Kurzhanski AB教授团队一直致力于对控制问题的各方面研究,尤其在根据椭球逼近方法考察集群运动问题上颇有成果。早在1991年该团队就考察了椭球技术在动力学系统建模中各种问题中的应用 [5]。以Krasovski NN的极值瞄准策略概念为基础 [6],研究了集值映射的椭圆值演算的构造解及其相关逼近技术。产生了适用于算法过程和计算机图形模拟的建设性方案 [7]。进一步在控制综合问题中引入有界扰动,Kurzhanski AB团队同样采用动态系统的椭球技术来处理此类不确定系统的问题 [8]。

本文共分为五节,第一节介绍基本椭球系统;第二节介绍具有随机扰动的椭球系统,并给出最优控制的求解过程;第三节通过数值仿真给出椭球运动的轨迹管;第四节分析了算法的合理性;第五节是对全文的总结和展望。

2. 基本椭球系统

首先介绍椭球控制中的基本概念符号,包括非退化椭球的定义、椭球中心、构型矩阵、目标函数等内容。

定义1.1 [9] 定义 n 空间中以q为中心、以Q为构型矩阵的非退化椭球如下

ε ( q , Q ) = { x n : x q , Q 1 ( x q ) 1 } ,

其中 q n Q n × n Q = Q > 0 Q 表示矩阵Q的转置, , 表示内积, x , Q x > 0 对所有 x n 均成立。

考察定义在时间区间 [ t 0 , θ ] 上的线性时变系统,其运动方程为

q ˙ ( t ) = A ( t ) q + C ( t ) u ( t ) , q ( t 0 ) = q 0 , (1)

Q ˙ ( t ) = T ( t ) Q + Q T ( t ) + B ( t ) U ( t ) B ( t ) , Q ( t 0 ) = Q 0 , (2)

矩阵函数 A ( t ) n × n B ( t ) n × m 2 C ( t ) n × m 1 T ( t ) n × n 均关于时间t连续,其中 u ( t ) m 1 是对中心q的控制, U ( t ) m 2 × m 2 是对构型矩阵Q的控制,且 T ( t ) U ( t ) 为对称矩阵。

本文研究的椭球类型为 ε [ t ] = ε ( q ( t ) , Q ( t ) ) ,初始椭球表示为 ε [ t 0 ] = ε ( q 0 , Q 0 ) ,目标集 M 是目标椭球 ε ( m , M ) 的邻域,即

M = { ( q , Q ) : q m , q m + [ Q M , Q M ] ω 2 , 0 < ω < 1 } , (3)

其中 [ · , · ] 表示矩阵内积。

我们要解决的问题是寻找控制 u ( t ) U ( t ) ,使得目标函数最小,即

Ψ ( t 0 , q 0 , Q 0 | β , u ( ) , U ( ) ) = t 0 θ [ U ( t ) , U ( t ) ] d t + [ ( Q ( θ ) M ) , ( Q ( θ ) M ) ] + t 0 θ u ( t ) , u ( t ) d t + q ( θ ) m , q ( θ ) m = min u , U . (4)

使得椭球体能够在控制的作用下从初始状态运动到目标椭球。

3. 具有随机扰动的椭球系统

在现实集群运动中,我们忽略风、空气对流等扰动因素对集群内部每个成员的影响。当集群内部成员较多时,对每个成员在避免相互碰撞又共同向既定目标运动的情形下加入扰动的刻画是非常复杂的,我们考虑扰动因素对集群外部的椭球体影响。基于这样的背景,寻找集群的最优控制 u 1 ( t ) , U 1 ( t )

考察定义在时间区间 [ t 0 , θ ] 上的线性时变系统,对椭球中心 q 1 与构型矩阵 Q 1 的方程分别加入扰动 f ( t ) F ( t ) ,那么运动方程可以表述为

q ˙ 1 ( t ) = A 1 ( t ) q 1 + C 1 ( t ) u 1 ( t ) + f ( t ) , q ( t 0 ) = q 0 , (5)

Q ˙ 1 ( t ) = T 1 ( t ) Q 1 + Q 1 T 1 ( t ) + B 1 ( t ) U 1 ( t ) B 1 ( t ) + F ( t ) , Q 1 ( t 0 ) = Q 1 0 , (6)

目标椭球表示为 ε ( m f , M F )

定义具有随机扰动的椭球系统的目标函数为

Ψ 1 ( t 0 , q 1 0 , Q 1 0 | β , u 1 ( ) , U 1 ( ) ) = t 0 θ β [ U 1 ( t ) , U 1 ( t ) ] d t + [ ( Q 1 ( θ ) M F ) , ( Q 1 ( θ ) M F ) ] + t 0 θ u 1 ( t ) , u 1 ( t ) d t + q 1 ( θ ) m f , q 1 ( θ ) m f = min u , U . (7)

为简化矩阵运算,按照文献 [10] 的思想方法,将矩阵转化为向量,设矩阵 E = ( e i j ) n × n 改写后形式为

E ¯ = [ e 11 , e 12 , , e 1 n , e 21 , e 22 , , e 2 n , , e n 1 , e n 2 , , e n n ] .

引入Kronecker积(也称张量积,符号表示为 ),矩阵 E m × n 和矩阵 J r × s 的Kronecker积是一个 m r × n s 的分块矩阵,即

E J = [ e 11 J e 1 n J e m 1 J e m n J ] ,

那么运动方程可以表述为

q ˙ 1 ( t ) = A 1 ( t ) q 1 + C 1 ( t ) u 1 ( t ) + f ( t ) , q 1 ( t 0 ) = q 1 0 , (8)

Q ¯ ˙ 1 ( t ) = ( T 1 ( t ) I ) Q ¯ 1 ( t ) + ( I T 1 ( t ) ) Q ¯ 1 ( t ) + ( B 1 ( t ) B 1 ( t ) ) U ¯ 1 ( t ) + F ¯ ( t ) , Q ¯ 1 ( t 0 ) = Q ¯ 1 0 . (9)

该问题的值函数为

V 1 ( t , q 1 , Q ¯ 1 ) = min u 1 , U ¯ 1 { Ψ 1 ( t , q 1 , Q ¯ 1 | β 1 , u 1 , U 1 ) } = min u 1 , U ¯ 1 t 0 θ β 1 U ¯ 1 ( t ) , U ¯ 1 ( t ) + u 1 ( t ) , u 1 ( t ) d t + q 1 ( θ ) m f , q 1 ( θ ) m f + Q ¯ 1 ( θ ) , Q ¯ 1 ( θ ) 2 Q ¯ 1 ( θ ) , M ¯ F + M ¯ F , M ¯ F , (10)

边界条件为

V 1 ( θ , q 1 , Q ¯ 1 ) = q 1 ( θ ) m f , q 1 ( θ ) m f + Q ¯ 1 ( θ ) , Q ¯ 1 ( θ ) 2 Q ¯ 1 ( θ ) , M ¯ F + M ¯ F , M ¯ F . (11)

得到Hamilton-Jacobi-Bellman方程为

V 1 t + min u 1 , U ¯ 1 { V 1 q 1 , A 1 ( t ) q + C 1 ( t ) u 1 ( t ) + f ( t ) + V 1 Q ¯ 1 , ( T 1 ( t ) I ) Q ¯ 1 + ( I T 1 ( t ) ) Q ¯ 1 + F ¯ ( t ) + V 1 Q ¯ 1 , ( B 1 ( t ) B 1 ( t ) ) U ¯ 1 ( t ) + β U ¯ 1 ( t ) , U ¯ 1 ( t ) + u 1 ( t ) , u 1 ( t ) } = 0. (12)

那么(10)式为(12)式HJB方程的解 [11],将(12)式第二项括号内的部分记为H,

H = V 1 q 1 , A 1 ( t ) q + C 1 ( t ) u 1 ( t ) + f ( t ) + V 1 Q ¯ 1 , ( T 1 ( t ) I ) Q ¯ 1 + ( I T 1 ( t ) ) Q ¯ 1 + F ¯ ( t ) + V 1 Q ¯ 1 , ( B 1 ( t ) B 1 ( t ) ) U ¯ 1 ( t ) + β U ¯ 1 ( t ) , U ¯ 1 ( t ) + u 1 ( t ) , u 1 ( t )

并对H分别关于 u 1 , U ¯ 1 求偏导,即

( V 1 q 1 ) C 1 ( t ) u 1 ( t ) u 1 + u 1 ( t ) u 1 ( t ) u 1 = C 1 ( t ) V 1 q 1 + 2 u 1 ( t ) = 0 ,

( V 1 Q ¯ 1 ) ( B 1 ( t ) B 1 ( t ) ) U ¯ 1 ( t ) U ¯ 1 + U ¯ 1 ( t ) U ¯ 1 ( t ) U ¯ 1 = B 1 ( t ) V 1 Q ¯ 1 B 1 ( t ) + 2 β U ¯ 1 ( t ) = 0 ,

得到最优控制 u 1 , U ¯ 1 ,如下

u 1 ( t ) = 1 2 C 1 ( t ) V 1 q 1 , (13)

U ¯ 1 ( t ) = 1 2 β ( B 1 ( t ) B 1 ( t ) ) V 1 Q ¯ 1 . (14)

将最优控制(13)、(14)式代入Hamilton-Jacobi-Bellman方程,此时的控制 u 1 , U ¯ 1 是使目标函数最小的控制,则(12)式变为

V 1 t + V 1 Q ¯ 1 , ( T 1 ( t ) I ) Q ¯ 1 + ( I T 1 ( t ) ) Q ¯ 1 + ( B 1 ( t ) B 1 ( t ) ) U ¯ 1 ( t ) + F ¯ ( t ) + β U ¯ 1 ( t ) , U ¯ 1 ( t ) + V 1 q 1 , A 1 ( t ) q 1 + C 1 ( t ) u 1 ( t ) + f ( t ) + u 1 ( t ) , u 1 ( t ) = V 1 t + V 1 Q ¯ 1 , ( T 1 ( t ) I ) Q ¯ 1 + ( I T 1 ( t ) ) Q ¯ 1 + ( B 1 ( t ) B 1 ( t ) ( 1 2 β ( B 1 ( t ) B 1 ( t ) ) ) V 1 Q ¯ 1 ) + 1 2 β ( B 1 ( t ) B 1 ( t ) ) V 1 Q ¯ 1 , 1 2 β ( B 1 ( t ) B 1 ( t ) ) V 1 Q ¯ 1 + 1 2 C 1 ( t ) V 1 q 1 , 1 2 C 1 ( t ) V 1 q 1 + V 1 q 1 , A 1 ( t ) q 1 + C 1 ( t ) ( 1 2 C 1 ( t ) V 1 q 1 ) + f ( t ) + V 1 Q ¯ 1 , F ¯ ( t ) = 0. (15)

由(15)式可知,值函数是关于椭球中心 q 1 和构型矩阵 Q ¯ 1 的二次形式,由此构造线性矩阵系统二次形式的值函数,如下式

V E 1 ( t , q 1 , Q ¯ 1 ) = Q ¯ 1 , P 1 ( t ) Q ¯ 1 + q 1 , p 1 ( t ) q 1 + Q ¯ 1 , K 1 ( t ) + q 1 , k 1 ( t ) + r 1 ( t ) , (16)

其中 P 1 ( t ) = P 1 ( t ) I K 1 ( t ) = K ¯ 1 ( t ) P 1 ( t ) = P 1 ( t ) > 0 ,且 P 1 ( t ) p 1 ( t ) K ¯ 1 ( t ) k 1 ( t ) r 1 ( t ) 均关于时间t连续可微。

关于值函数 V E 1 ( t , q 1 , Q ¯ 1 ) 分别对t、 q 1 Q ¯ 1 求偏导得

V E 1 t = Q ¯ 1 , P ˙ 1 ( t ) Q ¯ 1 + q 1 , p ˙ 1 ( t ) q 1 + Q ¯ 1 , K ˙ 1 ( t ) + q 1 , k ˙ 1 ( t ) + r ˙ 1 ( t ) , (17)

V E 1 q 1 = 2 p 1 ( t ) q 1 + k 1 ( t ) , (18)

V E 1 Q ¯ 1 = 2 P 1 ( t ) Q ¯ 1 + K 1 ( t ) , (19)

此时最优控制变为

u 1 ( t ) = 1 2 C 1 ( t ) ( 2 p 1 ( t ) q 1 + k 1 ( t ) ) , (20)

U ¯ 1 ( t ) = 1 2 β ( B 1 ( t ) B 1 ( t ) ) ( 2 P 1 ( t ) Q ¯ 1 + K 1 ( t ) ) . (21)

并且记

A 1 ( t ) = T 1 ( t ) I + I T 1 ( t ) , B 1 ( t ) = B 1 ( t ) B 1 ( t ) , F ( t ) = F ¯ ( t ) , M F = M ¯ F . (22)

将(11)、(17)、(18)、(19)、(22)式代入(15)式得到关于值函数 V E 1 ( t , q 1 , Q ¯ 1 ) 的各未知参数的一组微分方程,如下

p ˙ 1 ( t ) + 2 p 1 T ( t ) A 1 ( t ) p 1 T ( t ) C 1 ( t ) C 1 ( t ) p 1 ( t ) = 0 , k ˙ 1 ( t ) + 2 p 1 T ( t ) f ( t ) + k 1 T ( t ) A 1 ( t ) p 1 T ( t ) C 1 ( t ) C 1 ( t ) k 1 ( t ) = 0 , P ˙ 1 ( t ) + 2 P 1 ( t ) A 1 ( t ) 1 β P 1 ( t ) B 1 ( t ) B 1 ( t ) P 1 ( t ) = 0 , K ˙ 1 ( t ) + 2 P 1 ( t ) F ( t ) + K 1 ( t ) A 1 ( t ) 1 β P 1 ( t ) B 1 ( t ) B 1 ( t ) K 1 ( t ) = 0 , r ˙ 1 ( t ) + k 1 T ( t ) f ( t ) + K 1 ( t ) F ( t ) 1 4 k 1 T ( t ) C 1 ( t ) C 1 ( t ) k 1 ( t ) 1 4 β K 1 ( t ) B 1 ( t ) B 1 ( t ) K 1 ( t ) = 0.

其中 p 1 ( θ ) = I k 1 ( θ ) = 2 m f P 1 ( θ ) = I K 1 ( θ ) = 2 M F r 1 ( θ ) = m f m f + M F M F

观察上述微分方程组,其中涉及非线性项,通常我们无法求出解析解,因此本文考虑用数值方法逼近。选取合适的步长,将时间离散化,给定终端时刻各参数的值,运用隐式欧拉法得到对应每个时刻参数 P 1 p 1 K 1 k 1 的值,运用显式欧拉法得到最优控制 u 1 U ¯ 1 ,从而 q ˙ 1 Q ¯ ˙ 1 可解,最后使用Matlab软件进行数值模拟得到椭球轨迹管。

4. 数值仿真

本节将给出上述两个椭球系统的数值算例,时间区间取 t [ 0 , 1 ] ,运动方程中各矩阵函数分别为

A ( t ) = [ 0.916 t 0 0 0.916 t ] , B ( t ) = [ cos ( π t ) sin ( π t ) sin ( π t ) cos ( π t ) ] ,

C ( t ) = [ 1.011 t t t 1.011 t ] , T ( t ) = [ 4.021 t 0 0 4.021 t ] ,

A 1 ( t ) = [ 0.916 t 0 0 0.916 t ] , B 1 ( t ) = [ cos ( π t ) sin ( π t ) sin ( π t ) cos ( π t ) ] ,

C 1 ( t ) = [ 1.011 t t t 1.011 t ] , T 1 ( t ) = [ 4.021 t 0 0 4.021 t ] .

两个椭球控制系统的初始椭圆 ε ( q 0 , Q 0 ) ε 1 ( q 1 0 , Q 1 0 ) 、目标椭圆 ε ( m , M ) ε ( m f , M F ) 分别为

q 0 = [ 0 , 0 ] , Q 0 = [ 1 1 1 2 ] , m = [ 1 1 ] , M = [ 1 1 1 2 ] , q 1 0 = [ 0 , 0 ] , Q 1 0 = [ 1 1 1 2 ] , m f = [ 1 1 ] , M F = [ 1 1 1 2 ] .

值函数中参数取 β = 0.059 , β 1 = 0.059 ,扰动 f ( t ) F ( t ) 均取随机变量,服从正态分布 N ( 0 , 3 ) ,数值仿真结果如图1所示。

Figure 1. Comparison of ellipsoid motion with and without disturbance

图1. 有无扰动的椭球运动对比

图1刻画有无扰动的椭球运动,底面相交两轴表示初始椭圆所在的平面,与底面垂直的轴为时间轴。由d1形成的是系统加入随机扰动后的椭圆轨迹管,由d2形成的是初始椭圆无任何约束下形成的初始轨迹管,由d3形成的是无扰动时椭圆轨迹管。加入扰动项后,具有扰动的椭球系统以向左偏离的轨迹到达目标集。两个系统在 θ = 1 时的椭圆切面 ε ( q ( 1 ) , Q ( 1 ) ) ε 1 ( q 1 ( 1 ) , Q 1 ( 1 ) ) 分别为

q ( 1 ) = [ 1.0070 1.0069 ] , Q ( 1 ) = [ 1.3273 1.4378 1.3115 2.5248 ] ,

q 1 ( 1 ) = [ 0.9661 0.9661 ] , Q 1 ( 1 ) = [ 1.3280 1.4645 1.3745 2.5352 ] .

5. 结果分析

本文考察了二维情形下的系统,基本椭球系统的终端椭圆切面的中心与目标椭圆的中心几乎重合,二者构型矩阵之间的差距较小。由(3)式,目标集是椭球 ε ( m , M ) 的邻域,基本椭球系统的终端椭圆切面与目标椭圆满足关系式

q ( 1 ) m , q ( 1 ) m + [ Q ( 1 ) M , Q ( 1 ) M ] = 0.007 2 + 0.0069 2 + 0.3273 2 + ( 0.4378 ) 2 + ( 0.3115 ) 2 + 0.5248 2 0.6711 < 1 ,

通过计算,无扰动的情形下基本椭球系统的终端椭圆切面位于目标椭圆的邻域内,表明我们研究的椭球在最优控制下到达了既定的目标集,验证了本文数值算法的合理性。

同样地,具有随机扰动的椭球系统终端椭圆切面的中心与目标椭圆的中心差距很小,二者构型矩阵之间的差距较小。具有随机扰动的椭球系统的终端椭圆切面与目标椭圆之间满足

q 1 ( 1 ) m f , q 1 ( 1 ) m f + [ Q 1 ( 1 ) M F , Q 1 ( 1 ) M F ] = ( 0.0339 ) 2 + ( 0.0339 ) 2 + 0.328 2 + ( 0.4645 ) 2 + ( 0.3745 ) 2 + 0.5352 2 0.8196 < 1

通过计算发现,在具有扰动的情形下,系统的终端椭圆切面同样位于目标椭圆的邻域内,这表明我们研究的椭球能够通过控制运动到达目标集。当然,在扰动较大时,我们研究的具有扰动的椭球系统终端会出现不在目标椭球邻域内的情况,此时可以通过引入脉冲控制衰减系统扰动 [12],使得系统能够在控制的作用下到达目标集。

6. 总结

本文主要贡献是基于椭球积分给出具有随机扰动的集群控制问题的数值算法,仿真结果表明,本文的算法能够较好地实现在控制的作用下集群运动到既定目标。作者希望通过对此类问题的考察,能够为现实复杂环境中的集群运动提供思路。

参考文献

[1] Pontryagin, L.S. (1962) The Mathematical Theory of Optimal Processes. John Wiley and Sons Inc., New York.
[2] Bellman, R. and Kalaba, R. (1965) Dynamic Programming and Modern Control Theory. Academic Press, New York.
[3] Krasovski, N.N. (1968) The Theory of Control of Motion: Linear Systems. Nauka, Mos-cow.
[4] Krasovski, A.B. (2012) On the Problem of Control for Ellipsoidal Motions. Proceedings of the Steklov In-stitute of Mathematics, 277, 160-169.
https://doi.org/10.1134/S0081543812040116
[5] Krasovski, A.B. and Vályi, I. (1991) Ellipsoidal Techniques for Dynamic Systems: The Problem of Control Synthesis. Dynamics and Con-trol, 1, 357-378.
https://doi.org/10.1007/BF02169766
[6] Krasovski, N.N. (1986) The Control of a Dynamic System. Nauka, Moscow.
[7] Kurzhanski, A.B. and Valyi, I. (1997) Ellipsoidal Calculus for Estimation and Control. Boston, Birkhaüser.
https://doi.org/10.1007/978-1-4612-0277-6
[8] Kurzhanski, A.B. and Vályi, I. (1992) Ellipsoidal Techniques for Dynamic Systems: Control Synthesis for Uncertain Systems. Dynamics and Control, 2, 87-111.
https://doi.org/10.1007/BF02169492
[9] Krasovski, A.B. (2012) On the Problem of Control for Ellipsoidal Mo-tions. Proceedings of the Steklov Institute of Mathematics, 277, 160-169.
https://doi.org/10.1134/S0081543812040116
[10] Kurzhanski, A.B. and Mesyats, A.I. (2012) Optimal Control of Ellipsoidal Motions. Differential Equations, 48, 1502-1509.
https://doi.org/10.1134/S0012266112110080
[11] Kurzhanski, A.B. and Varaiya, P. (2011) Optimization of Out-put Feedback Control under Set-Membership Uncertainty. Journal of Optimization Theory and Applications, 151, 11-32.
https://doi.org/10.1007/s10957-011-9861-z
[12] Kurzhanski, A.B. and Daryin, A.N. (2016) Complex Systems. Springer International Publishing, Heidelberg.