一类具有时滞的脉冲微分方程的最优控制问题

Optimal Control Problems for a Class of Impulsive Differential Equations with Time-Delays

摘要: 本文考虑了一类具有脉冲效应的非线性非自治广义微分系统，通过建立时滞微分不等式，得到了脉冲系统的吸引集。通过建立一个框架来解决反馈控制问题，该问题的目标是构建一个非线性反馈控制器，使其最小化一个非线性非二次成本函数。为了避免求解哈密顿雅可比贝尔曼(HJB)方程稳态时的计算复杂性，设计了一个成本函数，该函数依赖于动态系统，李亚普诺夫函数，通过求解哈密顿雅可比贝尔曼方程的稳态来获得一个稳定的反馈控制器。最后，通过一个算例证明了所提方法的有效性。

Abstract: In this paper, a class of nonlinear nonautonomous generalized differential systems with impulsive effects is considered. The attraction set of the impulsive system is obtained by developing a time-delay differential inequality. A framework is developed to solve the feedback control problem, where the objective of the problem is to construct a nonlinear feedback controller that minimizes a nonlinear nonquadratic cost function. To avoid the computational complexity in solving the Hamil-ton-Jacobi-Bellman (HJB) equation steady state, a cost generalization function is designed which re-lies on the dynamic system, Lyapunov function, to obtain a stable feedback control law by solving the HJB equation steady state. Finally, the validity of the proposed method is demonstrated by an arithmetic example.

1. 引言

脉冲微分方程是一种混合动力系统，它表现出连续动力(由微分方程建立)和脉冲(在一系列离散时刻的状态跳跃或重置)。在过去的20年中，许多作者近年来在理论研究和应用方面对冲动微分方程进行了广泛的研究 [1] [2] 。在脉冲的作用下，许多真实的物理系统，特别是非线性非自治动力系统，有时并没有平衡点。因此，讨论脉冲系统的吸引力和不变集是一个有趣的话题。在确定连续微分系统(包括常微分方程、偏微分方程和时滞微分方程)的不变量和吸引集的技术和方法方面取得了一些重要进展 [3] [4] [5] [6] 。

在现实世界中，系统通常包含时滞，因此导致系统的未来状态是按照完整的历史时刻的状态，而不仅仅是当前的状态。延迟可以是恒定的，也可以是时变的，这类系统的例子包括网络控制、通信和机械工程 [7] 。当状态变量取决于历史时刻的状态时，自然要考虑动态系统脉冲中的时滞效应。例如，一个控制器使用脉冲来控制一个动态系统，它需要一定的时间来采样、处理和传输脉冲信息。在 [8] [9] 的脉冲协议中，离散和分布式延迟被单独考虑，以确保多智能系统的一致性。采样和传输延迟在安全通信中也是不可避免的 [10] 。由于时滞会大大降低系统的性能 [11] ，因此，时滞系统的最优控制一直是一个活跃的研究课题。由于延时的普遍性，文献中对脉冲时滞系统的稳定性进行了广泛的研究 [12] [13] [14] 。对于具有恒定延迟的系统，一些关键的最优控制工具包括最优性的必要条件 [15] 、动态编程和数字解的控制参数化 [16] 。对于时变时滞系统， [17] 和 [18] 得出了必要的最优条件。虽然时滞系统的最优控制已经得到了广泛的研究，但这一领域的绝大多数研究都必须在时域的每一点上都是不变的。然而具有时滞脉冲微分方程的相应问题，在这项工作之前还没有人研究过。基于上述讨论，本文的目标是确定一类具有脉冲效应的非线性非自治广义微分系统的不变集和全局吸引集，并探讨具有时滞的脉冲微分方程的最优控制问题。为了避免在求解哈密尔顿–雅可比–贝尔曼(HJB)方程的稳定状态时进行复杂的计算，HJB方程的稳定状态是通过构造一个成本函数，它取决于动态系统、李亚普诺夫函数并得到一个稳定的最优反馈控制器。

据我们所知，在现有的脉冲系统的优化控制结果中，时滞效应只考虑到了连续动力学 [19] 或脉冲 [20] 。相比之下，现有的最优控制结果都不适用于具有连续动力学和脉冲的时滞的脉冲系统，在连续动力学和脉冲中都有时间延迟的脉冲系统(具有依赖时间延迟的脉冲的时滞系统)在本文中，我们给出了具有时滞相关脉冲效应的非线性时滞系统的最优反馈控制结果。本文所提出的最优反馈控制器概括了关于无脉冲时滞的系统 [19] 和关于有脉冲时滞的系统 [20] 的结果，并可用于有时滞的系统。本文的其余部分将组织如下，第2节介绍了一些预备知识，在第3节中我们给出了具有脉冲效应的非线性时滞系统的最优反馈控制的主要结果，并给出了问题的一些充分条件，第4节提供了一些例子来证明结果的有效性。

2. 预备知识

在本节中，介绍一些基本的定义和符号，以及回顾一些稳定性定理。N表示所有正整数集，R表示所有实数， $R_{+}$ 表示非负实数集，用欧几里得范数 $\Vert ·\Vert$ 表示n维实空间 $R^n$ ， $R^{n\times m}$ 表示 $n\times m$ 实矩阵， $B_{\delta }\left(x\right)$ 表示以 $\delta$ 为中心x为半径的开球， $A^{\text{T}}$ 表示矩阵A的转置， $I_n$ 表示 $n\times n$ 单位矩阵。对于 $A,B\in R^{m\times n}$ 或着 $A,B\in R^n$ ， $A\ge B$ ( $A\le B,A>B,A<B$ )表示对应元素 $A,B$ 满足相应不等式 $\ge$ ( $\le ,>,<$ )。特别的，如果 $A\ge 0$ 称A为非负矩阵，如果 $x>0$ 称x为正定向量。

对于 $\tau >0$ ， $C_{\left[-\tau ,0\right]}$ 表示连续映射的空间从 $\left[-\tau ,0\right]$ 到 $R^n$ ，且范数 $\Vert \varphi \Vert ={\sup }_{s\in \left[-\tau ,0\right]}\left|\varphi \left(s\right)\right|$ ，对于任意 $t_0\in R$ ， $C_{\left[t_0,\infty \right]}$ ， $P{C}_{\left[t_0,\infty \right]}$ ， $C_{\left[X,Y\right]}$ 分别表示连续映射的空间 $\left[t_0,\infty \right)$ 到 $R^n$ ， $\left[t_0,\infty \right)$ 到 $R^{n\times n}$ ，拓扑空间X到拓扑空间Y，对于任意的 $x\in R^n$ ， $x\left(t\right)={\left[x_1\left(t\right),x_2\left(t\right),\cdots ,x_n\left(t\right)\right]}^{\text{T}}$ ，任意 $x\in C_{\left[-\tau ,0\right]}$ ， ${\left|x\left(t\right)\right|}_{\tau }={\left[{\left|x_1\left(t\right)\right|}_{\tau },{\left|x_2\left(t\right)\right|}_{\tau },\cdots ,{\left|x_n\left(t\right)\right|}_{\tau }\right]}^{\text{T}}$ ，其中 ${\left|x_i\left(t\right)\right|}_{\tau }={\sup }_{s\in \left[-\tau ,0\right]}\left\{x_i\left(t+s\right)\right\}$ ， $x\left(t^{+}\right)={\lim }_{t\to 0^{+}}x\left(t+s\right)$ ， $x\left(t^{-}\right)={\lim }_{t\to 0^{-}}x\left(t+s\right)$ ， $D^{+}x\left(t\right)=\lim {\text{sup}}_{s\to 0^{+}}\frac{1}{s}\left[x\left(t+s\right)-x\left(t\right)\right]$ 。

如果函数 $\alpha :R_{+}\to R_{+}$ 是连续的，严格递增的且 $\alpha \left(0\right)=0$ 则称 $\alpha$ 为K函数，记为 $\alpha \in K$ ；如果 $\alpha \in K$ 且满足当 $t\to \infty$ 时， $\alpha \left(t\right)\to \infty$ ，则称 $\alpha$ 是 $K_{\infty }$ 函数，记为 $\alpha \in K_{\infty }$ ； $a\vee b$ 和 $a\wedge b$ 分别表示a和b中最大和最小的一个。

现在考虑一个时变非线性时滞系统

$\stackrel{\dot{}}{x}\left(t\right)=\mathcal{F}\left(t,x_t\right),t\ge t_0$ (1)

其中 $F:R_{+}\times C_{\left[-\tau ,0\right]}\to R^n$ 是一个连续函数且 $F\left(t,0\right)=0$ ， $x_t\in C_{\left[-\tau ,0\right]}$ 表示 $x_t\left(s\right)=x\left(t+s\right)$ ， $s\in \left[-\tau ,0\right]$ 以及 $\tau >0$ 是一个有限延迟。

定义1 [21] 如果当 $t\ge t_0$ 时 $x\left(t\right)\in C_{\left[t_0,\infty \right]}$ 且满足系统(1)的初始条件 $x\left(t_0+s\right)=\phi \left(s\right),s\in \left[-\tau ,0\right]$ 以及 $\phi \in C_{\left[-\tau ,0\right]}$ 那么函数 $x\left(t\right):\left[t_0-\tau ,\infty \right)\to R^n$ 称为系统(1)通过 $\left(t_0,\phi \right)$ 的解。

我们总是假定对于任何 $\phi \in C_{\left[-\tau ,0\right]}$ ，系统(1)通过 $\left(t_0,\phi \right)$ 至少有一个解，表示为 $x\left(t,t_0,\phi \right)$ 或者 $x_t\left(t_0,\phi \right)$ ( $x\left(t\right)$ 或者 $x_t$ 不应该发生错乱)， $x_t\left(t_0,\phi \right)=x\left(t+s,t_0,\phi \right)\in C_{\left[-\tau ,0\right]},s\in \left[-\tau ,0\right]$ 。

定义2 [21] 如果下列条件成立：(i) 当 $t\ge t_0$ 时，对于任意的 $\epsilon >0$ ，存在一个 $\delta \left(\epsilon \right)>0$ (不依赖于 $t_0$ )，使得 $\Vert \phi \Vert <\delta$ ，意味着 $\Vert x_t\left(t_0,\phi \right)\Vert <\epsilon$ ，(ii) 当 $t>t_0+T\left(\eta \right)$ 时，对于任意 $t_0\in R$ ，存在一个 ${\delta }_0>0$ 使得对于任意的 $\eta >0$ ，有一个 $T\left(\eta \right)$ 使得 $\Vert \phi \Vert <{\delta }_0$ 意味着 $\Vert x_t\left(t_0,\phi \right)\Vert <\eta$ ，那么系统(1)是一致渐近稳定。

定义3 [22] 当 $t\ge t_0$ 时，如果任意的初始值 $\phi \in Q$ ，解 $x_t\left(t_0,\phi \right)\in Q$ ，那么集合 $Q\in C_{\left[-\tau ,0\right]}$ 称为系统(1)的正不变集。

定义4 [22] 如果对于任何初始值 $\phi \in C_{\left[-\tau ,0\right]}$ ，当 $t\to \infty$ 时，解 $x_t\left(t_0,\phi \right)$ 满足 $dist\left(x_t,Q\right)\to 0$ ，其中 $dist\left(\varphi ,Q\right)=in{f}_{\psi \in s}{\Vert \varphi -\psi \Vert }_{\tau }$ ， $\varphi \in C_{\left[-\tau ,0\right]}$ 。

定义5 [22] 矩阵 $\Omega ={\left(k_{ij}\right)}_{n\times n}$ 且 $k_{ii}>0$ 以及 $k_{ij}\le 0\left(i\ne j\right),i,j\in N$ ，如下条件与命题“ $\Omega$ 是一个非奇异M-矩阵”是等价的：(i) $\Omega$ 的所有主子式是正定的；(ii) ${\Omega }^{-1}$ 存在 ${\Omega }^{-1}\ge 0$ ；(iii) 存在一个正定向量 $\alpha$ 使得 $\Omega \alpha >0$ 或者 ${\Omega }^{\text{T}}\alpha >0$ ；(iv) $\Omega =\upsilon -\omega$ 以及 $\rho \left(\upsilon -\omega \right)<1$ 其中 $\omega \ge 0$ ， $\upsilon =diag\left[v_1,\cdots ,v_n\right]$ ， $\rho (·)$ 表示矩阵的谱半径。

3. 时滞脉冲微分方程的最优控制

在本节中，为了解决最优反馈控制问题，我们首先介绍下面的引理

引理1令 $\tau >0$ ， $t_0<T\le +\infty$ ，满足

$\{\begin{array}{l}{D}^{+}z\left(t\right)\le \mathcal{R}z\left(t\right)+\mathcal{S}{\left|z\left(t\right)\right|}_{\tau }+\mathcal{K},t\in \left[t_0,T\right)\hfill \\ z_{t_0}\left(s\right)\in C_{\left[-\tau ,0\right]},s\in \left[-\tau ,0\right]\hfill \end{array}$ (2)

其中 $R={\left(r_{ij}\right)}_{n\times n}$ ， $r_{ij}\ge 0$ ( $i\ne j$ )， $S={\left(s_{ij}\right)}_{n\times n}\ge 0$ ，以及 $K={\left[K_1,\cdots ,K_n\right]}^{\text{T}}\ge 0$ ，假设 $\text{Γ}>0$ ，正定向量 $\beta ={\left[{\beta }_1,\cdots ,{\beta }_n\right]}^{\text{T}}$ 满足

$\left[\Gamma {\mathcal{I}}_n+\mathcal{R}+\mathcal{S}{\text{e}}^{\Gamma \tau }\right]\beta <0$ (3)

如果以下条件成立：

$z\left(t\right)\le \xi \beta {\text{e}}^{-\Gamma \left(t-t_0\right)}-{\left(\mathcal{R}+\mathcal{S}\right)}^{-1}\mathcal{K},\xi \ge 0,t\in \left[t_0-\tau ,t_0\right]$ (4)

那么 $z\left(t\right)\le \xi \beta {\text{e}}^{-\Gamma \left(t-t_0\right)}-{\left(R+S\right)}^{-1}K,\xi \ge 0,t\in \left[t_0,T\right)$

证明：当 $t\in \left[t_0-\tau ,T\right)$ 时，记 $v\left(t\right)={\left[v_1\left(t\right),\cdots ,v_n\left(t\right)\right]}^{\text{T}}=z\left(t\right)+{\left(R+S\right)}^{-1}K$ ，由(3)式可以得到 $\left(R+S\right)\beta <0$ ，结合定义5和 $R+S$ 非对角项的负性，可以得到 $-{\left(R+S\right)}^{-1}$ 存在以及 $-{\left(R+S\right)}^{-1}\ge 0$ ，接下

来由于(2)式和(4)式，可以得到

$\begin{array}{c}{D}^{+}v\left(t\right)\le \mathcal{R}z\left(t\right)+\mathcal{S}{\left|z\left(t\right)\right|}_{\tau }+\mathcal{K}\\ \le \mathcal{R}\left[v\left(t\right)-{\left(\mathcal{R}+\mathcal{S}\right)}^{-1}\mathcal{K}\right]+\mathcal{S}{\left|v\left(t\right)-{\left(\mathcal{R}+\mathcal{S}\right)}^{-1}\mathcal{K}\right|}_{\tau }+\mathcal{K}\\ =\mathcal{R}v\left(t\right)+\mathcal{S}{\left|v\left(t\right)\right|}_{\tau },t\in \left[t_0,T\right)\end{array}$ (5)

以及

$v\left(t\right)\le \xi \beta {\text{e}}^{-\text{Γ}\left(t-t_0\right)}\text{,}\xi \ge 0,t\in \left[t_0-\tau ,t_0\right]$ (6)

因此(6)式在 $\left[t_0-\tau ,t_0\right]$ 上成立，下面将证明(6)式在上也成立，为了证明这个，首先我们将证明对于任意 $\delta >0$ ，有

$v_i\left(t\right)\le \left(\xi +\delta \right){\beta }_i{\text{e}}^{-\Gamma \left(t-t_0\right)}:=x_i\left(t\right),t\in \left[t_0,T\right),i\in N_{+}$ (7)

假设(7)式不成立，那么存在一个常数 $t^{*}>t_0$ 和一些 $m\in N_{+}$ 使得

$v_i\left(t^{*}\right)=x_i\left(t^{*}\right),D^{+}{v}_m\left(t^{*}\right)\ge {\stackrel{\dot{}}{x}}_i\left(t^{*}\right)$ (8)

以及

$v_i\left(t\right)\le x_i\left(t\right),t\in \left[t_0-\tau ,t^{*}\right],i\in N_{+}$ (9)

由(5)式和(7)到(9)式，我们有

$\begin{array}{c}{D}^{+}{v}_m\left(t^{*}\right)\le \underset{j=1}{\overset{n}{{\displaystyle \sum }}}\left[r_{mj}{v}_j\left(t^{*}\right)+s_{mj}{\left|v_j\left(t^{*}\right)\right|}_{\tau }\right]\\ \le \underset{j=1}{\overset{n}{{\displaystyle \sum }}}\left[r_{mj}\left(\xi +\delta \right){\beta }_j{\text{e}}^{-\Gamma \left(t^{*}-t_0\right)}+s_{mj}\left(\xi +\delta \right){\beta }_j{\text{e}}^{-\Gamma \left(t^{*}-\tau -t_0\right)}\right]\\ =\underset{j=1}{\overset{n}{{\displaystyle \sum }}}\left[r_{mi}+s_{mj}{\text{e}}^{\Gamma \tau }\right]{\beta }_j\left(\xi +\delta \right){\text{e}}^{-\Gamma \left(t^{*}-t_0\right)}\end{array}$ (10)

由(3)式，我们可以得到

$\underset{j=1}{\overset{n}{{\displaystyle \sum }}}\left[r_{mj}+s_{mj}{\text{e}}^{\text{Γ}\tau }\right]{\beta }_j<-\text{Γ}{\beta }_j$ (11)

那么(10)式可以改写为

$D^{+}{v}_m\left(t^{*}\right)<-\text{Γ}{\beta }_j\left(\xi +\delta \right){\text{e}}^{-\text{Γ}\left(t^{*}-t_0\right)}={\stackrel{\dot{}}{x}}_i\left(t^{*}\right)$ (12)

这就与(8)式产生矛盾，因此(7)式成立，令(7)式中 $\delta \to 0^{+}$ ，我们可以得到

$v\left(t\right)=z\left(t\right)+{\left(R+S\right)}^{-1}K\le \xi \beta {\text{e}}^{-\text{Γ}\left(t-t_0\right)},t\in \left[t_0,T\right)$ (13)

证明完成。

下面考虑一个脉冲函数微分方程

$\{\begin{array}{l}\stackrel{\dot{}}{x}\left(t\right)=\mathcal{A}\left(t\right)x\left(t\right)+\mathcal{F}\left(t,x_t\right)+\mathcal{G}\left(x\left(t\right)\right)\mu \left(x\left(t\right)\right),t\ne t_k,k\in \mathbb{N}\\ \Delta x\left(t\right)={\mathcal{I}}_k\left(x\left(t_k^{-}\right)\right),t=t_k,k\in \mathbb{N}\\ x_{t_0}=\phi \in C_{\left[-\tau ,0\right]}\end{array}$ (14)

其中 $x\left(t\right)\in R^n$ ，初始函数 $\phi \in C_{\left[-\tau ,0\right]}$ ， $A\left(t\right)\in P{C}_{\left[t_0,\infty \right]}$ ， $F:R_{+}\times C_{\left[-\tau ,0\right]}\to R^n$ ， $G:R^n\to R^{n\times m}$ 是一个连续函数， $\mu \in R^m$ 是一类反馈控制， $\stackrel{\dot{}}{x}\left(t\right)$ 表示 $x\left(t\right)$ 的右导数，状态跳跃描述为 $x\left(t\right):=x\left(t_k^{+}\right)-x\left(t_k^{-}\right)$ ，其中 $x\left(t_k^{+}\right)$ 和 $x\left(t_k^{-}\right)$ 分别表示x在t处的右极限和左极限，脉冲时间序列 ${\left\{t_k\right\}}_{k\in N}$ 是严格递增的以及 $\underset{k\to \infty }{lim}{t}_k=\infty$ (称为脉冲时刻)。

在本文中，假设状态x在每一个脉冲时刻都是右连续的，对于任意的初始函数 $x_{t_0}=\phi \in C_{\left[-\tau ,0\right]}$ ，系统(14)有一个唯一的解 $x_t\left(t_0,\phi \right)$ 。

给定一个控制率 $\varphi (·)$ 和一个反馈控制率 $\mu \left(t\right)=\varphi \left(x\left(t\right)\right)$ ，其中 $\varphi \left(0\right)=0$ ， $x\left(t\right)$ 是系统(14)的解，那么系统(14)有如下的形式

$\{\begin{array}{l}\stackrel{\dot{}}{x}\left(t\right)=\mathcal{A}\left(t\right)x\left(t\right)+\mathcal{F}\left(t,x_t\right)+\mathcal{G}\left(x\left(t\right)\right)\mu \left(x\left(t\right)\right),t\ne t_k,k\in \mathbb{N}\hfill \\ \Delta x\left(t\right)={\mathcal{I}}_k\left(x\left(t_k^{-}\right)\right),t=t_k,k\in \mathbb{N}\hfill \\ x_{t_0}=\phi \in C_{\left[-\tau ,0\right]}\hfill \end{array}$ (15)

我们定义一组控制器

$\text{Θ}\left(\phi \right)=\{\mu (·):\mu (·)$ 是可容许的， $x(·)$ 由系统(14)给出且满足 $\underset{t\to \infty }{lim}x\left(t,t_0,\phi \right)=0\}$ 。

下面引入性能积分 $L\left(t,\phi ,\mu \right)$ 有如下形式

$\mathcal{L}\left(t,\phi ,\mu \right)={\mathcal{L}}_1\left(t,\phi \right)+{\mathcal{L}}_2\left(\phi \left(0\right)\right)\mu +{\mu }^{\text{T}}{\mathcal{R}}_1\left(\phi \left(0\right)\right)\mu$ (16)

其中 ${\mathcal{L}}_1:R_{+}\times C_{\left[-\tau ,0\right]}\to R_{+}$ ， ${\mathcal{L}}_2:R^n\to R^{1\times m}$ 以及 $R_1:R^n\to R^{m\times m}$ 。

定理1考虑非线性动态系统(14)且性能函数为

$\Upsilon \left(t_0,\phi ,\mu (·)\right)={\displaystyle {\int }_{t_0}^{\infty }\mathcal{L}\left(t,x_t,\mu \left(t\right)\right)\text{d}t}$ (17)

其中 $x_t=x_t\left(t_0,\phi \right)$ 是(14)的解， $\mu (·)$ 是可容许控制，假设存在一个 $V:R_{+}\times R^n\to R_{+}$ 和一个函数 ${\mathcal{L}}_2$ 使得对任意 $t\in R_{+}$ 和 $x\in R^n$ ，有如下条件成立：

(i) $V\left(0\right)\equiv 0$ ，

(ii) $V\left(x\right)>0,x\in D,x\ne 0$ ，

(iii) ${\mathcal{L}}_2\left(0\right)=0$ ，

(iv) $V\left(x\right)\to \infty$ 当 $\Vert x\Vert \to \infty$ 时，

(v) $D^{+}V\left(t\right)\le RV\left(t\right)+S{\left|V\left(t\right)\right|}_{\tau }+K$ 以及 $\left[\text{Γ}{I}_n+R+S{\text{e}}^{\text{Γ}\tau }\right]\beta <0$ 其中 $\text{Γ}>0$ ， $R={\left(r_{ij}\right)}_{n\times n}$ ， $i\ne j$ ， $S={\left(s_{ij}\right)}_{n\times n}\ge 0$ ， $K={\left[K_1,\cdots K_n\right]}^{\text{T}}\ge 0$ ， $\beta ={\left[{\beta }_1,\cdots ,{\beta }_n\right]}^{\text{T}}\ge 0$ 。那么 $\text{Λ}=\left\{\phi \in C_{\left[-\tau ,0\right]}:{\left|\phi \right|}_{\tau }\le -{\left(R+S\right)}^{\text{T}}K\right\}$ 是系统(15)的一个全局吸引集，闭环系统(15)的零解 $x\left(t\right)\equiv 0$ 是全局渐进稳定的( $K\equiv 0$ )，反馈控制率

$\varphi \left(x\right)=-\frac{1}{2}{\mathcal{R}}_1^{-1}\left(x\right)\left[{\mathcal{G}}^{\text{T}}\left(x\right){\left({\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{\partial \mathcal{V}}{\partial x}}\right)}^{\text{T}}+{\mathcal{L}}_2^{\text{T}}\left(x\right)\right],x\in R^n$ (18)

性能函数(17)且

${\mathcal{L}}_1\left(t,\phi \right)={\varphi }^{\text{T}}\left(\phi \right){\mathcal{R}}_1\left(\phi \left(0\right)\right)\varphi \left(\phi \right)-{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{\partial \mathcal{V}}{\partial x}}\left[\mathcal{A}\left(t\right)x\left(t\right)+\mathcal{F}\left(t,\phi \right)\right],\phi \in C_{\left[-\tau ,0\right]}$ (19)

在某种意义上最小化，

$\Upsilon \left(t_0,\phi ,\varphi \left(x(·)\right)\right)=\underset{\mu (·)\in \text{Θ}\left(\phi \right)}{\min }\Upsilon \left(t_0,\phi ,\mu (·)\right),\phi \in C_{\left[-\tau ,0\right]}$ (20)

最后，

$\Upsilon \left(t_0,\phi ,\varphi \left(x(·)\right)\right)=V\left(t_0\right)+{\displaystyle \underset{t_0\le t_k<t}{\sum }\left[V\left(t_k\right)-V\left(t_k^{-}\right)\right]},\phi \in C_{\left[-\tau ,0\right]}$ (21)

证明：令哈密顿函数有如下形式：

$\hslash \left(t,\phi ,\mu \right)=\mathcal{L}\left(t,\phi ,\mu \right)+{\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{\partial {\mathcal{V}}_i}{\partial x}\left[\mathcal{A}\left(t\right)x\left(t\right)+\mathcal{F}\left(t,\phi \right)+\mathcal{G}\left(\phi \left(0\right)\right)\mu \right]}$ (22)

其中 $\left(t,\phi ,\mu \right)\in R\times C_{\left[-\tau ,0\right]}\times R^n$ 。由(16)式，反馈控制率(18)可以由 $\frac{\partial \hslash }{\partial \mu }=0$ 得到，即

${\mathcal{L}}_2^{\text{T}}\left(\phi \left(0\right)\right)+2{\mathcal{R}}_1\left(\phi \left(0\right)\right)\mu +{\mathcal{G}}^{\text{T}}\left(\phi \left(0\right)\right){\left(\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\frac{\partial {\mathcal{V}}_i}{\partial x}\right)}^{\text{T}}=0$

由条件(v)和引理1，我们可以得到 $\text{Λ}$ 是系统(15)的全局吸引集，(当K = 0时)系统(15)的零解是全局渐进稳定的，由(18)，(19)和(22)我们可得

$\begin{array}{c}\hslash \left(t,\phi ,\varphi \left(\phi \left(0\right)\right)\right)={\mathcal{L}}_1\left(t,\phi \right)+{\mathcal{L}}_2\left(\phi \left(0\right)\right)\varphi \left(\phi \left(0\right)\right)+{\varphi }^{\text{T}}\left(\phi \left(0\right)\right){\mathcal{R}}_1\left(\phi \left(0\right)\right)\varphi \left(\phi \left(0\right)\right)\\ +\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\frac{\partial {\mathcal{V}}_i}{\partial x}\left[\mathcal{A}\left(t\right)x\left(t\right)+\mathcal{F}\left(t,\phi \right)+\mathcal{G}\left(\phi \left(0\right)\right)\mu \right]\\ ={\mathcal{L}}_1\left(t,\phi \right)-{\varphi }^{\text{T}}\left(\phi \left(0\right)\right){\mathcal{R}}_1\left(\phi \left(0\right)\right)\varphi \left(\phi \left(0\right)\right)+\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\frac{\partial {\mathcal{V}}_i}{\partial x}\left[\mathcal{A}\left(t\right)x\left(t\right)+\mathcal{F}\left(t,\phi \right)\right]\\ =0\end{array}$ (23)

那么，由条件(18)，(22)和(23)可以得到

$\begin{array}{c}\hslash \left(t,\phi ,\mu \right)=\hslash \left(t,\phi ,\mu \right)-\hslash \left(t,\phi ,\varphi \left(\phi \left(0\right)\right)\right)\\ ={\mathcal{L}}_2\left(\phi \left(0\right)\right)\left[\mu -\varphi \left(\phi \left(0\right)\right)\right]+{\mu }^{\text{T}}{\mathcal{R}}_1\left(\phi \left(0\right)\right)\mu -{\varphi }^{\text{T}}\left(\phi \left(0\right)\right){\mathcal{R}}_1\left(\phi \left(0\right)\right)\varphi \left(\phi \left(0\right)\right)\\ +\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\frac{\partial {\mathcal{V}}_i}{\partial x}\mathcal{G}\left(\phi \left(0\right)\right)\left[\mu -\varphi \left(\phi \left(0\right)\right)\right]\\ =-2{\varphi }^{\text{T}}\left(\phi \left(0\right)\right){\mathcal{R}}_1\left(\phi \left(0\right)\right)\left[\mu -\varphi \left(\phi \left(0\right)\right)\right]+{\mu }^{\text{T}}{R}_1\left(\phi \left(0\right)\right)\mu -{\varphi }^{\text{T}}\left(\phi \left(0\right)\right){\mathcal{R}}_1\left(\phi \left(0\right)\right)\varphi \left(\phi \left(0\right)\right)\\ ={\left[\mu -\varphi \left(\phi \right)\right]}^{\text{T}}{\mathcal{R}}_1\left(\phi \left(0\right)\right){\left[\mu -\varphi \left(\phi \right)\right]}^{\text{T}}\\ \ge 0,\forall \phi \in C_{\left[-\tau ,0\right]}\text{and}\mu \in {ℝ}^n\end{array}$ (24)

对于任意的 $\phi \in C_{\left[-\tau ,0\right]}$ ，令 $\mu \left(t\right)=\varphi \left(x\left(t\right)\right)$ ，其中 $x\left(t\right):=x\left(t,t_0,\phi \right)$ 是系统(15)的解，那么我们有

${D^{+}V\left(x\left(t\right)\right)|}_{\left(15\right)}={\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{\partial {\mathcal{V}}_i}{\partial x}\left[A\left(t\right)x\left(t\right)+\mathcal{F}\left(t,x_t\right)+\mathcal{G}\left(x\left(t\right)\right)\varphi \left(x\left(t\right)\right)\right]}$ (25)

因此，由(22)，(23)和(25)，我们可以得到

$\mathcal{L}\left(t,x_t,\varphi \left(x\left(t\right)\right)\right)=\hslash \left(t,x_t,\varphi \left(x\left(t\right)\right)\right)-D^{+}V{\left(x\left(t\right)\right)|}_{\left(15\right)}=-D^{+}V{\left(x\left(t\right)\right)|}_{\left(15\right)}$ (26)

对(26)式从 到 积分，可以得到

$\begin{array}{c}{\displaystyle {\int }_{t_0}^t\mathcal{L}\left(s,x_s,\varphi \left(x\left(s\right)\right)\right)\text{d}s}=-{\displaystyle {\int }_{t_0}^t{D}^{+}V\left(x\left(s\right)\right)\text{d}s}\\ =-{\displaystyle \underset{t_0\le t_k<t}{\sum }{\displaystyle {\int }_{t_k}^{t_{k+1}^{-}\wedge t^{-}}{D}^{+}V\left(x\left(s\right)\right)\text{d}s}}\\ =-{\displaystyle \underset{t_0\le t_k<t}{\sum }\left[V\left(t_{k+1}^{-}\wedge t^{-}\right)-V\left(t_k\right)\right]}\\ =-{\displaystyle \underset{t_0\le t_k<t}{\sum }\left[V\left(t_{k+1}^{-}\wedge t^{-}\right)-V\left(t_k^{-}\right)\right]}+{\displaystyle \underset{t_0\le t_k<t}{\sum }\left[V\left(t_k\right)-V\left(t_k^{-}\right)\right]}\\ =-\left[V\left(t^{-}\right)-V\left(t_0\right)\right]+{\displaystyle \underset{t_0\le t_k<t}{\sum }\left[V\left(t_k\right)-V\left(t_k^{-}\right)\right]},t\ge t_0\end{array}$ (27)

由条件(i)和引理1，令 $t\to \infty$ ，由(27)式可得

$\Upsilon \left(t_0,\phi ,\varphi \left(x(\cdot )\right)\right)=V\left(t_0\right)+{\displaystyle \underset{t_0\le t_k<t}{\sum }\left[V\left(t_k\right)-V\left(t_k^{-}\right)\right]}$ (28)

对于任意的 $\phi \in C_{\left[-\tau ,0\right]}$ 以及 $\mu (\cdot )\in \text{Θ}\left(\phi \right)$ ，令 $x\left(t\right):=x\left(t,t_0,\phi \right)$ 为系统(14)的解，那么我们有

$D^{+}V{\left(x\left(t\right)\right)|}_{\left(14\right)}={\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{\partial {\mathcal{V}}_i}{\partial x}\left[A\left(t\right)x\left(t\right)+\mathcal{F}\left(t,x_t\right)+\mathcal{G}\left(x\left(t\right)\right)\mu \left(t\right)\right]}$ (29)

由(22)和(29)，我们有

$\mathcal{L}\left(t_0,x_t,\mu \left(t\right)\right)=-D^{+}V\left(x\left(t\right)\right)+\hslash \left(t,x_t,\mu \left(t\right)\right)$ (30)

类似于(27)和(28)，由(24)和(30)以及 $\mu (\cdot )\in \text{Θ}\left(x_0\right)$ 可得

$\begin{array}{c}\Upsilon \left(t_0,\phi ,\mu (\cdot )\right)={\displaystyle {\int }_{t_0}^{\infty }\left[-D^{+}V\left(x\left(t\right)\right)+\hslash \left(t,x_t,\mu \left(t\right)\right)\right]\text{d}t}\\ =V\left(t_0\right)-\underset{t\to \infty }{\lim }V\left(t^{-}\right)+\underset{t_0\le t_k<t}{{\displaystyle \sum }}\left[V\left(t_k\right)-V\left(t_k^{-}\right)\right]+{\displaystyle {\int }_{t_0}^{\infty }\hslash \left(t,x_t,\mu \left(t\right)\right)\text{d}t}\\ \ge V\left(t_0\right)+\underset{t_0\le t_k<t}{{\displaystyle \sum }}\left[V\left(t_k\right)-V\left(t_k^{-}\right)\right]\\ =\Upsilon \left(t_0,\phi ,\varphi \left(x(\cdot )\right)\right)\end{array}$

可以得到(20)，证明完成。

4. 实例分析

在本节中，我们给出一个实例，为了证明定理1的结果优于没有时滞的线性系统，下面这个例子给出了具有时滞的线性系统。

考虑一个二维脉冲时滞系统

$\begin{array}{l}{\stackrel{\dot{}}{x}}_1\left(t\right)=-2x_1\left(t\right)+\sin \left(t\right)x_2\left(t\right)+3\sin \left(x_1\left(t-1\right)\right)+x_2\left(t-1\right)+J_1\left(t\right)+u_1\left(t\right),t\ge 0,\\ {\stackrel{\dot{}}{x}}_2\left(t\right)=\cos \left(t\right)x_1\left(t\right)-2x_2\left(t\right)-x_1\left(t-1\right)+3\sin \left(x_2\left(t-1\right)\right)+J_2\left(t\right)+u_2\left(t\right),t\ne t_k,\\ \Delta x_1=x_1\left(t_k^{+}\right)-x_1\left(t_k^{-}\right)=I_1\left(x\left(t_k^{-}\right)\right),t_k=k,\\ \Delta x_2=x_2\left(t_k^{+}\right)-x_2\left(t_k^{-}\right)=I_2\left(x\left(t_k^{-}\right)\right),k\in N\end{array}$ (31)

其中 $J\left(t\right)={\left[J_1\left(t\right)J_2\left(t\right)\right]}^{\text{T}}$ 且 $\left|J_1\left(t\right)\right|\le J_1$ 以及 $\left|J_2\left(t\right)\right|\le J_2$ ，令 $\tau =1$ ， $\text{Γ}=0.1$ ， $\beta ={\left[1,1\right]}^{\text{T}}$ ，由定理1的条件

(v)我们可以很容易的验证

$R=\left[\begin{array}{cc}-6& 1\\ 1& -6\end{array}\right],S=\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right],K=\left[\begin{array}{c}{J}_1-4\\ J_2-4\end{array}\right],$

$\left(\Gamma {\mathcal{I}}_n+\mathcal{R}+\mathcal{S}{\text{e}}^{\Gamma \tau }\right)\beta \approx \left[\begin{array}{cc}-2.5845& 2.1052\\ 2.1052& -2.5845\end{array}\right]\left[\begin{array}{c}1\\ 1\end{array}\right]=\left[\begin{array}{c}-0.4793\\ -0.4793\end{array}\right]<0$

令性能被积的条函数为

$\mathcal{L}\left(x,u\right)={\mathcal{L}}_1\left(x\right)+{\mathcal{L}}_2\left(x\right)u+R_1{u}^2$ ，当 $x\in {ℝ}^2,u\in {ℝ}^{1\times 2}$ 时，

其中 $R_1=8$ ，以及

${\mathcal{L}}_2\left(x\right)=\left[\begin{array}{cc}{x}_1\left(t\right)& x_2\left(t\right)\end{array}\right]$ ,

满足定理1的条件(iii)，那么由(18)和(19)，我们可以得到

$\varphi \left(x\right)=-4{\left[\begin{array}{cc}{x}_1\left(t\right)+sgn{x}_1\left(t\right)& x_2\left(t\right)+sgn{x}_2\left(t\right)\end{array}\right]}^{\text{T}}$ (32)

以及

$\begin{array}{l}{\mathcal{L}}_1\left(x\right)=-32\left[{\left(x_1\left(t\right)+sgn{x}_1\left(t\right)\right)}^2+{\left(x_2\left(t\right)+sgn{x}_2\left(t\right)\right)}^2\right]\\ +2\left|x_1\left(t\right)\right|-sgn{x}_1\left(t\right)\sin \left(t\right)x_2\left(t\right)-sgn{x}_1\left(t\right)J_1\left(t\right)\\ -3sgn{x}_1\left(t\right)\sin \left(x_1\left(t-1\right)\right)-sgn{x}_1\left(t\right)x_2\left(t-1\right)\\ -sgn{x}_2\left(t\right)\cos \left(t\right)x_1\left(t\right)+2\left|x_2\left(t\right)\right|+sgn{x}_2\left(t\right)x_1\left(t-1\right)\\ -3sgn{x}_2\left(t\right)\sin \left(x_2\left(t-1\right)\right)-sgn{x}_2\left(t\right)J_2\left(t\right),\end{array}$ (33)

最后，我们有

$D^{+}V{\left(t\right)|}_{\left(31\right)}\le \left[\begin{array}{cc}-6& 1\\ 1& -6\end{array}\right]V\left(t\right)+\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right]{\left|V\left(t\right)\right|}_{\tau }+K$

定理1的条件满足。由引理1，具有反馈控制率(32)的闭环系统(31)的零解 $x\left(t\right)\equiv 0$ 是全局渐进稳定的。

5. 结论

在本文中，我们提出了一个框架来分析和设计具有时滞的脉冲线性系统的反馈控制器，为了避免求解Hamilton-Jacobi-Bellman (HJB)方程稳态时的复杂计算，设计了一种灵活的代价函数，该代价函数依赖于动力系统、Lyapunov泛函以及求解HJB方程稳态时得到的稳定反馈控制律。根据我们的结果，导出了具有时滞系统中最优反馈控制问题的相应结果。最后，通过数值仿真验证了所提方法的有效性。目前还没有关于具有时滞的脉冲微分方程的最优控制问题，因此本文提出的最优控制理论进一步地完善了具有时滞的脉冲微分方程的最优控制问题。