具有一类不连续非单调激活函数的时滞递归神经网络的多稳定性分析

Multistability Analysis of Delayed Recurrent Neural Networks with a Class of Discontinuous and Non-Monotonic Activation Functions

摘要: 本文提出了一类不连续非单调激活函数，研究了具有这类激活函数的时滞递归神经网络的多稳定性。根据激活函数的几何特性和不动点定理，给出充分条件确保n维神经网络至少存在7ⁿ个平衡点，其中4ⁿ个是局部指数稳定的。然后，我们将结果推广到更一般的情况。在不增加充分条件的情况下，本文通过增加激活函数峰值点的数量k，得到n维神经网络可以具有 (2k+3)ⁿ 平衡点，其中是 (k+2)ⁿ 局部指数稳定的。与之前文献相比，总平衡点和稳定平衡点的数量大大地增加了，从而提高了递归神经网络的存储容量。最后，给出了一个例子来证明我们的理论结果。

Abstract: This paper proposes a class of discontinuous and non-monotonic activation functions and studies the multistability of delayed recurrent neural network with these activation functions. By the geometrical properties of activation function and fixed point theorem, some sufficient conditions are presented to ensure that n-dimensional neural networks can have at least 7ⁿ equilibria, where 4ⁿ equilibria are locally exponentially stable. Then, the obtained results are extended to a more general case. Without adding sufficient conditions, this paper increases the number of peak points (k) of the activation function and finds that the n-dimensional neural networks can have (2k+3)ⁿ equilibria, where (k+2)ⁿ equilibria of them are locally exponentially stable. Compared with the previous literature, the numbers of total equilibria and stable equilibria are enormously increased, thus enhancing the memory storage capacity of DRNN. Finally, one example is presented to demonstrate our theoretical results.

1. 引言

由于神经网络(NNs)在各种技术领域的成功应用，近年来对其进行了深入研究。NNs的应用取决于其动态行为特征，如稳定性、周期解、分岔、混沌和协作行为。其中，稳定性是理论研究中的一个关键问题，也是众多实际应用的前提 [1] [2] ，并且在不同的应用中期望NNs具有不同的稳定性。例如，在优化问题中，期望NNs具有唯一的稳定平衡点 [3] 。而在联想记忆中，当NNs执行联想记忆功能时，平衡点被视为存储在网络中的信息。因此，NNs拥有的平衡点越多，其记忆存储容量就越大。所以，需要NNs具有多个局部稳定平衡 [4] [5] 。综上所述，多稳定性具有重要的理论意义和应用价值。

激活函数的类型对平衡点的数量和记忆存储能力起着重要作用。目前，对具有简单激活函数(如饱和函数 [6] 和S形函数 [7] )的NNs的多稳定性已经进行了深入研究。在 [8] 中，分析了具有原点对称阶梯激活函数的递归神经网络(RNNs)的多稳定性。结果表明，具有这种激活函数的RNNs可以具有 ${\left(2m+1\right)}^n$ 个平衡点，其中 ${\left(m+1\right)}^n$ 个是局部指数稳定的。除了单调函数外，具有非单调激活函数的RNNs的多稳定性也是一个热门话题。在 [9] 中，研究了具有Gaussian激活函数的RNNs的多稳定性，揭示了这样一个系统最多可以拥有2ⁿ个稳定平衡点，并且它的每个解轨迹都会收敛到稳定平衡点。在 [10] 中，发现了具有非单调Mexican-hat-type函数n维NNs可以最多具有3ⁿ个平衡点。在 [11] 中，研究了具有不连续非单调分段线性激活函数的神经网络的多稳定性，并且发现不连续激活函数在多稳定性具有着更良好的性质 [12] 。为了获得更大的记忆存储容量，将Morita激活函数扩展为Morita-like函数。结果表明，具有该激活函数的NNs可以产生 ${\left(m+1\right)}^n$ 个稳定平衡。

受到上述启发，本文提出了一类新的不连续非单调激活函数。之后，深入研究了时滞递归神经网络(DRNN)的多稳定性和局部指数稳定性并且通过增加激活函数的峰值点来增大NNs的记忆存储容量。最后，提供了一个数值例子，展示了结论的准确性。

2. 问题陈述

2.1. 模型描述

在本文中，将考虑如下DRNN：

$\frac{\text{d}{x}_i\left(t\right)}{\text{d}t}=-c_i{x}_i\left(t\right)+{\displaystyle \underset{j=1}{\overset{n}{\sum }}{a}_{ij}}{f}_j\left(x_j\left(t\right)\right)+{\displaystyle \underset{j=1}{\overset{n}{\sum }}{b}_{ij}}{f}_j\left(x_j\left(t-{\tau }_j\left(t\right)\right)\right)+J_i,$ (2.1.1)

其中 $x_i\left(t\right)\in \mathcal{R}$ 是第i个神经元的状态， $c_i>0$ 表示第i个神经元的自反馈， $a_{ij}$ 和 $b_{ij}$ 分别表示第j个神经元在第i个神经元上的连接权重， $J_i$ 是一个常量外部输入， ${\tau }_i\left(t\right)$ 满足 $0\le {\tau }_i\left(t\right)\le \tau$ ( $\tau$ 为常数)。

由于不连续非单调激活函数在增大记忆存储容量方面有着良好的性质，本文提出了一类新型的不连续非单调激活函数。

$f_i\left(x\right)=\{\begin{array}{l}{u}_i,x\in \left(-\infty ,p_{i,1}\right)\\ f_{i1}\left(x\right),x\in \left[p_{i,1},q_{i,1}\right)\\ f_{i2}\left(x\right),x\in \left[q_{i,1},p_{i,2}\right)\\ f_{i3}\left(x\right),x\in \left[p_{i,2},q_{i,2}\right)\\ f_{i4}\left(x\right),x\in \left[q_{i,2},p_{i,3}\right]\\ v_i,x\in \left(p_{i,3},+\infty \right)\end{array}$ (2.1.2)

其中 $p_{i,1}$ ， $p_{i,2}$ ， $p_{i,3}$ ， $q_{i,1}$ ， $q_{i,2}$ 是常数并且 $-\infty <p_{i,1}<q_{i,1}<p_{i,2}<q_{i,2}<p_{i,3}<+\infty$ 。 $f_{i1}\left(x\right)$ 和 $f_{i3}\left(x\right)$ 是连续且单调递增的函数， $f_{i2}\left(x\right)$ 和 $f_{i4}\left(x\right)$ 是连续且单调递减函数， $f_i\left(p_{i,1}\right)=f_i\left(p_{i,2}\right)=f_i\left(p_{i,3}\right)=u_i$ ， $f_i\left(q_{i,1}\right)=f_i\left(q_{i,2}\right)$ 并且 $v_i>f_i\left(q_{i,1}\right)>f_i\left(p_{i,1}\right)$ ， $i=1,2,\cdots ,n$ 。 $f_i\left(x\right)$ 有两个峰值点 $\left(q_{i,1},f_i\left(q_{i,1}\right)\right)$ 和 $\left(q_{i,2},f_i\left(q_{i,2}\right)\right)$ 。

为了便于描述，我们定义了以下符号，

$\left(-\infty ,p_{i,1}\right)={\left(-\infty ,p_{i,1}\right)}^1\times {\left(p_{i,1},q_{i,1}\right)}^0\times {\left(q_{i,1},p_{i,2}\right)}^0\times {\left(p_{i,2},q_{i,2}\right)}^0\times {\left(q_{i,2},p_{i,3}\right)}^0\times {\left(p_{i,3},+\infty \right)}^0,$

$\left(p_{i,1},q_{i,1}\right)={\left(-\infty ,p_{i,1}\right)}^0\times {\left(p_{i,1},q_{i,1}\right)}^1\times {\left(q_{i,1},p_{i,2}\right)}^0\times {\left(p_{i,2},q_{i,2}\right)}^0\times {\left(q_{i,2},p_{i,3}\right)}^0\times {\left(p_{i,3},+\infty \right)}^0,$

$\left(q_{i,1},p_{i,2}\right)={\left(-\infty ,p_{i,1}\right)}^0\times {\left(p_{i,1},q_{i,1}\right)}^0\times {\left(q_{i,1},p_{i,2}\right)}^1\times {\left(p_{i,2},q_{i,2}\right)}^0\times {\left(q_{i,2},p_{i,3}\right)}^0\times {\left(p_{i,3},+\infty \right)}^0,$

$\left(p_{i,2},q_{i,2}\right)={\left(-\infty ,p_{i,1}\right)}^0\times {\left(p_{i,1},q_{i,1}\right)}^0\times {\left(q_{i,1},p_{i,2}\right)}^0\times {\left(p_{i,2},q_{i,2}\right)}^1\times {\left(q_{i,2},p_{i,3}\right)}^0\times {\left(p_{i,3},+\infty \right)}^0,$

$\left(q_{i,2},p_{i,3}\right)={\left(-\infty ,p_{i,1}\right)}^0\times {\left(p_{i,1},q_{i,1}\right)}^0\times {\left(q_{i,1},p_{i,2}\right)}^0\times {\left(p_{i,2},q_{i,2}\right)}^0\times {\left(q_{i,2},p_{i,3}\right)}^1\times {\left(p_{i,3},+\infty \right)}^0,$

$\left(p_{i,3},+\infty \right)={\left(-\infty ,p_{i,1}\right)}^1\times {\left(p_{i,1},q_{i,1}\right)}^0\times {\left(q_{i,1},p_{i,2}\right)}^0\times {\left(p_{i,2},q_{i,2}\right)}^0\times {\left(q_{i,2},p_{i,3}\right)}^0\times {\left(p_{i,3},+\infty \right)}^1,$

由此对进行状态空间划分：

$\begin{array}{l}{\Omega }_n=\{{\displaystyle \underset{i=1}{\overset{n}{\prod }}{\left(-\infty ,p_{i,1}\right)}^{{\delta }_1^{\left(i\right)}}}\times {\left[p_{i,1},q_{i,1}\right]}^{{\delta }_2^{\left(i\right)}}\times {\left(q_{i,1},p_{i,2}\right)}^{{\delta }_3^{\left(i\right)}}\times {\left[p_{i,2},q_{i,2}\right]}^{{\delta }_4^{\left(i\right)}}\times {\left(q_{i,2},p_{i,3}\right)}^{{\delta }_5^{\left(i\right)}}\times {\left(p_{i,3},+\infty \right)}^{{\delta }_6^{\left(i\right)}},\\ \left({\delta }_1^{\left(i\right)},{\delta }_2^{\left(i\right)},{\delta }_3^{\left(i\right)},{\delta }_4^{\left(i\right)},{\delta }_5^{\left(i\right)},{\delta }_6^{\left(i\right)}\right)=\left(1,0,0,0,0,0\right)或\left(0,1,0,0,0,0\right)或\left(0,0,1,0,0,0\right)\\ \begin{array}{c}\\ \end{array}或\left(0,0,0,1,0,0\right)或\left(0,0,0,0,1,0\right)或\left(0,0,0,0,0,1\right)\}\end{array}$

显然可见， ${\Omega }_n$ 有 $6^n$ 个元素。

2.2. 平衡点的定义

由于具有激活函数(2.1.2)的DRNN(2.1.1)是具有不连续点的微分方程组，因此我们需要说明神经网络(2.1.1)解的含义。定义 $K\left[f\left(x\right)\right]={\left(K\left[f_1\left(x_1\right)\right],K\left[f_2\left(x_2\right)\right],\cdots ,K\left[f_n\left(x_n\right)\right]\right)}^{\text{T}}$ 并且 $K\left[f_i\left(x_i\right)\right]=\left[f_i\left(x_i^{-}\right),f_i\left(x_i^{+}\right)\right]$ 。

定义2.2.1. 如果 $x\left(t\right)={\left(x_1\left(t\right),x_2\left(t\right),\cdots ,x_n\left(t\right)\right)}^{\text{T}}:\left[-\tau ,T\right)\to {\mathcal{R}}^n,T\in \left(0,+\infty \right]$ 满足以下条件：

1) $x\left(t\right)$ 在 $\left[-\tau ,T\right)$ 上是连续的，并且在 $\left[0,T\right)$ 上是绝对连续的。

2) 对于几乎所有的 $t\in \left[-\tau ,T\right)$ ，存在可测函数 $\gamma \left(t\right)={\left[{\gamma }_1\left(t\right),{\gamma }_2\left(t\right),\cdots ,{\gamma }_n\left(t\right)\right]}^{\text{T}}:\left[-\tau ,T\right)\to {\mathcal{R}}^n$ 使得 $\gamma \left(t\right)\in K\left[f\left(x\left(t\right)\right)\right]$ 且满足

${\stackrel{\dot{}}{x}}_i\left(t\right)=-c_i{x}_i\left(t\right)+\underset{j=1}{\overset{n}{{\displaystyle \sum }}}{a}_{ij}{\gamma }_j\left(t\right)+\underset{j=1}{\overset{n}{{\displaystyle \sum }}}{b}_{ij}{\gamma }_j\left(t-{\tau }_{ij}\left(t\right)\right)+J_i$ ， $i=1,\cdots ,n$ ，

则 $x\left(t\right)$ 是DRNN(2.1.1)的一个解。

定义2.2.2. 如果向量 $x^{*}=\left(x_1^{*},\cdots ,x_n^{*}\right)$ 满足： $0\in -c_i{x}_i^{*}+\underset{j=1}{\overset{n}{{\displaystyle \sum }}}\left(a_{ij}+b_{ij}\right)K\left[f_j\left(x_j^{*}\right)\right]+J_i$ ， $i=1,\cdots ,n$ ，则称之

为DRNN(2.1.1)的平衡点。

3. 主要结果

3.1. 平衡点的存在性分析

首先，我们将分析位于激活函数(2.1.2)连续区域中的平衡点数目。

引理3.1.1 对 $i=1,\cdots ,n$ ，如果以下条件成立：

$-c_i{p}_{i,1}+\left(a_{ii}+b_{ii}\right)u_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i<0,$ (3.1.1)

$-c_i{q}_{i,2}+\left(a_{ii}+b_{ii}\right)f_i\left(q_{i,2}\right)+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i>0,$ (3.1.2)

$-c_i{p}_{i,3}+\left(a_{ii}+b_{ii}\right)v_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i>0,$ (3.1.3)

则具有激活函数(2.1.2)的DRNN(2.1.1)有 $6^n$ 个平衡点位于 ${\Omega }_n$ 。

证明：从集合 ${\Omega }_n$ 中任意选取一个元素为

$\begin{array}{l}{\tilde{\Omega }}_n=\{{\displaystyle \underset{i\in N_1}{\prod }\left(-\infty ,p_{i,1}\right)}\times {\displaystyle \underset{i\in N_1}{\prod }\left[p_{i,1},q_{i,1}\right]}\times {\displaystyle \underset{i\in N_3}{\prod }\left(q_{i,1},p_{i,2}\right)}\\ \times {\displaystyle \underset{i\in N_4}{\prod }\left[p_{i,2},q_{i,2}\right]}\times {\displaystyle \underset{i\in N_5}{\prod }\left(q_{i,2},p_{i,3}\right)}\times {\displaystyle \underset{i\in N_6}{\prod }\left(p_{i,3},+\infty \right)}\}\subset {\Omega }_n\text{,}\end{array}$

其中 $N_i\left(i=1,2,3,4,5,6\right)$ 是 $\left\{1,2,\cdots ,n\right\}$ 的子集，并且 $N_1\cup N_2\cup N_3\cup N_4\cup N_5\cup N_6=\left\{1,2,\cdots ,n\right\}$ ， $N_i\cap N_j=\varnothing \left(i\ne j,i,j=1,2,3,4,5,6\right)$ 。我们将证明DRNN(2.1.2)在位于 ${\tilde{\Omega }}_n$ 中至少有一个平衡点。

注意，DRNN(2.1.1)的平衡点与以下无延迟神经网络的平衡点相同

$\frac{\text{d}{x}_i\left(t\right)}{\text{d}t}=-c_i{x}_i\left(t\right)+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\left(a_{ij}+b_{ij}\right)f_j\left(x_j\left(t\right)\right)}+J_i,i=1,\cdots ,n.$ (3.1.4)

令

$F_i\left(x\right)=-c_{i}x+\left(a_{ii}+b_{ii}\right)f\left(x\right)+{\displaystyle \underset{j=1,j\ne i}{\overset{n}{\sum }}\left(a_{ij}+b_{ij}\right)f\left(x_j\left(t\right)\right)}+J_i.$ (3.1.5)

情形1：当 $i\in N_1$ 时，根据(3.1.1)和(3.1.5)可得：

$F_i\left(p_{i,1}\right)\le -c_i{p}_{i,1}+\left(a_{ii}+b_{ii}\right)u_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i<0.$

并且 $\underset{x\to -\infty }{\lim }{F}_i\left(x\right)=+\infty$ ，由于 $F_i\left(x\right)$ 在 $\left(-\infty ,p_{i,1}\right]$ 连续，所以至少存在一个 ${\bar{x}}_i\in \left(-\infty ,p_{i,1}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

情形2：当 $i\in N_2$ 时，根据(3.1.2)和(3.1.5)可得：

$F_i\left(q_{i,1}\right)>-c_i{q}_{i,2}+\left(a_{ii}+b_{ii}\right)f\left(q_{i,2}\right)+{\displaystyle \underset{j=1,j\ne i}{\overset{n}{\sum }}\min }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i>0.$

结合 $F_i\left(p_{i,1}\right)<0$ ，由于 $F_i\left(x\right)$ 在 $\left[p_{i,1},q_{i,1}\right]$ 上连续，所以至少存在一个 ${\bar{x}}_i\in \left(p_{i,1},q_{i,1}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

情形3：当 $i\in N_3$ 时，根据(3.1.1)可得 $F_i\left(p_{i,2}\right)<0$ ，结合 $F_i\left(q_{i,1}\right)>0$ ，由于 $F_i\left(x\right)$ 在 $\left[q_{i,1},p_{i,2}\right]$ 上连续，所以至少存在一个 ${\bar{x}}_i\in \left(q_{i,1},p_{i,2}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

情形4：当 $i\in N_4$ 时，根据(3.1.2)可得 $F_i\left(q_{i,2}\right)>0$ ，结合 $F_i\left(p_{i,2}\right)<0$ ，由于 $F_i\left(x\right)$ 在 $\left[p_{i,2},q_{i,2}\right]$ 上连续，所以至少存在一个 ${\bar{x}}_i\in \left(p_{i,2},q_{i,2}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

情形5：当 $i\in N_5$ 时，根据(3.1.1)可得 $\underset{x\to p_{i,3}^{-}}{\lim }{F}_i\left(x\right)<0$ ，结合 $F_i\left(q_{i,2}\right)>0$ ，由于 $F_i\left(x\right)$ 在 $\left[q_{i,2},p_{i,3}\right)$ 上连

续，所以至少存在一个 ${\bar{x}}_i\in \left(q_{i,2},p_{i,3}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

情形6：当 $i\in N_6$ 时，根据(3.1.3)和(3.1.5)可得 $\underset{x\to p_{i,3}^{\text{+}}}{\lim }{F}_i\left(x\right)>0$ ，并且 $\underset{x\to +\infty }{\lim }{F}_i\left(x\right)=-\infty$ ，由于 $F_i\left(x\right)$ 在

$\left(p_{i,3},+\infty \right)$ 上连续，所以至少存在一个 ${\bar{x}}_i\in \left(p_{i,3},+\infty \right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

定义映射 $\mathcal{G}$ ： ${\tilde{\Omega }}_n\to {\tilde{\Omega }}_n$ 满足 $\mathcal{G}\left(x_1,\cdots ,x_n\right)={\left({\bar{x}}_1,\cdots ,{\bar{x}}_n\right)}^{\text{T}}$ 。显然，映射 $\mathcal{G}$ 连续。根据Brouwer不动点定理， $\mathcal{G}$ 至少存在一个不动点 $x^{*}={\left(x_1^{*},\cdots ,x_n^{*}\right)}^{\text{T}}\in {\tilde{\Omega }}_n$ ，此不动点也是DRNN(2.1.1)位于 $\tilde{\Omega }$ 中的一个平衡点。由于 $\Omega$ 被划分为了6个区间，因此具有不连续非单调激活函数(2.1.2)的DRNN(2.1.1)在 $\Omega$ 中至少存在 $6^n$ 个平衡点。

注3.1.1 不等式(3.1.1)~(3.1.3)表明了 $a_{ii}+b_{ii}>0$ ， $i=1,\cdots ,n$ 。事实上，根据(3.1.1)和(3.1.2)，我们可以得到 $-c_i{p}_{i,1}+\left(a_{ii}+b_{ii}\right)u_i<-c_i{q}_{i,2}+\left(a_{ii}+b_{ii}\right)f_i\left(q_{i,2}\right)$ ，使得 $0<c_i\left(q_{i,2}-p_{i,1}\right)<\left(a_{ii}+b_{ii}\right)\cdot \left(f_i\left(q_{i,2}\right)-u_i\right)$ ，由于 $f_i\left(q_{i,2}\right)-u_i>0$ ，因此这意味着 $a_{ii}+b_{ii}>0$ ， $i=1,\cdots ,n$ 。

上述给出的引理3.1.1只考虑了平衡点的所有分量都位于激活函数的连续区域的情况，但是是否存在一些平衡点，其部分分量正好位于激活函数的不连续点。这个问题将在下列引理中被讨论。

引理3.1.2 假设(3.1.1)~(3.1.3)成立，具有非单调不连续激活函数(2.1.2)和DRNN(2.1.1)至少存在 $\underset{j=1}{\overset{n}{{\displaystyle \sum }}}{C}_n^j{6}^{n-j}$

个平衡点位于激活函数 $f\left(x\right)={\left(f_1\left(x_1\right),\cdots ,f_n\left(x_n\right)\right)}^{\text{T}}$ 的不连续区域。

证明：对于任何点 ${\left(x_1,x_2,\cdots ,x_n\right)}^{\text{T}}\in {\mathcal{R}}^n$ ，定义一个集合 $\mathcal{N}=\left\{i|x_i=p_{i,3},i=1,2,\cdots ,n\right\}$ 。 $\rho \left(\mathcal{N}\right)$ 表示集合 $\mathcal{N}$ 中元素的数量。在下文中，我们将根据 $\rho \left(\mathcal{N}\right)$ 的值分为两种情形讨论。

情形1： $\rho \left(\mathcal{N}\right)=1$ ，这意味着向量 ${\left(x_1,x_2,\cdots ,x_n\right)}^{\text{T}}$ 只有一个分量 $x_i=p_{i,3}$ 。为了不失一般性的情况下，我们假设 $x_1=p_{1,3}$ 。接下来，我们将证明 $\left(p_{1,3},x_2,\cdots ,x_n\right)$ 是DRNN(2.1.1)的一个平衡点。根据定义2.2.2，我们仅需要满足：

$0\in -c_1{p}_{1,3}+\left(a_{11}+b_{11}\right)\left[u_1,v_1\right]+{\displaystyle \underset{j=2}{\overset{n}{\sum }}\left(a_{1j}+b_{1j}\right)f_j\left(x_j\right)}+J_1,$ (3.1.6)

$0\in -d_i{x}_i+\left(a_{i1}+b_{i1}\right)\left[u_1,v_1\right]+{\displaystyle \underset{j=2}{\overset{n}{\sum }}\left(a_{ij}+b_{ij}\right)f_j\left(x_j\right)}+J_i,i=1,\cdots ,n.$ (3.1.7)

我们将首先证明对于任意的 ${\left(x_2,\cdots ,x_n\right)}^{\text{T}}\in {\mathcal{R}}^{n-1}$ ，(3.1.6)都成立。注意到 $a_{11}+b_{11}>0$ ，我们有 $\left(a_{11}+b_{11}\right)\left[u_i,v_i\right]=\left[\left(a_{11}+b_{11}\right)u_i,\left(a_{11}+b_{11}\right)v_i\right]$ 。由 $u_j\le f_j\left(x\right)\le v_j$ ，(3.1.1)和(3.1.3)可得：

$\begin{array}{l}-c_1{p}_{1,3}+\left(a_{11}+b_{11}\right)u_1+{\displaystyle \underset{j=2}{\overset{n}{\sum }}\left(a_{1j}+b_{1j}\right)f_j\left(x_j\right)}+J_1\\ <-c_1{p}_{1,1}+\left(a_{11}+b_{11}\right)u_1+{\displaystyle \underset{j=2}{\overset{n}{\sum }}\max }\left\{\left(a_{1j}+b_{1j}\right)u_j,\left(a_{1j}+b_{1j}\right)v_j\right\}+J_1<0,\end{array}$ (3.1.8)

$\begin{array}{l}-c_1{p}_{1,3}+\left(a_{11}+b_{11}\right)v_1+{\displaystyle \underset{j=2}{\overset{n}{\sum }}\left(a_{1j}+b_{1j}\right)f_j\left(x_j\right)}+J_1\\ \ge -c_1{p}_{1,3}+\left(a_{11}+b_{11}\right)v_1+{\displaystyle \underset{j=2}{\overset{n}{\sum }}\min }\left\{\left(a_{1j}+b_{1j}\right)u_j,\left(a_{1j}+b_{1j}\right)v_j\right\}+J_1>0.\end{array}$ (3.1.9)

因此(3.1.6)成立。

从 ${\mathcal{R}}^{n-1}$ 中任意选取一个区域：

${\tilde{\Omega }}_{n-1}=\underset{i\in N_1}{\prod }\left(-\infty ,p_{i,1}\right)\times \underset{i\in N_2}{\prod }\left[p_{i,1},q_{i,1}\right]\times \underset{i\in N_3}{\prod }\left(q_{i,1},p_{i,2}\right)\times \underset{i\in N_4}{\prod }\left[p_{i,2},q_{i,2}\right]\times \underset{i\in N_5}{\prod }\left(q_{i,2},p_{i,3}\right)\times \underset{i\in N_6}{\prod }\left(p_{i,3},+\infty \right)$

其中 $N_i\left(i=1,2,\cdots ,6\right)$ 是 $\left\{2,3,\cdots ,n\right\}$ 的子集， $N_1\cup N_2\cup N_3\cup N_4\cup N_5\cup N_6=\left\{2,3,\cdots ,n\right\}$ ， $N_i\cap N_j=\varnothing$ $\left(i\ne j,i,j=1,2,3,4,5,6\right)$ 。接下来，我们要证明(3.1.7)成立。对于任意的 ${\left(x_2,\cdots ,x_n\right)}^{\text{T}}\in {\tilde{\Omega }}_{n-1}$ ，定义函数：

$F_i\left(x\right)=-c_{i}x+\left(a_{ii}+b_{ii}\right)f_i\left(x\right)+{\tilde{a}}_{i1}+{\tilde{b}}_{i1}+{\displaystyle \underset{j\ne i,j=2}{\overset{n}{\sum }}\left(a_{ij}+b_{ij}\right)f_j\left(x_j\right)}+J_i,i=2,\cdots ,n$ (3.1.10)

其中 ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\in \left(a_{i1}+b_{i1}\right)\left[u_1,v_1\right]$ 。这就意味着 $\min \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}\le {\tilde{a}}_{i1}+{\tilde{b}}_{i1}\le \max \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 。接下来有六种可能的案例需要讨论。

1) 当 $i\in N_1$ 时， $f_i\left(p_{i,1}\right)=u_i$ ， $u_j\le f_j\left(x_j\right)\le v_j$ 且 ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\le \max \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 。根据(3.1.1)和(3.1.10)可得：

$F_i\left(p_{i,1}\right)\le -c_i{p}_{i,1}+\left(a_{ii}+b_{ii}\right)u_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i<0.$

由于 $\underset{x\to -\infty }{\lim }{F}_i\left(x\right)=+\infty$ 和 $F_i\left(x\right)\left(x\ne p_{i,3}\right)$ 的连续性，因此，存在 ${\bar{x}}_i\in \left(-\infty ,p_{i,1}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

2) 当 $i\in N_2$ 时， $f_i\left(q_{i,1}\right)=f_i\left(q_{i,2}\right)$ 且 ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\ge \min \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 。根据(3.1.2)和(3.1.10)可得：

$F_i{\left(q_{i,1}\right)}_i\ge -c_i{q}_{i,2}+\left(a_{ii}+b_{ii}\right)f_i\left(q_{i,2}\right)+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i>0.$

因此，存在 ${\bar{x}}_i\in \left(p_{i,1},q_{i,1}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

3) 当 $i\in N_3$ 时， $f_i\left(p_{i,2}\right)=u_i$ ， ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\le \max \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 且 $p_{i,2}>p_{i,1}$ 。根据(3.1.1)和(3.1.10)可得 $F_i\left(p_{i,2}\right)<0$ 。因此，存在 ${\bar{x}}_i\in \left(q_{i,1},p_{i,2}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

4) 当 $i\in N_4$ 时， ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\ge \min \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 。根据(3.1.2)和(3.1.10)可得 $F_i\left(q_{i,2}\right)>0$ 。

因此，存在 ${\bar{x}}_i\in \left(p_{i,2},q_{i,2}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

5)当 $i\in N_5$ 时， $f_i\left(p_{i,3}\right)=u_i$ ， ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\le \max \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 且 $p_{i,3}>p_{i,1}$ 。根据(3.1.1)和(3.1.10)可得：

$\underset{x\to p_{i,3}^{-}}{\lim }{F}_i\left(x\right)\le -c_i{p}_{i,1}+\left(a_{ii}+b_{ii}\right)u_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{\left(a_{ij}+b_{ij}\right)u_j,\left(a_{ij}+b_{ij}\right)v_j\right\}+J_i<0.$

因此，存在 ${\bar{x}}_i\in \left(q_{i,2},p_{i,3}\right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

6) 当 $i\in N_6$ 时， ${\tilde{a}}_{i1}+{\tilde{b}}_{i1}\ge \min \left\{\left(a_{i1}+b_{i1}\right)u_1,\left(a_{i1}+b_{i1}\right)v_1\right\}$ 。根据(3.1.2)和(3.1.10)可得 $\underset{x\to p_{i,3}^{+}}{\lim }{F}_i\left(x\right)>0$ 。由于 $\underset{x\to +\infty }{\lim }{F}_i\left(x\right)=-\infty$ 和 $F_i\left(x\right)\left(x\ne p_{i,3}\right)$ 的连续性，因此，存在 ${\bar{x}}_i\in \left(p_{i,3},+\infty \right)$ 使得 $F_i\left({\bar{x}}_i\right)=0$ 。

定义映射 $\mathcal{G}$ ： ${\tilde{\Omega }}_{n-1}\to {\tilde{\Omega }}_{n-1}$ 满足 $\mathcal{G}\left(x_2,\cdots ,x_n\right)={\left({\bar{x}}_2,\cdots ,{\bar{x}}_n\right)}^{\text{T}}$ 。显然，映射 $\mathcal{G}$ 连续。根据Brouwer不动点定理， $\mathcal{G}$ 至少存在一个不动点 ${\left(x_2^{*},\cdots ,x_n^{*}\right)}^{\text{T}}\in {\tilde{\Omega }}_{n-1}$ 并且满足(3.1.7)。因此， ${\left(p_{1,3},x_2^{*},\cdots ,x_n^{*}\right)}^{\text{T}}$ 是DRNN(2.1.1)的平衡点。由于 ${\tilde{\Omega }}_{n-1}$ 的任意性， ${\mathcal{R}}^{n-1}$ 被划分成 $6^{n-1}$ ，具有非单调不连续激活函数(2.1.2)的DRNN(2.1.1)具有 $6^{n-1}$ 个平衡点，并且这 $6^{n-1}$ 个平衡点的第一个分量 $x_1=p_{1,3}$ 。

对于其他 $n-1$ 种情况： $x_j=p_{j,3},j=2,3,\cdots ,n$ ，可以类似讨论。因此，在情形1中，DRNN(2.1.1)至少存在 $C_n^1{6}^{n-1}$ 个平衡点。

情形2：对于其余的情况 $\rho \left(\mathcal{N}\right)=j,j=2,3,\cdots ,n$ ，通过与情形1中相同的推理，我们可以得到神经网络至少存在 $C_n^j{6}^{n-j}$ 个平衡点。

综上所述，具有非单调不连续激活函数(2.1.2)的DRNN(2.1.1)至少存在 ${{\displaystyle \sum }}_{j=1}^n{C}_n^j{6}^{n-j}$ 个平衡点位于所设计的激活函数的不连续点处。

结合引理3.1.1和3.1.2，我们可以得到的结论是具有非单调不连续激活函数(2.1.2)的DRNN(2.1.1)至少存在 $6^n+{{\displaystyle \sum }}_{j=1}^n{C}_n^j{6}^{n-j}={\left(6+1\right)}^n=7^n$ 个平衡点。下面的定理总结了上面得到的结果。

定理3.1.1 假设(3.1.1)~(3.1.3)成立，具有非单调不连续激活函数(2.1.2)的DRNN(2.1.1)至少存在 $7^n$ 个平衡点，其中 $6^n$ 个位于激活函数的连续区域， $7^n-6^n$ 个位于激活函数的不连续区域。

证明：结合引理3.1.1和3.1.2，我们可以得到具有非单调不连续激活函数(2.1.2)的DRNN(2.1.1)至少存在 $6^n+{{\displaystyle \sum }}_{j=1}^n{C}_n^j{6}^{n-j}={\left(6+1\right)}^n=7^n$ 个平衡点， $7^n-6^n$ 个位于激活函数的不连续区域。

3.2. 平衡点的稳定性分析

令

$\begin{array}{l}{\Phi }_1=\{{\displaystyle \underset{i=1}{\overset{n}{\prod }}{\left(-\infty ,p_{i,1}\right)}^{{\delta }_1^{\left(i\right)}}}\times {\left(q_{i,1},p_{i,2}\right)}^{{\delta }_2^{\left(i\right)}}\times {\left(q_{i,2},p_{i,3}\right)}^{{\delta }_3^{\left(i\right)}}\times {\left(p_{i,3},+\infty \right)}^{{\delta }_4^{\left(i\right)}},\\ \begin{array}{c}\\ \end{array}\left({\delta }_1^{\left(i\right)},{\delta }_2^{\left(i\right)},{\delta }_3^{\left(i\right)},{\delta }_4^{\left(i\right)}\right)=\left(1,0,0,0\right)\mathrm{or}\left(0,1,0,0\right)\mathrm{or}\left(0,0,1,0\right)\mathrm{or}\left(0,0,0,1\right)\},\\ {\Phi }_2={\Omega }_n-{\Phi }_1.\end{array}$

显然， ${\Phi }_1$ 有 $4^n$ 个元素， ${\Phi }_2$ 有 $6^n-4^n$ 个元素。在讨论平衡点的局部稳定性之前，我们首先证明 ${\Phi }_1$ 的正不变性，它将在稳定性定理中起着关键作用。

引理3.2.1 对 $i=1,\cdots ,n$ ，如果以下条件成立：

$-c_i{p}_{i,1}+a_{ii}{u}_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\max }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i<0,$ (3.2.1)

$-c_i{q}_{i,2}+a_{ii}{f}_i\left(q_{i,2}\right)+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i>0,$ (3.2.2)

$-d_i{p}_{i,3}+a_{ii}{v}_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i>0,$ (3.2.3)

那么 ${\Phi }_1$ 是DRNN(2.1.1)正不变集。

证明：首先，很容易看出，条件(3.2.1)~(3.2.3)意味着定理3.1.1中的条件(3.1.1)~(3.1.3)成立。因此，根据定理3.1.1，在引理3.2.1的条件下，可以保证DRNN(2.1.1)的 $7^n$ 个平衡点的共存。

从集合 ${\Phi }_1$ 中任意选取一个集合：

${\tilde{\Phi }}_1={\displaystyle \underset{i\in N_1}{\prod }\left(-\infty ,p_{i,1}\right)}\times {\displaystyle \underset{i\in N_3}{\prod }\left(q_{i,1},p_{i,2}\right)}{\displaystyle \underset{i\in N_5}{\prod }\left(q_{i,2},p_{i,3}\right)}\times {\displaystyle \underset{i\in N_6}{\prod }\left(p_{i,3},+\infty \right)}\subset {\Phi }_1,$

其中 $N_i\left(i=1,3,5,6\right)$ 是 $\left\{1,2,\cdots ,n\right\}$ 的子集， $N_1\cup N_3\cup N_5\cup N_6=\left\{1,2,\cdots ,n\right\}$ ， $N_i\cap N_j=\varnothing \left(i\ne j,i,j=1,3,5,6\right)$ 。

情形1：假设存在 $i\in N_1$ 和 $t_2>t_1\ge 0$ 使得 $x_i\left(t_1\right)=p_{i,1}$ 和 $x_i\left(t_2\right)>p_{i,1}$ ，从而 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)>0$ 。另一方面，根据(3.2.1)可得：

${\stackrel{\dot{}}{x}}_i\left(t_1\right)\le -c_i{p}_{i,1}+a_{ii}{u}_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\max }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i<0,$

与 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)>0$ 矛盾。因此， $x_i\left(t\right)$ 不会逃离 $\left(-\infty ,p_{i,1}\right)$ 。

情形2：假设存在 $i\in N_3$ 和 $t_2>t_1\ge 0$ 使得 $x_i\left(t_1\right)=q_{i,1}$ 和 $x_i\left(t_2\right)<q_{i,1}$ ，从而 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)<0$ 。另一方面，根据(3.2.2)可得：

${\stackrel{\dot{}}{x}}_i\left(t_1\right)>-c_i{q}_{i,2}+a_{ii}{f}_i\left(q_{i,2}\right)+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i>0,$

与 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)<0$ 矛盾。因此， $x_i\left(t\right)$ 不会从左侧逃离 $\left(q_{i,1},p_{i,2}\right)$ 。类似地， $x_i\left(t\right)$ 不会从右侧逃离 $\left(q_{i,1},p_{i,2}\right)$ 。

情形3：假设存在 $i\in N_5$ 和 $t_2>t_1\ge 0$ 使得 $x_i\left(t_1\right)=q_{i,2}$ 和 $x_i\left(t_2\right)<q_{i,2}$ ，从而 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)<0$ 。另一方面，根据(3.2.2)可得：

${\stackrel{\dot{}}{x}}_i\left(t_1\right)>-c_i{q}_{i,2}+a_{ii}{f}_i\left(q_{i,2}\right)+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i>0,$

与 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)<0$ 矛盾。因此， $x_i\left(t\right)$ 不会从左侧逃离 $\left(q_{i,2},p_{i,3}\right)$ 。类似地， $x_i\left(t\right)$ 不会从右侧逃离 $\left(q_{i,2},p_{i,3}\right)$ 。

情形4：假设存在 $i\in N_6$ 和 $t_1\ge 0$ 使得 $x_i\left(t_1\right)=p_{1,3}+\epsilon$ ( $\epsilon$ 是充分小的正数)， ${\stackrel{\dot{}}{x}}_i\left(t_1\right)<0$ 和 $x_i\left(t\right)\in \left[p_{1,3}+\epsilon ,+\infty \right)$ 对于 $0\le t\le t_1$ 。由于 $\epsilon$ 是充分小的正数，根据(3.2.3)可得：

${\stackrel{\dot{}}{x}}_i\left(t_1\right)\ge -c_i{p}_{i,3}+a_{ii}{v}_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i-c_i\epsilon \ge 0,$

与 ${\stackrel{\dot{}}{x}}_i\left(t_1\right)<0$ 矛盾。因此， $x_i\left(t\right)$ 不会从左侧逃离 $\left(p_{i,3},+\infty \right)$ 。从这四种情形中，我们得到 ${\tilde{\Phi }}_1$ 是DRNN(2.1.1)的一个正不变集。

接下来，我们将证明位于 ${\tilde{\Phi }}_1$ 的平衡点是局部稳定的。令 $d_i=c_i-a_{ii}\max \left\{{f^{\prime }}_{i2}\left({\xi }^{*}\right),{f^{\prime }}_{i4}\left({\xi }^{**}\right)\right\}$ ， ${\bar{a}}_{ij}=\left|a_{ij}\right|\max \left\{{f^{\prime }}_{j2}\left({\xi }^{*}\right),{f^{\prime }}_{j4}\left({\xi }^{**}\right)\right\}$ ， ${\bar{b}}_{ij}=\left|b_{ij}\right|\max \left\{{f^{\prime }}_{j2}\left({\xi }^{*}\right),{f^{\prime }}_{j4}\left({\xi }^{**}\right)\right\}$ ，其中 ${\xi }^{*}\in \left(q_{i,1},p_{i,2}\right)$ ， ${\xi }^{**}\in \left(q_{i,2},p_{i,3}\right)$ 。

定理3.2.1假设(3.2.1)~(3.2.3)成立，如果存在正常数 ${\varsigma }_1,{\varsigma }_2,\cdots ,{\varsigma }_n$ 使得以下条件成立：

$d_i{\varsigma }_i-{\displaystyle \underset{j=N,j\ne i}{\overset{n}{\sum }}{\bar{a}}_{ij}}{\varsigma }_j-{\displaystyle \underset{j=N}{\overset{n}{\sum }}{\bar{b}}_{ij}}{\varsigma }_j>0,i=1,\cdots ,n$ (3.2.4)

那么具有非单调不连续激活函数(2.1.2)和DRNN(2.1.1)至少有 $7^n$ 个平衡点，其中位于 ${\Phi }_1$ 的 $4^n$ 个是局部指数稳定的。

证明：假设 ${\tilde{\Phi }}_1$ 中的平衡点为 $x^{*}=\left(x_1^{*},\cdots ,x_n^{*}\right)$ ，令 $e\left(t\right)=\left(e_1\left(t\right),\cdots ,e_n\left(t\right)\right)=x\left(t\right)-x^{*}$ ， $N=\left\{i|x_i\left(t\right)\in \left(q_{i,1},p_{i,2}\right)或\left(q_{i,2},p_{i,3}\right),i\in \left\{1,\cdots ,n\right\}\right\}$ 。那么 $e\left(t\right)$ 的右上Dini导数

$\begin{array}{c}{D}^{+}\left|e_i\left(t\right)\right|=sign\left(e_i\left(t\right)\right)\frac{\text{d}{e}_i\left(t\right)}{\text{d}t}\\ \le -c_i\left|e_i\left(t\right)\right|+a_{ii}{f^{\prime }}_i\left({\xi }_i\left(t\right)\right)\left|e_i\left(t\right)\right|+{\displaystyle \underset{j=N,j\ne i}{\overset{n}{\sum }}\text{}}\text{}{\bar{a}}_{ij}\left|e_j\left(t\right)\right|+{\displaystyle \underset{j=N}{\overset{n}{\sum }}{\bar{b}}_{ij}}\left|e_j\left(t-{\tau }_j\left(t\right)\right)\right|\\ \le -d_i\left|e_i\left(t\right)\right|+\text{}\text{}\text{}\text{}{\displaystyle \underset{j=N,j\ne i}{\overset{n}{\sum }}\text{}}\text{}{\bar{a}}_{ij}\left|e_j\left(t\right)\right|+{\displaystyle \underset{j=N}{\overset{n}{\sum }}{\bar{b}}_{ij}}\left|e_j\left(t-{\tau }_j\left(t\right)\right)\right|\end{array}$

其中 ${\xi }_i\left(t\right)\in \left(x_i\left(t\right),x_i^{*}\right)$ 或 $\left(x_i^{*},x_i\left(t\right)\right)$ 。

根据(3.2.4)，存在充分小的 $\theta \left(\theta >0\right)$ 满足下列不等式成立：

$\left(-d_i+\theta \right){\varsigma }_i+{\displaystyle \underset{j=N,j\ne i}{\overset{n}{\sum }}{\bar{a}}_{ij}}{\varsigma }_j+{\displaystyle \underset{j=N}{\overset{n}{\sum }}{\bar{b}}_{ij}}{\varsigma }_j\exp \left(\theta \tau \right)<0.$ (3.2.5)

令 $V_{\max }=\underset{1\le i\le n}{\max }\left\{\underset{t\in \left[-\tau ,0\right]}{\sup }{\varsigma }_i^{-1}\left|e_i\left(t\right)\right|\right\}$ 和

$V_i\left(t\right)=\{\begin{array}{l}{\varsigma }_i^{-1}\left|e_i\left(t\right)\right|-V_{\max },-\tau \le t\le 0,\\ {\varsigma }_i^{-1}\left|e_i\left(t\right)\right|\exp \left(\theta t\right)-V_{\max },t>0.\end{array}$

显然， $V_i\left(t\right)\le 0$ 对于 $t\in \left[-\tau ,0\right]$ 。接下来，我们会证明 $V_i\left(t\right)\le 0$ 对于 $t\ge 0$ 。假设存在 $k\in \left\{1,\cdots ,n\right\}$ 和 $t_2>t_1\ge 0$ 使得 $V_k\left(t_1\right)=0$ ， $V_k\left(t_2\right)>0$ 。基于上述假设， $D^{+}{V}_k\left(t_1\right)\ge 0$ 。然而，

$\begin{array}{c}{D}^{+}{V}_k\left(t_1\right)={\varsigma }_k^{-1}\left|e_k\left(t_1\right)\right|\theta \exp \left(\theta t_1\right)+{\varsigma }_k^{-1}{D}^{+}\left|e_k\left(t_1\right)\right|\exp \left(\theta t_1\right)\\ \le {\varsigma }_k^{-1}{V}_{\max }\left(\left(-d_k+\theta \right){\varsigma }_k+{\displaystyle \underset{j=1,j\ne k}{\overset{n}{\sum }}{\bar{a}}_{kj}}{\varsigma }_j+{\displaystyle \underset{j=1}{\overset{n}{\sum }}{\bar{b}}_{kj}}{\varsigma }_j\exp \left(\theta \tau \right)\right).\end{array}$

根据(3.2.5)可得， $D^{+}{V}_k\left(t_1\right)<0$ 。这与 $D^{+}{V}_k\left(t_1\right)\ge 0$ 矛盾。因此，当 $t\ge 0$ 时，

$\left|e_i\left(t\right)\right|\le {\varsigma }_i{V}_{\max }\exp \left(-\theta t\right),i=1,\cdots ,n.$

这意味着 $x\left(t\right)$ 会指数收敛到 ${\tilde{\Phi }}_1$ 中的平衡点 $x^{*}$ 。

3.3. 定理的推广

与 [11] 相比，我们增加了激活函数的复杂性，提出了一类新的不连续非单调激活函数，并证明了具有这类新的激活函数的神经网络有 $7^n$ 个平衡，其中有 $4^n$ 个稳定平衡。更重要的是，需要满足的条件数量与 [11] 中的相同。因此，我们猜测增加激活函数的峰值可以在不增加计算复杂性的情况下增加稳定平衡的数量。接下来，我们继续增加峰值的数量，并提出以下激活函数：

$f_i\left(x\right)=\{\begin{array}{l}{u}_i,x\in \left(-\infty ,p_{i,1}\right)\\ f_{i1}\left(x\right),x\in \left[p_{i,1},q_{i,1}\right)\\ f_{i2}\left(x\right),x\in \left[q_{i,1},p_{i,2}\right)\\ \dots \\ f_{i2k-1}\left(x\right),x\in \left[p_{i,k},q_{i,k}\right)\\ f_{i2k}\left(x\right),x\in \left[q_{i,k},p_{i,k+1}\right]\\ v_i,x\in \left(p_{i,k+1},+\infty \right)\end{array}$ (3.3.1)

其中 $p_{i,1},\cdots ,p_{i,k+1},q_{i,1},\cdots ,q_{i,k}$ 是常数并且 $-\infty <p_{i,1}<q_{i,1}<p_{i,2}<q_{i,2}<\cdots <q_{i,k}<p_{i,k+1}<+\infty$ 。 $f_{i1}\left(x\right),f_{i3}\left(x\right),\cdots ,f_{i2k-1}\left(x\right)$ 是连续且单调递增的函数， $f_{i2}\left(x\right),f_{i4}\left(x\right),\cdots ,f_{i2k}\left(x\right)$ 和是连续且单调递减函数， $f_i\left(p_{i,1}\right)=f_i\left(p_{i,2}\right)=\cdots =f_i\left(p_{i,k+1}\right)=u_i$ ， $f_i\left(q_{i,1}\right)=\cdots =f_i\left(q_{i,k}\right)$ 并且 $v_i>f_i\left(q_{i,1}\right)>f_i\left(p_{i,1}\right)$ ， $i=1,2,\cdots ,n$ 。 $f_i\left(x\right)$ 有k个峰值点 $\left(q_{i,1},f_i\left(q_{i,1}\right)\right),\left(q_{i,2},f_i\left(q_{i,2}\right)\right),\cdots ,\left(q_{i,k},f_i\left(q_{i,k}\right)\right)$ 。然后，可以得到以下两个定理。

推论3.3.1 对 $i=1,\cdots ,n$ ，如果以下条件成立：

$-c_i{p}_{i,1}+a_{ii}{u}_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\max }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\max }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i<0,$ (3.3.2)

$-c_i{q}_{i,k}+a_{ii}{f}_i\left(q_{i,k}\right)+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i>0,$ (3.3.3)

$-d_i{p}_{i,k+1}+a_{ii}{v}_i+{\displaystyle \underset{j\ne i,j=1}{\overset{n}{\sum }}\min }\left\{a_{ij}{u}_j,a_{ij}{v}_j\right\}+{\displaystyle \underset{j=1}{\overset{n}{\sum }}\min }\left\{b_{ij}{u}_j,b_{ij}{v}_j\right\}+J_i>0,$ (3.3.4)

那么具有非单调不连续激活函数(3.3.1)的DRNN(2.1.1)至少存在 ${\left(2k+3\right)}^n$ 个平衡点，其中 ${\left(2k+2\right)}^n$ 个位于激活函数的连续区域， ${\left(2k+3\right)}^n-{\left(2k+2\right)}^n$ 个位于激活函数的不连续区域。

证明：与定理3.1.1和引理3.2.1的证明方法类似，因此省略证明。

在给出推论3.3.2之前，我们先令 $d_i=c_i-a_{ii}\max \left\{{f^{\prime }}_{i2}\left({\xi }_1\right),{f^{\prime }}_{i4}\left({\xi }_2\right),\cdots ,{f^{\prime }}_{i2k}\left({\xi }_k\right)\right\}$ ， ${\bar{a}}_{ij}=\left|a_{ij}\right|\max \left\{{f^{\prime }}_{j2}\left({\xi }_1\right),\cdots ,{f^{\prime }}_{j2k}\left({\xi }_k\right)\right\}$ ， ${\bar{b}}_{ij}=\left|b_{ij}\right|\max \left\{{f^{\prime }}_{j2}\left({\xi }_1\right),\cdots ,{f^{\prime }}_{j2k}\left({\xi }_k\right)\right\}$ ，其中 ${\xi }_1\in \left(q_{i,1},p_{i,2}\right),{\xi }_2\in \left(q_{i,2},p_{i,3}\right),\cdots ,{\xi }_k\in \left(q_{i,k},p_{i,k+1}\right)$ 。 $N=\left\{i|x_i\left(t\right)\in \left(q_{i,h},p_{i,h+1}\right),h=1,\cdots ,k\right\}$ 。

推论3.3.2 假设(3.3.2)~(3.3.4)成立，如果存在正常数 ${\varsigma }_1,{\varsigma }_2,\cdots ,{\varsigma }_n$ 使得以下条件成立：

$d_i{\varsigma }_i-{\displaystyle \underset{j=N,j\ne i}{\overset{n}{\sum }}{\bar{a}}_{ij}}{\varsigma }_j-{\displaystyle \underset{j=N}{\overset{n}{\sum }}{\bar{b}}_{ij}}{\varsigma }_j>0,i=1,\cdots ,n$ (3.3.5)

那么具有非单调不连续激活函数(3.3.1)和DRNN(2.1.1)至少有 ${\left(2k+3\right)}^n$ 个平衡点，其中 ${\left(k+2\right)}^n$ 个平衡点是局部指数稳定的。

证明：与定理3.2.1的证明方法类似，因此省略证明。

4. 数值仿真

我们将列举一个例子来说明本文理论结果的有效性。

例4.1：考虑2维时滞递归神经网络，其中 ${\tau }_1\left(t\right)=t/\left(1+t\right)$ ， ${\tau }_2\left(t\right)=\exp \left(t\right)/\left(1+\exp \left(t\right)\right)$ ，以及

$\begin{array}{l}C=\left(\begin{array}{ll}1\hfill & 0\hfill \\ 0\hfill & 1\hfill \end{array}\right),A=\left(\begin{array}{cc}5& 0.3\\ -0.5& 5\end{array}\right),\\ B=\left(\begin{array}{ll}0.5\hfill & 0.4\hfill \\ 0.3\hfill & 0.5\hfill \end{array}\right),J=\left(\begin{array}{l}-0.2\hfill \\ 0.2\hfill \end{array}\right).\end{array}$

定义激活函数为：

$f_1\left(x\right)=f_2\left(x\right)=\{\begin{array}{l}-1,-\infty <x<-4\\ x+3,-4\le x<-2\\ -x-1,-2\le x<0\\ x-1,0\le x<2\\ -x+3,2\le x\le 4\\ 2,4<x<+\infty \end{array}$ (4.1.1)

激活函数(4.1.1)有两个峰值 $\left(-2,1\right)$ 和 $\left(2,1\right)$ 。上述参数满足定理3.2.1的条件。根据定理3.2.1，DRNN(2.1.1)存在 $7^2=49$ 个平衡点，其中有 $4^2=16$ 个平衡点是局部指数稳定的。事实上，仿真结果也验证了理论结果的正确性。 $x_1$ 和 $x_2$ 的瞬态行为如图1所示。图2显示了具有500个随机初始值的DRNN(2.1.1)的解轨迹，其中16个红色填充的圆圈表示局部指数稳定的平衡点。我们可以发现这500个随机初始值经过一段时间都收敛到了局部稳定平衡点。图2中解的轨迹满足本文对稳定平衡点的证明，因此本文的结论是有效的。

Figure 1. Transient behavior of x₁ and x₂ in Example 4.1

图1. 例4.1中x₁和x₂的瞬态行为

Figure 2. Phase diagrams of $\left(x_1,x_2\right)$ in Example 4.1

图2. 例4.1中 $\left(x_1,x_2\right)$ 的相位图

5. 结论

为增加稳定平衡点的数量，本文提出了一类不连续非单调激活函数，并探索相应的DRNN(2.1.1)的多稳性。首先证明了具有这种激活函数的DRNN(2.1.1)在某些条件下可以产生 $7^n$ 个平衡点，其中 $4^n$ 个是局部指数稳定的。进一步，通过增加激活函数峰值点的数量k，DRNN(2.1.1)可以产生 ${\left(2k+3\right)}^n$ 个平衡点，其中 ${\left(k+2\right)}^n$ 个是局部指数稳定的。与现有文献中的分段线性函数不同，本文采用的激活函数是不连续非单调分段函数，可以大大增加现有神经网络稳定平衡点的数量和记忆存储容量。