1. 引言
通常,神经网络是以电子电路为基础来实现的,而大规模的集成电路中存在中立行为现象(即时滞行为)。近年来,大量专家学者开始关注时滞神经网络的动力学特性(主要包括稳定性、不稳定性、周期性、分岔与混沌等) [1] [2] [3] [4] [5] 。研究时滞神经网络的动力学行为不仅具有重要的理论意义,而且在工程的实际应用中也有重要的指导意义,比如:模式识别、联系记忆、图像处理、组合优化等。
大部分的神经网络只有一种存储或内存模式,而双向联想记忆(BAM)神经网络作为Hopf神经网络单向自联想器的扩展,能够存储多种模式并具有通过正向和反向搜索所需模式的能力 [6] 。因此,BAM神经网络在存储成对的模式或记忆方面有实际的应用,还在模式识别、自动控制等领域都得到了广泛的应用。而对有无时滞的BAM神经网络也进行了广泛的研究 [7] [8] [9] [10] 。
众所周知,神经网络是大规模且复杂的非线性系统,而时滞神经网络的动力学性质更为复杂。大量的周期解是表示网络具有多种记忆模式,因此,Hopf分岔的研究对BAM神经网络的设计和应用具有重要意义。实际上,应用Hopf分岔理论可以使BAM神经网络的不同平衡点产生不同的局部周期解。但对其详尽分析较困难,因此一些作者考虑简化系统的动力学行为。例如,2005和2006年,分别有人研究了具有多个时滞的简化三或四神经元BAM神经网络 [11] [12] ;2009年,Zhang [13] 等人研究了具有时滞和自连接的五神经元BAM神经网络的稳定性和局部Hopf分岔。这些论文,主要考虑的都是由x层的一个神经元和y层的一个神经元组成的系统。然而,还有许多其他形式的BAM神经网络尚未被研究。
2012年,Xu [14] 等人研究了具有两个时滞的六神经元BAM神经网络的稳定性和Hopf分岔的存在性,并给出了保证平衡点稳定性和Hopf分岔存在的充分条件。之后,研究人员又做了进一步的研究,如2015年,Liu [15] 等人研究了具有多时滞的六神经元BAM神经网络的高维分岔问题,解决了BAM神经网络系统的B-T分岔和三重零分岔计算,并展示了不同分岔发生的曲线;2019年,Lin [16] 等人将时间分数阶导数引入到具有时滞的六神经元BAM神经网络系统中,并验证了Hopf分岔的存在性。但是他们都没有给出Hopf分岔的方向和周期解的稳定性的判别。因此,这是一个很有意义并且值得考虑的问题,在此基础上推广模型如下:
(1.1)
其中
表示神经元
在t时刻的状态,
为第i个神经元电压与电容比,
和
表示神经元之间的连接权重。从I层到另一J层的时间延迟是
,而从J层返回到I层的时间延迟是
,在I层中只有一个神经元,在J层中只有五个神经元。本文以两个延迟之和为参数,当总的时间延迟通过一系列临界值,零解失去其稳定性,发生Hopf分岔。
在本文中,我们做出如下假设:
(H1)
,且原点
是系统(1.1)的一个正平衡点。
通过假设,本文重点研究具有时滞效应的六神经元BAM神经网络的局部动力学属性。对比现有的研究成果,首先,从理论上分析了系统(1.1)的局部稳定性和Hopf分岔出现的时滞临界值条件,并给出了Hopf分岔的相应性质。接着,通过本文的研究表明在时滞的调控作用下,系统(1.1)可由渐进稳定态转为振荡态,而现有的研究已经指出要保证神经网络在工程中的作用得到充分应用,首要因素就是保持相应设计的神经网络维持指数稳定或渐进稳定 [17] [18] 。因此,在实际的工程应用当中,需要在稳定状态之前做出时滞调控,从而达到状态转化。最后,本文综合考虑两个时滞带来的影响,简化理论计算的复杂性。虽然在实际应用方面简化了理论,但不影响实际意义的判断与研究。
本文主要分为四个部分。在第2节中,讨论了平衡点的稳定性和Hopf分岔的存在性。在第3节中,利用Hassard在 [19] 中引入的规范型方法和中心流形定理,得到确定Hopf分岔方向和分岔稳定性的判别公式。在第4节中,通过数值模拟来验证前两节中的理论分析结果。最后,对本文的工作进行了总结。
2. 平衡点的稳定性和局部Hopf分岔
在本节中,主要研究平衡点的稳定性和局部Hopf分岔的存在性。
令
,
,
,
,
,
和
,然后我们可以把系统(1.1)改写成如下形式
(2.1)
方程(2.1)在
处的线性化系统为:
(2.2)
这里
,
。系统(2.2)的特征方程为:
, (2.3)
其中:
为了研究方程超越方程(2.3)的根的分布,我们有以下引理:
引理2.1 对于超越方程:
随着
的变化,在右半开平面内的零点个数的总和
只有在虚轴水上出现零点时才可能改变。
当
时,方程(2.3)化为:
(2.4)
使(2.4)式的所有根都有负实部的一组充要条件由著名的Routh-Hurwitz准则给出如下形式:
, (2.5)
, (2.6)
, (2.7)
, (2.8)
,(2.9)
. (2.10)
(H2)假设(2.5)~(2.10)成立。
对于
,
为(2.3)的根当且仅当
分离实部和虚部,我们得到
, (2.11)
因此有
,
即
, (2.12)
其中
,
,
,
,
,
.
让
,然后(2.12)式变为
. (2.13)
定义
. (2.14)
如果
,
,
,
由系统(1.1)给出,很容易使用计算机计算出(2.13)的根。由于
,可知,如果
,则(2.13)式至少有一个正根。
在不失一般性的前提下,我们假设(2.13)式有6个正根,分别由
,
,
,
,
,
来定义。那么方程(2.12)有6个正根
,
,
,
,
,
.
由(2.11)式,我们有
,
这里
.
因此,如果我们定义
, (2.15)
其中
;
,那么
是方程(2.3)对应于
时的一对纯虚根。定义
,
. (2.16)
由以上分析可以得出以下结果:
引理2.2 如果(H1)和(H2)成立,那么当
时(2.3)式所有的根都有负实部而当
(
;
)时(2.3)式有一对纯虚根
。
设
为(2.3)的根,且
时满足
,
。由泛函微分方程理论,存在
,使得
在
时对
是连续可微的。用
代入(2.3)等式左边,然后两边分别对
求导,我们有
经计算得
结合(2.11)则有
其中
,
。
为了得到本文的主要结果,我们需要做如下假设:
(H3) (2.14)式至少有一个正实根;
(H4)
。
由引理2.1和引理2.2,很容易得到以下结论:
定理2.3 如果(H1)~(H4)成立,则系统(1.1)的平衡点
在
上是渐近稳定的;当
时,系统(1.1)在平衡点
处经历Hopf分岔。
3. Hopf分岔的方向和稳定性
在本节中,借助Hassard [19] 等人提出的规范型理论和中心流形定理,我们将进一步研究Hopf分岔方向和分岔周期解稳定性。
设从
到
存在连续映射的Banach空间,配备
的上确界范数
。为简单计,让
。然后,
是系统(2.1)的分岔值。由时间尺度
进行标准化,系统(2.1)可以写成一个在
的算子微分方程。那么,我们可以得到:
(3.1)
其中
,
,
,
,
,
.
令
,系统(3.1)可以转化为
, (3.2)
然后,分别定义线性算子
和非线性算子
由以下方程表示:
(3.3)
和
. (3.4)
其中
,
且
(3.5)
其中
。由Riesz表示定理可知,存在一个由有界变差函数
构成的6×6矩阵函数如下:
(3.6)
我们可以选择:
(3.7)
其中
是狄拉克函数。
对于
,定义算子:
(3.8)
和
(3.9)
为了研究Hopf分岔的特性,我们将系统(3.1)转化为以下这种形式的算子方程:
, (3.10)
其中
。
对于
。A伴随算子为
被定义为:
(3.11)
其中
是矩阵
的转置。
并定义下列双线性内积:
, (3.12)
其中
。
和
是伴随算子。对应于第2节中的讨论,
是
的特征值并且其他特征值均具有严格的负实部,他们也是
的特征值。接下来,我们将计算对应特征值
的特征向量
和对应特征值
的特征向量
。我们可得:
(3.13)
其中
,
。
定义
(3.14)
简单计算可有:
而q和
的归一化条件为
(3.15)
为了保证
,我们需要通过(3.12)的双线性内积的定义来确定G的值。将(3.14)代入(3.15)中的第一个方程,得到
(3.16)
然后我们可以确定:
(3.17)
使用Hassard [19] 等人相同的方法,我们首先通过定义来计算坐标来以描述在处的中心流形
,定义
, (3.18)
和
(3.19)
式中
为(3.10)的解。
在中心流形
:
,其中
(3.20)
显然,
和
分别是中心流形
在
和
方向上的局部坐标。注意到若
是实数,则只需求出一个实根。对于(3.10)的解
,由于
,我们可以有:
(3.21)
等价于
(3.22)
其中
(3.23)
此外,由(3.10)和(3.21)可得
(3.24)
其中
(3.25)
对方程(3.20),对W中t求导可得
(3.26)
将(3.20)和(3.22)代入(3.26)可得
(3.27)
然后将(3.20)和(3.25)代入(3.24)可得
(3.28)
比较(3.27)与(3.28)的系数,可以得到
, (3.29)
. (3.30)
根据方程(3.19),我们获得
与(3.5)一起满足:
(3.31)
按照Wagner [20] 的方法将(3.23)和(3.31)中的系数进行比较,可以有:
(3.32)
因为
和
在
中未知,我们继续求解
和
。
从(3.10),(3.22)和(3.24)可得
(3.33)
其中
(3.34)
由(3.20)式对t求导有:
(3.35)
将(3.33)代入(3.35)可得:
(3.36)
分别比较(3.35)和(3.36)式中
和
的对应系数可得以下方程
(3.37)
其中I是单位矩阵或恒等变换。
从(3.33)可得
(3.38)
对
。
比较(3.38),(3.34)
和
的对应系数可得
(3.39)
从(3.37)我们可得
.
根据
和
的定义并结合(3.39)有
(3.40)
其中
是常数向量。
同理可得,
,
如下
(3.41)
其中,
也是常数向量。
接下来继续计算
和
。
从(3.37)和
的定义又可以导出如下方程:
(3.42)
其中,
。
从(3.33)有
(3.43)
(3.44)
将(3.40)的第二个式子和(3.43)代入(3.42)的第一个式子,可以得到
(3.45)
因为,
是
对应于特征向量
的特征值,因此,从(3.45)得
(3.46)
同理,我们可得
(3.47)
最后,根据
的定义,解出
,
和
。除此之外我们可得以下值
定理3.1
1) Hopf分岔的方向由
决定:如果
(
),那么Hopf分岔是超临界的(次临界的),且在
(
)时分岔周期解存在;
2) 分岔周期解的稳定性依赖于
,当
(
)时,中心流形上的分岔周期解是稳定的(不稳定的);
3) 分岔周期解的周期由
决定:若
(
)则周期增加(减少)。
4. 数值模拟
首先,我们提供系统(1.1)的一些数值结果,来验证上一节获得的分析预测。考虑以下系统:
(4.1)
这个系统有唯一的平衡点
,并且满足定理2.3所述的条件。当
时,平衡点
是渐进稳定的。以
为例,通过计算得到
,
。因此,当
时,平衡点
是稳定的。这里可以通过计算机模拟进行说明(参见图1(a)~(f))。当
通过临界值
时,平衡点
失去稳定性,发生Hopf分岔,即从平衡点
产生的周期解分支族,如图2(a)~(f)所示。

Figure 1. The behavior and phase profile of the system when
. The equilibrium point
is gradually stable, the initial value is
图1. 当
时系统的行为和相位画像。平衡点
是渐进稳定的,初始值是

Figure 2. The behavior and phase profile of the system when
. Hopf bifurcation occurs at equilibrium point
, the initial value is
图2. 当
时系统的行为和相位画像。Hopf分岔发生在平衡点
,初始值是
对于神经网络而言,由于网络的输出是时间的一个函数,对于给定的输入,网络的响应可能是收敛到一个稳定的输出,也可能振荡、无限的增大,或是遵循一种混乱的模式。为了维持系统的稳定性,我们需要控制时滞在临界值之前。要想神经网络在工程中发挥作用,关键是保持所设计的神经网络具有指数稳定性或渐进稳定性。而将神经网络应用于实时计算处理中时,我们通常希望系统有较高的指数收敛度,即神经网络是指数收敛的,稳定性的重要意义不言而喻。
另一方面,可以通过使用定理3.1中的理论分析来获得致使周期振荡分岔的特性,可以计算出以下四个指标值:
(4.2)
根据定理3.1,
表示系统(4.1)经历了超临界Hopf分岔。
指正平衡点
的分支周期解在中心流形上是不稳定的。另外,
表示周期解的周期随着
的增加而增加,这些结果与上述数值分析一致。
5. 论文总结
本文主要分析了时滞对六维BAM系统振荡行为的影响,利用已有的研究方法探索,分别从理论分析和数值模拟两方面获得了一些有意义的成果,为神经网络的推广应用提供了理论依据。
首先,通过研究BAM神经网络相应的线性化系统的特征方程的特征值分布,从理论上得到了系统Hopf分岔产生的临界条件。其次,通过运用规范型方法和中心流形定理,得到了系统在中心流形上的Hopf分岔的规范型。最后,通过数值模拟仿真分析,表明时滞可以诱导BAM神经网络从稳定态转为振荡态(即出现Hopf分岔现象),进一步验证了主要结果。
虽然研究者对含时滞的BAM神经网络的研究已经取得了一些结果,但是对神经网络丰富动力学行为的认识还很有限。在此篇文章中,我们主要研究含时滞的BAM神经网络模型(1.1)在平衡点的稳定性和Hopf分岔的存在性以及确定Hopf分岔方向和周期解稳定性的条件,研究表明当时滞超过一定的临界值时,系统出现Hopf分岔现象。数值模拟验证了时滞可以诱导BAM神经网络从稳定态转为振荡态的结果,为神经网络的非线性动态特性研究提供了理论依据。文章的主要技术难点在于,一方面,在考虑维数较高方程时,代数方程次数过高会增加计算特征值的难度;另一方面,在研究时滞Hopf分岔问题时,原系统有两个时滞,通过做变量替换,将两时滞的和看为一个量(
),就可以很容易将两个时滞合并为一个处理,这样可以大大简化理论计算的复杂性。然而,对于系统(1.1),仍有一些有趣而复杂的动力学行为有待进一步研究。比如,研究高维的分岔问题和讨论复杂连接方式的BAM神经网络系统也是非常有意义的问题,值得进一步考虑。
致谢
感谢审稿人和编辑部提供的有益建议。