动力系统混沌解的机器学习识别研究

Research on Machine Learning Recognition for Chaotic Solution of Dynamical System

摘要: 针对混沌时间序列的分类问题，本文提出了一种基于孪生神经网络的混沌时间序列分类新方法(SNN-SVM)，在孪生神经网络学习混沌特征的基础上，使用支持向量机进行识别分类，对时间序列是否为混沌做出精准判断。结果表明，我们提出的模型具有较高的泛化能力，可以准确学习一个混沌系统的特征，泛化到多个系统的混沌特征识别上，实现对混沌与非混沌时间序列的精准分类，并且无需选取特定的混沌系统。

Abstract: Aiming at the classification of chaotic time series, we proposed a new method for classification of chaotic time series based on siamese neural network (SNN-SVM), by imploying the chaotic features generated from siamese network, used Support Vector Machines to identify and classify, and make accurate judgments on whether the time series is chaotic. The results show that our proposed mod-el had high generalization ability, can accurately learn the characteristics of a chaotic system, and generalize to the chaotic feature recognition of multiple systems, without selecting a specific chaotic system. The accurated classification of chaotic and non-chaotic time series can be achieved.

1. 引言

混沌现象处处可见，广泛存在于大气运动、气候变化，以及与人们息息相关的经济系统、交通系统、金融领域等。混沌时间序列是具有混沌现象的一段时间序列，由非线性动力系统产生，近年来，随着非线性科学的兴起，混沌时间序列也逐渐成为学术界研究的热题，被广泛应用在不同科学领域中。因此，探索更高效的混沌时间序列分类新方法对混沌的研究有现实意义。

由于混沌时间序列具有类噪声性、不确定性，单从时间序列的波形角度来讲，对混沌时间序列的分类具有一定的困难。混沌时间序列是由确定的非线性动力系统产生的，具有其内在规律，蕴含整个混沌系统的信息，仅从混沌理论的方法理解这些系统内蕴含的动力学机制也是十分困难的，但是通过提取非线性动力系统特征，可以进一步实现对混沌时间序列的识别检测。

对于长度较短的时间序列，可以利用统计参数来进行混沌时间序列检测 [1]，利用吸引子的分形性和混沌系统的非线性，将混沌时间序列与非混沌时间序列分开。传统的时间序列分类方法还有时间序列分维数 [2]、Lyapunov指数等技术 [3]，但这些方法需要较多的数据才能保证计算的准确性，且计算量较大，不能有效地将混沌信号与非混沌信号进行区分。

随着对动力系统的深入研究，传统的时间序列分类方法已满足不了飞速发展的“大数据”时代，因此，迫切需要对传统的时间序列分类方法进行改进或提出新的混沌时间序列分类方法。目前兴起的深度学习技术，为动力系统混沌解的研究带来了新的发展。

近年来，深度学习的高速发展推动了动力系统混沌解的研究，Weinan, E. [4] 提出了连续动力学系统建模高维非线性函数的想法，即动力系统与深度学习之间的关系，引发了学术界的思考。将深度学习中的卷积神经网络、孪生神经网络和强化学习等应用于动力系统建模过程中，为动力系统的研究提供了强大的算法。借助神经网络这一有利工具，对动力系统进行新的研究已然成为研究热点。

已有部分研究人员利用使用机器方法研究动力系统，例如使用循环神经网络 [5] [6]，训练具有适当标签的时间序列数据集，研究了循环神经网络对动力系统的预测能力；还有研究人员讨论使用深度学习和神经网络训练的方法 [7] [8]，进行混沌时间序列分类，使用多层感知器、LSTM-FCN等机器学习算法，计算非线性时间序列，并成功将高维系统建模推广到低维系统的投影。在 [9] 中，Boullé使用了全卷积神经网络(FCN)，该方法没有对原始数据或特征进行处理，但时间序列进行精准分类明显优于传统方法，这给动力系统混沌解的研究提供了一个很好的思路。

分析动力系统混沌解的一个重要内容是对于来自不同混沌系统的时间序列，或者是对同一混沌系统的不同分量的时间序列进行分类，实现无需选取某一个混沌系统产生的时间序列，而直接对时间序列进行精准分类。然而，目前的研究成果大多只采用单个混沌系统的混沌时间序列分类。

孪生神经网络在人脸识别、语义匹配、文本识别等领域均有应用 [10]，但孪生神经网络在动力系统混沌解这一方面还未有突破。SNN是一种特殊的神经网络，由两个或多个子网络构成，其特点是两个神经网络之间共享权值和偏置等参数，可以对高维度非线性数据进行低纬度映射，其在低纬特征空间中变得线性可分 [11]。相比如其他网络，如卷积神经网络，人工神经网络，SNN可接收两个输入，输出为两个样本的相似度。对于动力系统混沌解，可以构建正负样本对，更好地将混沌时间序列与非混沌时间序列区分开。

支持向量机(Support Vector Machine, SVM)是Vapnik [12] 等人为解决二分类问题而提出的数据挖掘方法，在众多机器学习算法中，由于分类效果和稳定性等优点被广泛应用。近年来，将支持向量机模型应用于动力系统混沌解上取得了一些进展。SVM算法一般应用于时间序列数据分类的最后阶段，即对降维或者转化操作后的时间序列数据进行分类。

考虑到动力系统混沌解使用深度学习方法研究内容较少，有必要在这个方面进一步明确混沌时间序列分类的准确性。本文将在研究时间序列的基础上，进一步结合近年来快速发展的深度学习理论，构建基于孪生神经网络的混沌时间序列分类新模型(SNN-SVM)，使模型无需选取单一的混沌系统，直接对时间序列是否为混沌进行判别，从而进一步提升动力系统混沌解的识别准确率。

2. 基于神经网络的混沌时间序列分类模型

本部分建立了基于孪生神经网络的混沌时间序列支持向量机分类模型(SNN-SVM)，该框架主要由两部分组成，第一部分为孪生神经网络特征提取模型，第二部分为混沌与非混沌时间序列支持向量机分类器模型。

在特征提取网络中，由具有相同结构和权值共享的两组多层神经网络组成，包含卷积Conv1、残差网络、全连接层，该部分利用相似度计算来实现特征提取。

$D=\left\{\begin{array}{ccccc}{x}_{1,1}& x_{1,2}& \cdots & x_{1,l-1}& x_{1,l}\\ x_{1,1}& x_{1,2}& \cdots & x_{2,l-1}& x_{2,l}\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{N-1,1}& x_{N-1,2}& \cdots & x_{N-1,2}& x_{N-1,2}\\ x_{N,1}& x_{N,2}& \cdots & x_{N,L-1}& x_{N,L}\end{array}\right\},B=\left\{\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_{N-1}\\ b_N\end{array}\right\}$ (1)

N条混沌时间序列，长度为L，每条时间序列分别对应一个标签B，其中 $\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$ 代表长度为L的时间序列。混沌时间序列为 $X_i=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$ 设置标签别为1，非混沌时间序列为 $Y_i=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$，标签为0。在网络结构示意图中，第二部分为混沌与非混沌时间序列支持向量机分类器，将混沌时间序列提取出的特征 $X_i,Y_i,\left(i=1,\cdots ,n\right)$，输入到SVM模型中，得出分类结果。

2.1. 孪生神经网络特征提取模型

孪生网络包含结构相同的两个子网络，他们之间共享权值W。首先将原始的时间序列 $\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$ 重新构建为具有正负样本对的训练集： $D_N=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$， $D_{CN}=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$， $D_N$ 的标签为1，为混沌时间序列训练集， $D_{CN}$ 的标签为0，为非混沌时间序列训练集。该特征提取部分用于提取输入数据的特征向量 $G_W\left(X\right)$，经过计算得到每一条来自 $D_N,D_{CN}$ 训练集的混沌与非混沌时间序列的特征向量 $D_W$。

训练过程中，通过对比损失函数来衡量该部分的性能，其公式如下：

$Loss\left(K\right)=\left(1-K\right)\frac{1}{2}{\left(D_W\right)}^2+\frac{1}{2}\left(K\right){\left\{\max \left(0,m-D_W\right)\right\}}^2$ (2)

该公式中， $K=0$ 表示输入的两条时间序列相似，为同一种是类型， $K=1$ 表示输入的两条时间序列差异较大，为不同类型。m是一个整数，称为边际， $D_W$ 为孪生神经网络两个特征向量的欧氏距离， $D_W\left(X,Y\right)=\Vert G_W\left(X\right)-G_W\left(Y\right)\Vert$，损失值随着 $D_W$ 的减小而减小，说明该网络区分相似样本的效果越好。

通过训练可以提取时间序列训练集 $D_N=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$， $D_{CN}=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$，的特征，从2000维的时间序列中提取不同维度特征，即：

$X_i{}^{\prime }=Net\left(X_i\right),Y_i{}^{\prime }=Net\left(Y_i\right)$ (3)

$X_i,Y_i,\left(i=1,\cdots ,n\right)$ 为混沌时间序列与非混沌时间序列，经过孪生神经网络Net特征提取后得到的不同维度特征 ${X^{\prime }}_i,{Y^{\prime }}_i$，Conv为卷积层，Full为全连接层，其中孪生神经网络的各个网络层的参数如表1所示。

Table 1. Layer parameters of neural network

表1. 神经网络各个网络层的参数

第二步，将特征提取的特征 ${X^{\prime }}_i,{Y^{\prime }}_i$，输入到混沌与非混沌时间序列SVM二分类模型中，得到分类结果。

2.2. 混沌与非混沌时间序列支持向量机分类器

将孪生神经网络特征提取模型提取出的特征 ${X^{\prime }}_i,{Y^{\prime }}_i$ 输入到支持向量机模型中，我们给定两个类别训练集数据，训练数据集： $D_{svm}=\left\{\left({X^{\prime }}_i,label\right)，\left({Y^{\prime }}_i,label\right)\right\}$，其中 $label$ 为时间序列X的类别标签， $label=1$ 为混沌时间序列， $label=0$ 为非混沌时间序列。训练数据集 $D_{tr}\left(m\times v\right)$，训练集标签 $L_{tr}\left(m\times 1\right)$，测试数据集 $D_{te}\left(n\times v\right)$，训练集标签 $L_{tr}\left(n\times 1\right)$， $m,n,v$ 分为别训练集样本个数，测试集样本个数以及数据维数。

该分类模型可表示为：

$f\left(X^{\prime }\right)=w{X}^{\prime }+c$ (4)

其中，w是权重项，c是偏置项。得到得到超平面 $w{X}^{\prime }+c=0$，通过求 $\frac{{\Vert w\Vert }^2}{2}$ 的极小值获得两类数据之间间隔最大的最优超平面。

其约束条件如下：

${Y^{\prime }}_i\left[w{X^{\prime }}_i+c\right]\ge 1,i=1,2,\cdots ,l$ (5)

将构造最优超平面的问题转化为求如下公式：

$\min \Phi \left(w\right)=\frac{{\Vert x\Vert }^2}{2}=\frac{\left(w^{\prime }\cdot w\right)}{2}$ (6)

计算 $D_{tr}\left(m\times v\right)$ 中的样本个数与空间基数据之间的时间序列互相关距离，构建 $m\times m$ 新特征空间的训练样本数据，并计算 $D_{te}\left(n\times v\right)$ 中的样本个数与空间基数据之间的时间序列互相关距离，构建 $n\times m$ 新特征空间中的测试样本数据。

实验数据根据不同情况，划分不同的训练数据和测试数据。使用核函数K与 $L_{tr}$ 构建混沌与非混沌时间序列支持向量机分类模型。

将 $n\times m$ 的新特征空间中的测试数据集输入到该分类模型中，最终得到分类结果。以准确率为分类结果评价指标，其识别准确率定义如下：

识别准确率 = 正确分类的样本数/总样本数 (7)

3. 实验过程及结果分析

3.1. 数据集构造

1) Logistic map. Logistic map方程为： $x_{n+1}=\mu \left(1-x_n\right)$ [13]，其中 $x_0=0.5$， $\mu$ 是[0, 4]的分叉参数， $\mu$ 的取值决定该系统表现周期现象或混沌现象。根据 $\mu$ 的取值，产生1000条时间序列数据，一半为混沌时间序列，一半为非混沌时间序列。

2) Sine map. Sine map为一维映射 [14]，其映射方程为： $x_{n+1}=\mu \sin \left(\beta x_n-\theta \right)$，其中 $\mu$ 是映射参数， $\beta$ 和 $\theta$ 为映射的恒定参数，取 $\beta =1$， $\theta =0$，当 $\mu$ 的值变动时，系统的定性性态会发生变化(如平衡状态或周期运动的数据和稳定性)，不同的参数产生的混沌现象也不一样，该映射中的 $\mu$ 在[1, 5]区间取值。

3) Henon map. 1964年法国天文学家Henon从研究球状星团以及洛伦兹吸引子中得到启发，得出的下列的Henon映射 [15]：

$\{\begin{array}{l}{x}_{n+1}=1+b\times y_n-a\times x_n^2\\ y_{n+1}=x_n\end{array}$

该方程是一个自由度为2的，不可积哈密顿系统，当参数 $a=1.4,b=0.3$ 时，系统可产生混沌现象， $b=0.3$ 改变参数a的取值范围，a在[0, 2]之间取值。

4) Lorenz系统. Lorenz系统 [16] 是最早发现的微分自治混沌系统，由以下三个常微分方程组成：

$\{\begin{array}{l}{x}^{\prime }=\sigma \left(y-x\right)\\ y^{\prime }=x\left(\rho -z\right)-y\\ z^{\prime }=xy-\beta z\end{array}$

参数 $\sigma 、\rho 、\beta$ 在物理上分别表示普特朗数、几何因子和瑞利数 [16]。其中，当 $\sigma =10,\rho =28,\beta =8/3$，系统进入混沌状态，在参数 $\sigma =10,\beta =8/3$ 时，设置 $\rho$ 在不同区间取若干个数值，根据参数选取的不同，Lorenz系统会表现出周期现象、混沌现象，生成 $x\left(t\right),y\left(t\right),z\left(t\right)$，进行操作。

3.2. 实验流程

本文将孪生神经网络、支持向量机分类器应用于混沌时间序列分类中，在2000维数的时间序列提取混沌时间序列的n维特征，并使用支持向量机分类器，基于孪生神经网络的支持向量机时间序列分类过程如下：

步骤1. 选取具有混沌特征的系统，生成混沌时间序列与非混沌时间序列，时间序列长度为2000维，每个数据集包含1000条时间序列，所有数据集为： $D=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$，混沌时间序列为 $X_i=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$ 设置标签别为1，非混沌时间序列为 $Y_i=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$，标签为0。

步骤2. 将所有训练集 $D_N=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$， $D_{CN}=\left\{x_{i,1},x_{i,2},\cdots ,x_{i,L-1},x_{i,L}\right\}$ 输入孪生神经网络中，提取n维特征。得到模型的输出： $Net\left({X^{\prime }}_i,k\right),Net\left({X^{\prime }}_j,k\right)$， ${X^{\prime }}_i,{X^{\prime }}_j$ 为每个数据集的n维特征，k为特征标签。

步骤3. 将孪生神经网络提取过的n维特征 ${X^{\prime }}_i,{X^{\prime }}_j$，输入到支持向量机分类器中，选取来自不同系统的时间序列(混沌时间序列与非混沌时间序列各占50%)的数据作为测试集，分别得出分类准确率。

3.3. 实验结果分析

用孪生神经网络训练Logistic map数据集，提取混沌特征并用SVM分类，如表2所示，在孪生神经网络特征提取Logistic map后，再使用SVM进行分类的Sine map的识别准确率可以达到98.6，由此证明，孪生神经网络能有效学习一维混沌系统中的混沌特征，并可以泛化到其他混沌系统上。在特征提取部分中，改进该模型，用孪生神经网络训练Logistic map和Henon数据集，提取混沌特征并用SVM分类，可以得到较好的泛化效果。如表3所示，该模型具有很好的泛化能力。选择提取Sine map以及Henon map两个混沌系统，其中一个为一维混沌系统，一个为二维混沌系统，在经历混沌特征提取之后，孪生神经网络能有效学习一维、二维混沌系统中的混沌特征，并可以泛化到三维混沌系统上。选择孪生神经网络提取Sine map以及Lorenz系统的x分量特征，其中一个为一维混沌系统，一个为三维混沌系统的一个分量，在特征提取之后进行SVM分类，由表4可知孪生神经网络能有效学习混沌特征，并可以泛化到三维混沌系统上。

Table 2. Classification result

表2. 分类结果

Table 3. Classification result

表3. 分类结果

Table 4. Classification result

表4. 分类结果

由实验结果可知，在数据集相同的情况下，孪生神经网络可以很好的学习混沌特征，具有较好的泛化能力。我们建立的基于孪生神经网络的支持向量机混沌时间序列分类模型，可以无需选取单一的混沌系统，而直接对时间序列是否为混沌进行分类。

4. 总结

本文借鉴了动力系统与神经网络模型结合的思想，研究了动力系统混沌解的孪生神经网络识别算法，建立了基于孪生神经网络的支持向量机混沌时间序列分类模型，将SNN应用于时间序列特征提取中，并使用支持向量机器进行识别分类。

在多个动力系统上进行深入研究，分析四个经典的动力系统混沌解的样本数据。结果表明，我们的研究可以在深度学习的基础上，实现对混沌与非混沌时间序列的精准分类，并且无需选取特定的混沌系统，是对动力系统混沌解的一种新探索。

综上所述，SNN在混沌时间序列分类上有着良好的表现，可以准确提取混沌与非混沌的特征，下一步的工作就是针对混沌系统的特点，探讨更完善的混沌时间序列分类模型，拓展到更多动力系统混沌解的研究应用上，以获取更好的分类效果。

基金项目

吉林省自然科学基金自由探索重点项目(YDZJ202201ZYTS585)、吉林省创新能力建设项目(2022C047-2)。