基于动态图卷积神经网络的运动想象脑电信号研究

Research on Motor Imagery EEG Signals Based on Dynamic Graph Convolutional Neural Networks

摘要: 运动想象是一种认知神经科学领域的概念，指的是在不实际运动的情况下，通过想象运动来激活大脑相应区域的神经元。传统的CNN在处理EEG信号时存在劣势，因为EEG信号是一种时间序列数据，而CNN并不擅长处理这种类型的数据，导致无法充分挖掘时间相关性和特征信息，影响了模型的性能和准确性。为了解决这一问题，本文使用动态图卷积和时间卷积来处理EEG数据，该方法能够有效地捕捉信号之间的时间依赖关系和动态变化，从而提高了模型在处理EEG信号时的性能和准确性。动态图卷积的优势在于能够更好地适应时间序列数据的特点，提高了模型在提取特征和预测方面的效果，有效解决了传统CNN在处理EEG信号时的劣势，为脑机接口技术等领域的发展带来了新的可能性。该方法主要过程如下：首先，EEG信号被输入到卷积滤波器进行处理，过滤成八个子频带后，分别输入到八个动态图卷积神经网络(DGCNN)中。最后，这些网络被串联起来，输入到一个时域卷积网络(TCN)中进行特征提取。在公开数据集上，DGCNN模型的平均分类准确率(82.5 ± 4.3%)优于传统的CNN模型(68.9 ± 3.6%)。

Abstract: Motor imagery is a concept in the cognitive neuroscience field, referring to the activation of corresponding brain regions’ neurons through imagining movements without actual execution. Traditional CNNs have limitations in processing EEG signals because EEG data is a type of time-series data, which CNNs are not adept at handling, leading to insufficient exploitation of temporal correlations and feature information, thus affecting model performance and accuracy. To address this issue, this study employs dynamic graph convolution and temporal convolution to process EEG data. This method effectively captures the temporal dependencies and dynamic changes between signals, thereby enhancing model performance and accuracy in handling EEG signals. The advantage of dynamic graph convolution lies in its better adaptation to the characteristics of time-series data, improving feature extraction and prediction, effectively overcoming the limitations of traditional CNNs in processing EEG signals, and bringing new possibilities to the development of brain-computer interface technology and other fields. The main process of this method is as follows: first, EEG signals are inputted into convolutional filters for processing, filtered into eight sub-bands, and then inputted into eight dynamic graph convolutional neural networks (DGCNNs) respectively. Finally, these networks are concatenated and inputted into a temporal convolutional network (TCN) for feature extraction. On publicly available datasets, the DGCNN model achieves a higher average classification accuracy (82.5 ± 4.3%) compared to the traditional CNN model (68.9 ± 3.6%).

1. 引言

运动想象(Motor imagery, MI)是一种认知过程，涉及在不执行左手或右手运动任务的情况下，想象自己在执行该任务。在科学研究和临床应用中有效利用运动想象的关键是捕捉运动想象信号的方法。近年来，研究人员一直在探索和开发各种技术和工具，以捕捉和分析运动想象产生的脑电图(Electroencephalogram, EEG)信号。其中最常用的方法是通过脑电图技术捕捉大脑的电活动，并通过信号处理和模式识别算法来分析运动想象信号 [1] - [7] 。

但是，如何从脑电信号中提取有意义的信息呢？研究人员发现通过训练机器学习算法，可以更好的提取有效特征，从而识别特定的脑活动模式。例如，Saeed等人使用混合脑机接口系统(hBCIs)从fNIRS信号(氧合血红蛋白(HbO)信号)中提取了五个基本的统计特征(平均值、峰值、方差、斜率和峭度)。然后，他们应用主成分分析(PCA)算法选择最佳的时间特征。通过优化通道和特征选择，将fNIRS的分类准确率从79.86 ± 5.57%提高到85.58 ± 5.42% [5] 。另一方面，Gao等人设计了一种自适应脑网络邻接矩阵，用于量化不同通道之间的连接强度，该矩阵可以代表不同情感背景下的不同激活模式。他们还利用时空注意机制，使模型能自适应地捕捉EEG-GCN中的重要序列片段和空间位置信息 [6] 。

在测量和分析运动想象信号的过程中，研究人员发现受试者们惯用手不同时，在任务中会激活不同的运动区域 [7] 。在之前的研究中 [8] ，研究人员还发现左右手运动想象所激活的大脑区域存在明显的对侧效应，而这种对侧效应反映了大脑半球之间的功能特化和协调，使我们能够以更高效和有效的方式处理不同类型的信息和任务。

基于这些研究，本文进一步尝试将动态图卷积神经网络引入EEG信号处理，研究显示 [9] ，在端到端的统一模型中引入动态图卷积神经网络(DGCNN)，可以解决EEG信号特征提取过程中需要大量手动操作和参数调整的问题，它能利用通道之间的内在关系对数据进行分类，提高分类准确性。

本研究使用了一种用于EEG运动想象信号的处理方法。首先，原始的EEG信号通过卷积滤波器被分为8个子频带。这些子频带信号被分别输入到不同的动态卷积神经网络中，输出后被串联起来，再输入到一个时间卷积神经网络中。最后，通过全连接层传递特征，得到分类结果。文章的剩余部分安排如下：第2节介绍了所使用方法的详细说明，包括数据集介绍、数据处理与分析的细节。第3节介绍了实验结果，第4节讨论了这些结果。最后，第5节进行了总结。

2. 方法

2.1. 主题

本研究采用了两个公开数据集，其中A数据集是BCI2005desc-IIIa的数据集。B数据集 [10] 是一组公开的EEG运动想象数据集，包括29名健康受试者(14男性，15女性，年龄28.5 ± 3.7岁)，其中28人是右手，1人是左手。

2.2. 实验方案

数据集A使用Neuroscan公司的64通道脑电图放大器进行记录，以左侧乳突为参照，右侧乳突为接地。以左乳突为参考，右乳突为接地。数据集A的脑电图电极分布如图1(A)。EEG信号采样频率为250 Hz，并在1 Hz至50 Hz之间使用Notchfilter进行滤波。数据采集时，受试者被要求坐在带扶手的休闲椅上。任务是根据提示做想象中的左手、右手、脚或舌头动作，如图1(C)。任务提示的顺序是随机的。实验开始后，前2秒钟为空白，之后，出现声音刺激表示试验开始，并显示持续1秒钟的一个“+”字；然后出现一个持续1秒的向左、向右、向上或向下的箭头；与此同时，要求被试分别想象左手、右手、舌头或脚的动作，任务持续3秒钟。4种提示都在每次运行中随机显示，以随机顺序在每次运行中显示10次。数据集B的实验范式分为2秒的引导、10秒的任务和15~17秒的休息，循环20次。本文只使用了两组数据集中关于左右手运动想象的EEG数据。

2.3. 用于MI分类的EEG信号处理

本文设计了一种基于动态图卷积和时间卷积的EEG信号处理方法(图2)，该方法由以下模块组成：

模块1：卷积滤波器。

卷积滤波器使用如下卷积运算方法形成本文所需的滤波器：

$z\left(t\right)=x\left(t\right)y\left(t\right)=\Delta x\left(m\right)y\left(t-m\right)dm$ (1)

该模块分别对输入的原始脑电信号进行滤波，各得到8个子带。

模块2：动态图卷积。

由于EEG信号是非图形结构，而图卷积是一种设计用于图形结构的卷积模型，无法直接将图卷积应用于EEG信号。为了解决这个问题，我们利用PLV (相位锁定值)将EEG信号转换成生成动态图卷积所需的图形结构，其中EEG通道被用作节点，通道之间的相互关系被用作边。

Figure 1. Experimental configurations of dataset A and dataset B. A, distribution of EEG electrodes in dataset A; B, distribution of EEG electrodes in dataset B; green dots represent the EEG electrodes; C, flowchart of the experimental paradigm for dataset A; D, flowchart of the experimental paradigm for dataset B

图1. 数据集A和数据集B的实验配置。A，数据集A的EEG电极分布图；B，数据集B的EEG电极分布图；绿点代表EEG电极；C，数据集A的实验范式流程图；D，数据集B的实验范式流程图

PLV是一种常用的EEG信号分析方法，用于衡量不同脑区之间的相位同步程度。利用相位锁定值技术，相位同步信息可以转换为0到1之间的值，表示不同通道之间的相位同步程度，而节点之间的边则由不同通道之间的相位同步程度表示。

卷积是CNN架构的基本构件之一。图卷积网络(GCN)将卷积操作从传统数据扩展到图数据，通过下面的公式在节点及其邻居之间传播信息：

$H^{\left(l+1\right)}=\text{σ}\left({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{\left(l\right)}{W}^{\left(l\right)}\right)$ (2)

其中，H^(l)表示第 层的节点特征矩阵，A是图的邻接矩阵，D是对角矩阵。 $\tilde{A}$ 是A矩阵与单位矩阵之和， $\tilde{D}$ 是 $\tilde{A}$ 的度矩阵，H是各层的特征，σ是非线性激活函数W^(l)。W^(l)是第 层的权重矩阵，也就是需要学习的参数。σ是一个非线性激活函数，如ReLU。在每一层，每个节点都会接收来自邻近节点的信息，并更新自身的特征。这一过程可视为A的卷积运算。通过多次迭代，即在多层中进行图卷积运算，每个节点的特征都将包含更广泛的邻居信息。

Figure 2. Diagram of the overall framework of EEG signal processing, including signal processing, feature extraction and feature classification. Where C is the number of EEG electrodes, T is the number of discrete time points, and E is the number of feature channels

图2. EEG信号处理整体框架图，包括信号处理、特征提取和特征分类。其中C是脑电图电极的数量，T是离散时间点的数量，E是特征通道的数量

动态图卷积神经网络与传统的卷积神经网络不同，它使用动态图模型进行卷积操作。在这些网络中，每个节点都是一个动态图结构，包含所有相关样本及其依赖关系。因此，每个节点的特征表示可以使用特定的公式进行计算：

$h_i=\sigma \left(\underset{j\in N\left(i\right)}{{\displaystyle \sum }}{w}_e\left(e_{ij}\right)x_j+\underset{k\in T\left(i\right)}{{\displaystyle \sum }}{w}_t\left(t_{i,k}\right)x_k\right)$ (3)

其中，h_i表示节点i的特征表示，N(i)表示与节点i相连的所有节点的集合，T(i)表示与节点i相关的时间步的集合。x_j和x_k分别代表与节点i相连的节点j和时间步长k的特征表示，e_i,j和t_i,k代表节点i和j (或时间步长k)之间的依赖关系。w_e和w_t是可学习的权重矩阵，σ代表非线性激活函数。

在此基础上，为每条边引入权重信息，每条边的权重信息初始相等，这也是初始化过程。其中e_ij表示边信息，w_ij表示边权重，x_ij表示节点信息。通过损失函数进行反向传播，更新权重信息。红色箭头表示边的权重信息在学习后增加了，蓝色箭头表示边的权重信息在学习后减少了。新的边缘信息为 ${e^{\prime }}_{ij}=e_{ij}{w}_{ij}$ 。当原始边信息不变时，权重信息的变化会导致新边信息的变化。权重大的新边缘信息会相对增加，即变得更粗，而权重小的边缘信息会相对减少，即变得更细。通过对分类结果的不断反馈更新，可以得到最优的新边缘信息。将卷积滤波器得到的8个子带分别送入动态图卷积后，将得到的最优边缘信息进行串联。通过比较不同子带数量(2、4、6、16)的实验结果，发现选择8个子带可以很好地平衡时间消耗和滤波性能，有效地捕捉最优边缘信息，并在滤波结果的质量和效果方面表现良好。因此，本文选择了这种配置，并将其作为最终结果。

模块3：时间卷积神经网络。

时间卷积神经网络是一种基于一维卷积层的神经网络架构。每个卷积层使用相同大小的核对输入序列进行卷积运算，从数据中提取特征，然后利用这些特征获得输入序列的新表示。这有助于保留更多的原始信息，提高模型的性能。每个卷积层的输出可用下式表示：

$y_i=f\left(W{x}_{i:i+m-1}+b\right)$ (4)

其中，W是可学习的卷积核权重矩阵，b是偏置项， $x_{i:i+m-1}$ 表示输入序列的一部分，f是激活函数。

动态图卷积获得的最优边缘信息被引入卷积神经网络。经过因果卷积和扩张卷积处理后，提取出相应的脑电信号特征信息。然后将脑电信息输入一层时间卷积神经网络，再将输出与原始输入相加作为最终输出结果。

模块4：全连接层。

全连接层的每个节点都与上一层的所有节点相连，用于合成从上一层边缘提取或融合的特征，然后将输出值发送给分类器，得到分类结果。使用全连接层可以解决输入数据中特征信息不足和难以提取有效特征的问题。全连接层将所有输入特征连接到该层的神经元，并通过权重和偏置对其进行线性变换和非线性映射，从而能够将输入数据映射到高维空间，从而更好地学习特征之间的关系，提高模型的分类或回归精度。

原始脑电信号经过卷积滤波后，对卷积结果进行批量归一化(Batch normalization, BN)处理，它对每批数据进行均值和标准差处理，并将结果归一化后发送给下一层网络。丢弃可以避免相邻神经元之间的协同作用，提高模型的鲁棒性和泛化性能。之后，会经过一个卷积核大小为1 × 20的动态图卷积网络，再到第一层时序卷积网络，包括两个卷积核大小为1 × 8的卷积层、一个卷积核大小为1 × 4的卷积层和一个卷积核大小为1 × 3的卷积层，网络的复杂度由不同通道数控制。通过第一层时空卷积从脑电信号中提取特征，然后送入同一时空卷积网络的第二层，最后送入全连接层，得到分类结果。然后反向传递损失函数，更新动态图卷积中与边缘信息相对应的边缘权重，进一步获得新的边缘信息，最终得到最优的融合分类结果。

2.4. 消融实验

为进一步验证模型的有效性，本文在消融实验中，设置了两组比较实验，以评估融合模型的性能。在第一组实验中，单独去除了DGCNN模块，以评估它们对EEG信号分类任务的贡献。在第二组实验中，我们对两层TCN模块进行类似的消融操作。具体而言，我们在保持另一个模块正常工作的同时禁用一个模块。通过将结果与基准模型进行对比，可以分析每个模块对单模态信号分类准确性的影响。

3. 实验结果

本研究在两个公开数据集上对比了DGCNN模型和传统CNN模型的平均分类结果，如图3所示。在数据集A中，DGCNN模型的平均分类准确率(66.4 ± 6.1%)优于传统CNN模型(63.3 ± 4.7%)；同样在数据集B中，DGCNN模型的平均分类准确率(82.5 ± 4.3%)也优于传统CNN模型(68.9 ± 3.6%)如表1所示。

消融实验结果如表2所示，在数据集A上，消融DGCNN模块后模型分类准确率降低了3.3%，消融TCN模块后模型分类准确率降低了5.3%。在数据集B上，消融DGCNN模块后模型分类准确率降低了7.5%，消融TCN模块后模型分类准确率降低了2.1%。

Figure 3. Average classification accuracy of dataset A and dataset B on DGCNN model and conventional CNN model

图3. 数据集A和数据集B在DGCNN模型和传统CNN模型上的平均分类准确率

Table 1. Average classification accuracy of dataset A and B on DGCNN model and conventional CNN model

表1. 数据集A和数据集B在DGCNN模型和传统CNN模型上的平均分类准确率

Table 2. Results of model ablation experiments

表2. 模型消融实验结果

对实验数据进行统计，得到了数据集A和B在两个模型上的混淆矩阵(图4)，可以看出数据集A在动态图卷积模型上的TP值(12)大于CNN模型(11)，FN值(15)也大于CNN模型(15)，数据集B在动态图卷积模型上的TP值(29)大于CNN模型(24)，FN值(37)也大于CNN模型(29)。

Figure 4. Confusion matrices of dataset A and dataset B on DGCNN model and conventional CNN model. A, confusion matrix of dataset A on dynamic graph convolution; B, confusion matrix of dataset A on CNN model; C, confusion matrix of dataset B on dynamic graph convolution; D, confusion matrix of dataset B on CNN model. where 0 is the right hand and 1 is the left hand

图4. 数据集A和数据集B在DGCNN模型和传统CNN模型上的混淆矩阵。A，数据集A在动态图卷积上的混淆矩阵；B，数据集A在CNN模型上的混淆矩阵；C，数据集B在动态图卷积上的混淆矩阵；D，数据集B在CNN模型上的混淆矩阵。其中0表示右手，1表示左手

4. 讨论

近年来，越来越多研究人员使用卷积神经网络来提高运动想象的解码准确率。例如，冯等人提出了一种基于多任务卷积神经网络(MTCNN)的方法，解决了端到端运动图像分类和识别中单一信号识别率和泛化能力不足的问题。与传统机器学习相比，这种方法提高了平均分类准确率五个百分点 [11] 。蒋等人利用一种新颖的伪迹去除方法提高了EEG信号的信噪比，并引入了任务相关分量分析(TRCA)来改善双模态EEG-fNIRS特征的重复性，从而在双模态指标中获得了积极的区分度 [12] 。

也有研究人员尝试将动态图卷积引入EEG信号处理，Zhong等人提出了一种基于EEG的情感识别的正则化图神经网络(RGNN) [13] ，该方法利用动态图卷积，根据输入数据特征动态生成邻接矩阵，可以更好地捕捉不同EEG通道之间的局部和全局关系，进而更好地处理跨受试者的EEG变异和噪声标签。这表明，DGCNN可以有效捕捉EEG信号通道之间的关系，并解决跨受试者的EEG变异和噪声标签等挑战。

为解决传统CNN模型存在的时间序列数据处理不足以及特征提取不足等问题，本研究在DGCNN模型的基础上加入了TCN模块，用于时间序列数据的处理。使用动态图卷积来通过损失函数的反向传播更新边权重，从而更好地适应不同的数据分布。通过调整边权重，模型可以更好地适应不同的数据分布。例如，在某些数据集中，某些节点之间的连接可能比其他节点更重要。在这种情况下，可以修改相应的边权重来加强或削弱它们的连接。在训练过程中，调整边权重可以帮助模型捕捉图形的结构信息。

模型的有效性也在两组公开的EEG运动想象数据集上得到了验证，在两组公共数据集上DGCNN模型的平均分类准确率均优于传统CNN模型。

5. 结论

本研究在DGCNN模型的基础上加入了TCN模块，在两组公共数据集上比较了DGCNN模型与传统CNN模型的平均分类准确率，证明了其有效性和在实际应用中的潜力。这项工作对于EEG信号的处理提供了新的思路。

NOTES

^*通讯作者。