基于时空图卷积神经网络的脑电信号抑郁识别研究

Research on Depression Recognition of EEG Signals Based on Spatio-Temporal Graph Convolutional Neural Network

摘要: 抑郁症已成为全球广泛流行的神经心理疾病，但传统的诊断手段因主观性影响，常导致较高的误诊率。鉴于此，开发一种更为客观且高效的抑郁症识别方法显得尤为重要。本研究构建了一种基于时空图卷积神经网络(ST-GCN)的脑电信号抑郁分类模型，将时间序列的脑电信号转化为脑拓扑图，捕捉大脑复杂的空间结构信息。同时，引入时空注意力机制，从时间和空间两个维度上有效提取关键信息。具体而言，时空图卷积神经网络结合了空间图卷积和时间卷积的优势，分别用于捕获脑电信号的空间布局特征和时间动态特性。实验结果显示，在公开的脑电数据集HUSM上，该模型的分类准确率、灵敏度以及特异度优于其他基线模型，充分验证了该模型在抑郁症识别方面的优越性能。

Abstract: Depression has become a globally widespread neuropsychiatric disorder, but traditional diagnostic methods, due to their subjectivity, often lead to a high rate of misdiagnosis. In light of this, developing a more objective and efficient depression recognition method is particularly important. This study proposes a depression classification model for electroencephalogram (EEG) signals based on Spatio-Temporal Graph Convolutional Neural Network (ST-GCN). This model converts the time series of EEG signals into brain topological graphs, thereby capturing the complex spatial structure information of the brain. Meanwhile, by introducing a spatio-temporal attention mechanism, the model can effectively extract key information from both temporal and spatial dimensions. Specifically, the ST-GCN combines the advantages of spatial graph convolution and temporal convolution, used to capture the spatial layout features and temporal dynamic characteristics of EEG signals, respectively. Experimental results show that on the public EEG dataset HUSM, the model’s classification accuracy, sensitivity, and specificity are superior to other baseline models, fully verifying the superior performance of this model in depression recognition.

1. 引言

在1948年，世界卫生组织(WHO)对健康给出了一个全面而深刻的阐释，指出健康并非仅仅意味着没有疾病或身体虚弱的缺失状态，而是一个融合了身体、心理及社会福祉的综合性完善状态[1]。时至今日，得益于科技与医疗领域的迅猛进步，人类的身体健康已获得了较为坚实的保障。然而，在快节奏的现代生活与工作环境中，心理健康问题却日益凸显，其中抑郁症作为一种普遍存在的心理疾病，其症状包括兴趣与精力的丧失、持续的情绪低沉，以及睡眠障碍、食欲波动、体力疲乏等生理反应，甚至会对大脑功能造成不可逆的损害。据WHO统计，全球抑郁症患者已超过3.22亿，占全球总人口的4.4%，且这一数字仍在持续攀升。传统的抑郁症诊断手段主要依赖于量表评估，但这种方法易受主观因素影响，误诊率较高。大脑作为中枢神经系统的核心，与个体的认知功能和思维模式紧密相连，多数心理活动和认知行为均可通过大脑活动得以体现。研究表明，抑郁症患者与健康人群在大脑活动模式上存在显著差异，抑郁症不仅影响大脑功能，还可能对其结构造成改变[2]。脑电信号(EEG)，作为一种通过电极捕捉大脑活动的非线性、随机性和非平稳性时间序列数据，能够实时反映大脑的活动状态。EEG具有非侵入性、无创、时间分辨率高、成本低廉、操作简便及易于记录等优势，现已成为大脑功能研究和临床检测中的重要工具，并在抑郁症检测中展现出其作为一种有效且可靠的定量分析手段的潜力。

在抑郁症诊断的早期研究中，主要依赖于人工特征提取与机器学习分类算法的结合[3]-[5]。然而，这种方法存在一个显著缺陷：它要求研究人员手动从脑电信号中提取特征，这一过程不仅可能引入主观偏见，影响分类的准确性，还相当耗时费力。鉴于此，深度学习算法因其卓越的自动特征学习与表征能力，在抑郁症分类任务中迅速崭露头角，极大地提升了诊断的精确度[6]-[8]。近年来，图神经网络(GNN)凭借其在学习脑电数据通道间复杂拓扑关系方面的出色表现，在抑郁识别领域获得了广泛应用[9]-[13]。GNN能够高效地捕捉脑电信号之间的内在联系，进一步推动了抑郁症诊断技术的发展。尽管如此，当前的研究在构建脑网络邻接矩阵时仍存在局限性。具体而言，这些方法尚未充分重视大脑的空间结构特征，也未能全面考虑大脑的时空动态性，从而限制了从脑网络中提取更有价值时空信息的能力。为了进一步提升抑郁症诊断的准确性和效率，本研究致力于设计一种能够更精确地建模大脑空间结构和时空特征的方法，即基于时空图卷积神经网络(ST-GCN)的脑电信号抑郁分类模型，将时间序列的脑电信号转化为脑拓扑图捕捉大脑复杂的空间结构信息，并通过引入时空注意力机制，从时间和空间两个维度上有效提取关键信息。时空图卷积神经网络结合了空间图卷积和时间卷积的优势，分别用于获取脑电信号的空间布局特征和时间动态特性。

2. 相关工作

早期的抑郁识别模型主要侧重于机器学习技术。例如，2015年，Acharya等人[14]提出了一种基于EEG的非线性自动诊断方法，将信号的非线性特征输入到支持向量机(SVM)分类器，达到较高的分类准确率。随着深度学习的迅猛发展，该技术已广泛应用于包括疾病分类在内的多个研究领域。2020年，Zhang等人[15]提出了一种结合一维卷积神经网络(CNN)和注意力机制的深度学习模型，用于抑郁症患者的诊断。该模型通过引入性别、年龄等人口统计学因素，并利用注意力机制，提升了分类性能。2021年，Sharma等人[16]提出了一种新的基于脑电的计算机辅助诊断(CAD)混合神经网络模型，用于抑郁症筛查。该模型结合了卷积神经网络(CNN)进行时序学习，以及长短期记忆网络(LSTM)进行序列学习，在45个样本的脑电数据上进行了验证，取得了良好效果，并且模型复杂度相对较低。

近年来，图神经网络(GNN)在处理图结构数据方面展现出了卓越的能力，因此也在抑郁识别领域受到了广泛关注和应用。2022年，Chen等人[17]构建了一种名为SGP-SL的抑郁检测模型，该模型利用局部和全局连接共同构建邻接矩阵，并引入了基于自注意力机制的图池化操作以防止信息丢失。2023年，Wang等人[18]提出了一种新型的深度学习网络架构——融合长短期记忆(LSTM)的自适应多时间窗图卷积网络(AMGCN-L)。该网络结合了图卷积网络GCN和LSTM，分别用于提取脑电信号的空间和时间特征。2024年，Liu等人[19]提出了一种基于图的脑电抑郁预测方法，该方法融合了脑电信号的时频复杂度和电极空间拓扑结构，利用具有图节点特征的图卷积网络和基于通道相关性的脑网络邻接矩阵进行分类。

3. 模型与方法

本研究目标将时间序列信号转化为图结构数据，并借助时空注意力机制与时空图卷积神经网络(ST-GCN)实现对抑郁症的分类预测。研究初期，我们首先从原始信号数据中提取微分熵特征，进而将这些时间序列信号构建为脑拓扑图，作为输入信息传递给时空图卷积神经网络。我们还引入了时空注意力机制，从时间和空间两个维度深入挖掘并提取更为丰富且有效的信息。最终，基于这些信息，我们对个体的健康状态或抑郁情况进行准确的分类预测。图1展示了本研究模型的结构框架图。

Figure 1. Frame diagram of the ST-GCN model

图1. ST-GCN模型框架图

3.1. 模型输入

脑电信号EEG是一种复杂的非线性信号，本研究选取了频域特征作为分类的脑电特征，将原始信号分解为五个频段，分别是delta波(1~4 Hz)、theta波(4~8 Hz)、alpha波(8~14 Hz)、beta波(14~31 Hz)以及gamma波(31~50 Hz)。计算各频段对应的功率谱密度，由于微分熵(DE)能够量化信号的复杂程度并对信号的动态变化十分敏感，因此选择微分熵(DE)作为样本的输入特征，用于后续的抑郁症分类。定义如下：

$\begin{array}{c}\text{DE}=-{\displaystyle {\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi {\sigma }^2}}{\text{e}}^{-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}}\log \left(\frac{1}{\sqrt{2\pi {\sigma }^2}}{\text{e}}^{-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}}\right)\text{d}x}\\ =\frac{1}{2}\log \left(2\text{πe}{\sigma }^2\right)\end{array}$ (1)

由于受试者不同，所以时间片段的脑电频率不同，包含的信息也不同。因此本研究关注中间时间片段和其相邻时间段的关系，定义网络输入$\mathcal{X}=\left(X_{i-d},\cdots ,X_i,\cdots ,X_{i+d}\right)\in {ℝ}^{N\times T_x\times T_n}$ 为$X_i$ 时间前后相邻的时间序列，其中$X=\left(X_1,X{}_2,\dots ,X_L\right)$ 表示原始信号序列，为时间步。

3.2. 脑网络矩阵构造

本节旨在将时间序列信号构建为脑拓扑图。每位受试者提取微分熵特征后输入矩阵为$F_i={\left(f_1^i,f_2^i,\cdots ,f_N^i\right)}^{\text{T}}\in {ℝ}^{N\times M}$ ，定义非负函数$A_{\left(m,n\right)}=g\left(f_m,f_n\right)\left(m,n\in \left\{1,2,\cdots ,N\right\}\right)$ 来表示节点$f_m$ 、$f_n$ 间的连接关系。$g=\left(f_m,f_n\right)$ 通过一层神经网络来实现，其中可学习权重向量$w={\left(w_1,w_2,\cdots ,w_M\right)}^{\text{T}}\in {ℝ}^{M\times 1}$ 。则邻接矩阵如下所示：

$A_{\left(m,n\right)}=g\left(f_m,f_n\right)=\frac{\exp \left(\text{ReLU}\left(w^{\text{T}}\left|f_m-f_n\right|\right)\right)}{{\displaystyle \sum _{n=1}^N\exp \left(\text{ReLU}\left(w^{\text{T}}\left|f_m-f_n\right|\right)\right)}}$ (2)

可学习权重向量w通过如下损失函数来更新：

${ℒ}_w={\displaystyle \sum _{m,n=1}^N{\Vert f_m-f_n\Vert }_2^2{A}_{mn}^{FC}}+\lambda {\Vert A^{FC}\Vert }_M^2$ (3)

通过定义邻接矩阵，受试者的各通道脑电数据可以得到一个大小为$N\times N$ 的矩阵A，如下式所示：

$A=\left(\begin{array}{ccc}{A}_{\left(1,1\right)}& \dots & A_{\left(1,N\right)}\\ ⋮& \ddots & ⋮\\ A_{\left(N,1\right)}& \dots & A_{\left(N,N\right)}\end{array}\right)$ (4)

3.3. 时空注意力机制

本节为实现更高的分类准确度，引入时空注意力机制，从时间和空间两个维度提取样本序列与相邻时间前后序列的时空信息。时间注意力模块旨在捕获受试者不同时间窗口的动态时间相关性，具体定义如下：

$T=V_t\sigma \left(\left({\left({ℱ}^{\left(l-1\right)}\right)}^{\text{T}}{W}_1\right)W_2\left(W_3{ℱ}^{\left(l-1\right)}\right)+b_t\right)$ (5)

${T^{\prime }}_{i,j}=\text{softmax}\left(T_{i,j}\right)=\frac{\exp \left(T_{i,j}\right)}{{\displaystyle \sum _{j=1}^{T_{l-1}}\exp \left(T_{i,j}\right)}}$ (6)

其中，$V_t,b_t\in {ℝ}^{N\times N}$ ，$W_1\in {ℝ}^{T_{l-1}}$ ，$W_2\in {ℝ}^{C_{l-1}\times T_{l-1}}$ ，$W_3\in {ℝ}^{C_{l-1}}$ 为可学习参数。由于本文目标是二分类任务，因此选取激活函数$\sigma$ 为sigmoid函数。$T_{i,j}$ 表示不同时间窗口的相关性，采用softmax函数对进行归一化。

空间注意力旨在探索不同大脑区域对抑郁症分类的影响，捕获空间维度中各通道的动态空间相关性。具体定义如下：

$S=V_s\sigma \left(\left({ℱ}^{\left(l-1\right)}{U}_1\right)U_2{\left(U_3{ℱ}^{\left(l-1\right)}\right)}^{\text{T}}+b_s\right)$ (7)

${S^{\prime }}_{i,j}=\text{softmax}\left(S_{i,j}\right)=\frac{\exp \left(S_{i,j}\right)}{{\displaystyle \sum _{j=1}^N\exp \left(S_{i,j}\right)}}$ (8)

其中，$V_s,b_s\in {ℝ}^{N\times N}$ ，$U_1\in {ℝ}^{T_{l-1}}$ ，$U_2\in {ℝ}^{C_{l-1}\times T_{l-1}}$ ，$U_3\in {ℝ}^{C_{l-1}}$ 为可学习参数。由于本文目标是二分类任务，因此选取激活函数$\sigma$ 为sigmoid函数。$S_{i,j}$ 表示不同脑区通道间的相关性，采用softmax函数进行归一化。

3.4. 时空图卷积神经网络

本研究将图定义为$G=\left(V,E,A\right)$ ，其中V表示节点集，$\left|V\right|=N$ 表示节点数；E为边的集合，表示各节点之间的关系。本节利用时空图卷积网络从数据中提取时空特征，包括空间图卷积和时间卷积。其中空间图卷积聚合相邻接节点的信息来提取空间特征。通过脑网络矩阵构造层我们可以得到每个受试者的邻接矩阵A，计算拉普拉斯矩阵$L=D-A$ ，令$\tilde{L}=\frac{2}{{\lambda }_{\max }}L-I_N$ ，其中${\lambda }_{\max }$ 是L的最大特征值，$I_N$ 是单位矩阵。为降低计算复杂度，采用切比雪夫展开式来近似，切比雪夫图卷积使用的$K-1$ 阶多项式如下所示：

$g_{\theta }{\ast }_{G}x=g_{\theta }\left(L\right)x={\displaystyle \sum _{k=1}^{K-1}{\theta }_k{T}_k\left(\tilde{L}\right)x}$ (9)

其中，x表示输入数据，$g_{\theta }$ 表示卷积核，${\ast }_G$ 表示图卷积操作，参数$\theta \in {ℝ}^K$ 为切比雪夫多项式系数向量。切比雪夫多项式的递归形式表示为$T_k\left(x\right)=2x{T}_{k-1}\left(x\right)-T_{k-2}\left(x\right)$ 。本研究为利用好各通道的相关性，对切比雪夫多项式的每一项均使用空间注意力矩阵S进行公式更新，更新后的图卷积公式如下所示：

$g_{\theta }{\ast }_{G}x=g_{\theta }\left(L\right)x={\displaystyle \sum _{k=1}^{K-1}{\theta }_k\left(T_k\left(\tilde{L}\right)\odot S^{\prime }\right)x}$ (10)

在本研究中，将原始输入使用时间注意力矩阵T进行更新，表示为 ${\stackrel{⌢}{ℱ}}^{\left(l-1\right)}=\left({\stackrel{⌢}{F}}_1,{\stackrel{⌢}{F}}_2,\cdots ,{\stackrel{⌢}{F}}_{T_{l-1}}\right)=\left(\left(F_1,F_2,\cdots ,F_{T_{i-1}}\right)T^{\prime }\right)\in {ℝ}^{N\times C_{l-1}\times T_{l-1}}$ 。对于每个节点的特征${\stackrel{⌢}{F}}_i$ ，利用$C_l$ 个卷积来计算图卷积$g_{\theta }{\ast }_G{\stackrel{⌢}{F}}_i$ ，其中$\Theta =\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_{C_l}\right)\in {ℝ}^{K\times C_{l-1}\times C_l}$ 为卷积核参数，保证每个节点聚合$K-1$ 阶相邻节点的信息。

时间卷积关注同一通道在不同时间窗口的变化，捕捉时间维度上的特征。本研究我们使用一个标准时间卷积层来提取中间时间段的时间上下文信息，具体定义如下所示：

${ℱ}^{\left(l\right)}=\text{ReLU}\left(\Phi \ast \left(\text{ReLU}\left(g_{\theta }{\ast }_G{\stackrel{⌢}{ℱ}}^{\left(l-1\right)}\right)\right)\right)\in {ℝ}^{N\times C_l\times T_l}$ (11)

其中$\ast$ 表示标准卷积操作，$\Phi$ 表示时间维度卷积核的参数。ReLU为激活函数。

4. 实验结果与分析

4.1. 实验平台及环境

本次实验在PC上运行，实验环境为Windows 11 64位操作系统，Intel(R) Core(TM) i7-8750H CPU，模型是基于Tensorflow深度学习框架进行的，Python环境版本设置为3.6。

4.2. 数据集介绍及预处理

本文使用了由Mumtaz等人[20]提供的公开数据集HUSM，该数据集记录了30名抑郁症患者(MDD)以及27名正常对照受试者(H)在闭眼状态下的五分钟静息态脑电图(EEG)信号。数据是通过带有19个电凝胶传感器的EEG帽采集的，并以256 Hz的采样频率精确捕捉大脑活动。

为获取高质量的数据，本文进行了一系列预处理操作，主要包括去除原始数据中的伪迹信号，设置带通滤波器去除噪声信号，标准化处理等。为增加样本数量对实验数据进行样本划分，即对受试者的脑电信号进行不重叠地分割，将每个受试者五分钟的脑电信号分成多个时序样本作为深度学习模型的输入。经过数据预处理后，即可进一步对数据进行特征提取。

4.3. 参数设置

为便于理解，表1展示了模型中参数的具体取值，我们设定时间上下文长度(context)为5来处理序列数据，训练批量大小为64，采用基于梯度下降的优化器Adam，学习率设置为0.001，邻接矩阵类型为GL，全局全连接层维度为16，GL参数GLalpha值为0.0001，Chebyshev滤波器数量和时间滤波器数量设定为10，时间卷积步长为1，时间卷积核大小为3，Chebyshev多项式阶数为3，L1正则化系数和L2正则化系数均设置为0用于防止过拟合，dropout设置为0.5。

Table 1. Parameter setting

表1. 参数设置

Parameters	Value
context	5
batch_size	64
optimizer	Adam
learn_rate	0.001
adj_matrix	GL
Globaldense	16
GLalpha	0.0001
cheb_filters	10
time_filters	10
time_conv_strides	1
time_conv_kernel	3
cheb_k	3
L1 regularization coefficient	0
L2 regularization coefficient	0
dropout	0.5

4.4. 结果分析

为了评估模型的性能，我们采用跨被试的LOSO交叉验证策略对公开数据集HUSM进行验证，并选取了准确度、灵敏度和特异度三个指标来评价模型。同时以Logistic Regression [20]、Novel CNN [21]、SVM [22]、A Customized Inception Time [23]四种基线模型与我们的模型进行比较，结果如下表2所示。为更直观地对比模型性能，还将这些模型的各项评价指标进行了可视化。

Table 2. Comparison of experimental results

表2. 实验结果对比

Scholar	Models	Accuracy	Sensitivity	Specificity
Ellis et al.	Novel CNN	83.91%	82.26%	81.54%
Mumtaz et al.	Logistic Regression	87.5%	95%	80%
Mahato et al.	SVM	88.33%	90.81%	89.41
Refier et al.	A Customized Inception Time	91%	94.9%	88.2%
Ours	ST-GCN	92.68%	92.73%	92.64%

Figure 2. Contrast experiment

图2. 对比实验

根据表2和图2所呈现的结果，可以证实我们提出的时空图卷积神经网络模型，在抑郁分类任务中展现出了卓越的性能。相较于现有的基线模型，STGCN模型展现出了明显的优势，其准确度、灵敏度和特异度分别高达92.68%、92.73%和92.64%。具体而言，传统的机器学习方法，例如逻辑回归(Logistic Regression)和支持向量机(SVM)，在处理包含时空特性的数据时，难以有效地学习其特征。尽管现有的卷积神经网络(CNN)及其变体模型能够直接提取时间或空间特征，但它们却忽视了大脑不同区域之间的内在联系。因此，我们提出的ST-GCN模型通过利用图结构，有效地捕捉了各节点间的拓扑信息，从而在性能上超越了传统的深度学习模型，实现了更高的分类准确率。

Figure 3. Confusion matrix

图3. 混淆矩阵

图3为STGCN模型的混淆矩阵，对于类别H和MDD，该矩阵可以直观地看到模型在不同分类情况下的表现。其中对于H类别，模型在预测为H的样本中，有92.64%是真正属于H类别的；对于MDD类别，模型在预测为MDD的样本中，有92.73%是真正属于MDD类别的。

Figure 4. Variation of model accuracy with training cycle

图4. 模型准确度随训练周期的变化

图4展示了STGCN模型随训练周期(Epochs)变化的准确率情况。可以直观地发现随着训练周期的增加，模型的预测准确率逐渐上升并保持在一个较高的水平，并在验证集上也逐渐展现出了较好的泛化能力。

Figure 5. ROC curve

图5. ROC曲线

从图5的ROC曲线可以看出，随着FPR的增加，TPR也逐渐增加，但增速逐渐放缓。这表明分类器在识别正类时具有一定的准确性，但随着阈值的降低，假正类的数量也在增加。AUC值为0.93，这也表明分类器具有较好的性能。

5. 结束语

智慧医疗检测系统在当代抑郁症诊断技术中扮演着举足轻重的角色。本研究提出了一种名为ST-GCN的新型模型，该模型基于时空图卷积神经网络原理，并成功将其引入抑郁症识别领域。该模型深入挖掘大脑空间信息的复杂性，将脑电信号转化为脑拓扑图。时空图卷积神经网络结合了空间图卷积和时间卷积，分别用于获取脑电信号的空间分布特征和时间动态特性。我们还引入时空注意力机制，使模型能够更精准地从时间和空间两个维度上提取出关键信息，进一步提升了模型的识别能力。最后采用跨被试的LOSO交叉验证策略对公开数据集HUSM进行验证，实验表明，ST-GCN模型的预测结果优于现有模型，充分验证了该模型在抑郁症识别方面的优越性能。

致 谢

感谢甘肃省计算中心提供的计算资源和技术支持。本研究中的大量计算工作均在该中心进行，这对于本论文的顺利完成起到了至关重要的作用。

基金项目

本研究受甘肃省科技计划项目(24YFFA055, 22JR5RA797)与甘肃省重点人才项目(“东数西算”场景下的后量子数据加密传输机制研究)的资助。

NOTES

^*通讯作者。