基于ASSA-Transformer模型的边坡稳定性预测研究

Research on Slope Stability Prediction Based on the ASSA-Transformer Model

摘要: 边坡灾害具有突发性及严重危害性，所以边坡稳定性预测成为边坡工程研究的重点。传统边坡稳定性预测方法存在精度有限、泛化能力不足等问题，因此本研究提出了一种融合自适应稀疏自注意力机制(ASSA)和Transformer架构的混合智能模型(ASSA-Transformer)，提升算法模型在边坡稳定性分类任务中的预测精度。选取支持向量机(SVM)、轻量级梯度提升机(LightGBM)、Transformer、网格搜索优化Transformer (GS-Transformer)以及粒子群优化Transformer (PSO-Transformer)作为对比模型，使用准确率、精确度、召回率和F1分数作为评价指标评估模型性能，并通过混淆矩阵可视化各模型的分类结果。研究结果表明：ASSA-Transformer模型在训练集与测试集的各项评价指标上均优于其他对比模型，表现出较强的分类预测性能与泛化能力。基于置换特征重要性(PFI)算法分析得出内摩擦角、坡角及孔隙水压力为关键影响因素，本研究为边坡稳定性的预测提供了一种新方法，对边坡工程安全评估与防灾决策具有实际意义。

Abstract: Slope disasters often occur suddenly and result in severe consequences, making slope stability prediction a key focus in slope engineering research. Traditional slope stability prediction methods suffer from limitations such as limited accuracy and insufficient generalization capabilities. To enhance the predictive accuracy of algorithmic models in slope stability classification tasks, a hybrid intelligent model (ASSA-Transformer) integrating an adaptive sparse self-attention mechanism (ASSA) and a Transformer architecture is proposed. Support Vector Machine (SVM), Lightweight Gradient Boosting Machine (LightGBM), Transformer, Grid Search Optimized Transformer (GS-Transformer), and Particle Swarm Optimized Transformer (PSO-Transformer) were selected as comparison models. Model performance was evaluated using accuracy, precision, recall, and F1 score as metrics, with classification results visualized via confusion matrices. The results demonstrate that the ASSA-Transformer model outperforms all comparison models across all evaluation metrics on both the training and test datasets, exhibiting strong classification prediction performance and generalization capability. Analysis based on the Permutation Feature Importance (PFI) algorithm identifies the internal friction angle, slope angle, and pore water pressure as key influencing factors. This study provides a novel approach for predicting slope stability, holding practical significance for slope engineering safety assessment and disaster prevention decision-making.

1. 引言

近年来，我国基础设施建设的快速发展，露天采矿、交通建设、水利水电及建筑工程等领域的边坡工程的规模和数量不断增加，与此同时边坡失稳现象频发，造成了严重的自然灾害与经济损失[1]。边坡失稳为世界三大地质灾害之一，其稳定性的分析与精准预测预报始终是边坡防治中的关键问题[2]，构建准确且有效的边坡稳定性预测模型对于岩土工程以及地质灾害的防治具有重要意义。

现阶段在边坡工程领域对于transformer模型的应用研究较少，尤其是对于边坡的稳定性预测方面，因此本文提出融合ASSA和Transformer的边坡稳定性预测模型ASSA-Transformer，具体过程如下：将ASSA机制融入Transformer模型的编码器中，使用融合后的ASSA-Transformer模型对边坡的稳定性进行分类预测，最后根据实验目的，将轻量级梯度提升机(LightGBM)，支持向量机(SVM)以及未经过优化处理的Transformer模型分别设置为对照组来比较其各自分类效果及泛化能力。利用建立的边坡数据库，以准确率、精确率、召回率、F1分数四个评价指标进行综合比较，并结合ROC曲线、AUC值以及混淆矩阵来更直观系统评估各个模型的性能[3]。通过几种对比模型验证，ASSA-Transformer在所有评价指标上都表现更优，同时其具备更好的分类预测能力和较强的泛化能力。

2. 模型原理

2.1. 自适应稀疏自注意力机制

自适应稀疏自注意力机制(Adaptive Sparse Self-Attention，简称ASSA)是自注意力的一种改进形式[4]，其核心思想是通过引入自适应选择策略，使模型能聚焦于输入序列中最相关的部分，降低了注意力矩阵的计算复杂度，从而提升了计算效率，其结构如图1。

Figure 1. ASSA structural diagram

图1. ASSA结构图

ASSA机制采用双分支结构，包括稀疏自注意力(SSA)与密集自注意力(DSA)两个分支，ASSA通过动态调整SSA和DSA的权重，根据具体任务和输入内容有效地平衡信息流，这样既能过滤掉无关特征，又保留必要的信息。具体公式如下：

$Q=X{W}_Q,K=X{W}_K,V=X{W}_K$ (1)

$\text{SSA}={\text{ReLU}}^2\left(Q{K}^{\text{T}}\sqrt{d}+B\right)$ (2)

$\text{DSA}=\text{SoftMax}\left(Q{K}^{\text{T}}\sqrt{d}+B\right)$ (3)

其中，$X$ 为$R^{H\times W\times C}$ 的归一化特征的映射，$QKV$ 为$X$ 生成的查询矩阵Q、键K和值V。B是指相对位置偏差。

$w_n={\text{e}}^{a_n}/{\displaystyle {\sum }_{i=1}^N{\text{e}}^{a_i}},n=\left\{1,2\right\}$ (4)

$A=\left(w_1\times \text{SSA}+w_2\times \text{DSA}\right)V$ (5)

其中，$w_1,w_2$ 为双分支的两个归一化权重，$\left\{a_1,a_2\right\}$ 是可学习参数。

2.2. Transformer模型

Transformer模型由Vaswani等[5]人于2017年首次提出，作为一种创新的深度学习框架，其核心在于自注意力机制(Self-Attention)的应用。该机制通过多头注意力(Multi-Head Attention)的设计，显著提升了模型的表现力和训练稳定性。Transformer模型由编码器和解码器两部分构成，每一部分均由多个编码层或解码层堆叠而成，编码器从输入序列中提取特征，而解码器生成相应的输出序列，详细的层结构如图2。

Figure 2. Transformer model architecture diagram

图2. Transformer模型结构图

Transformer中的多头注意力机制允许模型在不同的表示子空间中进行自注意力计算，从而捕捉不同的语义信息。Q (Query)、K (Key)和V (Value)矩阵是自注意力机制的核心组成部分，它们用于计算注意力权重，并在编码器和解码器中进行特征映射和特征提取[6]。Transformer的注意力机制表示如下：

$Attention\left(Q,K,V\right)=\text{softmax}\left(\frac{Q{K}^{\text{T}}}{\sqrt{d_k}}\right)$ (6)

$MutiHead\left(Q,K,V\right)=Concat\left(hea{d}_1,hea{d}_2,\cdots ,hea{d}_n\right)W^O$ (7)

$hea{d}_n=Attention\left(Q{W}_i^Q,K{W}_i^K,V{W}_i^V\right)$ (8)

其中，$Q,K,V$ 分别为查询(Query)矩阵，键(Key)矩阵，值(Value)矩阵，用于查询向量以计算相似度以及基于注意力权重进行信息聚合。$W_i^Q,W_i^K,W_i^V$ 为参数矩阵。$Q{K}^{\text{T}}$ 为点积相似度，表示查询矩阵与键矩阵之间的相似度，用于衡量不同元素间的关联程度。$\sqrt{d_k}$ 为缩放因子，$\text{softmax}\left(\right)$ 是将点积结果转换为概率分布的归一化函数。

全连接前馈网络由两个线性层和一个介于两者之间的ReLU激活函数组成。过程表示如下：

$\text{FFN}\left(x\right)=\max \left(0,x{W}_1+b_1\right)W_2+b_2$ (9)

Transformer中的位置编码结构用于捕捉序列中不同位置的关系。位置编码是通过向输入序列中的每个位置添加一个特定的向量来实现的。Transformer的位置编码计算方式如下：

$P{E}_{\left(pos,2i\right)}=\sin \left(pos/{10000}^{2i/dmd}\right)$ (10)

$P{E}_{\left(pos,2i+1\right)}=\cos \left(pos/{10000}^{2i/dmd}\right)$ (11)

其中，$PE$ 代表的是位置编码操作得到的矩阵位置编码矩阵，$i$ 代表维度指数，$pos$ 代表位置指数，$dmd$ 代表输入的维度。

2.3. ASSA-Transformer模型构建

本研究在Transformer模型的基础上引入ASSA机制，构建了ASSA-Transformer边坡稳定性预测模型，如图3所示。该模型融合了ASSA动态分配特征权重的特性，以及Transformer建模长序依赖的能力。构建流程如下：

Figure 3. ASSA-transformer model flowchart

图3. ASSA-transformer模型流程图

1) 对数据归一化，并将数据80%分为训练集，20%分为测试集。

2) ASSA过滤冗余特征并突出关键依赖关系，Transformer则捕捉长序交互作用。经优化处理的特征通过全连接输出层映射至边坡稳定性结果。

3) 采用Adam优化器，损失函数设为交叉熵(Cross-entropy)。初始学习率设为0.001，采用小批量学习，批量大小(Batch Size)设置为128，前向传播生成预测结果后反向传播梯度更新参数。

4) 采用早停机制(Early Stopping)监控模型在验证集上的性能，保留测试集损失最小的模型以避免过拟合。

5) 训练完成后，对模型预测结果进行反归一化转换至原始物理单位，以确保结果的实际可解释性。

6) 通过准确率(Accuracy)、精确度(Precision)、召回率(Recall)和F1分数(F1 Score)多种指标评估模型的预测性能，通过混淆矩阵可视化各模型的分类结果，并进行特征重要性分析，以量化各特征变量对模型预测性能的贡献价值。

3. 数据选取与相关性分析

3.1. 边坡案例数据库

边坡稳定性的因素影响有多种，包括地质构造、岩性、水文条件和边坡几何形态等多个方面，通过对国内外边坡工程事故报告、勘察资料、科研文献等广泛调研，选取土体重度$\gamma$ 、黏聚力$c$ 、内摩擦角$\phi$ 、坡角$\beta$ 、边坡高度$h$ 及孔隙水压力$r_u$ 作为边坡稳定性评价指标。根据文献[7]-[11]本文构建了包含280个边坡案例的数据库，如表1所示。为确保模型的泛化能力，该数据库包含了矿山、公路及水库等多种工程背景的案例。其中稳定状态边坡案例146个，失稳状态边坡案例134个，表格中“S”表示边坡稳定，“F”表示边坡失稳。为了直观展示各参数的数据分布特征，采用小提琴图结合箱线图的方法进行呈现，如图4所示。

Table 1. Slope database

表1. 边坡数据库

编号	边坡参数						边坡状态
	$\gamma$ /(kN∙m^−3)	$c$ /(kPa)	$\phi$ /(˚)	$\beta$ /(˚)	$h$ /(m)	$r_u$ /kPa
1	20	0.1	36	45	50	0.29	F
2	16	10	35	40	115	0.35	S
3	27.3	10	39	41	511	0.29	S
4	31.3	68	37	46	366	0.25	F
5	20.9	6.5	40	40	12	0	S
6	27	32	33	42	289	0.25	F
7	17.2	10	24.3	17	38	0.4	S
8	23	20	20.3	46.2	40.3	0.25	S
︙	︙	︙	︙	︙	︙	︙	︙
279	28.01	9.5	27.36	41.86	538.1	0.23	S
280	31.25	25.73	27.97	48.23	91.55	0.21	F

Figure 4. Violin plot of slope parameters

图4. 边坡各指标小提琴分布图

3.2. 相关性分析

为定量评估各指标间的相关性，本研究绘制了皮尔逊相关矩阵图[12]，见图5。皮尔逊从矩阵的三角部分可以看出，六组特征变量之间的相关系数(R)均低于0.6，表明它们之间不存在强相关性(0.6 ≤ R < 0.8)，只有部分指标与γ之间存在中等的相关性(0.2 ≤ R < 0.4)。由此可认为选取的6个指标彼此独立，没有强线性关系，存在复杂的非线性关系。

Figure 5. Feature parameter correlation analysis matrix diagram

图5. 特征参数相关性分析矩阵图

4. 结果预测与分析

4.1. 评价指标选取

在本研究中，为全面且准确地评估ASSA-Transformer模型性能，使用5个关键指标估：准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1分数(F_1-Score)以及受试者工作特征曲线下面积(AUC)，这些指标可以用数值来量化模型的性能，指标的数值越高，表示模型的性能越好。此外还引入了ROC曲线和混淆矩阵，可以进一步直观地反映模型的性能。

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$ (12)

$\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}}$ (13)

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (14)

${\text{F}}_{\text{1-Score}}=\frac{2\times \left(\text{Precision}\cdot \text{Recall}\right)}{\text{Precision}+\text{Recall}}$ (15)

$\text{TPR}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (16)

$\text{FPR}=\frac{\text{FP}}{\text{TN}+\text{FP}}$ (17)

式中，TP表示真正类的样本数，TN表示真负的样本数，FN表示假负类的样本数，FP表示假正类的样本数。ROC曲线以假阳率(FPR)为横坐标、真阳性率(TPR)为纵坐标构建(二者取值范围均为[0, 1])，AUC (曲线下面积)越接近1，模型的预测性能越好。

4.2. 模型训练结果分析

本研究将边坡数据库中边坡案例以8:2的比例随机分配为训练集与测试集，训练集用于构建模型，测试集则用于评价模型的性能。处理后的数据导入ASSA-Transformer模型并训练，得到混淆矩阵结果如图6所示。

(a) 训练集 (b) 测试集

Figure 6. ASSA-transformer model confusion matrix

图6. ASSA-transformer模型混淆矩阵

模型在训练集上的表现为：2个稳定数据被误判为失稳，3个失稳样本被预测为稳定；在测试集中，仅1个稳定数据被误判为失稳，1个失稳数据被预测为稳定。结果表明，所构建的ASSA-Transformer模型在边坡稳定性预测方面具有较好的鲁棒性与准确性。受试者工作特征(ROC)曲线如图7所示：

Figure 7. ASSA-transformer model ROC curve

图7. ASSA-transformer模型ROC曲线

4.3. 不同分类模型性能对比分析

为检验ASSA-Transformer模型的预测性能与泛化能力，本文选取支持向量机(SVM)、轻量级梯度提升机(LightGBM)、轻量级梯度提升机(LightGBM)、Transformer、网格搜索优化Transformer (GS-Transformer)以及粒子群优化Transformer (PSO-Transformer)作为对比模型，采用准确率、精确率、召回率与F1分数评价指标对各模型的分类结果进行评估，见表2。研究得出，ASSA-Transformer模型的准确率、精确率、召回率和F1分数分别为0.9464、0.9459、0.9611和0.9684，在各项性能指标上都超过了其他模型，预测性能与泛化能力表现最佳。与未优化的Transformer模型相比，ASSA-Transformer模型的各项评价指标均得到显著提高，准确率、精确率、召回率与F1分数分别从0.9464、0.9459、0.839和0.867提升到0.943、0.875、1.000、0.933，这表明通过ASSA机制对Transformer模型架构进行优化，显著提升了模型的分类预测性能与泛化能力。

Table 2. Performance comparison of different classification models

表2. 不同分类模型的性能对比

模型	准确率	精确率	召回率	F1分数	AUC值
SVM	0.8471	0.8653	0.8871	0.8761	0.8726
LightGBM	0.8827	0.8819	0.8963	0.8927	0.9182
Transformer	0.8634	0.8758	0.8849	0.8736	0.8927
GS-Transformer	0.8952	0.8924	0.9013	0.9047	0.9359
PSO-Transformer	0.9065	0.9082	0.9147	0.9104	0.9275
ASSA-Transformer	0.9464	0.9459	0.9611	0.9621	0.9684

4.4. 特征重要性分析

本研究通过置换特征重要性(Permutation Feature Importance, PFI)方法解释机器学习模型，图8展示了各特征的平均特征重要性值，根据特征重要性排序结果，内摩擦角是影响边坡稳定性最主要的因素，平均特征重要性值为0.4154，其次是坡角(0.204)、土体重度(0.3708)、边坡高度(0.3275)、粘聚力(0.3042)与孔隙水压力比(0.2663)。值得注意的是，内摩擦角、边坡坡角与土体重度的重要性较高，这与孙华芬[7]等的研究结果相似，表明在边坡稳定性的研究中，内摩擦角、边坡坡角与土体重度这三要素的重要性。

Figure 8. Feature importance analysis chart

图8. 特征重要性分析图

5. 结论

1) 本研究构建了一种融合自适应稀疏自注意力机制(ASSA)和Transformer架构的边坡稳定性预测模型。在边坡预测模型的对比研究中，ASSA-Transformer模型的准确率、精确率、召回率和F1分数分别为0.9464、0.9459、0.9611和0.9684，均为各模型中的最高值，避免了ANN神经网络容易出现过拟合的问题，证明了ASSA-Transformer模型较高的分类性能与泛化能力。

2) 与Transformer模型相比，优化后的ASSA-Transformer模型的各项指标均得到提升，准确率、精确率、召回率与F1分数分别提升了9.6%、8.1%、8.6%和10.2%。另外，相较于网格搜索(GS)和粒子群(PSO)算法优化的Transformer模型，ASSA-Transformer的各项指标均更高，这充分验证了ASSA机制在优化Transformer模的有效性，增强了模型在边坡稳定性任务中的预测性能和泛化能力。

3) 通过对构建的边坡案例数据库进行相关性分析，发现特征参数之间存在较复杂的非线性关系。基于特征重要性分析得出，内摩擦角是影响边坡稳定性最主要的因素，其次是边坡角与土体重度。表明在边坡稳定性的研究中，重点关注内摩擦角、边坡坡角与土体重度，有助于提升边坡稳定性评价的可靠度。

综上，ASSA-Transformer模型为边坡稳定性的预测提供了一种新方法，对边坡工程安全评估与防灾决策具有实际意义。