基于DeepSeek和DeepLearning融合策略的工程保障实体关系抽取

Engineering Support Entity Relation Extraction Based on DeepSeek and DeepLearning Fusion Strategy

摘要: 工程保障实体关系抽取对于开展智能化辅助决策具有重要意义。本文在领域专家的指导下设计了工程保障实体关系，并本地化部署DeepSeek，经过TCL、CoT多轮Prompt学习，抽取了工程保障实体关系；对该领域的数据集进行人工标注，开展基于四种模型的关系抽取实验，结果表明，RoBERTa-BiGRU-ATT模型的实体关系抽取效果最好，精确率、召回率和F1值分别达到了0.8903、0.8879、0.8885。本文研究表明，基于DeepSeek和DeepLearning融合策略对抽取实体关系，是一种更高效便捷的方法，对于构建领域知识图谱和智能问答具有重要意义。

Abstract: Engineering support entity relation extraction is of great significance for intelligent assistant decision-making. In this paper, under the guidance of domain experts, the engineering support entity relationship is designed, and DeepSeek is deployed locally. After TCL and CoT rounds of Prompt learning, the engineering support entity relationship is extracted. The data sets in this field are manually labeled, and relationship extraction experiments based on four models are carried out. The results show that the RoBERTa-BiGRU-ATT model has the best entity relationship extraction effect, and the accuracy rate, recall rate and F1 value are 0.8903,0.8879 and 0.8885, respectively. The research in this paper shows that the fusion strategy based on DeepSeek and DeepLearning is a more efficient and convenient method for extracting entity relationships, which is of great significance for constructing domain knowledge graphs and intelligent question answering.

1. 引言

战争形态的智能化演变，呼唤着决策的智能化。自然语言处理(NLP)包含命名实体识别(NER)和实体关系抽取(RE)，是推动决策智能化的关键技术。实体关系抽取是从大量非结构化的文本中抽取出实体间的相互关系，是构建知识图谱、智能问答、机器翻译的基础任务。工程保障是联合作战的重要样式，该领域存在大量的非结构化数据，研究从中抽取出有价值的作战关系，进而构建辅助指挥员决策的知识图谱，对于发挥作战功能、提高作战效能、挖掘作战潜能具有重要意义。

工程保障领域实体关系抽取是在实体识别的基础上，确定实体对之间的关系类别，并以结构化的形式进行存储和应用，常以三元组(〈实体1，关系，实体2〉)的形式表示。例如，“XXX营营长张成功”表示为，〈XXX营，隶属，张成功〉、〈营长，任职，张成功〉。这种结构化的表示形式不仅对数据信息进行了简化，而且有助于信息的存储和提取，但实体关系抽取是一项复杂的工作。长期以来，大量的学者进行了深入的研究。传统的关系抽取方法有基于模式匹配、基于特征的方法，随着机器学习算法的出现，Guo等[1]利用SVM模型完成了关系的抽取，但传统方法过于依赖词法、句法分析，并往往存在大量错误[2]，深度学习方法的出现，弥补了上述缺陷。姚洁仪[3]设计了多分类器模型，抽取了医疗领域的实体关系；周兰强等[4]采用BERT-Graph-GlobalPointer模型抽取了油气知识图谱实体关系；张劲松等[5]基于BERT模型抽取了中文电子病历实体关系；王彤等[6]融合RoBERTa-WWM和全局指针网络抽取了农业病虫害实体关系；朱珊珊等[7]等进行了基于BiLSTMATT模型的军事领域实体关系抽取；蒋怡宁等[8]基于预训练模型对军事文本关系抽取方法进行了研究；王学锋等[9]基于循环神经网络抽取了作战文书实体关系。上述学者研究表明深度学习方法相较传统方法可以有效完成实体关系抽取任务。

大语言模型(LLM)在关系抽取中的应用，是当前的研究热点。朱海等[10]利用Llama2大语言模型作为生物医学文本生成器，抽取了药物相互作用关系；夏江镧等[10]研究了大语言模型的实体关系抽取现状；汤少梁等[11]基于ChatGLM大语言模型抽取了中医妇科中的实体关系。以上方法对于研究工程保障领域实体关系抽取工作提供了方法思路，但当前对于军事领域具体作战行动实体关系抽取任务还鲜有研究。本文着眼智能化作战条件下工程保障行动决策需求，提出一种将大语言模型结合深度学习的方法，采用DeepSeek和RoBERTa-BiGRU-ATT模型融合策略抽取工程保障实体关系。研究表明，本文方法实体关系抽取效果显著，精确率、召回率、F1值分别达到了0.8903、0.8879、0.8885，对于构建领域知识图谱、智能问答和机器翻译具有重要作用。

2. 工程保障实体关系分析

2.1. 实体关系分类

军事领域实体有人员、时间、地点、任务、组织机构、武器装备、军事设施、军事术语等，实体关系即指构成上述实体间的相互关系。军事领域常见的实体关系分为人员关系、位置关系、层级关系、指挥关系、敌对关系等。工程保障行动更加强调保障对象的需求、保障任务的战场环境、保障行动的作业效率，受战场环境影响巨大。此外，工程保障行动主要强调的是作业效率，如人机结合率、工程作业力、材料消耗率等。因此，工程保障实体关系需更加突出遂行保障任务的作战需求。

2.2. 实体关系设计

当前，军事领域实体关系还没有统一公开的数据集，关系的分类也没有统一的规范。本文在借鉴相关学者研究结论的基础上，根据本体论原理设计了工程保障领域实体关系，具体分为5大类21小类，即人员关系、装备关系、位置关系、作战关系和目标关系，如人员关系主要用来描述人员间、人员与组织、人员与装备、人员与物资、人员与任务间的关系。具体分类及释义如表1所示。

Table 1. Entity relationship of engineering support

表1. 工程保障实体关系

关系分类	具体释义	关系内容
人员关系	描述人员间、人员与组织、人员与装备间、人员与物资、 人员与任务间的关系。	上下级、平级、隶属、任职、管理、维修、操作、制定、使用
装备关系	描述装备与作战单元和组织机构等之间的关系。	编配、配属、消耗
位置关系	主要用来表示方位的关系。如东、西、南、北、等方位词， 地点名称、坐标等。	位于、配置
作战关系	描述作战过程中组织机构、作战单元间的行动关系。	执行、支援、协同、指挥、保障
目标关系	描述部队与部队、地理坐标之间的关系。	进攻、占领

3. 基于DeepSeek的工程保障实体关系抽取

3.1. 数据获取及预处理

由于当前缺乏公开可用的军事领域数据集，本文通过中国国防、中国军网、新浪军事、百度百科等媒体收集了公开的工程保障数据文本300篇，形成了本领域的语料集。

通过对获取的公开数据进行分析，发现通过爬虫爬取的数据中有杂乱信息，具体存在以下问题：

(1) 数据中少部分新闻数据为纯英文文本。

(2) 数据中存在一些与军事内容不相关的文本片段。

(3) 军事新闻文本中含有表情、网页超链接、语气助词等。

(4) 大量文本数据中附带空格以及通讯作者，与关系抽取无关且影响文本标注。

针对上述问题，本文通过Python编程的方式进行数据清洗，删除纯英文文本、空格、引号、括号等符号，过滤掉含有表情、语气助词、网页超链接的军事文本，形成初步样本。

基于上述流程对获取数据的处理生成的语料集，将其存储到本地化部署的DeepSeek中，模型参数选取DeepSeek-R1-7B版本，温度设为0.6，作为DeepSeek抽取实体关系的数据集。

3.2. 基于上下文学习提示的实体关系抽取

大语言模型相较传统的关系抽取方法，凭借其大自然语言处理方面的独特优势，成为当下的研究热点。提示词工程(Prompt Engineering)通过设计有效的提示词引导模型生成所需结果，其优势在于减少资源的消耗和训练时间[10]。目前，实体关系抽取任务中主流的提示词方法是上下文学习和思维链。下文学习(In-Context Learning, ICL)是Tom等[12]将自然语言处理任务嵌入语言生成框架，同时结合上下文的语义信息，增强模型的理解和决策能力。该种方法的目的是不调整模型参数也能从给定的示例中学习执行指定的任务。后来经过多位学者优化改进，ICL具有不依赖大量数据标注，通过少量的示例学习就能进行精准预测的能力。Li等人将实体关系抽取改为表格生成任务，通过设计包含实体类型、主题、关系、对象类型等将需抽取的三元组转换为语言形式，再利用编码器计算三元组间的距离，并求解Pompeiu-Hausdorff距离来衡量未标记样本之间的相似性，实现对预提取关系的预测。

ICL被证明在实体关系抽取任务中有较好的效果。本文基于ICL的优势，在领域专家指导下，精心设计工程保障实体关系提示示例，输入DeepSeek模型，得到输出结果。然后结合人工校验，经过多轮的提示学习，验证实体关系提取的准确性，并修改完善得到最终的实体关系抽取结果。同时，多轮的提示示例也可作为学习样本对DeepSeek进行输入，进而增强预测的准确性。ICL提示模板如图1所示。

Figure 1. ICL Prompt word extraction relationship

图1. ICL提示词抽取关系

3.3. 基于思维链提示的实体关系抽取

思维链(Chain of Thought, CoT)提示词工程是通过提示LLM，借鉴人类的思维方式，引导LLM进行逐步推理，对实体关系进行预测抽取的方法。CoT最早由Wei等[13]人提出，可用于引导大型语言处理复杂的推理任务。CoT在模型输出结果之前，先进行了一系列的推理思考，可在没有额外人工提示的情况下进行零样本逻辑推理并输出结果。本文引用Sun等提出名为GenRDK的三元组提取框架，引导DeepSeek进行链式检索思维，逐步抽取实体关系。经过多轮提示学习，结合人工校验，确定实体关系。同步将提示学习结果输入DeepSeek增强预测准确性。

本文CoT提示过程可分为三步，第一步基于已识别的工程保障领域实体，准确定义实体的可用性；第二步实体关系抽取，依据实体类别，确定实体关系。第三步结果输出，结合人工校验和专家审核，输出最终的实体关系。CoT提示词抽取关系如图2所示。

Figure 2. CoT Prompt word extraction relationship

图2. CoT提示词抽取关系

4. 基于RoBERTa-BiGRU-ATT的实体关系抽取

深度学习以神经网络模型为框架，可以自动获取文本特征，且不需要复杂的设计与验证。深度学习相较传统的关系抽取方法，在正确率和效率方面都有较大的提高。本文基于前人研究基础，通过选用当下实体关系抽取领域常见模型BERT、RoBERTa、BILSTM、BiGRU、CRF及其组合，进行了实验对比分析，结果表明，RoBERTa-BiGRU-ATT模型的实体关系抽取效果最好，精确率、召回率和F1值分别达到了0.8903、0.8879、0.8885。

4.1. 数据集标注

本文数据来源与DeepSeek输入数据相同，首先对语料集进行人工标注。为确保抽取效果的准确性，基于前文已设计好的实体关系、DeepSeek生成的实体关系和已识别实体在领域专家的监督下进行标注。本文采用Label Studio软件进行实体关系标注，如图3所示，然后将标注结果交由领域专家审核，最终形成关系抽取的数据集，并且按照8:1:1的比例分为训练集:验证集:测试集。

Figure 3. Text annotation example

图3. 文本标注示例

4.2. 模型框架

4.2.1. RoBERTa层

RoBERTa是由Liu等[14]于2019年提出的，是BERT模型的增强版。RoBERTa在BERT的基础上进行了改进，采用了更大的数据集、更大的Bacth size、更大的模型参数量。RoBERTa对BERT的优化主要体现在训练方法上，RoBERTa去掉了对下一句的预测，提高的训练的效率；采取动态掩码机制，每次的输入序列会生成新的掩码模式；采用了字符级和词级别表征的混合文本编码模式。经过在GELU、SQuAD、RACE数据集上进行训练，取得了较好效果。

模型先将训练文本经过Word2vector转换为向量并进行多个Transformer层提取特征，再输入RoBERTa层，经过RoBERTa层的优化训练输出结果。RoBERTa层采用的Adma优化器更新公式如下：

${\nu }_t={\beta }_1\ast {\nu }_{t-1}-\left(1-{\beta }_1\right)\ast g_t$ (1)

$s_t={\beta }_2\ast s_{t-1}-\left(1-{\beta }_2\right)\ast g_t^2$ (2)

$\Delta {\omega }_t=-\eta \frac{{\nu }_t}{\sqrt{s_t+ϵ}}\ast g_t$ (3)

${\omega }_{t+1}={\omega }_t+\Delta {\omega }_t$ (4)

上述公式中，公式(1)为动量项，用于计算梯度的指数移动；公式(2)为自适应学习率，用于计算梯度平方的指数移动；公式(3)为参数更新量求解，根据动量项和自适应学习率，计算参数的更新量；公式(4)为参数更新，将更新量应用于模型参数进行迭代优化。${\nu }_t$ 当前时刻的动量，${\beta }_1$ 为原始衰减率，取值为0.9，$g_t$ 为当前时刻梯度，$s_t$ 为当前时刻的自学习率，${\beta }_2$ 为优化后的衰减率，取值为0.999，$\eta$ 为全局学习率，$ϵ$ 为极小值，防止分母为零，$\Delta {\omega }_t$ 为自适应学习率更新量，${\omega }_t$ 为调整参数。

4.2.2. BiGRU层

BiGRU是编码层，对输入的向量进行全局特征提取。BiGRU模型是一种循环神经网络，类似于BiLSTM模型，不同的是它由两个独立的GRU单元组成，一个GRU负责正向的时间序列处理，另一个GRU负责逆向的时间序列处理。不同于LSTM模型，GRU由更新门(Update gate)和重置门(Reset gate)组成，它是将LSTM模型中的输入门和遗忘门合并为更新门，从而减少了模型的训练参数，网络结构更简单。BiGRU模型能够捕捉序列数据双向的依赖关系，提高模型的理解能力。GRU的前向传播公式为：

$r_t=\sigma \left(w_t\cdot \left[h_{t-1},x_t\right]\right)$ (5)

$z_t=\sigma \left(w_z\cdot \left[h_{t-1},x_t\right]\right)$ (6)

${\overline{h}}_t=\tanh \left(w_{\overline{h}}\cdot \left[r_t\ast h_{t-1},x_t\right]\right)$ (7)

$h_t=\left(1-z_t\right)\ast h_{t-1}+z_t\ast {\overline{h}}_t$ (8)

上述公式(5)为重置门公式，公式(6)为更新门公式，公式(7)为t时刻隐藏状态求解公式，公式(8)为t时刻更新表达式。式中$x_t$ 为文本序列t时刻输入字向量，$h_t$ 为t时刻隐藏层输出状态，${\overline{h}}_t$ 为t时刻候选隐藏状态，$h_{t-1}$ 为上一时刻隐藏层输出状态，$w_t$ 、$w_z$ 、$w_{\overline{h}}$ 分别为权重矩阵。$\sigma$ 为sigmoid激活函数，tanh为双正切激活函数，[ ]表示两个向量相连。

BiGRU是在单个GRU正向传播的基础上，增添反向传播GRU。正向GRU的隐藏状态用${\overrightarrow{h}}_1,{\overrightarrow{h}}_2,\cdots ,{\overrightarrow{h}}_t$ 表示，并按上述公式计算，从起始位置依次计算至末尾位置。反向的GRU隐藏状态用${\overleftarrow{h}}_1,{\overleftarrow{h}}_2,\cdots ,{\overleftarrow{h}}_t$ 表示，从序列的末尾计算至起始位置。最后将每个时刻的正向和反向隐藏状态进行拼接，得到最终的输出隐藏状态$H_t$ 。

$H_t=\left[{\overrightarrow{h}}_t,{\overleftarrow{h}}_t\right]$ (9)

4.2.3. Attention层

RoBERTa-BiGRU-ATT模型结构中Attention层的输入为BiGRU层的输出矩阵，其作用是引入注意力机制，动态分配权重，从而提升对关键信息的捕获能力。BiGRU层的输出序列向量表示为 $H_t=\left[h_1,h_2,\cdots ,h_t\right]$ ，Attention层通过双正切激活函数tanh计算t时刻权重向量$M_t$ ，公式如下：

$M_t=\tanh \left(w_t{h}_t+b_t\right)$ (10)

式中$w_t$ 为权重矩阵，$b_t$ 为偏置。权重向量$M_t$ 经过softmax函数归一化处理后得到注意力分数向量$a_t$ ，进行结果预测。其中n为文本序列长度，如公式(11)所示。

$a_t=\text{softmax}\left(M_t\right)=\frac{\exp \left(M_t\right)}{{\displaystyle \sum _{t=1}^n\exp \left(M_t\right)}}$ (11)

4.3. 实验环境及评估指标

本实验基于Windows10操作系统、8G的Nvidia GeForce RTX 3060Ti显卡、Pytorch2.5.1框架、Python3.10，使用网络层数为12层、多头注意力为12、隐藏层维度768，超参数设置如表2所示。

本文采用精确率(Precision)、召回率(Recall)和F1值作为评估指标。

$\text{P}=\frac{��正确的�体�量}{��的��体�量}\times 100\%$ (12)

Table 2. Super parameter settings

表2. 超参数设置

超参数	值
Batch size	16
Learning rate	1e−5
Max_len	128
Epochs	50
Dropout	0.5

$\text{R}=\frac{��正确的�体�量}{�本中所有的�体�量}\times 100\%$ (13)

$\text{F}1=\frac{2\times \text{P}\times \text{R}}{\text{P}+\text{R}}\times 100\%$ (14)

4.4. 实验结果分析

本实验进行了50个Epoch训练，生成了相关的损失曲线、指标曲线和各类实体关系柱状图。图4为训练集和验证集的损失曲线，训练在前6个Epoch损失下降较快，在第6至48个Epoch中，损失相对较慢。训练过程中加入了早停机制，在第48次后，损失下降停止，最终训练损失为0.04411，验证损失为0.04401。

Figure 4. Loss curves of training set and validation set

图4. 训练集和验证集损失曲线

图5为模型评估曲线，经过50个Epoch，精确率、召回率和F1值分别为0.8903、0.8879、0.8885。图5表明，三个评估指标在前10个Epoch上升速度较快，之后三个指标变化幅度较小，并趋于一致，说明模型在分类任务中效果明显。

图6为各类实体关系的三个评估指标，每个关系的评估指标都在0.8以上且较为接近，说明模型具有较好的拟合性。

Figure 5. Evaluation index curve

图5. 评估指标曲线

Figure 6. Various entity relationship evaluation indicators

图6. 各类实体关系评估指标

为了验证本模型的性能，本文与BERT、BiLSTM-ATT、BERT-BiLSTM-ATT进行了对比实验，四个模型的评估指标如表3所示，柱状图如图7所示。表明RoBERTa-BiGRU-ATT模型的效果最好，且与BERT-BiLSTM-ATT模型相近，较BERT模型提高了近0.16。

Table 3. Comparison table of model evaluation indicators

表3. 模型评估指标对比表

模型	精确率	召回率	F1值
BERT	0.7351	0.7248	0.7232
BiLSTM-ATT	0.8536	0.8457	0.8497
BERT-BiLSTM-ATT	0.8862	0.8753	0.8824
BERT-BiLGRU-ATT	0.8903	0.8879	0.8885

Figure 7. Model evaluation index histogram

图7. 模型评估指标柱状图

4.5. 实例验证

为了进一步验证本文提出的方法、构建的数据集及模型的有效性，随机选取了5份该领域作业文书进行实体抽取，混淆矩阵及预测值如图8和表4所示。结果表明，模型的预测精度较好，有9个关系存在预测错误，但准确率也达到了0.824，其余的准确率为1。

5. 结束语

工程保障实体关系抽取对于实现工程保障行动智能化辅助决策具有重要意义。本文着眼智能化决策需求，采取基于DeepSeek和RoBERTa-BiGRU-ATT融合策略的关系抽取方法，抽取了工程保障领域实体关系，实验表明，DeepSeek抽取关系方法高效，RoBERTa-BiGRU-ATT模型精确度较高，将二者融合进行实体关系抽取可以达到较好的效果。此外，研究中发现，基于提示词工程的关系抽取，对提示词

Figure 8. Entity relation confusion matrix

图8. 实体关系混淆矩阵

Table 4. Model example prediction value

表4. 模型实例预测值

类别	实际值	错误值	预测类别	准确率
占领	7	1	进攻	0.857
保障	14	1	协同	0.929
指挥	41	3	管理	0.927
配置	17	3	位于	0.824
配属	11	1	编配	0.901
编配	7	1	配属	0.857
管理	14	2	操作	0.857
任职	45	5	指挥	0.889
上下级	37	1	平级	0.923

设计和训练数据要求较高，需在提取前精心准备数据集、设计提示模板；RoBERTa-BiGRU-ATT模型的抽取结果与BERT-BiLSTM-ATT模型虽然相差不大，但RoBERTa-BiGRU-ATT模型结构更简单，抽取效率更高。