基于时序知识图谱补全的关系预测

Relation Prediction Based on Temporal Knowledge Graph Completion

摘要: 知识图谱是对客观世界中实体、概念及其关系的图形描述。传统知识图谱主要关注静态的常识性知识，缺乏对时间信息的考虑，难以处理网络空间中的动态演化和时间信息。时序知识图谱强调将时间纳入知识，通过引入时间戳和四元数嵌入管理动态时态知识，为紧密时间耦合的应用提供支持。现有方法侧重于高频重复事件，可能导致对新事件的错误判断。对此，我们提出了时空知识感知网络(SKAN)，分为主体空间感知、事件序列感知和关系表征学习三个模块。SKAN通过全局关联图卷积挖掘主体关联性，进行时序学习，并通过关系表征学习预测未来关系，为时序知识图谱学习提供了新的架构。我们在四个国际事件数据集上进行了实验，实验结果表明，我们的方法优于目前的主流方法。

Abstract: Knowledge graphs provide graphical representations of entities, concepts, and their relationships in the objective world. Traditional knowledge graphs mainly focus on static commonsense knowledge, lacking consideration for temporal information, making it challenging to handle dynamic evolution and temporal data in cyberspace. Temporal knowledge graphs emphasize incor-porating time into knowledge by introducing timestamps and quaternion embeddings to manage dynamic temporal knowledge, offering support for tightly time-coupled applications. Existing methods often prioritize high-frequency repetitive events, potentially leading to erroneous judgments for new events. To address this, we propose the Spatial-temporal Knowledge Aware Network (SKAN), divided into three modules: Subject Spatial Perception, Event Sequence Perception, and Relationship Representation Learning. SKAN utilizes global association graph convolution for subject correlation mining, conducts temporal learning, and predicts future relationships through relationship representation learning, providing a novel architecture for temporal knowledge graph learning. Experimental results on four international event datasets demonstrate the superiority of our approach over current mainstream methods.

1. 引言

知识图谱以图谱的形式描述客观世界中的实体和概念以及它们之间的关系。在传统的知识图谱中，每条边都表示一个事实，其结构为(主体；关系；客体)。然而，这些传统的知识图谱主要面向静态的常识性知识，往往忽略了时间信息。因此，它们难以有效处理网络空间中出现的大量动态演化和时间信息。事实证明，这种静态表示法在应用于具有紧密时间耦合的场景(如股票市场预测、政治事件预测和流行病传播链追踪)时极具挑战性 [1] 。相反，时态知识图谱更强调将时态信息纳入知识，通过引入时间戳并将每个事实扩展为四元数(主题；关系；对象；时间戳)，这种方法可以有效管理动态演化的时态知识，为时间紧密耦合的应用提供重要支持。

Figure 1. Diagram of the practical teaching system of automation major

图1. 时序知识图谱应用场景举例

先前工作尝试将静态知识图谱嵌入方法扩展到时序场景，通过时间戳为事实赋予时序嵌入 [2] 。然而，这些方法常忽略时序信息结构，限制了对事实演变的全面理解。Cygnet [3] 提出复制生成机制，基于历史分布预测未来事件。然而，当今世界正处于“百年未有之大变局”，在综合危机预警系统(ICEWS)中，其约40%的新事件在历史中从未发生过 [4] 。推断这些新事件是具有挑战性的，因为它们在整个时间轴上的时态交互迹象较少。在图推理中，现有方法倾向于通过关注高频重复事件来获得查询结果，而对于新事件，这可能导致错误的结果。如图1所示，伊朗和沙特之间历史性的建交，单从两国的历史事件中是很难找到原因的，我们必须以更全局的视角来考虑这个问题，比如两国与中美的关系。所以，我们不仅需要研究事件涉及的两个主体在历史上的互动，更需要挖掘历史事件外的主体之间的关系，以更好地预测这两个主体未来的关系。

基于上述分析，我们提出了一个名叫时空知识感知网络(Spatial-temporal Knowledge Aware Network, SKAN)的时序知识图谱学习架构。SKAN分为三层，分别为主体空间感知模块、事件序列感知模块和关系表征学习模块。主体空间感知模块负责挖掘全局的主体关联性，通过在历史中发生过事件的每对主体之间建立连接，生成一张历史事件图(HG)，进而使用全局关联图卷积(GRGCN)对HG进行图学习，得到每个主体的表征。事件序列感知模块用于对每个时刻的事件图进行时序学习，包含有一系列门控循环组件，来获得时间嵌入表征。关系表征学习模块则由一组关系表征嵌入组成，通过训练学习到准确的关系表征，预测时根据交叉熵计算来获得概率最高的关系。

2. 方法概述

2.1. 问题定义

一个时序知识图谱(TKG)由一系列带有时间戳的子图组成，即 $\mathcal{G}=\left\{{\mathcal{G}}^{\left(1\right)},{\mathcal{G}}^{\left(2\right)},\cdots ,{\mathcal{G}}^{\left(T\right)}\right\}$ ，其中 ${\mathcal{G}}^{\left(t\right)}=\left\{\mathcal{E},\mathcal{R},{\mathcal{O}}_t\right\}$ 。这里， $\mathcal{E}$ 和 $\mathcal{R}$ 是所有时间步的已知实体和关系。而 ${\mathcal{O}}_t$ 是时间t处的事件(边)集，每个事件表示为 $\left(s;r;o;t\right)$ ，其中s、o属于 $\mathcal{E}$ ，r属于 $\mathcal{R}$ 。我们的任务是通过使用 $\left\{{\mathcal{G}}^{\left(t^{\prime }\right)}\right\}\left(t^{\prime }<t\right)$ 中的历史信息，预测关系查询 $\left(s;?;o;t+\Delta t\right)$ 的缺失事件，即使时间段t中的事件是未知的。

2.2. 方法介绍

2.2.1. 主体空间感知模块

Figure 2. The framework of SKAN

图2. SKAN总体架构

我们采用全局关联图卷积(GRGCN)来识别主体之间的关系。通过将事件的主体两两连接，我们构建了一个历史事件图(HG)，该图涵盖了所有事件中两个主体之间的关系。历史事件图是静态的且缺乏时间元素，而且它也是同质的并且忽略了相关性信息。在随后的事件序列感知模块和关系表征学习模块中，我们分别学习这两个信息方面。在本模块中，我们的目标是挖掘两个主体之间相关性的强度。

以图2为例，伊朗的一跳邻居仅为沙特阿拉伯，但其两跳邻居包括中国和美国。通过多层图卷积，我们得到了一个表示主体的多跳邻居对其影响的表征。这个表征反映了主体之间的间接关系和相互影响，使我们能够表达多跳邻居(中国，美国)对主体(沙特，伊朗)的影响。

在图卷积神经网络的多层堆叠中，每一层都聚合了关于主体及其邻居的信息，提升了模型对主体之间复杂关系的理解。例如，在外交事件中，一个国家的行为可能直接影响其一跳邻居，而这个邻居的反应可能传播到更远的邻居，引发连锁反应。通过捕捉多跳邻居的影响，我们全面了解了涉及外交事件的国际关系网络，从而提高了对事件演变的理解。

下面我们来介绍GRGCN的技术细节：

1) 主体表征学习

对于每个时间戳的快照，我们首先为每个主体和关系学习初始的节点表征嵌入。这些表征包含了主体和关系的特征信息，但并未充分考虑它们在图中的结构关系。表征学习可以用以下公式表示：

$H_0^{\left(t\right)}=\text{Embedding}\left(S^{\left(t\right)},R^{\left(t\right)},O^{\left(t\right)}\right)$ (1)

其中， $S^{\left(t\right)}$ 、 $R^{\left(t\right)}$ 、 $O^{\left(t\right)}$ 分别表示主体、关系和客体的集合， $H_0^{\left(t\right)}$ 表示初始节点表征嵌入。

2) 图卷积操作

在GRGCN中，我们使用多层图卷积操作，每一层都通过聚合主体及其邻居的信息来更新节点表征。在这个过程中，我们引入关系的表征嵌入，以确保模型对于每一种关系都有不同的信息传递方式。具体而言，图卷积的更新公式为：

$h_i^{\left(l+1\right)}=\sigma \left(\underset{j\in N\left(i\right)}{{\displaystyle \sum }}\frac{1}{c_{ij}}{W}_l^{\left(r\right)}{r}_{ij}^{\left(l\right)}\cdot h_j^{\left(l\right)}+W_l^{\left(s\right)}{h}_i^{\left(l\right)}\right)$ (2)

其中， $h_i^{\left(l\right)}$ 表示第l层中节点i的表征， $\mathcal{N}\left(i\right)$ 是节点i的邻居集合， $c_{ij}$ 是归一化系数， $W_l^{\left(r\right)}$ 和 $W_l^{\left(s\right)}$ 是权重矩阵， $\sigma$ 是激活函数。

图卷积操作使模型能够考虑到主体与其直接邻居之间的直接联系，有效捕捉它们之间的关系。通过逐层叠加，模型逐渐扩展到更远的邻居，进一步捕捉更为广泛的结构依赖关系。通过引入GRGCN，我们在主体层面更加精准地建模了主体之间的结构依赖关系，为模型提供了更充实、准确的信息，从而显著提升了推理和预测的能力。这种方法使得模型能够更全面地理解图中的复杂关联，使得对于关系的推断和未来事件的预测更具有深度和广度。

2.2.2. 事件序列感知模块

历史事件中包含的序列模式或多或少地会映射到当前的现实中，我们需要用事件序列感知模块去从历史中学习经验。这部分包括事件集嵌入池化处理和门控循环组件。

1) 事件集嵌入池化处理

为了在模型中处理每个时间戳的事件集合 $\left\{e_1,e_2,\cdots ,e_n\right\}$ ，其中每个事件 $e_i$ 的嵌入 $E_i$ 由事件涉及的两个主体的嵌入拼接而成，即 $E_i=E_{a_i}+E_{b_i}$ ，我们首先将每个事件嵌入 $E_i$ 拼接成一个矩阵 $E\in {ℝ}^{2d\times n}$ ，其中d是主体嵌入的维度，n是事件数量。这个矩阵表示了所有事件涉及的主体嵌入。

由于每个时间戳中发生的事件数量可能不同，为了获得稳定的输入，我们使用平均池化层对事件嵌入矩阵E进行处理。平均池化的操作可以表示为：

$P=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{E}_i}$ (3)

其中，P是平均池化后得到的矩阵，n是事件数量。这样的处理方式有助于将不同时间戳的事件集合映射为一个相对稳定的表征，以便更有效地将主体表征集合从主体空间感知模块输入到门控循环组件。

2) 门控循环组件

门控循环组件的作用是捕捉历史事件中的时序模式，以便更好地预测未来事件。我们通过对历史事件序列的学习，使模型能够理解事件之间的时序关系，并根据这些关系进行合理的推断。

具体而言，假设在时刻t，池化之后的矩阵为 $P_t$ 。首先我们计算重置门 $r_t$ 和更新门 $z_{t\text{}}$ ：

$r_t=\sigma \left(W_r\cdot \left[h_{t-1},P_t\right]\right)$ (4)

$r_z=\sigma \left(W_z\cdot \left[h_{t-1},P_t\right]\right)$ (5)

其中， $\odot$ 表示元素级别的乘法。可以在每个时刻t使用门控循环组件逐步计算隐藏状态 $h_t$ ，形成时序表征。这样就能够捕捉序列中的动态信息，并适应输入序列中的变化。

通过引入时间门控循环组件，我们能够更全面地学习时序信息，有效地捕捉事件序列中的时序模式，为模型提供更有力的历史参考。这有助于提高模型在预测未来事件时的准确性和鲁棒性。

2.2.3. 关系表征学习模块

在该模块中，我们关注待训练学习的关系嵌入矩阵 $R$ 。对于每个事件 $e\left(s,r,o,t\right)$ ，我们通过学习主体嵌入 $e_s,e_o$ 和时间嵌入 $e_t$ 来预测关系r。具体而言，我们在主体空间感知模块已经得到了主体 $\left(s,o\right)$ 的嵌入 $\left(e_s,e_o\right)$ ，而在事件序列感知模块，我们得到了时间(t)的嵌入( $e_t$ )。

我们将 $e_s,e_o,e_t$ 拼接在一起，通过一个隐藏层来获得最终的关系嵌入 $e_r$ 。这一过程可以用以下公式表示：

$R=\text{ReLU}\left(W_r\left[e_s;e_o;e_t\right]+b_r\right)$ (6)

其中，ReLU是修正线性单元激活函数， $W_r$ 是权重矩阵， $b_r$ 是偏置项， $e_s;e_o;e_t$ 表示将嵌入拼接在一起。

2.2.4. 关系预测与损失函数

在获得关系嵌入 $e_r$ 后，我们可以从关系嵌入矩阵 $R$ 中找出最接近的关系r。我们使用交叉熵损失(Cross-entropy Loss)来衡量预测的关系r与真实关系之间的差异。

$L^r={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\displaystyle \underset{\left(s,r,o,t+1\right)\in {\mathcal{E}}_{t+1}}{\sum }{\displaystyle \underset{i=0}{\overset{\left|\mathcal{R}\right|-1}{\sum }}{y}_{t+1,i}^r\log p_i\left(r|s,o,H_t,R_t\right)}}}$ (7)

其中，T表示训练集中的时间戳数量， $y_k$ 是真实关系的独热编码表征中的第k个元素， $p_i\left(r|s,o,H_t,R_t\right)$ 为r的可能性分数。

该模块的设计旨在通过学习关系嵌入矩阵 $R$ 中的关系表征，使模型能够更好地预测事件中的关系信息。这对于时序知识图谱的推理和预测任务至关重要。

3. 实验与分析

3.1. 实验设置

3.1.1. 数据集介绍

我们将在四个常用的国际事件数据集上进行性能测试，它们分别是ICEWS18、ICEWS14、ICEWS15、和GDELT。前三个数据集来自集成危机预警系统(ICEWS)。GDELT是全球事件、语言和情感数据库的一部分。数据集的详细信息见表1。

Table 1. Introduction of datasets

表1. 数据集介绍

3.1.2. 基线

我们选择了三个表现最好的时序知识图谱方法进行对比：

l RE-GCN [4] 通过统一编码实体和关系在不同时间戳的演化表示，同时考虑结构依赖、时序特征和静态属性，实现对实体和关系的预测。

l Cygnet [3] 是一种基于新颖的时间感知复制生成机制的时序知识图谱表征学习模型，旨在预测未来的事实并识别并参考过去已知事实来预测具有重复模式的未来事实。

l CEN [5] 利用长度感知卷积神经网络以及在线学习策略处理时序知识图谱中不同长度复杂演化模式。

3.1.3. 评价指标

我们在时序知识图谱关系补全任务上评估我们的方法，该任务评估了真实值是否在排名上超过其他值。在实验中，我们报告了平均倒数排名(mrr)、命中次数为1/3/10 (Hits@1/3/10)的结果。

$\text{mrr}@N=\frac{1}{\left|\mathcal{U}\right|}{\displaystyle \underset{u\in \mathcal{U}}{\sum }\frac{1\left(r_{u,i}\le N\right)}{r_{u,i}}}$ (8)

$\text{hit}@N=\frac{1}{\left|\mathcal{U}\right|}{\displaystyle \underset{u\in \mathcal{U}}{\sum }1\left(r_{u,i}\le N\right)}$ (9)

3.1.4. 实现细节

我们的方法与基线方法一样，都借鉴了Cygnet的实现。我们设定批大小为1024，学习率为0.001，隐藏层维度选取为200。我们采用了early-stopping策略，即当模型损失在训练过程中连续3个epoch未降低时，提前终止训练。对于基线的其他超参数，我们按照原始论文中的默认选择进行了实验。

3.2. 性能评估

Table 2. Performance comparison of SKAN and baseline methods across 4 datasets

表2. SKAN和基线方法在4个数据集上的性能比较

从表2可以看到，SKAN取得了12/16的TOP1成绩，TOP2比例为100%，说明SKAN在时序知识图谱关系补全的能力是极为出色的。同时我们也发现，SKAN在ICEWS14数据集上表现稍逊于Cygnet，可能因该数据集中过去事件的高重复率达到80%，远超其他数据集。Cygnet几乎完全依赖于对过去事件的学习，因此在高重复率的数据集上能够更好地适应，表现较好。然而，在ICEWS18数据集上，过去事件的重复率仅为40%，导致Cygnet性能大幅下降，甚至不及SKAN的一半。这表明虽然学习过去事件至关重要，但过分依赖历史信息并非总是有效的。

SKAN方法通过其主体空间感知模块成功地捕捉了主体之间的关联依赖，使其能够更好地适应不同数据集的特点。这一观察强调了在处理时序知识图谱任务时，需要平衡对过去事件的学习和对其他信息的关注。

3.3. 消融实验

为了研究主体空间感知模块和事件序列感知模块对SKAN性能的影响，我们进行了一系列消融实验。

首先，去掉主体空间感知模块，即不考虑主体之间的关联依赖，将问题简化为仅根据历史事件发生顺序来分析和预测未来事件。这与其他一些模型(如Cygnet和Cenet)类似，它们主要从历史事件中学习事件规律。在去除主体空间感知模块后，我们仍然保留了主体的表征嵌入学习模块，以便主体可以直接从事件中学到表征嵌入，而不是通过关系感知图卷积学习。我们将这个模型命名为SKAN-w/o s。

Table 3. Results of ablation experiments

表3. 消融实验结果

其次，去掉事件序列感知模块，即只考虑主体之间的关联性。这对于关系补全任务具有挑战性，因为不同时间点两个主体之间的关系是不同的。从理论上分析，该模型的性能可能较差。为了实施这一实验，我们直接删除门控循环组件，让主体空间感知模块的嵌入直接通过池化层流动到关系表征学习模块。同时，删除时间嵌入，只使用 $\left(e_s,e_o\right)$ 进行关系预测。我们将这个模型命名为SKAN-w/o t。

实验结果显示(见表3)，去掉主体空间感知模块后，消融模型仍然取得了与Cygnet相近的性能，依赖于对历史事件的学习。而去掉事件序列感知模块后，仅依赖于主体空间感知模块的关联依赖进行推断，模型性能大幅降低，普遍降低了约40%，在GDELT和ICEWS18上降低了近90%。综合来看，SKAN通过两个感知模块的分层学习，取得了出色的时序知识图谱关系补全性能。这表明主体空间感知模块和事件序列感知模块的有机结合对于模型整体性能至关重要。

3.4. 案例分析

Table 4. Diplomatic event between China and South Korea

表4. 中韩外交事件

Figure 3. Case study on the probability of an event occurring in China and South Korea on 6 May 2013, taking the top 10 probabilities

图3. 案例分析，中国和韩国在2013年5月6日发生事件的概率，取概率前十

在本案例分析中，我们选用了ICEWS15数据集中的一条数据(见表4)：“中国，表达合作意向，韩国，2013/5/6”进行详细分析。通过SKAN的关系表征学习模块，我们得到了每个关系的预期概率，并选取了概率排序前十的关系进行可视化。结果显示(见图3)，SKAN在前十项预测中成功识别出与合作相关的八项关系，概率之和达到61%，其中最高概率的关系是“表达合作意图”(14%)。

进一步分析表明，这一优异结果的原因在于SKAN能够有效学习时序信息和建模历史事件。通过筛选出2013/5/6之前中韩发生的事件，观察到两国之间频繁的外交联系。从“表达合作意图”到后续的谈判，中韩关系逐渐趋向合作。事件序列感知模块中的门控循环组件学到了这一演变规律，而时间嵌入的影响表明两国外交行动的连续性。最终，关系表征学习模块输出的预测与之前发生的事件相似，准确理解了外交关系演变。

这个案例分析突显了SKAN在处理时序信息和建模历史事件方面的优越性，使其在预测外交关系演变时表现出更准确的理解，从而提高了模型的性能。

4. 总结与展望

在本研究中，我们介绍了时空知识感知网络(SKAN)，一个用于时序知识图谱学习的新型架构。SKAN通过主体空间感知模块、事件序列感知模块和关系表征学习模块的分层设计，全面考虑了主体关联性、时序信息和关系表征。通过引入全局关联图卷积和门控循环组件，SKAN能够更好地处理动态演化和时态信息，为紧密时间耦合的应用提供了强大支持。

尽管SKAN在时序知识图谱学习中取得了一定的成功，但仍然存在一些潜在的改进方向。首先，我们可以进一步优化模型的计算效率，提高在大规模图谱中的处理速度。其次，可以探索更复杂的时序模型，以更好地捕捉不同时间点事件的关联性。此外，对于新事件的挑战，我们可以考虑引入迁移学习或元学习等方法，提高模型对未知情境的适应能力。最后，可以拓展SKAN的应用领域，例如应对更多复杂的社会、经济和科技场景，使其具有更广泛的实用性。

通过不断优化和拓展，时空知识感知网络有望成为时序知识图谱研究领域的重要工具，为我们更好地理解和预测现实世界中的动态变化提供有力支持。