图结构学习在电商平台商品链接预测中的应用研究

Research and Application of Graph Structure Learning in Product Link Prediction on E-Commerce Platforms

摘要: 图结构学习(Graph Structure Learning, GSL)通过优化图结构，增强图的表示能力和性能。GSL能够更好地捕捉图数据中节点之间的关系，从而促进信息的有效传播。图结构优化在商品链接预测中的应用研究旨在通过改进商品间关系的图结构，提高预测精度与推荐效果。在电商平台中，商品间的复杂关系往往通过图结构表示，其中节点代表商品，边代表商品间的关联或共同特征。通过优化图的构建和学习方法，能够更准确地捕捉商品之间的潜在联系，从而提升链接预测的准确性和推荐质量。优化后的图结构可以帮助算法更好地处理大规模商品数据，增强模型的泛化能力，进而提升电商平台的个性化推荐系统，增加用户购买的可能性，并促进销售增长。本文提出了一种新的稀疏正则化与图结构学习模型搜索方法(SGSL)。通过引入边缘修剪的正则化项等技术，SGSL能够在节点不变分类任务中显著提高性能，同时减少在节点变化任务中搜索到错误边的风险。实验表明，SGSL能有效增强图神经网络模型的性能。

Abstract: Graph Structure Learning (GSL) enhances the representational capacity and performance of graphs by optimizing their structure. GSL better captures the relationships between nodes in graph data, which facilitates more effective information propagation. The application of graph structure optimization in product link prediction aims to improve prediction accuracy and recommendation performance by refining the graph structure that represents the relationships between products. In e-commerce platforms, the complex relationships between products are often represented through graph structures, where nodes represent products and edges represent associations or shared features. By optimizing graph construction and learning methods, the underlying relationships between products can be more accurately captured, thereby improving link prediction accuracy and recommendation quality. The optimized graph structure helps algorithms better handle large-scale product data, enhancing the model’s generalization ability, which in turn improves personalized recommendation systems, increases the likelihood of user purchases, and drives sales growth. This paper introduces a novel Sparse Regularization and Graph Structure Learning Model Search method (SGSL). By incorporating techniques such as edge pruning regularization, SGSL significantly improves performance in node-invariant classification tasks while reducing the risk of selecting incorrect edges in node-variant tasks. Experimental results show that SGSL effectively enhances the performance of graph neural network models.

1. 引言

随着电商平台的迅速发展，商品推荐系统已成为提升用户体验和增加销售转化的重要工具。商品链接预测作为推荐系统中的关键任务之一，旨在基于已有的用户行为和商品关系，预测潜在的商品关联，从而为用户提供个性化的购物建议。然而，传统的商品链接预测方法常面临数据稀疏、复杂关系难以建模等问题。为了提高预测精度和系统表现，研究者们开始探索图结构优化技术在这一领域的应用。

图结构学习通过优化图的边缘结构，能够有效增强图的表示能力，捕捉更加复杂的节点关系。通过GSL，商品与商品之间的潜在联系可以被更加精确地建模，从而提升商品链接预测的准确性和推荐质量。具体来说，GSL技术能够促进信息在商品图中的有效传播，使得推荐系统能够更好地识别用户潜在需求和商品间的隐性关系。

本研究聚焦于图结构优化在商品链接预测中的应用，分析了GSL在电商平台中的实际表现与优势。本文提出了一种新的稀疏正则化与图结构学习模型搜索方法(SGSL)，旨在优化模型性能，同时减少在节点变化任务中搜索到错误边的风险。通过这些创新，本研究为电商平台中的商品链接预测提供更加高效、精确的解决方案。

2. 研究现状

图神经网络(GNN)在多个领域具有广泛的应用，包括推荐系统[1]、交通预测[2]、自然语言处理[3]和蛋白质预测[4]。GNN的概念最初由Scarselli等人提出[5]。GNN通过迭代更新中心节点的特征，利用其邻居节点的特征。根据不同的特性，GNN可以大致分为基于空间的GNN和基于图谱的GNN [6]-[9]。大多数空间GNN又可以进一步细分为以下两个主要模块[10] [11]。

$\begin{array}{c}{x}_i^{l^{\prime }}=\text{aggregate}\left(x_j^l,\forall v_j\in N\left(v_i\right)\right)\\ x_i^{l+1}=\text{combine}\left(x_i^l,x_i^{l^{\prime }}\right)\end{array}$ (1)

式中，函数$\text{aggregate}(\cdot )$ 聚合相邻节点的特征，$N\left(v_i\right)$ 代表节点$v_i$ 的相邻节点集。函数$\text{combine}(\cdot )$ 组合聚合的特征$x_i^{l^{\prime }}$ 和当前节点的特征$x_i^l$ 。

图结构学习通过数据推断最优的图结构。GSL的目标是优化原始邻接矩阵$A$ ，从输入数据$x$ 中导出$A^{*}$ 并最小化损失函数。

GSL的基础是结构学习算法，该算法通过建模边连接性来优化初始图结构。当前的GSL研究可分为三类：基于度量的方法、神经网络方法和直接方法。基于度量的方法使用核函数评估节点特征或嵌入之间的相似性[12] [13]，包括高斯核、内积核和余弦相似度核。神经网络方法利用复杂的深度神经网络来基于节点特征建模边的权重[12] [14]。直接方法则将目标图的邻接矩阵视为需要学习的自由变量[14] [15]。稀疏图结构学习(SGSL)常常使用正则化技术来获得特定的属性。例如，L1范数正则化被用来强制优化后的邻接矩阵具有稀疏性，从而减少噪声并增强泛化能力。

3. 模型

3.1. SGSL详述

SGSL优化邻接矩阵$A$ 而保持原有的图神经网络框架。设GNN模型为$f\left(X,A\right)$ ，那么SGSL增强的GNN模型为$f\left(X,A^{*}\right)$ 。搜索邻接矩阵的等式如下

$\begin{array}{l}{A}^{*,l}=\left(1-a\right)\tilde{A}+a{\tilde{A}}^{*,l}\\ {\tilde{A}}_{ij}=\frac{A_{ij}}{{\displaystyle \sum _{j=1}^{j=N}{A}_{ij}}}\\ {\tilde{A}}_{ij}^{*,l}=\frac{{\tilde{A}}_{ij}^k{P}_{ij}^l}{{\displaystyle \sum _{j=1}^{j=N}{\tilde{A}}_{ij}^k{P}_{ij}^l}}\\ P_{ij}^l=\text{LeakyReLU}\left(\left[h_i^l\Vert h_j^l\right]W^l\right){\alpha }^l\end{array}$(2)

式中，$0<a=\text{sigmoid}\left(w\right)<\text{1}$ 、$\alpha \in R^{d_l\times 1}$ 和$W\in R^{2d_l\times d_l}$ 是参数矩阵。$h$ 是隐藏层特征。${\tilde{A}}_{ij}^k=\{\begin{array}{c}1,A_{ij}^k>0\\ 0,A_{ij}^k=0\end{array}$ 。

SGSL使用如下正则化项来剪枝边

$L=\frac{1}{N^2}{\displaystyle \sum _{i,j}S\left({\tilde{A}}_{ij}^{*}\right)}$ (3)

式中，$S\left(x\right)$ 在区间$\left[0,1\right]$ 上满足如下2个条件

• $0<S^{\prime }\left(x\right)<\infty$ ；

• 严格凹，即$S^{″}\left(x\right)>0$ 。

尽管L1范数有助于促进稀疏性，但它并未系统地按升序删除权重较小的边。本文在第3.2节详细讨论了正则化项(3)的稀疏性特性。总的损失函数为$\Vert f\left(X,A\right)-Y\Vert +\lambda L$ 。

在节点变化的分类任务中，SGSL利用正则化项(2)有效地消除不必要的边，从而降低搜索算法失败的风险。此外，SGSL通过参数自适应地调节图结构优化的程度，减轻了优化失败对GNN模型性能的负面影响。为了进一步避免潜在的不利影响，边的搜索被限制在节点的–跳邻域内，这样可以减少遇到可能损害任务执行的边的概率。

3.2. 正则化项的性质

公式设$y\in R^n$ 和$x\in R^{n\times d}$ 是样本集满足$y=xw$ 。$w\in R^d$ 是稀疏矩阵。考虑如下的优化问题

$\text{minimize}{\displaystyle \sum _{k=1}^n{\left(Wx-y\right)}^2},\text{subject}\text{to}{\displaystyle \sum _{k=1}^{d}s\left(\left|W_k\right|\right)}\le s\left(t\right)$ (4)

式中，$s\left(x\right)$ 满足如下4个条件，并且${\displaystyle \sum _{k=1}^{d}s\left(\left|w_k\right|\right)}>s\left(t\right)$ 。

• $s\left(0\right)=0$ ；

• $0<s\left(x\right)<\infty$ ；

• $s^{\prime }\left(x\right)>0$ ；

• 严格凹。

设$\tilde{W}$ 是优化问题(4)的解，那么$\tilde{W}$ 满足如下3个性质。

性质3.1 ${\displaystyle \sum _{k=1}^{d}s\left(\left|{\tilde{W}}_k\right|\right)}=s\left(t\right)$ 。

性质3.2 保号性 如果${\displaystyle \sum _{i=1,i\ne k}^{d}s\left(\left|w_i\right|\right)}<s\left(t\right)$ ，那么解${\tilde{W}}_k$ 与$w_k$ 同号或等于0。

性质3.3 稀疏性 假设$x^{\text{T}}x=I\in R^{d\times d}$ 是单位阵，那么$\left|{\tilde{W}}_i\right|\le \left|w_i\right|$ 并且${\tilde{W}}_i$ 与$w_i$ 同好或等于0。如果$\left|w_i\right|>\left|w_j\right|$ 和${\tilde{W}}_j\ne 0$ ，那么$\left|w_i-{\tilde{W}}_i\right|\le \left|w_j-{\tilde{W}}_j\right|$ ，当且仅当$\left|w_j-{\tilde{W}}_j\right|=0$ 时等式相等。

基于性质3.3，提出的正则化项(4)可以按升序系统地消除权重较小的边。它通过将绝对值较小的权重驱动向零或等于零，同时保持绝对值较大的权重不变，从而引入稀疏性。尽管神经网络是非凸的，但在小范围邻域内，它可以近似为凸函数。

4. 实证研究

4.1. 数据集

本研究使用Amazon数据集，这个数据集都被广泛应用于图神经网络中的链接预测任务。它是从大型电商平台Amazon提供的商品和用户交互数据中提取的社交网络图，包含了商品之间的购买关系、用户之间的互动关系等。这些数据集包括了丰富的用户行为数据，如购买历史、评价、商品之间的关系等。尤其在链接预测任务中，我们关注的是商品之间的互动关系或者用户与商品之间的关系。

链接预测任务旨在根据图的结构预测图中缺失的边。在本实验中，我们使用Amazon数据集来预测商品间的潜在购买关系或用户与商品之间的关系。具体而言，任务目标是：给定训练集中的边(已知的购买关系)，预测测试集中的边(潜在的购买关系)。将数据集中的边随机拆分为训练集和测试集。使用80%的边作为训练集，10%作为验证集，剩余10%作为测试集。负样本生成通过随机采样在图中添加不存在的边来实现。

4.2. 对照模型

在图神经网络的研究中，GCN和GAT是两种具有代表性的模型。GCN是一种基于谱图卷积的图神经网络模型。

GCN的核心思想是通过邻居节点的信息聚合来更新每个节点的特征表示。其基本思想是模拟卷积操作，在图结构中进行特征传递和汇聚。GCN的基本假设是，节点的特征表示可以通过对其邻居节点特征进行加权平均(即聚合)来得到。具体来说，GCN通过对图的邻接矩阵(或其某种变换)进行卷积操作来更新节点的特征。

GAT是一种基于注意力机制的图神经网络模型。与GCN不同，GAT通过为每一对邻居节点分配不同的权重来聚合邻居的信息，这些权重是通过注意力机制学习得到的。因此，GAT能够根据邻居的重要性自适应地调整信息传递的方式。GAT的核心优势在于能够为每个节点的邻居分配不同的权重，从而在聚合邻居特征时考虑邻居的相对重要性。这样，GAT在捕捉节点之间复杂的相互关系方面具有更强的灵活性。

GCN和GAT分别代表了图神经网络领域中的两种典型架构。GCN通过固定的卷积操作对邻居信息进行加权聚合，适合处理稀疏图和规则结构的图数据；而GAT则引入了注意力机制，为每个邻居分配不同的权重，增强了模型的灵活性和表达能力，尤其适用于节点间关系复杂或图结构不规则的场景。在实际应用中，选择哪个模型要根据任务的特点和数据的性质来决定。

4.3. 实验结果

用二分类交叉熵做损失函数，用实验集上的预测准确率评估模型。实验表明SGSL有效增强GAT和GCN模型，如表1所示。交叉熵损失反映了模型的误差大小。在测试集上，SGSL增强的GAT模型交叉熵损失下降了0.0055。预测准确率直接反映了模型在测试集上的表现，是评价模型性能的重要指标。在测试集上，GCN的预测准确率提高了1.34%，GAT的预测准确率提高了0.27%，并且GAT + SGSL达到最优预测准确率水平。

以往的图结构学习模型通过超参数控制图结构优化的程度，当邻接矩阵搜索算法在节点变化任务中失败时，往往导致性能下降。与之不同，SGSL通过可训练参数自适应地调整原始图结构，以减轻此类失败的影响，并采用本文提出的正则化项，逐步剪除权重较小的边，从而避免在优化后的邻接矩阵中引入过多噪声。

Table 1. Control experiment results

表1. 对照实验结果

模型	实验集的交叉熵损失	测试集的交叉熵损失	预测准确率
GCN	0.5726	0.5756	0.8609
GAT	0.5745	0.5872	0.8288
GCN + SGSL	0.5921	0.5765	0.8636
GAT + SGSL	0.5688	0.5817	0.8422

5. 结论

本研究通过图结构学习(GSL)优化电商平台商品链接预测的图结构，提出了一种创新的稀疏正则化与图结构学习模型搜索方法(SGSL)。实验结果表明，SGSL能够显著提高图神经网络(GNN)模型在商品链接预测任务中的性能。对于GCN模型，SGSL对测试集的交叉熵损失几乎没有影响，但预测准确率从0.8609提升到0.8636，提升幅度为0.0027。对于GAT模型，SGSL显著降低了测试集的交叉熵损失，减少了0.0055，并提升了预测准确率，提升幅度为0.0134。

具体而言，SGSL通过引入边缘修剪和正则化策略，有效减少了错误边的选择风险，并增强了模型的泛化能力。这使得推荐系统能够更精准地捕捉商品之间的潜在关系，从而提高预测准确性和推荐效果。总体来看，SGSL为电商平台的个性化推荐系统提供了一种高效的优化方案，具有重要的应用价值。