图谱聚类的等价模型研究
Research on Equivalent Model of Graph Clustering
DOI: 10.12677/AAM.2023.123129, PDF, HTML, XML, 下载: 167  浏览: 254 
作者: 刘 昊:重庆理工大学理学院,重庆
关键词: 谱聚类N-Cut相似矩阵图论Spectral Clustering N-Cut Similarity Matrix Graph Theory
摘要: 聚类分析作为一类非监督学习方法,能够有效挖掘数据中的各类潜在关系。图谱聚类是一种基于相似矩阵的聚类算法,一般转化为无向图的划分问题。为扩展图谱聚类在大数据分析中的应用性,从拉普拉斯矩阵出发,结合邻接矩阵与度矩阵的特点,对图谱聚类的目标函数进行松弛,得到了一类更一般形式的图谱聚类模型。此外,还从理论上证明了松弛后的模型与原问题的等价性及其迭代点列的收敛性。
Abstract: As an unsupervised learning method, clustering analysis can effectively mine various potential re-lationships in data. Graph clustering is a clustering algorithm based on similarity matrix, which is generally transformed into the problem of undirected graph partition. In order to expand the ap-plication of atlas clustering in big data analysis, starting from Laplace matrix, combining the char-acteristics of adjacency matrix and degree matrix, the objective function of atlas clustering is re-laxed, and a more general form of atlas clustering model is obtained. In addition, the equivalence between the relaxed model and the original problem and the convergence of the iterative point se-quence are proved theoretically.
文章引用:刘昊. 图谱聚类的等价模型研究[J]. 应用数学进展, 2023, 12(3): 1273-1280. https://doi.org/10.12677/AAM.2023.123129

1. 引言

数据聚类是根据数据之间的相似性或特点,将数据划分为不同类别,使类内相似度大,类间相似度小。如今,聚类分析迅速成为各领域研究人员的研究方向之一,是人们进行信息挖掘、提取的重要手段,在计算机视觉有着广泛应用 [1] 。作为一种非监督学习方式,数据聚类也应用于数据挖掘、信号处理、图像压缩、信息储存等 [2] 。常见的聚类方法有k-means聚类 [3] 、非负矩阵聚类 [4] 、图谱聚类 [5] 等。

在处理高维且具有复杂结构的数据时,图谱聚类表现优异。实验数据和结论表明,图谱聚类算法在任意形状空间中得到的聚类效果收敛甚至全局最优 [6] ,计算复杂度低、对噪声数据不敏感 [7] 等优点都是我们优先考虑的聚类方法之一。图谱聚类(Spectral Clustering)基于图论中的谱图论原理,将聚类问题转化为图的最优划分问题,是一种点对聚类算法,聚类效果更优秀、适用性更广泛 [8] 。将数据转化为点对集合,构建合适的相似矩阵就显得尤为重要。

数据集 X = { x 1 , x 2 , , x n } ,常见相似矩阵的构造可以通过图集中点与点之间的距离确定邻接矩阵(Adjacency Matrix) W:

W i , j = exp ( d 2 ( x i , x j ) 2 σ 2 ) (1)

其中 d ( x i , x j ) 表示两样本点之间的距离,常用欧式距离表示, σ 为尺度参数,W是一个对称的非负矩阵。

度矩阵D (Degree Matrix)是一个对角矩阵,称对角线上的元素为度,表示点与其他点的连接和,通常写作:

D i , j = j W i , j (2)

定义拉普拉斯矩阵(Laplacian Matrix) L = D W

无向加权图 G = ( V , E ) ,将G分为两个不相交的子图A、B,使得 A B = A B = V ,在图论中,写作:

C u t ( A , B ) = a A , b B w ( a , b ) (3)

图像分割问题是根据点之间的相似程度来确定不同的区域。定义相邻点之间的相似程度为边,相似程度越大,从而所占权值就越大,由于不同区域之间的差异较大,所以相邻区域连通边的权值,一定是较小的值。

为了保证切图效果,一般有三种常用的切割方法:

M C u t (Minimum Cut) [9] ,也称作最小割图准则,使得所切边的权重最小,计算过程简单,从割图的效果来看,切割会向着小的区域偏移。目标函数表达式如下:

M C u t ( A , B ) = min u A , t V w ( u , t ) (4)

R C u t (Ratio Cut) [10] ,也称作比例切割准则,最大化各子图中所含点数,降低过分切割的可能性。不同子集中,如果顶点个数差异过大,切割的结果会偏向一方,在实际聚类中运算时间较长。目标函数表达式如下:

R C u t ( A , B ) = C u t ( A , V ) min { | A | , | V | } (5)

其中 | A | | V | 分别表示图A,V中顶点的个数。

N C u t (Normalized Cut) [4] 也称作规范割集准则,将图的各边进行加权正则化,计算复杂度小,速度快,对处理稀疏矩阵数据聚类优异。聚类效果往往依赖相似矩阵的选择,不同相似矩阵最后得到的聚类结果也可能不同。目标函数表达式:

N C u t ( A , B ) = C u t ( A , B ) a A , v V w ( a , v ) + C u t ( A , B ) b B , v V w ( b , v ) (6)

其中 a A , v V w ( a , v ) 是连接A中的节点的边的总权重。

本文结合已有的图谱聚类模型,利用拉普拉斯矩阵对 N C u t 目标函数进行变形,松弛 D N C u t (Direct Normalized Cut)目标函数,提出一种与 D N C u t 目标函数等价的模型,并补充了等价模型中解的可行性理论。

2. 图谱聚类中的拉普拉斯矩阵

图谱聚类最开始是使用邻接矩阵W中前c个最大特征值对应的特征向量进行聚类,但邻接矩阵W不能有效地表示各点之间的权重。拉普拉斯矩阵L很好地克服了这个问题。作为一种半正定矩阵,L中的任意行或者任意列元素相加为零,特征值为0对应的特征向量为1。常见两种标准型拉普拉斯矩阵:

L n o r = D 1 L = I D 1 W

L s y m = D 1 / 2 L D 1 / 2 = I D 1 / 2 W D 1 / 2 .

如果行向量 y T 中有且仅有一个元素为1,其余元素为0,那么称这个向量为指标向量。由向量组 y l 构成的矩阵称为指标簇矩阵, Y = { y 1 , y 2 , , y c } R n × c y i l = 1 表示 x i 分配到第j个簇里,对 y i l 定义:

y i l = { 1 , x i A i 0 ,

ε -邻近法( ε -neighborhood),确定 ε 的阈值,两点之间的权重要么为0,要么为 ε ,其中包含的信息较少,对距离的远近度量不够明确。k-邻域(k-near neighborhood),利用KNN算法,取遍所有的样本点,距离每个样本最近的k个点作为近邻,但是这种取法会造成构建之后的邻接矩阵W非对称。

如何改进相似矩阵也是近几年 N C u t 算法研究的热点方向之一。Xie [11] 等人采用样本点的邻域和样本点之间的欧式距离作为局部标准差构造相似矩阵;杨婷 [12] 等人充分利用监督信息,借助L2,1范数的鲁棒性,学习得到合理的相似矩阵;Nie [13] 等人根据点的自适应性特点,局部连通地为每个数据点分配自适应和最优邻居点来学习得到相似矩阵。

扩充先验信息的数目也会提高聚类效果。同一聚类内的数据往往向着密度比较高的区域靠近,而在不同聚类之间存在一个数据分布相对稀疏的现象,由数据密度的特点,王玲 [14] 等人提出由密度敏感函数定义相似矩阵。

密度可调节长度:

L ( x i , x j ) = ρ d i s t ( x i , x j ) 1 (7)

其中 d i s t ( x i , x j ) 为数据点 x i x j 点之间的欧式距离, ρ 为伸缩因子,密度敏感的距离测度定义为:

D i , j = min p P i , j k = 1 | p | 1 L ( p k , p k + 1 ) (8)

P i , j 表示数据点 x i x j 的所有路径的集合,数据点之间的距离线段L作为权重E,表示图上长度为 p V l 的连接点和 p | p | 的路径。相似矩阵表示为:

S i , j = 1 min p P i , j k = 1 | p | 1 L ( p k , p k + 1 ) P i , j + 1 (9)

N C u t 作为一种经典的聚类算法,目标是极小化各子图连边的和,先将图分成两个部分,之后的每一个步骤均将其中一个部分分成两个部分,直到满足某个条件之后停止分割。目标函数常写作:

min Y T D Y = I T r ( Y T L Y ) (10)

为了求解目标函数(10),研究人员也提出了关于(10)的算法优化过程。单位化拉普拉斯矩阵 L s y m 前c个最大特征值对应的特征向量,对特征向量进行聚类 [15] 。构造矩阵 P = D 1 W ,取矩阵P前c个最大特征值对应的特征向量。从实际聚类结果来看,当度矩阵D中的对角元素差距小的时候,聚类效果较佳。KVV算法则是求解 R C u t 目标函数值的最小值,减小了过分割图的可能性,算法时间较长。

3. 图谱聚类中的DN-Cut模型等价

等价替换 N C u t 目标函数也是求解图谱聚类问题的一个重要方向。利用拉普拉斯矩阵L,目标函数重新写作:

max Y T D Y = I T r ( Y T W Y ) (11)

Yu [16] 等人提出 N C u t 的多分类算法,比例划分矩阵Z替换Y,即 Z = Y ( Y T W Y ) 1 / 2 ,目标函数:

max Z = Y ( Y T W Y ) 1 / 2 , Y T D Y = I T r ( Z T W Z ) (12)

作为比例划分矩阵的一种改进方法,Chen [17] 等人重写式子(12):

max F T F = I T r ( F T D 1 / 2 W D 1 / 2 F ) (13)

相比之前确定 D 1 / 2 W D 1 / 2 D 1 W 前c个最大特征值对应的特征向量,Chen [18] 等人直接将其用矩阵M替换,提出直接规范谱切割(Direct Normalize Cut)模型,目标函数写作:

max Y R n × c , F = D 1 / 2 Y ( Y T D Y ) T r ( F T M F ) (14)

其中 M = D 1 / 2 W D 1 / 2 + λ I D 1 / 2 Y ( Y T D Y ) 1 / 2 ,I为单位矩阵,规定 λ 是一个足够大的数值,可以使得M为半正定矩阵。

矩阵F、M带入目标函数(14),有

F T M F = ( Y T D Y ) 1 / 2 Y T D 1 / 2 ( D 1 / 2 W D 1 / 2 + λ I ) D 1 / 2 Y ( Y T D Y ) 1 / 2 = Y T W Y Y T D Y + λ I (15)

现求矩阵G。

G = M F = ( D 1 / 2 W D 1 / 2 + λ I ) D 1 / 2 Y ( Y T D Y ) 1 / 2 = D 1 / 2 W Y ( Y T D Y ) 1 / 2 + λ I D 1 / 2 Y ( Y T D Y ) 1 / 2 = D 1 / 2 W Y ( Y T D Y ) 1 / 2 + λ D 1 / 2 Y ( Y T D Y ) 1 / 2 (16)

等式(16)两边同时左乘 D 1 / 2 ,有

D 1 / 2 G = W Y ( Y T D Y ) 1 / 2 + λ D Y ( Y T D Y ) 1 / 2 (17)

式子(17)两边同时右乘 ( Y T D Y ) 1 / 2 ,有

D 1 / 2 G ( Y T D Y ) 1 / 2 = W Y + λ D Y (18)

整理得到,

W Y = D 1 / 2 G ( Y T D Y ) 1 / 2 λ D Y (19)

W Y 的表达式带入(15),有

F T M F = Y T ( D 1 / 2 G ( Y T D Y ) 1 / 2 λ D Y ) Y T D Y + λ I (20)

所以,

F T M F = Y T D 1 / 2 G ( Y T D Y ) 1 / 2 (21)

最后, T r ( F T M F ) = T r ( Y T D 1 / 2 G ( Y T D Y ) 1 / 2 ) 。矩阵 Y T D Y 是一个对角矩阵, ( Y T D Y ) 1 / 2 的第l行、第j列元素可表示为 i = 1 n d i i y i l y i j ,由于向量 y l 中元素只能取0或者1,当 j l 时, y i l y i j = 0 ;当 j = l 时,对角线上

第l个元素为 ( Y T D Y ) 1 / 2 = d i i y i l 2 = d i i 。所以,有下列等式:

max Y R n × c l = 1 c y l T D g l y l T D y l T = max Y R n × c l = 1 c y l T D g l d i i (22)

求(21)式的最大值,采用放缩法松弛式子(22),放缩分母,找到原目标函数的上界。观察发现 d i i min { d i i } ,存在不等式:

max Y R n × c l = 1 c y l T D g l d i i max Y R n × c l = 1 c y l T D g l min { d i i } (23)

因此,松弛后的目标函数可写做:

max Y R n × c T r ( Y T D min { d i i } G ) (24)

式子(24)减少目标函数中出现指标向量 y l T 次数的同时,也满足了对目标函数求最大值的目的。再对不等式(23)的右边进行整理,得到,

max Y R n × c l = 1 c y l T D g l min { d i i } = max Y R n × c l = 1 c y l T D min { d i i } g l (25)

4. 图谱聚类中等价模型中解的理论研究

为了解决第l列的 y l ,我们采取固定矩阵Y某一列求解其他列的方式和迭代计算的方法。考虑目标函数中 y i j 从0到1的增量函数:

s i l = y l T D min { d i i } g l y i l d i i min { d i i } g i l (26)

最优解 y 中元素构成可表示为:

y i l = l = max l [ 1 , c ] arg s i l (27)

参数 . 如果为真,那么 y i l = 1 ,若为假,那么 y i l = 0

现在证明等价模型中目标函数 max Y R n × c T r ( Y T D min { d i i } G ) 的收敛性。

设矩阵Y在第t次与第 t + 1 次迭代后的矩阵分别为 Y t Y t + 1 。带入G的表达式(16),得到:

T r ( Y T D min { d i i } D 1 / 2 W Y ( Y T D Y ) 1 / 2 + Y T D min { d i i } λ D 1 / 2 Y ( Y T D Y ) 1 / 2 ) (28)

展开,

T r ( Y T W D min { d i i } Y + λ ( Y T D Y ) 1 / 2 min { d i i } ) = T r ( Y T W D min { d i i } Y ) + T r ( λ Y T D 1 / 2 Y min { d i i } ) (29)

T r ( λ Y T D 1 / 2 Y min { d i i } ) 中的 λ 是一个足够大的数值,并且 min { d i i } 可以直接确定,与矩阵Y无关,所

以迭代过程无论进行到哪一次, λ min { d i i } 都不会对目标函数的收敛性产生影响。仿照文献 [18] 中定理1的证明过程,能够得出:

T r ( λ Y t T D 1 / 2 Y t min { d i i } ) T r ( λ Y t + 1 T D 1 / 2 Y t + 1 min { d i i } ) (30)

为了方便书写,记 Q = W D min { d i i } ,那么,

T r ( Y T W D min { d i i } Y ) = T r ( Y T Q Y ) (31)

通过等式(29) (30),易知

T r ( Y t T Q Y t ) T r ( Y t + 1 T Q Y t ) (32)

由迹的性质,

T r ( Y t + 1 T Q Y t ) T r ( Y t + 1 T Q Y t + 1 ) = T r ( Y t + 1 T Q ( Y t Y t + 1 ) ) (33)

Y t = Y t + 1 时, T r ( Y t + 1 T Q ( Y t Y t + 1 ) ) = 0 ,此时, T r ( Y t + 1 T Q Y t ) = T r ( Y t + 1 T Q Y t + 1 ) ,所以,

T r ( Y t T Q Y t ) T r ( Y t + 1 T Q Y t + 1 ) (34)

Y t Y t + 1 时,仍然采取固定某一列求解其他列的迭代计算的方法。 Y t + 1 T Q 是一个非负矩阵,根据式子(26)、(27),有

T r ( Y t + 1 T Q ( Y t Y t + 1 ) ) 0 (35)

综上所述,成立不等式:

T r ( Y t T W D min { d i i } Y t ) + T r ( λ Y t T D 1 / 2 Y t min { d i i } ) T r ( Y t + 1 T W D min { d i i } Y t + 1 ) + T r ( λ Y t + 1 T D 1 / 2 Y t + 1 min { d i i } ) (36)

算法实现流程可总结为:

1) 输入聚类个数k,构造相似矩阵,将数据集 X = { x 1 , x 2 , , x n } 转化为度矩阵与邻接矩阵;

2) 找到一个足够大的数值 λ ,使得 M = D 1 / 2 W D 1 / 2 + λ I 为半正定矩阵;

3) 重复运算 G = D 1 / 2 W Y ( Y T D Y ) 1 / 2 + λ D 1 / 2 Y ( Y T D Y ) 1 / 2 ,并且通过等式(27)更新矩阵Y的数值;

4)目标函数(24)收敛,输出矩阵Y。

不同于传统的选择相似矩阵 D 1 W D 1 / 2 W D 1 / 2 的前k个最大特征值对应的特征向量进行聚类,该等价模型只需要初始化矩阵Y,直接对数据集进行相似矩阵的构造,得出度矩阵与邻接矩阵。同时,在算

法流程中, y l T D min { d i i } g l y i l d i i min { d i i } g i l 的数值结果可由前一次的迭代过程直接得出,通过等式

(27),在之后的迭代过程中根据上一次得出的数值结果更新矩阵Y。目标函数(24)在迭代运算中,是一个单调递增的过程,对有限数据集 X n 进行图谱聚类,当数据集分到所有簇时,迭代过程停止。

5. 结束语

算法过程的优化、目标函数的选择、相似矩阵的构造、谱切割的切割方法等都是当前图谱聚类研究的重要方向。本文从拉普拉斯矩阵出发,结合邻接矩阵与度矩阵的特点,对图谱聚类的目标函数进行松弛,得到了一类更具有一般形式的图谱聚类模型。采用放缩的方法,提出一种可与 D N C u t 等价的数学模型,并证明了等价模型的收敛性,对下一步数值实验测试的可行性提供了理论依据。

参考文献

[1] Xia, K.J., Gu, X.Q. and Zhang, Y.D. (2020) Oriented Grouping-Constrained Spectral Clustering for Medical Imaging Segmentation. Multimedia Systems, 26, 27-36.
https://doi.org/10.1007/s00530-019-00626-8
[2] Xu, D.H., Li, C., Chen, T., et al. (2019) A Novel Low Rank Spectral Clustering Method for Face Identification. Recent Patents on Engi-neering, 13, 387-394.
https://doi.org/10.2174/1872212112666180828124211
[3] Zhang, E., Li, H., Huang, Y., et al. (2022) Practical Multi-Party Private Collaborative k-Means Clustering. Neurocomputing, 467, 256-265.
https://doi.org/10.1016/j.neucom.2021.09.050
[4] Zhao, H.D., Ding, Z.M. and Fu, Y. (2017) Multi-View Clus-tering via Deep Matrix Factorization. Proceedings of the AAAI Conference on Artificial Intelligence, 31, 2921-2927.
https://doi.org/10.1609/aaai.v31i1.10867
[5] Shi, J. and Malik, J. (2000) Normalized Cut Sand Image Segmenta-tion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 888-905.
https://doi.org/10.1109/34.868688
[6] Zhang, R., Nie, F.P., Guo, M.H., et al. (2019) Joint Learning of Fuzzy K-Means and Nonnegative Spectral Clustering with Side Information. IEEE Transactions on Image Processing, 28, 2152-2162.
https://doi.org/10.1109/TIP.2018.2882925
[7] 龚芝, 马凌, 刘敏, 何先波. 融合知识图谱的文本聚类方法研究[J]. 南京理工大学学报, 2022, 46(2): 170-176.
[8] 白璐, 赵鑫, 孔钰婷, 等. 谱聚类算法研究综述[J]. 计算机工程与应用, 2021, 57(14): 12-26.
[9] Wu, Z. and Leahy, R. (1993) An Optimal Graphtheoretic Approach to Data Clustering: Theory and Its Application to Image Segmentation. IEEE Transactions on Pattern Analysis and Machine In-telligence, 15, 1101-1113.
https://doi.org/10.1109/34.244673
[10] Shimakage, H., Suzuki, S., Kawakami, A., et al. (2013) Characteristics of MOD Bi-2212 Thin Films on r-Cut Sapphire with CeO2 Buffer Layer. IEEE Transactions on Applied Superconductivity, 23, Article ID: 7501404.
https://doi.org/10.1109/TASC.2013.2248191
[11] Xie, J.Y. and Zhou, Y. (2018) Local Standard Deviation Spec-tral Clustering. 2018 IEEE International Conference on Big Data and Smart Computing, Shanghai, 15-17 January 2018, 242-250.
https://doi.org/10.1109/BigComp.2018.00043
[12] 杨婷, 朱恒东, 马盈仓, 汪义瑞, 杨小飞, 等. 基于L2,1范数和流形正则项的半监督谱聚类算法[J]. 山东大学学报: 理学版, 2021, 56(3): 67-76.
[13] Nie, F.P., Wang, X.Q. and Jordan, M.I. (2016) The Constrained Laplacian Rank Algorithm for Graph Based Clustering. Proceedings of the 31th Association for the Advance of Artificial Intelligence, Phoenix, 12-17 February 2016, 1969-1972.
https://doi.org/10.1609/aaai.v30i1.10302
[14] 王玲, 薄列束, 焦李成. 密度敏感的半监督谱聚类[J]. 软件学报, 2007, 18(10): 2412-2422.
[15] Ng, A.Y., Jordan, M.I. and Weiss, Y. (2001) On Spectral Clustering: Analysis and an Algorithm. In: Advances in Neural Information Processing Systems, MIT Press, Cambridge, 849-856.
[16] Yu, S.X. and Shi, J. (2003) Multiclass Spectral Clustering. Proceedings 9th IEEE International Conference on Computer Vision, Nice, 13-16 October 2003, 313-319.
https://doi.org/10.1109/ICCV.2003.1238361
[17] Chen, X.J., Xu, X.F., Ye, Y.M., et al. (2013) W-k-Means: Automated Two-Level Variable Weighting Clustering Algorithm for Multi-View Data. IEEE Transactions on Knowledge and Data Engineering, 25, 932-944.
https://doi.org/10.1109/TKDE.2011.262
[18] Chen, X.J., Hong, W., Nie, X.F., et al. (2018) Spectral Clustering of Large-Scale Data by Directly Solving Normalized Cut. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, London, 19-23 August 2018, 1206-1215.
https://doi.org/10.1145/3219819.3220039