基于质心的自适应字典学习的多视图低秩稀疏子空间聚类算法

Multi-View Low Rank Sparse Subspace Clustering Algorithm Based on Centroid Adaptive Dictionary Learning

摘要: 随着大数据时代的到来，图像处理逐渐向高维方向发展。而高维数据通常被认为位于多个低维数据的并当中。通过将高维子空间划分为几个低维子空间，可以更好地了解高维子空间的底层结构。现有的聚类方法大多通过在每个视图上构造一个关联矩阵来解决多视图子空间聚类问题。本文提出了一种基于自适应字典学习的多视图低秩稀疏子空间聚类方法。即在多视图低秩稀疏表示模型中，引入了一种基于正交约束的自适应字典学习策略。该方法从原始数据中自适应学习字典，使模型对噪声具有鲁棒性。同时，通过优化方法得到投影矩阵和低秩稀疏特征。在本文提出的算法上对三类标准数据集进行测试，结果表明，本文所提出的算法聚类效果优于其它同类型的算法。

Abstract: With the advent of the era of big data, image processing is gradually developing towards high-dimensional direction. High-dimensional data is generally considered to be in the union of multiple low-dimensional data. By dividing the high-dimensional subspace into several low-dimensional subspaces, we can better understand the underlying structure of the high-dimensional subspace. Most of the existing clustering methods solve the problem of multi-view subspace clustering by constructing an association matrix on each view. In this paper, an adaptive dictionary learning based multi-view low rank sparse subspace clustering method is proposed. In the multi-view low rank sparse representation model, an adaptive dictionary learning strategy based on orthogonal constraints is introduced. The method learns the dictionary adaptively from the original data and makes the model robust to noise. At the same time, the projection matrix and the low rank sparse feature are obtained by the optimization method. The results show that the proposed algorithm performs better than other algorithms of the same type in clustering three kinds of standard data sets.

1. 引言

随着大数据时代的到来，高维数据的种类越来越多，高维图像的处理越来越复杂。而子空间聚类的应用也更加广泛，如图像处理，运动分割以及计算机视觉等 [1] 。虽然高维数据越来越复杂，但是学者们认为高维数据通常位于低维子空间中。例如，人脸图像由几十万个像素组成，这些像素位于若干个低维子空间的并中，如图1所示，高维空间y_i由低维空间S₁、S₂及S₃共同组成，子空间聚类的目的是通过利用多个低维结构来洞察高维数据的内在结构。并将高维数据划分到这些低维子空间中 [2] 。

为了解决子空间聚类算法中的亲和矩阵学习问题，提出了稀疏子空间聚类算法(sparse subspace clustering algorithm, SSC) [3] 。然而，SSC的缺点是在追求数据表示矩阵的整体稀疏性以提高计算效率时忽略了每个数据样本的稀疏性。为了解决这个问题，许多学者针对各种特征学习任务提出了低秩表示(LRR)模型 [4] 。

Figure 1. High-dimensional data composition schematic

图1. 高维数据组成示意图

2. 研究背景及相关工作

在本节中，我们概述了基于低秩表示的子空间聚类算法(LRR)和稀疏子空间聚类算法(SSC)。

2.1. 基于低秩表示的子空间聚类方法(LRR)

假设数据样本 $X\in R^{d\times n}$ 为多个低维线性子空间的并，低维线性子空间表示为 $U_{i=1}^k{a}_i$ ，其中 $a_1,a_2，\cdots ,a_k$ 是低维子空间。数据样本 $X=L+E$ ，其中 $L\in R^{d\times n}$ 是低秩矩阵，E表示随机的噪声项。求D的低阶近似值的问题公式如下：

$\underset{L,E}{\min }rank\left(L\right)+\lambda {\Vert E\Vert }_0\text{s}\text{.t}.Y=L+E$ (1)

其中 $\lambda$ 是一个参数，L是Y的低秩近似表示。但是由于秩函数的离散性，问题(1)很难解决。而且求噪声项E的 $L_0$ 范数属于非凸问题，要求解也非常困难。所以使用秩函数的近似(即核范数)来代替秩函数 [5] ，而使用 $L_0$ 的近似(即 $L_1$ 范数)来代替 $L_0$ 范数，问题(1)的公共凸松弛表示为：

$\underset{L,E}{\min }{\Vert C\Vert }_{\ast }+\lambda {\Vert E\Vert }_1\text{s}\text{.t}.Y=YC+E\text{and}L=YC$ (2)

公式(2)最优解能表示为 [6] ：

$\hat{C}=V{V}^{\text{T}}$ (3)

其中，V为矩阵Y的奇异值分解后的右奇异矩阵，当数据矩阵被高斯白噪声污染时 [7] ，改写公式(1)：

${\Vert C\Vert }_{\ast }+\frac{\lambda }{2}{\Vert Y-YC\Vert }_F^2$ (4)

$\hat{C}$ 的最优解表示为 [8] ：

$\hat{C}=V_1\left(I-\frac{1}{\lambda }{\Sigma }_1^{-2}\right)V_1^{\text{T}}$ (5)

其中 $U=\left[U_1{U}_2\right]$ 、 $\Sigma =\left[{\Sigma }_1{\Sigma }_2\right]$ 和 $V=\left[V_1{V}_2\right]$ 。矩阵根据集合 $I_1=\left\{i:{\sigma }_i>\frac{1}{\sqrt{\lambda }}\right\}$ 和 $I_2=\left\{i:{\sigma }_i<\frac{1}{\sqrt{\lambda }}\right\}$ 进行划分 [9] 。

2.2. 基于稀疏表示的子空间聚类方法(SSC)

稀疏子空间聚类(SSC)的核心内容是使数据集中的任何一个数据点都可以用其它数据点的稀疏线性组合来代替，同时还能够捕获数据的局部结构 [10] ，它解决以下凸优化问题：

$\underset{C}{\min }{\Vert C\Vert }_1\text{s}\text{.t}\text{.}X=XCdiag\left(C\right)=0$ (6)

当数据被高斯白噪声污染时，方程(6)可以表示为：

$\underset{C}{\min }\lambda {\Vert C\Vert }_1+\frac{1}{2}{\Vert XC-C\Vert }_F^2\text{s}\text{.t}\text{.}diag\left(C\right)=0$ (7)

其中 $\lambda$ 是稀疏正则化常数。方程(7)能够使用ADMM优化，且能够得到有效解决。

3. 基于质心的自适应字典学习的多视图低秩稀疏子空间聚类(Centroid ADLMLRSSC)

考虑到SSC主要捕获数据的局部结构，而LRR主要对数据的全局结构进行计算，该两种方法均有自身的缺陷，因此我们在本节提出一种基于质心的自适应字典学习的多视图低秩稀疏子空间聚类。

对于一个具有 $n_v$ 个视图的数据集X，其中每个 $X^{\left(i\right)}={\left\{X_j^{\left(i\right)}\in R^{D^{\left(i\right)}}\right\}}_{j=1}^N$ 用它自己的一组 $D^{\left(i\right)}$ 特征来描述。

目标是找到一个联合表示矩阵C，该矩阵能够平衡不同视图之间的一致性，同时使得到的解兼具稀疏性和低秩性。

为了使表示矩阵 $\left\{C^{\left(1\right)},C^{\left(2\right)},\cdots ,C^{n_v}\right\}$ 跨越不同的视图，以获得共同的联合表示矩阵，制定了联合目标函数 [11] 。本节提出了一种ADLMLRSSC算法的正则化方案：基于质心的ADLMLRSSC。该算法强制不同视图之间的表示指向一个共同的质心。首先建立目标函数：

$\begin{array}{l}\underset{C^{\left(1\right)},C^{\left(2\right)},\cdots ,C^{\left(n_v\right)}}{\min }{\displaystyle \underset{v=1}{\overset{n_v}{\sum }}{\beta }_1}{\Vert C^{\left(v\right)}\Vert }_{\ast }+{\beta }_2{\Vert C^{\left(v\right)}\Vert }_1+{\lambda }^{\left(v\right)}{\Vert C^{\left(v\right)}-C^{\ast }\Vert }_F^2\\ \text{s}\text{.t}\text{.}{X}^{\left(v\right)}=X^{\left(v\right)}{C}^{\left(v\right)},diag\left(C^{\left(v\right)}\right)=0,v=1,\cdots ,n_v\end{array}$ (8)

这里的 $C^{\ast }$ 表示共识变量。这个目标函数可以通过对观点和共识变量的交替最小化循环来最小化。就是重复以下两个步骤：

1) 固定共识变量 $C^{\ast }$ ，并更新每个 $C^{\left(v\right)},v=1,\cdots ,n_v$ ；

2) 固定 $C^{\left(v\right)},v=1,\cdots ,n_v$ 和更新 $C^{\ast }$ 。

固定除 $C^{\left(v\right)}$ 之外的所有变量，重写目标函数：

$\begin{array}{l}\underset{C^{\left(v\right)}}{\min }{\beta }_1{\Vert C^{\left(v\right)}\Vert }_{\ast }+{\beta }_2{\Vert C^{\left(v\right)}\Vert }_1+{\lambda }^{\left(v\right)}{\Vert C^{\left(v\right)}-C^{\ast }\Vert }_F^2\\ \text{s}\text{.t}\text{.}{X}^{\left(v\right)}=X^{\left(v\right)}{C}^{\left(v\right)},diag\left(C^{\left(v\right)}\right)=0\end{array}$ (9)

引入自适应字典学习，即将X替换为 $P^{\text{T}}X$ ，同时，使用ADMM解决凸优化问题。通过引入辅助变量 $C_1^{\left(v\right)},C_2^{\left(v\right)},C_3^{\left(v\right)}$ 和 $A^{\left(v\right)}$ ，可以得出以下公式：

$\begin{array}{l}\underset{C_1^{\left(v\right)},C_2^{\left(v\right)},C_3^{\left(v\right)},A^{\left(v\right)}}{\min }{\beta }_1{\Vert C_1^{\left(v\right)}\Vert }_{\ast }+{\beta }_2{\Vert C_2^{\left(v\right)}\Vert }_1+{\lambda }^{\left(v\right)}{\Vert C_3^{\left(v\right)}-C^{\ast }\Vert }_F^2\\ \text{s}\text{.t}\text{.}{P}^{\text{T}}{X}^{\left(v\right)}=P^{\text{T}}{X}^{\left(v\right)}{A}^{\left(v\right)},A^{\left(v\right)}=C_2^{\left(v\right)}-diag\left(C_2^{\left(v\right)}\right),A^{\left(v\right)}=C_1^{\left(v\right)},A^{\left(v\right)}=C_3^{\left(v\right)}\end{array}$ (10)

可以推导出其增广拉格朗日函数是：

$\begin{array}{l}\mathcal{L}{\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3,A^{\left(v\right)},{\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4\\ ={\beta }_1{\Vert C_1^{\left(v\right)}\Vert }_{\ast }+{\beta }_2{\Vert C_2^{\left(v\right)}\Vert }_1+{\lambda }^{\left(v\right)}{\Vert C_3^{\left(v\right)}-C^{\ast }\Vert }_F^2+\frac{{\mu }_1}{2}{\Vert P^{\text{T}}{X}^{\left(v\right)}-P^{\text{T}}{X}^{\left(v\right)}{A}^{\left(v\right)}\Vert }_F^2\\ +\frac{{\mu }_2}{2}{\Vert A^{\left(v\right)}-C_2^{\left(v\right)}+diag\left(C_2^{\left(v\right)}\right)\Vert }_F^2+\frac{{\mu }_3}{2}{\Vert A^{\left(v\right)}-C_1^{\left(v\right)}\Vert }_F^2+\frac{{\mu }_4}{2}{\Vert A^{\left(v\right)}-C_3^{\left(v\right)}\Vert }_F^2\\ +\langle {\Lambda }_1,P^{\text{T}}{X}^{\left(v\right)}-P^{\text{T}}{X}^{\left(v\right)}{A}^{\left(v\right)}\rangle +\langle {\Lambda }_2,A^{\left(v\right)}-C_2^{\left(v\right)}+diag\left(C_2^{\left(v\right)}\right)\rangle \\ +\langle {\Lambda }_3,A^{\left(v\right)}-C_1^{\left(v\right)}\rangle +\langle {\Lambda }_4,A^{\left(v\right)}-C_3^{\left(v\right)}\rangle \end{array}$ (11)

其中， $\langle \Lambda ,X\rangle$ 表示的是矩阵的内积， ${\left\{{\mu }_i>0\right\}}_{i=1}^4$ 表示的是惩罚参数，而 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4$ 表示的是拉格朗日对偶变

量。为了解决这个凸优化问题，引入可变方向乘子法(ADMM)。用于收敛于由两个块凸可分问题组成的目标，但向量 $C_1^{\left(v\right)},C_2^{\left(v\right)}$ 和 $C_3^{\left(v\right)}$ 互不依赖，因此可以单独的以其中作为一个变量块观察。

1) 在迭代K + 1次时更新 $A^{\left(v\right)}$ ：

给定迭代k次时的 ${\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3$ 和 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4$ ，将目标矩阵 $A^{\left(v\right)}$ 最小化：

$\begin{array}{c}{A}^{\left(v\right)}={\left[{\mu }_1{X}^{{\left(v\right)}^{\text{T}}}\ast P\ast P^{\text{T}}\ast X^{\left(v\right)}+\left({\mu }_1+{\mu }_2+{\mu }_3\right)I\right]}^{-1}\times ({\mu }_1{X}^{{\left(v\right)}^{\text{T}}}\ast P\ast P^{\text{T}}\ast X^{\left(v\right)}\\ +{\mu }_2{C}_2^{\left(v\right)}+{\mu }_3{C}_1^{\left(v\right)}+{\mu }_4{C}_3^{\left(v\right)}+X^{{\left(v\right)}^{\text{T}}}\ast P\ast {\Lambda }_1-{\Lambda }_2^{\left(v\right)}-{\Lambda }_3^{\left(v\right)}-{\Lambda }_4^{\left(v\right)})\end{array}$ (12)

上式即由公式(13)对 $A^{\left(v\right)}$ 求偏导之后，设置其导数为零得出。求出低秩矩阵A后。给定一个矩阵 $X\in {ℝ}^{m\times n}$ 和一个参数 $d\left(d<m\right)$ ，P可以通过以下方程来求解：

$\underset{P}{\min }{\Vert P^{\text{T}}X-P^{\text{T}}XA\Vert }_F^2\text{s}\text{.t}\text{.}{P}^{\text{T}}X{X}^{\text{T}}P=I_d$ (13)

其中，P由 $\hat{P}=\left[{\mu }_1,{\mu }_2,\cdots ,{\mu }_d\right]$ 给出，它由矩阵 $R{R}^{\text{T}}P=\mu X{X}^{\text{T}}P$ 对应于前d个最小特征值的d个特征向量组成， $R=X-XA$ 。

2) 在迭代K + 1次时更新 $C_1^{\left(v\right)}$ ：

给定迭代k + 1次的 $A^{\left(v\right)}$ 和迭代k次的 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4$ ，最小化目标函数中的 $C_1^{\left(v\right)}$ ：

$\underset{C_1^{\left(v\right)}}{\min }\mathcal{L}\left(C_1^{\left(v\right)},A^{\left(v\right)},A_3^{\left(v\right)}\right)=\underset{C_1^{\left(v\right)}}{\min }{\beta }_1{\Vert C_1^{\left(v\right)}\Vert }_{\ast }+\frac{{\mu }_3}{2}{\Vert A^{\left(v\right)}-C_1^{\left(v\right)}+\frac{{\Lambda }_3^{\left(v\right)}}{{\mu }_3}\Vert }_F^2$ (14)

公式(16)中的 $C_1^{\left(v\right)}$ 最小化表达式为：

$C_1^{\left(v\right)}={\Pi }_{\frac{{\beta }_1}{{\mu }_3}}\left(A^{\left(v\right)}+\frac{{\Lambda }_3^{\left(v\right)}}{{\mu }_3}\right)$ (15)

其中， ${\pi }_{\beta }\left(\Sigma \right)$ 表示软阈值算子，定义为 ${\pi }_{\beta }\left(\Sigma \right)={\left(\left|\Sigma \right|-\beta \right)}_{+}\mathrm{sgn}\left(\Sigma \right)$ 和 $t_{+}=\text{max}\left(0,t\right)$ 。

${\Pi }_{\beta }\left(Y\right)={\displaystyle {\cup }_{{\pi }_{\beta }\left(\Sigma \right)}{V}^{\text{T}}}$ 表示的是对数据矩阵Y的奇异值 $U\Sigma V^{\text{T}}$ 执行软阈值运算，而 $Y=A^{\left(v\right)}+{\mu }_3^{-1}{\Lambda }_3^{\left(v\right)}$ 。

3) 在迭代K + 1次时更新 $C_2^{\left(v\right)}$ ：给定迭代K+1次后的 $A^{\left(v\right)}$ 和迭代k次后的 ${\Lambda }_2^{\left(v\right)}$ ，最小化拉格朗日函数中的 $C_2^{\left(v\right)}$ ，其更新方法同样使用软阈值算子更新，即：

$C_2^{\left(v\right)}={\pi }_{\frac{{\beta }_2}{{\mu }_2}}\left(A^{\left(v\right)}+\frac{{\Lambda }_2^{\left(v\right)}}{{\mu }_2}\right)$

$C_2^{\left(v\right)}=C_2^{\left(v\right)}-diag\left(C_2^{\left(v\right)}\right)$ (16)

其中， ${\Pi }_{\beta }$ 表示软阈值算子按入口方向应用于 $A^{\left(v\right)}+{\mu }_2^{-1}{\text{Λ}}_2^{\left(v\right)}$ 。

4) 在迭代K + 1次时 $C_3^{\left(v\right)}$ 的更新规则。

给定迭代k + 1次时的 $A^{\left(v\right)}$ 和迭代k时的 $C^{\ast }$ 和 ${\text{Λ}}_4^{\left(v\right)}$ ，以上拉格朗日函数中目标相对于 $C_3^{\left(v\right)}$ 的最小化即可以得到以下对 $C_3^{\left(v\right)}$ 的求解公式：

$C_3^{\left(v\right)}=\frac{2{\lambda }^{\left(v\right)}+{\mu }_4}{2{\lambda }^{\left(v\right)}{C}^{\ast }+{\mu }_4{A}^{\left(v\right)}+A_4^{\left(v\right)}}$ (17)

更新 $C^{\ast }$ 规则。将目标函数中关于 $C^{\ast }$ 的偏导数设为零，即可得到 $C^{\ast }$ 的封闭解：

$C^{\ast }=\frac{{\displaystyle {\sum }_{v=1}^{n_v}{\lambda }^{\left(v\right)}{C}^{\left(v\right)}}}{{\displaystyle {\sum }_{v=1}^{n_v}{\lambda }^{\left(v\right)}}}$ (18)

5) 在迭代k+ 1次时双变量 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4$ 的更新规则。

在迭代k + 1次时，固定 $A^{\left(v\right)}$ 和 ${\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3$ ，用以下等式更新对偶变量：

$\begin{array}{l}{\Lambda }_1^{\left(v\right)}={\Lambda }_1^{\left(v\right)}+{\mu }_1\left(X^{\left(v\right)}-X^{\left(v\right)}{A}^{\left(v\right)}\right)\\ {\Lambda }_2^{\left(v\right)}={\Lambda }_2^{\left(v\right)}+{\mu }_2\left(A^{\left(v\right)}-C_2^{\left(v\right)}\right)\\ {\Lambda }_3^{\left(v\right)}={\Lambda }_3^{\left(v\right)}+{\mu }_3\left(A^{\left(v\right)}-C_1^{\left(v\right)}\right)\\ {\Lambda }_4^{\left(v\right)}={\Lambda }_4^{\left(v\right)}+{\mu }_4\left(A^{\left(v\right)}-C_3^{\left(v\right)}\right)\end{array}$ (19)

为了将模型扩展到受加性高斯白噪声污染的数据，对(9)中的目标函数修改如下：

$\begin{array}{l}\underset{C^{\left(1\right)},C^{\left(2\right)},\cdots ,C^{\left(n_v\right)}}{\min }{\displaystyle \underset{v=1}{\overset{n_v}{\sum }}\frac{1}{2}}\Vert X^{\left(v\right)}-X^{\left(v\right)}{C}^{\left(v\right)}\Vert {\beta }_1{\Vert C^{\left(v\right)}\Vert }_{\ast }+{\beta }_2{\Vert C^{\left(v\right)}\Vert }_1+{\lambda }^{\left(v\right)}{\Vert C^{\left(v\right)}-C^{\ast }\Vert }_F^2\\ \text{s}\text{.t}\text{.}diag\left(C^{\left(v\right)}\right)=0,v=1,\cdots ,n_v\end{array}$ (20)

与干净数据的模型相比，唯一需要修改的更新规则是 $A^{\left(v\right)}$ ，在迭代k + 1次时更新 $A^{\left(v\right)}$ ： ${\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3$ 和 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4$ 的更新规则与噪声项无关，因此这些变量的更新方式不变。给定迭代k次时的 ${\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3$ 和 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=1}^4$ ，

使等式中 $A^{\left(v\right)}$ 最小化，为了简化公式，用Gram矩阵K来代替 $X^{{\left(v\right)}^{\text{T}}}{X}^{\left(v\right)}$ [12] 。

在由内积导出的多维矩阵中，对角元素提供不同特征图自身的信息，从而反映出自身的特征信息，其他位置元素则提供不同特征图之间的相关信息，从而反映不同特征之间的紧密程度 [13] 。所以Gram矩阵通常用于度量维度本身的属性以及各维度之间的关系。

$A^{\left(v\right)}={\left[K+\left({\mu }_1+{\mu }_2+{\mu }_3\right)I\right]}^{-1}\times \left(K+{\mu }_2{C}_1^{\left(v\right)}\right)+{\mu }_3{C}_1^{\left(v\right)}+{\mu }_4{C}_3^{\left(v\right)}-{\Lambda }_2^{\left(v\right)}-{\Lambda }_3^{\left(v\right)}-{\Lambda }_4^{\left(v\right)}$ (21)

重复这些更新步骤，直到各变量均收敛或达到最大迭代次数，即停止迭代计算。通过在每次迭代后都验证以下约束来检查收敛性，只有当所有变量均小于 $\epsilon$ ，才可以视作变量达到收敛条件：

${\Vert A^{\left(v\right)}-C_1^{\left(v\right)}\Vert }_{\infty }\le \epsilon$

${\Vert A^{\left(v\right)}-C_2^{\left(v\right)}\Vert }_{\infty }\le \epsilon$

${\Vert A^{\left(v\right)}-C_3^{\left(v\right)}\Vert }_{\infty }\le \epsilon$

${\Vert A_k^{\left(v\right)}-A_{k-1}^{\left(v\right)}\Vert }_{\infty }\le \epsilon$ (22)

在基于质心的ADLMLRSSC中，不需要跨视图组合亲和矩阵，因为联合亲和矩阵可以直接从质心矩阵计算，即 $W=\left|C^{\ast }\right|+{\left|C^{\ast }\right|}^{\text{T}}$ 。表1汇总了基于质心的ADLMLRSSC算法的步骤。

Table 1. Centroid-based ADLMLRSSC algorithm steps

表1. 基于质心的ADLMLRSSC算法的步骤

4. 基于核的质心的自适应字典学习的多视图低秩稀疏子空间聚类算法 (Centroid KADLMLRSSC)

拉普拉斯的谱分解使谱聚类能够分离具有非线性超曲面的数据点。然而，通过将数据点表示为其他数据点的线性组合，ADLMLRSSC算法学习了对数据的线性子空间结构建模的亲和矩阵。为了使算法在非线性子空间数据中也可以有良好的聚类效果，本节提出通过隐式将数据点映射到高维特征空间来求解再生核希尔伯特空间(Reproducing kernel Hilbert space, RKHS)中的ADLMLRSSC。

首先定义一个函数 $\Phi :\mathcal{X}\to \mathcal{F}$ 为将原始输入空间 $\mathcal{X}$ 映射到高维(可能是无限)特征空间 $\mathcal{F}$ 的函数。由于所提出的基于质心的KADLMLRSSC的损坏数据的更新规则仅依赖于点积 $\langle X\left(v\right),X\left(v\right)\rangle =X^{\left(v\right)}{}^{{}^{\text{T}}}{X}^{\left(v\right)},v=1,\cdots ,n_v$ ，因此该方法可在再生希尔伯特空间(RKHS)中求解，并可推广到非线性流形结构的建模中。

设 $\Phi \left(X^{\left(v\right)}\right)={\left\{\Phi \left(X_i^{\left(v\right)}\right)\in \mathcal{F}\right\}}_{i=1}^N$ 表示数据点集合 $X^{\left(v\right)}={\left\{X_i^{\left(v\right)}\in {ℝ}^D\right\}}_{i=1}^N$ 映射到高维特征空间。对于被噪声污染过的数据，基于质心的核ADLMLRSSC在希尔伯特空间中的目标函数为：

$\begin{array}{l}\underset{C^{\left(1\right)},C^{\left(2\right)},\cdots ,C^{\left(n_v\right)}}{\min }{\displaystyle \underset{v=1}{\overset{n_v}{\sum }}\frac{1}{2}}{\Vert \Phi \left(X^{\left(v\right)}\right)-\Phi \left(X^{\left(v\right)}\right)C^{\left(v\right)}\Vert }_F^2+{\beta }_1{\Vert C^{\left(v\right)}\Vert }_{\ast }+{\beta }_2{\Vert C^{\left(v\right)}\Vert }_1+{\lambda }^{\left(v\right)}{\Vert C^{\left(v\right)}-C^{\ast }\Vert }_F^2\\ \text{s}\text{.t}\text{.}diag\left(C^{\left(v\right)}\right)=0,v=1,\cdots ,n_v\end{array}$ (23)

由于 $A^{\left(v\right)}$ 是唯一依赖于 $X^{\left(v\right)}$ 的变量，因此 ${\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3$ 和对偶变量 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=2}^4$ 的更新规则保持不变。

$A^{\left(v\right)}$ 迭代 $k+1$ 次时的更新规则。给定在迭代k次时的 ${\left\{C_i^{\left(v\right)}\right\}}_{i=1}^3$ 和对偶变量 ${\left\{{\Lambda }_i^{\left(v\right)}\right\}}_{i=2}^4$ ，用Gram矩阵 $K^{\left(v\right)}$ 代替点积 $\langle \Phi \left(X^{\left(v\right)}\right),\Phi \left(X^{\left(v\right)}\right)\rangle$ 可以得到 $A^{\left(v\right)}$ 的更新规则如下：

$A^{\left(v\right)}=\frac{K^{\left(v\right)}+{\mu }_2{C}_2^{\left(v\right)}+{\mu }_3{C}_1^{\left(v\right)}+{\mu }_4{C}_3^{\left(v\right)}-{\Lambda }_2^{\left(v\right)}-{\Lambda }_3^{\left(v\right)}-{\Lambda }_4^{\left(v\right)}}{K^{\left(v\right)}+\left({\mu }_2+{\mu }_3+{\mu }_4\right)I}$ (24)

5. 实验及结果分析

5.1. 评价指标

本节使用五个不同的指标来评估聚类性能，对于所有这些指标，数值越高表示算法聚类性能越好。设由N个p维的数据 $X={\left[x_1,x_2,\cdots ,x_N\right]}^{\text{T}}\in {ℝ}^{N\times p}$ ，真实数据共有R簇 $\left\{U_1,U_2,\cdots ,U_R\right\}$ ，而聚类算法将数据划分为J簇 $\left\{V_1,V_2,\cdots ,V_J\right\}$ 。

1) 精度(Precision)：表示预测的正例样本中有多少是真正的正样本。

2) 召回率(Recall)：表示示例中有多少正面示例被正确预测(全部找到)与所有的正面示例的比例。

3) F-分数(F-score)：用于调和Precision和Recall这两个指标。

4) 标准化互信息(NMI)：用于衡量两个数据分布的吻合程度。值越大表示结果与真实情况越吻合。

5) 调整后的rand指数(ARI)：通常将ARI视作一个评估不同集群模型性能的通用指标。

5.2. 实验数据

3-sources dataset：该数据集是从三个在线新闻来源收集的新闻文章数据集：BBC、路透社和卫报。所有的词汇都储存在词袋中。在948篇文章中，使用了所有三个来源的169篇。数据集中的每一篇文章都用一个主要的主题类进行注释。

Reuters dataset：路透社数据集 [14] 包含了五种不同语言的文档特征及其在六个共同类别中的翻译。所有的文件都在文件袋里。使用原本用英文写的文件作为一个视图，并将其翻译成法文、德文、西班牙文和意大利文作为其他四个视图。从每个类别随机抽取了10份文件，得到了600份文件的数据集。

UCI Digit dataset：UCI数字数据集 [15] 可从UCI存储库获得。该数据集由200个从荷兰公用设施地图中提取的手写数字(0~9)示例组成。每个类中有200个示例，每个示例由六个特征集表示。根据C. Lu的实验，本实验使用了三个特征集：76个字符形状的傅里叶系数、216个轮廓相关和64个Karhunen-Love系数。

5.3. 参数设置

为了比较出各类算法的优势，将本文所提出的算法于原始类算法的数据进行对比，本实验一共包含四类算法，其中包含两类原始算法，即基于低秩表示的稀疏子空间聚类算法(LRSSC)与基于多视图的低秩稀疏子空间聚类算法(MLRSSC)，而本文所提出的算法，即基于质心的ADLMLRSSC和基于质心的KADLMLRSSC，则需要通过实验来调整一系列参数，以使其效果达到最好。表2和表3分别统计了Centroid ADLMLRSSC算法和Centroid KADLMLRSSC算法测试各数据集的参数设置。

5.4. 实验结果

为了实验的均衡性，在每个数据库上都运行代码20次，并取平均值，同时计算出这20个值的标准差，再与其它算法的结果进行比较，以对比出算法的稳定性。为了保证实验的公平性，实验参数均调整到使算法聚类效果达到最好，针对不同的数据集，通过实验调整了它的λ₁、λ₃以及最大迭代次数。其中，数值最大的指标数值我们用粗体标注出来，标准差用括号放于指标数值的下方。表4记录了五类算法测试三个数据集的实验结果。

Table 2. The Centroid ADLMLRSSC algorithm runs the parameter settings for each data set

表2. Centroid ADLMLRSSC算法运行各数据集的参数设置

Table 3. The Centroid KADLMLRSSC algorithm runs the parameter settings for each data set

表3. Centroid KADLMLRSSC算法运行各数据集的参数设置

Table 4. Experimental data of five algorithms on three data sets

表4. 五类算法测试三个数据集的实验数据

5.5. 实验分析

根据表4显示的实验结果，可以得出：

1) 在3-source数据集上，Centroid ADLMLRSSC的F-score比MLRSSC高出7.3 %，Precision比LRSSC高出15.2%，Recall比MLRSSC高出%，NMI比MLRSSC高出2.1%，Adj-RI比MLRSSC高出13.8%。表明本文的算法的主题分类的效果比较好。

2) 在Reuters数据库中，的F-score比Centroid KADLMLRSSC高出16.2%，Precision比Centroid KADLMLRSSC高出12.5%，NMI比Centroid KADLMLRSSC高出30.7%，Adj-RI比Centroid KADLMLRSSC高出30.5%。结果表明，Centroid ADLMLRSSC算法对手写数字的聚类效果比较好。

3) 在UCI digit数据库中，Centroid ADLMLRSSC的F-score比Centroid KADLMLRSSC高出10.7%，Precision比Centroid KADLMLRSSC高出10.1%，NMI比Centroid KADLMLRSSC高出9.1%，Adj-RI比Centroid KADLMLRSSC高出12.6%。可以看出算法对于文字图像识别相比有较大的优势。

6. 结语

本文提出了一种基于质心的自适应字典学习的多视图低秩稀疏子空间聚类算法Centroid ADLMLRSSC，并将其投影到希尔伯特空间当中，衍生出新的算法，即基于核的质心的自适应字典学习的多视图低秩稀疏子空间聚类算法(Centroid KADLMLRSSC)，Centroid KADLMLRSSC强制对公共质心进行特定于视图的表示，以获取数据信息。该算法最大的特点是在联合字典学习的同时，可以得到一个兼顾稀疏性和低秩约束的亲和矩阵。不仅定义了优化问题，制定了目标函数，而且通过ADMM方法得到了目标函数的最优解。此外，通过引入三个不同领域的多视图数据集，我们的实验结果表明，该算法优于目前大多数多视图子空间聚类算法。

基金项目

本研究得到了国家自然科学基金(批准号：61902160，61806088，62002142)、江苏省高等院校自然科学基金(批准号：19KJB520006)和江苏省自然科学基金的支持(批准号：BK20201057)。

NOTES

^*通讯作者。