快速的分区融合多视图子空间聚类

Fast Partition Fusion Multi-View Subspace Clustering

摘要: 近年来，子空间聚类算法的研究取得了显著进展，其中多视图聚类方法因其能够有效地整合多数据来源信息而成为研究热点。新近提出的基于分区融合的多视图子空间聚类方法通过对每个视图分块进行研究，并设计加权融合机制，显著提升了模型对噪声和视图差异的鲁棒性。然而，该方法仍存在一定的局限性：其一，加权机制中的参数优化容易出现极端取值情况，影响模型稳定性；其二，对自表达系数矩阵施加的非负约束限制了其表示能力；其三，在处理大规模数据集时，部分子问题涉及的计算项过多，导致迭代更新过程效率低下，计算消耗过大。针对上述局限性，本文提出以下创新性改进：首先，通过引入亲和矩阵，有效解除了非负约束的限制，从而显著提升了模型的表达能力；其次，创新性地设计中间变量优化策略，重构计算流程，使算法复杂度降低，大幅提升了运算效率；同时，在保留原有加权参数优势的基础上，修改自适应加权机制，有效避免了参数极端化问题。为验证改进效果，我们在4个标准数据集上进行了系统性实验，实验结果表明，我们的方法不仅有效克服了原方法的局限性，同时在处理大规模数据时展现出更高的计算效率。

Abstract: In recent years, the research of subspace clustering algorithms has made significant progress, among which the multi-view clustering method has become a research hotspot because of its ability to effectively integrate multi-data source information. The newly proposed multi-view subspace clustering method based on partition fusion significantly improves the robustness of the model to noise and view differences by studying each view block and designing a weighted fusion mechanism. However, this method still has certain limitations: first, the parameter optimization in the weighting mechanism is prone to extreme values, affecting the stability of the model; second, the non-negative constraints imposed on the self-expression coefficient matrix limit its representation ability; third, when processing large-scale data sets, the calculation items involved in some sub-problems too much, resulting in inefficiency of the iterative update process and excessive computing consumption. In view of the above limitations, this paper proposes the following innovative improvements: first, by introducing the affinity matrix, the restriction of non-negative constraints is effectively lifted, thus significantly improving the expression ability of the model; second, the innovative design of intermediate variable optimization strategies, reconstructing the calculation process, reducing the complexity of the algorithm, and greatly improving the operation calculate efficiency; at the same time, on the basis of retaining the advantages of the original weighting parameters, the adaptive weighting mechanism is modified, which effectively avoids the problem of parameter extremes. In order to verify the improvement effect, we conducted systematic experiments on four standard data sets. The experimental results showed that our method not only effectively overcame the limitations of the original method, but also showed higher computing efficiency when processing large-scale data.

1. 引言

子空间聚类即给定高维数据集，在其中发现分布在低维子空间中的簇以及各个簇所对应的子空间。近年来，子空间聚类在人脸识别、运动分割、图像分割等领域的应用越来越广泛。基于在各个领域的广泛应用，人们提出了许多聚类方法，著名的方法有[1]-[4]等。低秩子空间聚类(Low-Rank Representation, LRR) [1]文章通过利用低秩表示来捕获数据中子空间的全局结构，为同时处理高维数据的噪声和异常值引入低秩约束和稀疏约束，从而得到鲁棒性更强的子空间分割结果。稀疏子空间聚类(Sparse Subspace Clustering, SSC) [2]文章通过稀疏约束来捕获数据的局部结构，从而对高维子空间进行聚类。最小二乘回归(Least Square Regression, LSR) [3]文章提出根据数据间相关性的最小二乘回归模型，并通过最小化重构误差来学习数据的线性表示，从而进行子空间分割。基于块对角表示的子空间聚类的方法(Block Diagonal Representation, BDR) [4]文章提出了一种k-块对角正则化器(block diagonal regularizer)，直接追求自表达系数矩阵的块对角结构，该方法为许多子空间聚类方法提供了块对角性质的理论保证。张量低秩表示(Tensor Low-rank Representation, TLRR) [5]文章构建了一个统一的张量学习框架，并提出了双模式字典构建策略：面对轻度噪声场景，直接采用观测数据构建字典(S-TLRR)，当噪声干扰严重时，则通过鲁棒张量PCA (R-TPCA)预估计的干净数据构建字典(R-TLRR)。TLRR方法这种自适应的字典选择机制确保了模型在不同噪声水平下的鲁棒性，避免了向量化破坏多维结构，在理论和算法层面实现了重要突破。

由于单视图聚类只利用一种类型的数据特征，在一种特定的特征空间中直接对其进行聚类，方法简单，但对于特征选择、不同视图之间的信息融合的处理、一致性约束，以及整合不同视图的信息聚类效果等，均可能受到该特征表达能力的限制从而影响聚类效果。例如，对某个网页进行分析时，可以用网页的文字描述、指向网页的超链接、描述的图片等多种类型的特征表述；对一个图像进行分析时，可以用颜色、纹理、形状等来描述；在多种语言的信息检索中，一个文档可以同时用多种不同的语言来描述。这些不同的特征可以从不同的角度提供有用的信息，从而提高聚类性能。多视图聚类就是将这些多个特征集集成在一起进行聚类。因此人们对聚类的研究从单视图深化到了多视图。[1]-[4]均为单视图聚类，在多视图子空间聚类(Multi-View Subspace Clustering, MVSC) [6]中，Gao等人提出了一种新的多视图子空间聚类方法，使用一个公共的聚类结构同时对每个视图的子空间表示进行聚类，从而保证了不同视图之间的一致性。低秩表示多视图子空间聚类(Multiview Subspace Clustering Using Low-Rank Representation, MLRR) [7]。文章提出了一种基于低秩表示(LRR)的多视图子空间聚类方法，利用对称低秩表示来捕获多视图数据的全局结构，增加对称约束条件和正则项保证表示系数矩阵的对称性和不同视图之间的一致性。基于低秩矩阵分解的秩一致性诱导的多视图子空间聚类(Rank Consistency Induced Multiview Subspace Clustering, RCMSC) [8]文章提出了秩一致性诱导的多视图子空间聚类结构模型，从而追求每个视图的自表达系数矩阵之间的一致性低秩结构，通过矩阵三分解(Matrix-Tri-Factorization)确保各视图的自表达系数矩阵之间的一致性低秩结构以及不同视图的自表达系数矩阵共享相同的低秩特性。多样性诱导的多视图子空间聚类(Diversity-Induced Multi-View Subspace Clustering, DiMSC) [9]文章提出希尔伯特施密特独立准则(HSIC)度量，多样化自表达系数矩阵，有效利用视图之间的互补信息进行聚类。低秩张量约束的多视图子空间聚类(Low-Rank Tensor Constrained Multiview Subspace Clustering, LT-MSC) [10]文章提出通过多视图自表达系数矩阵的高阶连接，整合低秩约束的张量，保持互补信息的一致性。文献[8]-[10]采用不同的损失函数和正则化项来整合公共信息和互补信息，为多视图亲和矩阵引入自表达性，将其组合形成最终的亲和矩阵。Zhang等人提出便利的低秩多视图子空间聚类方法(Facilitated low-rank multi-view subspace clustering, FLMSC) [11]，引入了多样性正则项，通过分解视图特定的表示矩阵，加速优化策略，降低了计算成本，将每个视图的表示矩阵分解为小规模正交字典和潜在表示，保留了每个视图内的低秩结构特性，通过潜在表示的一致性约束(Agreement Term)增强了不同视图间的结构一致性。由于每个单独视图中的噪声以及不同视图之间的不一致性可能影响聚类的性能，利用多种类型的多个数据特征集从不同角度描述数据，对数据进行聚类，从而提供更全面的信息，达到更好的聚类效果。

基于分区融合的多视图子空间聚类(Multi-view subspace clustering via partition fusion, PFSC) [12]文章提出了一种新颖的多视图子空间聚类方法，与传统的基于数据空间融合多视图信息的方法不同，该方法通过在分区空间中进行多视图信息融合，增强了模型对噪声的鲁棒性，并显著改善了聚类结果的准确性和稳定性。这一创新性的研究思路不仅为多视图聚类领域提供了新的技术路径，也为实际应用中的复杂数据处理问题提供了有价值的解决方案。然而，该方法仍存在以下三个主要局限性：首先，其设计的加权因子策略在优化过程中存在参数极端化问题，即当目标函数收敛至全局最优时，仅有一个视图的权重参数$w_v$ 为1，而其他视图的权重参数$w_v$ 为0，这里$w_v$ 用来表征第$v$ 个视图特征的权重，其本应反映不同视图的重要性差异，但当前的极端化分配模式严重削弱了多视图协同学习的优势，降低了其他视图的贡献；其次，该方法对每个视图所对应的自表达系数矩阵$S^v$ 施加的非负约束条件，虽然在理论上增强了模型的可解释性，但显著限制了特征表示空间的表示能力[4]；最后，在处理大规模数据集时，由于子问题中多项结构的复杂性，导致迭代优化过程的计算复杂度呈指数级增长，这在实际应用中造成了严重的效率瓶颈。这些技术缺陷在很大程度上制约了该方法的实用价值和推广前景。本文将在基于分区融合多视图子空间聚类(PFSC)这篇文章的基础上对其局限性进行改进，我们提升了PFSC的实验速度，解决了PFSC计算所消耗的时间较多的问题，因此我们的文章命名为快速的分区融合多视图子空间聚类(Fast partition fusion multi-view subspace clustering, FPFSC)，我们的主要贡献如下：

1) 加权机制优化：我们保留了PFSC方法的加权参数框架，但对其加权机制进行了改进，即在保留权重参数$w_v$ 的基础上，将原有的加权机制$w_v$ 优化为$w_v^2$ 。通过平方这一改进操作引入梯度缩放效应，当参数过大时加速其调整，当参数较小时减缓更新，从而有效防止了参数的极端化，提升模型的鲁棒性和泛化能力，确保了各视图的均衡贡献。

2) 约束条件解除：通过引入亲和矩阵替代传统的自表达系数矩阵$S^v$ ，解除对自表达系数矩阵$S^v$ 必须非负的限制(即取消对$S^v\ge 0$ 的约束)，显著提升了模型的表示能力和灵活性。

3) 计算效率提升：创新性地引入辅助变量$T^v$ ，通过引入变量重构优化问题。这一改进大幅提升了计算速度。当惩罚系数$\lambda$ 足够大时，能够保证更新$T^v$ 和$S^v$ 的子问题具有强凸性，从而获得唯一且稳定解，显著增强了算法的数值稳定性。

2. 回顾PFSC相关工作

2.1. 符号说明

矩阵$A\in {ℝ}^{m\times n}$ ，$A_{i,:}$ 和$A_{:,j}$ 分别表示矩阵$A$ 的第$i$ 行和第$j$ 列。向量$a$ 的2-范数表示为${\Vert a\Vert }_2=\sqrt{a^{\top }\cdot a}$ ，其中$\top$ 表示转置运算，$Tr(\cdot )$ 表示求迹运算，${\Vert A\Vert }_F=\sqrt{{\displaystyle {\sum }_{i=1}^m{\displaystyle {\sum }_{j=1}^n{A}_j^2}}}$ 表示矩阵$A$ 的F-范数，$A\ge 0$ 表示矩阵$A$ 的所有元素都是非负的。$I$ 是具有适当大小的单位矩阵。

2.2. PFSC模型

PFSC文章提出了一种新的多视图子空间聚类框架。设多视图数据$X=\left[X^1,X^2,\cdots ,X^t\right]\in {ℝ}^{m\times n}$ ，其中$X^v\in {ℝ}^{m_v\times n}$ 表示第$v$ 个包含有$m_v$ 个特征的视图数据，$m={\displaystyle {\sum }_v{m}_v}$ ，$n$ 为样本数。与传统多视图子空间聚类(MVSC)方法采用单一公共聚类指标矩阵$F$ 的聚类策略不同，PFSC充分考虑每个视图间的差异性，对每个视图单独设计聚类指标矩阵$F_v$ 。

基于数据集的自表达特性，利用$X^v-X^v{S}^v$ 表示第$v$ 个视图的稀疏噪声矩阵，$S^v\in {ℝ}^{n\times n}$ 为第$v$ 个视图的自表达系数矩阵，通过引入关于$S^v$ 的正则化函数${\Vert \cdot \Vert }_F^2$ ，得到正则项${\Vert S^v\Vert }_F^2$ ，并施加非负约束$S^v\ge 0$ 。在每个视图上进行谱聚类，则每个视图的谱聚类过程表述为：

$\underset{S^v,F_v}{\min }Tr\left(F_v^{\top }{L}^v{F}_v\right),$

其中，$L^v=D^v-S^v$ 为拉普拉斯矩阵，对角块矩阵$D^v$ ，其中$D^v$ 的对角元定义$D_{ii}^v={\displaystyle {\sum }_j{S}_{ij}^v}$ ，$F_v\in {ℝ}^{n\times c}$ 为第$v$ 个视图的聚类指标矩阵，$c$ 为聚类数目。为统一图构造和谱聚类过程，引入正则化平衡参数$\alpha ,\beta$ ，得到优化模型：

$\underset{S^v,F_v}{\min }{\displaystyle \sum _{v=1}^t{\Vert X^v-X^v{S}^v\Vert }_F^2+\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\beta {\Vert S^v\Vert }_F^2}\text{ s}\text{.t}.,S^v\ge 0,F_v{F}_v^{\top }=I.$

考虑到各视图对聚类的贡献度差异，设计自适应加权机制，因此引入权重参数$w_v$ 来表征第$v$ 个视图特征的权重，得到模型：

$\underset{S^v,F_v,w_v}{\min }{\displaystyle \sum _{v=1}^t{w}_v\left\{{\Vert X^v-X^v{S}^v\Vert }_F^2+\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\beta {\Vert S^v\Vert }_F^2\right\}}\text{ s}\text{.t}.{\displaystyle \sum _{v=1}^t{w}_v}=1,w_v\ge 0,S^v\ge 0,F_v{F}_v^{\top }=I.$

通过利用权重分布，使得优化目标函数值最小。当第$v$ 个视图括号里目标项和较小时，则对应的$w_v$ 就越大。对$S^v$ 进行迭代更新时，则需考虑花括号里面每一项。获得每个视图的权重之后，为解决多视图聚类指标不一致问题，引入公共聚类指标矩阵$Y$ ，通过采用内积$F_v^{\top }{F}_v$ 来衡量第$v$ 个视图数据点的相似性，并采用F-范数${\Vert \cdot \Vert }_F^2$ 来衡量指标矩阵之间的对齐聚类结果，即给出模型：

$\underset{Y\in {ℝ}^{n\text{×c}},Y{Y}^{\top }=I}{\min }{\Vert Y{Y}^{\top }-{\displaystyle \sum _{v=1}^t{w}_v{F}_v{F}_v^{\top }}\Vert }_F^2\text{ s}\text{.t}.{\displaystyle \sum _{v=1}^t{w}_v}=1,w_v\ge 0,S^v\ge 0,F_v{F}_v^{\top }=I,$

此时，当$w_v$ 较大时，则第$v$ 个视图分区将对$Y$ 最终结果贡献更大。

整合上述所有组件，最后得出完整的PFSC优化模型，即

$\begin{array}{l}\underset{S^v,F_v,w_v,Y}{\min }{\displaystyle \sum _{v=1}^t{w}_v\left\{{\Vert X^v-X^v{S}^v\Vert }_F^2+\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\beta {\Vert S^v\Vert }_F^2\right\}}+{\Vert Y{Y}^{\top }-{\displaystyle \sum _{v=1}^t{w}_v{F}_v{F}_v^{\top }}\Vert }_F^2\\ \text{s}\text{.t}\text{.}{\displaystyle \sum _{v=1}^t{w}_v}=1,w_v\ge 0,S^v\ge 0,F_v{F}_v^{\top }=I,Y{Y}^{\top }=I.\end{array}$ (1)

在优化过程中，我们发现PFSC将采用分块逐个迭代更新，很明显地可以看出PFSC模型对自表达系数矩阵$S^v$ 进行迭代更新时，花括号里关于$S^v$ 的项过多且结构复杂，既包含F-范数，又需要对$S^v$ 进行求迹运算，因此更新迭代$S^v$ 时将会造成运行速度过慢。为突破PFSC文章现有的局限性，即：加权机制中的参数优化稳定性问题、自表达系数矩阵的表示能力[4]受限问题以及处理大规模数据集计算效率瓶颈问题。针对上述三个问题，下面我们将对此展开讨论，提出优化策略，以提升模型的鲁棒性、灵活性和计算效率。

3. 快速的分区融合多视图子空间聚类

3.1. 我们的模型

我们基于PFSC方法，针对现存在的3个主要局限性进行改进：首先，对于权重分配失衡问题，我们在保留原始加权参数$w_v$ 框架的基础上，通过将加权机制由$w_v$ 重构为$w_v^2$ ，有效解决了当目标函数收敛至全局最优时，仅单一视图的权重系数为1，而其他视图的权重被完全抑制为0的这种极端取值问题；其次，我们对每个视图引用亲和矩阵$K^{\text{v}}$ ，消除对第$v$ 个视图的自表达系数矩阵$S^v$ 非负的约束，提升模型的灵活性；最后，在原本的模型框架中，对$v$ 个视图引入新的辅助变量$T^v$ ，并利用F-范数惩罚，采用模型项${\Vert S^v-T^v\Vert }_F^2$ 来衡量自表达系数矩阵$S^v$ 和引入的变量矩阵$T^v$ 之间的对齐聚类程度，从而增强聚类一致性。此外，为了统一图构造和谱聚类过程，我们在原模型参数基础上，增加正则化平衡参数$\lambda$ ，得到优化模

型项$\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2$ 。

整合上述所有改进，最后得到我们完整的FPFSC模型

$\begin{array}{l}\underset{S^v,F_v,w_v,Y}{\min }{\displaystyle \sum _{v=1}^t{w}_v^2\left\{{\Vert X^v-X^v{S}^v\Vert }_F^2+\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2+\beta {\Vert S^v\Vert }_F^2\right\}}+{\Vert Y{Y}^{\top }-{\displaystyle \sum _{v=1}^t{w}_v{F}_v{F}_v^{\top }}\Vert }_F^2\\ \text{s}\text{.t}.{\displaystyle \sum _{v=1}^t{w}_v}=1,w_v\ge 0,F_v{F}_v^{\top }=I,Y{Y}^{\top }=I.\end{array}$ (2)

其中，$X=\left[X^1,X^2,\cdots ,X^t\right]\in {ℝ}^{m\times n}$ ，$X^v\in {ℝ}^{m_v\times n}$ 表示第$v$ 个包含有$m_v$ 个特征的数据，$m={\displaystyle {\sum }_v{m}_v}$ ，$S^v\in {ℝ}^{n\times n}$ 表示第$v$ 个视图的自表达系数矩阵，$X^v-X^v{S}^v$ 表示第$v$ 个视图的稀疏噪声矩阵，$D^v$ 表示对角块矩阵，其中$D^v$ 的对角元定义为$D_{ii}^v={\displaystyle {\sum }_j{S}_{ij}^v}$ ，$F_v\in {ℝ}^{n\times c}$ 为第$v$ 个视图的聚类指标矩阵，$c$ 为聚类数，$w_v$ 为第$v$ 个视图的特征的权重参数，$Y$ 为公共聚类指标矩阵，$\alpha ,\beta ,\lambda$ 为平衡参数。$K^v=\frac{\left|T^v\right|+{\left|T^v\right|}^{\top }}{2}$ 为亲和矩阵，$L^v=D^v-K^v$ 为拉普拉斯矩阵且$L^v=lap\left(\frac{\left|T^v\right|+{\left|T^v\right|}^{\top }}{2}\right)$ 。

从公式(2)我们可以看出，我们关注不同视图对聚类任务贡献度的差异性，因此，我们保留权重参数$w_v$ 来表征第$v$ 个视图的特征权重，并通过改进自适应加权机制，将$w_v$ 优化为$w_v^2$ ，这种改进不仅避免了单一视图主导聚类结果的局限性，还显著提升了所有视图特征对最终聚类结果的协同贡献度。此外，通过对每个视图引入亲和矩阵$K^v$ ，我们移除了对第$v$ 个视图的自表达系数矩阵$S^v$ 的非负约束条件。针对计算效率问题，我们在$v$ 个视图中引入新的辅助变量$T^v$ ，这一设计显著简化了迭代更新$S^v$ 时，由于涉及的计算项过多且结构复杂，导致迭代更新过程效率低下，计算消耗过大的问题。这些改进措施共同提升了模型的性能和实用性。

3.2. 模型求解

方程式(1)涉及多个耦合变量，求解困难。为此，我们将原问题分解为五个子问题，并利用交替迭代的算法分别求解$T^v,S^v,F_v,w_v,Y$ 的子问题。

1) 现固定其他变量，更新求解$S^v$

$\underset{S^v}{\min }{\Vert X^v-X^v{S}^v\Vert }_F^2+\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2+\beta {\Vert S^v\Vert }_F^2,$ (3)

对每个视图进行分析，令公式(3)关于$S^v$ 的导数为0，得：

$S^v={\left(2{\left(X^v\right)}^{\top }{X}^v+\lambda I+2\beta I\right)}^{-1}\left(2{\left(X^v\right)}^{\top }{X}^v+\lambda T^v\right).$ (4)

2) 现固定其他变量，更新求解$T^v$

$\underset{T^v}{\min }\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2$ (5)

由$Tr\left(F_v^{\top }{L}^v{F}_v\right)=Tr\left({\left|T^v\right|}^{\top }{R}^v\right),R_{ij}^v={\Vert F_{i,:}^v-F_{j,:}^v\Vert }_2^2\left(i,j=1,2,\cdots ,n\right)$ ，因此公式(6)等价于下式

$\underset{T^v}{\min }\frac{\alpha }{2}Tr\left({\left|T^v\right|}^{\top }{R}^v\right)+\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2.$ (6)

将$T^v$ 除第$i$ 行以外，其余行固定，更新$T^v$ 的第$i$ 行，得

$\underset{T_{i,:}^v}{\min }\frac{\alpha }{2}\left({\left|T_{i,:}^v\right|}^{\top }{R}_{i,:}^v\right)+\frac{\lambda }{2}{\Vert S_{i,:}^v-T_{i,:}^v\Vert }_F^2.$ (7)

将$T_{i,:}^v$ 第$j$ 列进行固定，得

$\underset{T_{ij}^v}{\min }\frac{\alpha }{2}\left|T_{ij}^v\right|R_{ij}^v+\frac{\lambda }{2}{\left(S_{ij}^v-T_{ij}^v\right)}^2.$ (8)

最后我们得出

$\begin{array}{c}{T}_{ij}^v=sign\left(S_{ij}^v\right)\left(\left|S_{ij}^v\right|-\frac{\alpha R_{ij}^v}{2\lambda }\right)\\ =\{\begin{array}{l}{S}_{ij}^v-\frac{\alpha R_{ij}^v}{2\lambda },S_{ij}^v>\frac{\alpha R_{ij}^v}{2\lambda }\\ 0\\ S_{ij}^v+\frac{\alpha R_{ij}^v}{2\lambda },S_{ij}^v<-\frac{\alpha R_{ij}^v}{2\lambda }\end{array}.\end{array}$ (9)

3) 固定其他变量，更新求解$F_v$

$\underset{F_v,F_v{F}_v^{\top }=I}{\min }\alpha {\displaystyle \sum _v{w}_v^{2}Tr\left(F_v^{\top }{L}^v{F}_v\right)}+{\Vert Y{Y}^{\top }-{\displaystyle \sum _{v=1}^t{w}_v{F}_v{F}_v^{\top }}\Vert }_F^2,$ (10)

$F^v$ 的子问题等价于下式

$\underset{F_v,F_v{F}_v^{\top }=I}{\min }Tr\left(F_v^{\top }M{F}_v\right).$ (11)

其中，$M=\alpha w_v{L}^v+w_{v}I-2Y{Y}^{\top }+2{\displaystyle \sum _{j\ne v}{w}_j{F}_j{F}_j^{\top }}$ 。$M$ 的$c$ 个最小特征值所对应的$c$ 个特征向量就是聚类指标矩阵$F_v$ 的最优解。

4) 固定其他变量，更新求解$w_v$

$\begin{array}{l}\underset{w_v}{\min }{\displaystyle \sum _{v=1}^t{w}_v^2\left\{{\Vert X^v-X^v{S}^v\Vert }_F^2+\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2+\beta {\Vert S^v\Vert }_F^2\right\}}+{\Vert Y{Y}^{\top }-{\displaystyle \sum _{v=1}^t{w}_v{F}_v{F}_v^{\top }}\Vert }_F^2\\ \text{s}\text{.t}\text{.}{\displaystyle \sum _{v=1}^t{w}_v}=1,w_v\ge 0.\end{array}$ (12)

令

$\begin{array}{l}{W}^{\top }=\left[w_1,w_2,w_3,\cdots ,w_t\right],P\in R^{n\times n},P_{ij}=Tr\left[F_i{F}_i^{\top }\times F_j{F}_j^{\top }\right],Q_v=2Tr\left(Y{Y}^{\top }{F}_v{F}_v^{\top }\right)\\ j_v={\Vert X^v-X^v{S}^v\Vert }_F^2+\frac{\lambda }{2}{\Vert S^v-T^v\Vert }_F^2+\alpha Tr\left(F_v^{\top }{L}^v{F}_v\right)+\beta {\Vert S^v\Vert }_F^2\\ J^{\top }=\left[j_1,j_2,j_3,\cdots ,j_t\right],Q=\left[Q_1,Q_2,Q_3,\cdots ,Q_t\right],\end{array}$

$w_v$ 子问题由(12)变为

$\underset{W}{\min }{W}^{\top }\left(P+Diag\left(J\right)\right)W-QW\text{s}\text{.t}\text{.}{\displaystyle \sum _{v=1}^t{w}_v}=1,w_v\ge 0.$ (13)

这是一个标准二次规划问题，$W$ 可直接利用MATLAB中的quadprog函数高效地进行求解。

5) 固定其他变量，更新求解$Y$

$\underset{Y.Y^{\top }Y=I}{\min }Tr\left[Y^{\top }\left(I-2{\displaystyle \sum _v{w}_v{F}_v{F}_v^{\top }}\right)Y\right].$ (14)

该问题可以通过奇异值分解(SVD)来求解，$I-2{\displaystyle \sum _v{w}_v{F}_v{F}_v^{\top }}$ 的$c$ 个最小特征值所对应的$c$ 个特征向量就是公共聚类指标矩阵$Y$ 的最优解。

根据上述子问题的结果，现将我们的数值算法过程整理如下表1：

Table 1. The numerical algorithm of this article

表1. 本文数值算法

FPFSC数值算法
输入：	多视图数据矩阵$X^1,\cdots ,X^t$ ，聚类数量$c$ ，参数$\alpha ,\beta ,\lambda$ ，迭代次数$\Gamma$
输出：	$T^{\text{v}},S^v,F_v,w_v,Y$
初始化：	随机矩阵$F_v$ ，$w_v=1/t$
从$1-\Gamma$ 开始
Step1	从视图1到视图$v$
Step2	更新$S^v$ ，通过(4)，直接求解
Step3	更新$T^v$ ，通过(9)，直接求解
Step4	更新$F_v$ ，通过(11)，利用奇异值分解(SVD)求解
Step5	更新$w_v$ ，通过(13)，利用matlab高效求解
Step6	更新$Y$ ，通过(14)，利用奇异值分解(SVD)求解
Step7	更新后的$Y$ 为$YY$ ，验证收敛条件$\frac{{\Vert YY-Y\Vert }_2}{{\Vert Y\Vert }_2}<{10}^{-5}$

4. 实验

为全面评估我们方法的有效性，我们在4个标准数据集上开展了系统性实验验证。本节将详细阐述实验设计的关键要素：FPFSC方法的参数设置、实验选用数据库的统计特性和数据选取、对比基准方法的介绍、结果讨论与性能对比的相关分析。通过这种结构化的实验设计，不仅能够客观评估我们FPFSC方法的性能表现，还能深入分析其相对于现有方法的优势与改进空间。

4.1. 实验设置

4.1.1. 数据集介绍

a) 3Sources数据集，原文章中的数据库，该数据集共有169个样本点，其中包含6个类别。每条新闻都来自3个不同的新闻来源，分别是BBC，路透社和卫报。

b) Caltech7数据集，原文章中的数据库，该数据集共有1474个样本，其中包含7个类别，包括人脸，史努比，加菲猫，摩托车，多拉-比尔斯，交通标志和温莎椅。每类选取80张进行实验。该实验提取1984维HOG特征、928维LBP、1024维Gabor特征、40维Wavelet moments特征、254维CENTRIST特征和1024维GIST特征。

c) PIE数据集，该数据集共有11554个样本，其中包含68个人的人脸图片，每个人约170张正脸、左右侧脸、正脸微笑以及在不同角度光的照射下的人脸图片。在本数据集的实验中，我们选取了5类人脸的图像，每类选取80张进行实验。该实验提取1024维灰度特征、36维LBP和1024维Gabor特征。

d) n-MNIST数据集，该数据集共有2000个样本，其中包含了十个手写体数字0~9的图片，每个数字的图片有200张。在本数据集的实验中，我们选取了5类手写体数字的图像，每类选取100张进行实验。该实验提取784维灰度特征、36维LBP和1024维Gabor特征。

以上4个数据集对应的信息在表2中呈现：

Table 2. Dataset information summary

表2. 数据库信息汇总

数据集	3Sources	Caltech 7	PIE	n-MNIST
样本点	169	1474	400	500
视图	3	6	3	3
类别	6	7	5	5
特征	BBC (3560) The Guardian (3631) Reuters (3068)	HOG (1984) LBP (928) Gabor (48) Wavelet moments (40) CENTRIST (254) GIST (512)	Gray (1024) LBP (36) Gabor (1024)	Gray (784) LBP (36) Gabor (1024)

4.1.2. 比较的方法介绍

1) Co-regularized multi-view spectral clustering (Co-reg) [13]：利用正则化机制来确保来自不同视图的分区彼此接近。

2) Facilitated low-rank mult-view subspace clustering (FLMSC) [11]：引入了多样性正则项，将每个视图的表示矩阵分解为小规模的正交字典和潜在表示。

3) Multi-View subspace clustering (MVSC) [6]：利用一个公共的聚类结构同时对每个视图的子空间表示进行聚类，保证了不同视图之间的一致性。

4) On Spectral Clustering (SPC_best) [14]：构建相似性矩阵，分别对每个视图归一化后的特征向量进行k-means聚类，选择聚类结果最好的视图。

5) Spectral Clustering with Two Views (Min-Dis) [15]：该方法首次提出将单视图聚类扩展到双视图，利用两个视图的亲和矩阵(affinity matrices)，构建联合优化目标函数，最小化两个视图的图谱嵌入空间之间的差异，强制两个视图的聚类结果保持一致。

6) Auto-weighted multiple graph learning (AMGL) [16]：该方法引入自适应权重变量，根据各个视图的贡献性自动调整权重。

7) Multiple Partitions Aligned Clustering (mPAC) [17]：该方法提出每个视图学习独立的自表达系数矩阵，保留视图特有的聚类结构并引入统一的一致划分矩阵，保证各视图的一致性与差异性。

4.1.3. 参数的设置

在不同的数据库当中，所比较的方法的不同参数所得实验的评价指标的结果会有一定的影响，在原文章参数所得的评价效果不好时，评价指标的结果过低的情况下，进行了相应的参数调整。我们的方法保留了原文章PFSC的参数$\alpha ,\beta$ 选取区间{0.0001,0.01,1,100,10000}，并在原文章的参数基础上，增加了参数$\lambda$ ，该参数的选取区间为{10,20,50,100,1000,10000}。

4.1.4. 评价指标

为了评估我们实验的有效性，我们选取了F值(F-score)、查准率(Precision)、查全率(Recall)、归一化互信息(Normalized Mutual Information, NMI)、和调整兰德系数(Adjusted Rand Index, ARI)这5个评价指标。对于这5个指标的数值越高，那么实验方法的聚类效果则越好。

4.2. 实验结果

在本节中，我们将利用表格展示算法性能比较结果，表3~6呈现了7种对比方法、原始PFSC方法以及我们提出的改进方法FPFSC在4个标准数据集上F-score、Precision、Recall、NMI和AR这5个聚类性能指标结果。为确保结果的可靠性，我们进行了10次独立重复实验，表中每个指标单元格包含两个数值：主数值表示该指标10次实验的平均值，括号内数值则对应10次实验的方差，从而反映算法的稳定性。同时，表7中比较了原始方法PFSC与我们方法FPFSC在4个数据集上的运行时间。为了便于快速识别最优结果，我们在所有表格中对各指标下表现最佳的算法结果进行了加粗突出显示。

Table 3. The experimental results on the 3Sources database

表3. 在3Sources数据库上的实验结果

方法	F-score	Precision	Recall	NMI	AR
co-reg	0.4731 (0.0295)	0.5083 (0.0456)	0.4455 (0.0165)	0.4919 (0.0214)	0.3258 (0.0446)
FLMSC	0.7701 (0.0569)	0.8105 (0.0365)	0.7352 (0.0779)	0.7109 (0.0469)	0.7056 (0.0703)
MVSC	0.5038 (0.0101)	0.5839 (0.0052)	0.4433 (0.0172)	0.4330 (0.0036)	0.3255 (0.0177)
SPCbest	0.5048 (0.0317)	0.5327 (0.0288)	0.4811 (0.0435)	0.4745 (0.0233)	0.3650 (0.0376)
Min-Dis	0.5057 (0.0347)	0.5362 (0.0431)	0.4807 (0.0421)	0.5259 (0.0220)	0.3666 (0.0440)
AMGL	0.4269 (0.0269)	0.4269 (0.0398)	0.4269 (0.1261)	0.2682 (0.2682)	0.1285 (0.0560)
m-PAC	0.5219 (0.0000)	0.5713 (0.0000)	0.6130 (0.0000)	0.5116 (0.0000)	0.4053 (0.0000)
PFSC	0.5548 (0.0580)	0.8689 (0.0349)	0.4407 (0.0570)	0.5395 (0.0739)	0.3690 (0.0885)
FPFSC	0.5741 (0.0567)	0.6008 (0.0605)	0.5542 (0.0695)	0.5243 (0.0556)	0.4375 (0.0794)

Table 4. The experimental results on the Caltech7 database

表4. 在Caltech7数据库上的实验结果

方法	F-score	Precision	Recall	NMI	AR
co-reg	0.4784 (0.0277)	0.7544 (0.0131)	0.3507 (0.0274)	0.4116 (0.0167)	0.3101 (0.027)
FLMSC	0.4230 (0.0027)	0.7322 (0.0072)	0.2974 (0.0015)	0.4032 (0.0015)	0.2577 (0.0041)
MVSC	0.4773 (0.0237)	0.6958 (0.0194)	0.3649 (0.0343)	0.3821 (0.0012)	0.2892 (0.0124)
SPCbest	0.4413 (0.0241)	0.7824 (0.0318)	0.3074 (0.019)	0.4680 (0.0232)	0.2863 (0.0276)
Min-Dis	0.5233 (0.0228)	0.8203 (0.0293)	0.3843 (0.0192)	0.5165 (0.0175)	0.3680 (0.028)
AMGL	0.6631 (0.0479)	0.6777 (0.0472)	0.6621 (0.1161)	0.5744 (0.0387)	0.4594 (0.0576)
m-PAC	0.6763 (0.0000)	0.6306 (0.0000)	0.7292 (0.0000)	0.5741 (0.0000)	0.4963 (0.0000)
PFSC	0.7451 (0.0064)	0.7693 (0.0235)	0.7230 (0.0128)	0.4317 (0.0109)	0.5770 (0.0081)
FPFSC	0.7570 (0.0228)	0.7457 (0.0500)	0.7710 (0.0099)	0.5288 (0.0064)	0.6096 (0.0261)

Table 5. The experimental results on the PIE database

表5. 在PIE数据库上的实验结果

方法	F-score	Precision	Recall	NMI	AR
co-reg	0.4435 (0.0482)	0.4374 (0.0507)	0.4498 (0.0454)	0.3879 (0.0611)	0.3034 (0.0624)
FLMSC	0.3500 (0.0011)	0.3399 (0.0012)	0.3606 (0.0018)	0.2571 (0.0029)	0.1835 (0.0014)
MVSC	0.5171 (0.0100)	0.4532 (0.0052)	0.6019 (0.0181)	0.4952 (0.0033)	0.3762 (0.0115)
SPCbest	0.4669 (0.0285)	0.4622 (0.0290)	0.4717 (0.0283)	0.4261 (0.0354)	0.3336 (0.0359)
Min-Dis	0.2858 (0.0044)	0.2800 (0.0026)	0.2921 (0.0090)	0.1758 (0.0146)	0.1049 (0.0035)
AMGL	0.5441 (0.0470)	0.4926 (0.0531)	0.6086 (0.0382)	0.5430 (0.0437)	0.4159 (0.0630)
m-PAC	0.4397 (0.0000)	0.4838 (0.0000)	0.4030 (0.0000)	0.4281 (0.0000)	0.2853 (0.0000)
PFSC	0.4118 (0.0119)	0.4788 (0.0457)	0.3634 (0.0107)	0.3798 (0.0133)	0.2414 (0.0039)
FPFSC	0.8078 (0.0203)	0.8515 (0.0081)	0.7697 (0.0396)	0.8414 (0.0091)	0.7571 (0.0281)

Table 6. The experimental results on the n-MNIST database

表6. 在n-MNIST数据库上的实验结果

方法	F-score	Precision	Recall	NMI	AR
co-reg	0.5427 (0.0280)	0.5327 (0.0270)	0.5532 (0.0296)	0.4812 (0.0176)	0.4269 (0.0349)
FLMSC	0.4048 (0.0399)	0.2622 (0.0318)	0.9045 (0.0664)	0.2938 (0.1378)	0.1396 (0.0698)
MVSC	0.6528 (0.0034)	0.5819 (0.0033)	0.7433 (0.0036)	0.5864 (0.0045)	0.5534 (0.0044)
SPCbest	0.5278 (0.0133)	0.5165 (0.0137)	0.5396 (0.0132)	0.4818 (0.0173)	0.4077 (0.0169)
Min-Dis	0.4463 (0.0077)	0.4375 (0.0054)	0.4554 (0.0105)	0.3897 (0.0090)	0.3058 (0.0087)
AMGL	0.6098 (0.0385)	0.5657 (0.0543)	0.6645 (0.0224)	0.6063 (0.0390)	0.5025 (0.0559)
m-PAC	0.5754 (0.0000)	0.5988 (0.0000)	0.5538 (0.0000)	0.5588 (0.0000)	0.4652 (0.0000)
PFSC	0.5520 (0.0375)	0.5816 (0.0433)	0.5252 (0.0326)	0.5161 (0.0337)	0.4341 (0.0464)
FPFSC	0.6759 (0.0321)	0.6959 (0.0008)	0.6591 (0.0541)	0.6593 (0.0331)	0.5923 (0.0462)

Table 7. Runtime of PFSC and FPFSC methods on four databases (Unit: Seconds)

表7. PFSC和FPFSC不同方法在4个数据库中的运行时间(单位：秒)

数据库	3Sources	Caltech7	PIE	n-MNIST
PFSC	130.6382	23640.8534	276.1955	625.6171
FPFSC	23.8207	943.8113	42.6766	30.7856

4.3. 实验结果分析

实验结果表明，我们提出的方法在不同数据集上展现出差异化的性能表现。如图表2所示，在3Sources数据集上的实验，我们的方法在F-score、Recall和AR这三个评价指标上略低于FLMSC方法，且在Precision和NMI这两个评价指标上未达到预期效果，然而值得注意的是，在计算效率方面，我们方法相比改进的原始方法PFSC显著减少了运算时间(节省了约81.77%)。从表3和表5的实验结果可以看出，在Caltech7数据库和手写体n-MNIST数据库上，我们的方法展现出了卓越的性能，所有评价指标均优于原方法。根据表4，在PIE数据库的实验当中，与比较的方法相比，我们方法在所有评价指标上都取得了最优结果，充分证明了我们方法的有效性。效率对比方面，表6汇总了我们方法FPFSC与原方法PFSC在4个数据库上的运行时间，结果显示本方法相比原始方法平均减少了89.35%的计算时间，显著提升了运算效率。

在理想情况下，自表达系数矩阵应呈现块对角结构。因此我们重点考察自表达系数矩阵的块对角结构特性。图1和图2展示了在PIE和n-MNIST两个数据库上我们方法FPFSC所得到的自表达系数矩阵在3个不同视图下的分块情况。可视化结果显示：视图1和视图3均呈现出了清晰的块对角结构(图1(a)、图1(c)和图2(a)、图2(c))，而视图2的分块特征不明显(图1(b)和图2(b))。两个数据库的视图2均采用了LBP特征，相较于Gray和Gabor特征，其块对角结构不明显的主要原因在于：首先，LBP特征对光照变化和形变具有高度的敏感性，导致微观纹理的类内一致性较差；其次，该特征缺乏一定的全局结构约束；最后，LBP特征的高维稀疏特性与线性自表达模型的基本假设可能存在冲突，这三个因素共同影响了自表达系数矩阵的块对角结构形成，从而造成了视图之间信息互补性减弱，导致最终融合结果评价指标(如：归一化互信息(NMI)和调整兰德指数(ARI))降低。虽然视图2的分块特征不是很明显，但其聚类性能仍保持良好。这一现象印证了我们方法在不同数据集上都能保持稳定的聚类效果，同时也说明了块对角结构的完整程度与最终聚类性能存在正相关关系。

(a) The 1st view (b) The 2nd view (c) The 3rd view

Figure 1. Affinity matrix $K$ block diagram on the PIE database

图1. 自表达系数矩阵$K$ 在PIE数据库上的分块图

(a) The 1st view (b) The 2nd view (c) The 3rd view

Figure 2. Affinity matrix $K$ block diagram on the n-MNIST database

图2. 自表达系数矩阵$K$ 在n-MNIST数据库上的分块图

5. 结论

本文我们提出了一种创新的多视图子空间聚类方法，基于PFSC这篇文章，我们进行了三个关键性改进：首先，在保留原有加权机制优势的同时，对加权机制进行改进，有效避免了参数取值极端化的问题；其次，通过引入亲和矩阵有效解除了自表达系数矩阵非负的约束限制，显著提升了模型的表示能力[4]；最后，创新性地利用增加中间变量优化策略，将子问题更新的计算复杂度降低，大幅提高了运算效率。通过在4个基准数据集上进行系统性的实验验证，实验结果充分证明了我们方法在算法性能和计算效率两个维度的显著优势。