1. 引言
张量分解可以应用于多维数据的数据压缩、可视化、探索,这使得它在神经成像、人脸识别、核磁共振成像等领域有着重要的作用。而实际应用的过程中也会遇到一些困难,如大量的数据需要占据较大的内存空间,计算复杂度较高。为了解决这样的问题,学者们提出将稀疏性引入到张量分解的问题中。
在文献 [1] 中,作者给出了稀疏性可取的原因:第一,稀疏性进一步压缩了多维数据集使得减轻了存储压力;第二,因为许多特征并不活跃,稀疏性的引入为高维张量的特征选取提供了一种自动的工具;第三,在高维张量下,数据的可视化和解释较为困难,而稀疏性限制了特征的数量从而简化了数据分析结果的可视化和解释。
稀疏性不仅具有良好的理论性质,而且在文献 [1] [2] [3] [4] 中通过数值结果表明在稀疏情况下考虑的张量分解有很好的数值性能。
1.1. 张量的符号和运算
为了讨论张量分解以及进一步地去讨论带有稀疏性的张量分解,我们需要简单地了解张量的符号及相关运算,文献 [5] [6] 给出了这些内容。张量作为向量和矩阵在高维空间的推广,可以容纳较大的多维数据。若张量为一阶,我们可以将其看做为向量,二阶的张量则为矩阵。三阶及三阶以上的张量成为高阶张量,我们所讨论的张量常指高阶张量。
张量常用
表示,矩阵用大写字母
表示,向量用
表示。N阶张量可以记为
,
是它的第i个模数,
。它的元素表示为
,其中
。
张量可以表为若干个向量的外积,即
。此时,张量
为秩为1的张量。
张量的Frobenius范数定义为
。
1.2. 张量的CP分解
CP分解是张量最为常见的分解方法之一,它将张量表为一系列秩为1的张量的和。对N阶张量
,它的CP分解可以写为
其中
是张量的秩。张量的CP分解保证了张量分解的唯一性。
一般将张量分解的问题转化为优化问题,于是N阶张量的CP分解问题等价于优化问题:
(1)
令
则优化问题(1)又可以写成
(2)
其中
。
称为张量
的因子矩阵,也是我们在张量分解问题中要求得的解。
2. 具有稀疏性的张量分解问题
因目标张量数据过大,我们需要注意到在实际处理中遇到的问题。稀疏性的引入,可以帮我们解决如占据内存过大、不相关不活跃的数据过多而很难从中找出我们所需的特征等类似的问题。
为引入稀疏性,研究者们考虑在张量分解的优化问题中加入因子的正则范数。在已有的文献中,我们可以找到关于在优化问题中加入因子矩阵的L1范数的讨论。于是,稀疏的张量CP分解问题可以等价于
其中
,
。
为计算方便,我们常以三阶张量为例,更高阶的情况同三阶张量的求解思路及方法一致。
对三阶的张量
,加入因子的L1范数,它的稀疏分解问题为
其中
分别为
的矩阵。
在统计学和机器学习中,Lq范数(
)中的q的取值越小,求得的解的稀疏性越好。我们用Lq范数来代替L1范数,于是得到本文所提出的基于Lq范数的稀疏张量分解。它的优化问题为
等价地,也可以为
(3)
3. 使用乘子交替方向法求解目标优化问题
这一节中,我们首先对乘子交替方向法进行简单的描述,随后给出问题(3)在使用乘子交替方向法的求解思路及
时问题解的形式。
3.1. 乘子交替方向法
乘子交替方向法是一种求解优化问题的计算框架,它适用于求解大规模分布式优化问题。通过分解协调过程,将问题分解为多个局部小问题,求解出局部小问题的解从而得到原问题的解。
考虑优化问题
该问题的迭代求解算法为
增广拉格朗日函数为
,
是罚参数,
是拉格朗日乘子。
3.2. 求解目标问题
我们加入约束条件
,问题(3)变为
它的增广拉格朗日函数
它的迭代算法为
方法的思路是对
依次进行迭代,直至问题收敛。求得的矩阵
为张量的因子矩阵。
当
时,
的子优化问题具有显示解。于是,令,L的优化问题变为
根据文献 [7] 中的证明,推出相应的阈值算子为
其中
,x对应矩阵
的每一个元素。M和N的子问题的解可以参照L得出。
X的子优化问题
(4)
的求解涉及到了张量的计算,为降低计算困难,我们可以将张量展开成矩阵的形式。张量的展开是将张量沿某一个模的展开,张量展开成的矩阵包括张量中的每一个元素,且张量沿不同的模展开得到的矩阵也不一定相同。张量按它的第一个模展开所得的矩阵记为
,它是一个
的矩阵,我们在X的优化问题中选用张量沿第一个模展开的矩阵来计算。问题(4)转化为
(5)
表示矩阵的Khatri-Rao积,等式(5)的右边为最小二乘问题。对(5)求导,
整理后得第k + 1步矩阵X的解
的优化问题的求解过程类似,不同的是,
的求解所用的展开矩阵分别为沿张量的第二个模和第三个模展开的矩阵。
4. 总结
具有稀疏性的张量分解因其理论性质及在应用中良好的体现,逐渐得到学者们的关注。加入因子L1范数来引入稀疏性在一些文献中得到了验证,而Lq范数(
)的情况目前还未有学者提出。本文提出了基于Lq范数的稀疏张量分解问题,同时给出了使用乘子交替方向法求解张量分解问题的思路和过程
以及
时问题所具有的显式解的形式。在接下来的研究中,我们希望能够进行数据实验,和普通的张
量分解以及引入L1范数的稀疏张量分解的结果进行比较,证明基于Lq范数的分解问题的稀疏性以及它具有更好的稀疏性。