张量回归模型及其应用研究综述

A Brief Survey on Tensor Regression Model and Its Application

摘要: 21世纪以来，张量引起了数据科学和统计学领域的极大兴趣，张量技术被广泛应用于数据挖掘、机器学习和统计学等领域，其中，张量回归模型是一类很重要的工具。本文研究了近十年张量回归模型理论及应用的发展和现状，对张量回归模型进行了简单梳理，主要介绍了张量线性回归模型的理论和应用。为了方便读者理解，本文还介绍了张量、张量分解等基本概念。

Abstract: Since the 21st century, tensor has aroused great interest in the field of data science and statistics. Tensor technology has been widely used in data mining, machine learning and statistics, among which tensor regression model is a very important tool. This paper studies the development and current situation of the theory and application of tensor regression model in the past ten years. It simply sorts out the tensor regression model, and mainly introduces the theory and application of tensor linear regression model. In order to facilitate readers to understand, this paper also introduces the basic concepts of tensor and tensor decomposition.

1. 引言

近十年来，张量回归模型(Tensor Regression Model, TRM)的理论及应用研究获得很大的进展，已成为张量数据分析的重要工具，在神经图像分析、信号处理、时空数据分析、机器学习等领域得到广泛应用。张量，又称为多维数组，是向量和矩阵在高维空间中的自然推广。标量可以看作零阶张量，向量是一阶张量，矩阵是二阶张量，三阶及三阶以上张量统称为高阶张量。在实际应用中，很多数据都是张量结构。例如，灰度图像是矩阵数据(二阶张量)，彩色图像是三阶张量，面板数据也可以看作三阶张量(个体，特征，时间)。

张量的概念最早由Hitchcock于1927年提出 [1]，随后被应用于微分几何、物理、化学计量、信号处理、数据科学等领域。进入二十一世纪后，张量数据的处理和分析引起数据科学家和统计学家们的极大兴趣，发展出了一系列的张量数据分析方法，并应用于实际问题的分析处理。其中，关于张量在机器学习和统计学中的发展与应用可以参考Ji等 [2] 及Bi等 [3]。

回归分析是统计学中一类非常重要且实用的分析方法，一直被应用统计、经济金融、生物医药、数据科学等领域广泛使用。将张量数据纳入回归分析的框架，既扩展了张量数据分析的方法和手段，也进一步丰富了回归分析的理论成果。近年来，学者们先后提出了各种张量回归模型，既有线性回归模型，也有非线性回归模型；既有因变量为标量的张量回归模型，也有因变量为张量的多重张量回归模型；既有基于似然估计的回归方法，也有基于贝叶斯估计的回归方法。尽管张量回归模型的理论和应用得到极大丰富与发展，但仍存在一些难题需要去解决，去满足更多的应用场景。

2. 张量和张量分解

为了方便读者理解，在本节中，我们介绍一些矩阵和张量的基本运算及相关记号。

设矩阵 $X=\left[x_1,x_2,\cdots ,x_n\right]\in R^{m\times n},Y=\left[y_1,y_2,\cdots ,y_q\right]\in R^{p\times q}$，则 $X\otimes Y=\left(\begin{array}{cccc}{x}_{11}Y& x_{12}Y& \cdots & x_{1n}Y\\ x_{21}Y& x_{22}Y& \cdots & x_{2n}Y\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}Y& x_{m2}Y& \cdots & x_{mn}Y\end{array}\right)\in R^{mp\times nq}$ 称为X和Y的Kronecker积；若X和Y的列数相同，即 $n=q$，称 $X\odot Y=\left[x_1\otimes y_1,x_2\otimes y_2,\cdots ,x_n\otimes y_n\right]$ 是X和Y的Khatri-Rao积。设D阶张量 $X\in R^{I_1\times I_2\times \cdots \times I_D}$，由元素 $x_{i_1{i}_2\cdots i_d}\left(i_1=1,\cdots ,I_1;i_2=1,\cdots ,I_2;\cdots ;i_d=1,\cdots ,I_D\right)$ 组成，则 $vec\left(X\right)$ 表示将X向量化，即将 $x_{i_1{i}_2\cdots i_d}$ 转换为 $vec\left(X\right)$ 的第j个元素，其中 $j=1+{\displaystyle {\sum }_{d=1}^D\left(i_d-1\right){\displaystyle {\prod }_{d^{\prime }=1}^{d-1}{I}_{d^{\prime }}}}$ ； $X_{\left(d\right)}$ 表示将X沿模-d矩阵化，即将 $x_{i_1{i}_2\cdots i_d}$ 转换为 $X_{\left(d\right)}$ 的第j个元素，其中 $j=1+{\displaystyle {\sum }_{d^{\prime }\ne d}\left(i_{d^{\prime }}-1\right)}{\displaystyle {\prod }_{d^{″}<d^{\prime },d^{″}\ne d}{I}_{d^{″}}}$。

秩1张量是很重要的一类张量。若一个D阶张量 $X$ 可以表示成D个向量的外积的形式，即 $X=a_1\circ a_2\circ \cdots \circ a_D$，则称 $X$ 是秩1张量。

张量的乘法运算较为复杂，设张量 $X\in R^{I_1\times I_2\times \cdots \times I_D}$，矩阵 $U\in R^{J\times I_d}$，则张量 $X$ 沿模-d与U的乘积用 $X{\times }_{d}U$ 表示，它是一个 $I_1\times I_2\times \cdots \times I_{d-1}\times J\times I_{d+1}\times \cdots \times I_D$ 的张量，其元素为

${\left(X{\times }_{d}U\right)}_{i_1{i}_2\cdots i_{d-1}j{i}_{d+1}\cdots i_D}={\displaystyle {\sum }_{i_d=1}^{I_d}{x}_{i_1{i}_2\cdots i_D}{u}_{j{i}_d}}$.

对于张量 $A\in R^{I_1\times \cdots \times I_K\times P_1\times \cdots \times P_L}$ 和 $B\in R^{P_1\times \cdots \times P_L\times Q_1\times \cdots \times Q_M}$，定义 ${\langle A,B\rangle }_L\in R^{I_1\times \cdots \times I_K\times Q_1\times \cdots \times Q_M}$ 为A和B的压缩张量积，其元素为

${\left({\langle A,B\rangle }_L\right)}_{i_1\cdots i_K{q}_1\cdots q_M}={\displaystyle {\sum }_{p_1=1}^{P_1}\cdots }{\displaystyle {\sum }_{p_L=1}^{P_L}{\left(A\right)}_{i_1\cdots i_K{p}_1\cdots p_L}{\left(B\right)}_{p_1\cdots p_L{q}_1\cdots q_M}}$.

张量分解是处理高阶张量的重要工具，其核心思想是将高阶张量分解为比较容易处理的低阶张量。CP分解和Tucker分解是最常用的两种张量分解方法。CP分解(CANDECOMP/PARAFAC分解)是将张量分解成有限个秩1张量的线性组合的形式，即

$X={\displaystyle {\sum }_{r=1}^R{a}_1^r\circ a_2^r\circ \cdots \circ a_D^r}=〚A_1,A_2,\cdots ,A_D〛$,

其中 $A_d=\left[a_d^1,\cdots ,a_d^R\right]\in R^{I_d\times R},d=1,\cdots ,D$ ；R是CP分解的秩。CP分解本质上是矩阵的奇异值分解在高维空间中的扩展，而Tucker分解某种意义上来说也是矩阵奇异值分解的扩展，Tucker分解由称为高阶奇异值分解。相较于CP分解，由于核张量的存在，Tucker分解更为灵活。若D阶张量X可以表示为

$X={\displaystyle {\sum }_{r_1=1}^{R_1}{\displaystyle {\sum }_{r_2=1}^{R_2}\cdots }}{\displaystyle {\sum }_{r_D=1}^{R_D}{g}_{r_1{r}_2\cdots r_D}{a}_1^{r_1}\circ a_2^{r_2}\circ \cdots \circ a_D^{r_D}}$,

则称X满足Tucker分解，记为 $X=〚G,A_1,A_2,\cdots ,A_D〛$，其中 $G\in R^{R_1\times R_2\times \cdots \times R_D}$ 是一个D阶核张量，其元素为 ${\left(G\right)}_{r_1{r}_2\cdots r_D}=g_{r_1{r}_2\cdots r_D}$。

事实上，CP分解是Tucker分解的一种特殊情况。

当 $R_1=R_2=\cdots =R_D=R$ 且 $g_{r_1{r}_2\cdots r_d}=1\left(r_1=r_2=\cdots =r_D\right)$ 时，Tucker分解就是CP分解。无论是CP分解还是Tucker分解，其计算方法都已相对成熟，最经典的是使用交替最小二乘算法。一些常用的计算软件或统计软件，如MATLAB、Python和R，都有相关的包可供调用，非常方便。张量分解一直都是处理张量数据的有力工具，张量分解技术也被各领域广泛应用，包括机器学习、数据挖掘、信号处理、数据科学等。更多关于张量运算以及张量分解及其应用的信息，推荐读者参考Kolda和Bader的综述文章 [4]。

3. 张量回归模型理论研究现状

张量回归模型可分为两大类：线性回归模型和非线性回归模型。对于张量数据，传统的处理方法是将其向量化后应用多元线性回归模型进行分析。这种做法至少会导致两个问题：一是“维数的灾难”，即高维甚至是超高维问题；二是数据结构信息的损失。然而，通过张量分解，既能保持数据的张量结构，又能实现的有效的降维。

3.1. CP张量回归模型

Guo等 [5] 和Zhou等 [6] 分别将张量的CP分解与线性模型和广义线性模型相结合，构建了CP张量回归模型研究神经图像及其临床结果之间的关系。设响应变量 $y\in R$ 服从指数分布族，其概率密度为

$p\left(y;\theta ,\varphi \right)=\exp \left\{\frac{y\theta -b\left(\theta \right)}{a\left(\varphi \right)}+c\left(y,\varphi \right)\right\}$,

其中 $\theta$ 和 $\varphi$ 分别表示自然参数和散度参数。模型的系统部分为

$\begin{array}{l}g\left(\mu \right)=\eta =\langle B,X\rangle \\ =\langle {\displaystyle {\sum }_{r=1}^R{b}_1^r\circ b_2^r\circ \cdots \circ b_D^r},X\rangle \\ =\langle \left(B\_D\odot \cdots \odot B\_1\right)1\_R,vecX\rangle \end{array}$,

其中 $B_d=\left[b_d^{\left(1\right)},\cdots ,b_d^{\left(R\right)}\right]\in R^{I_d\times R}$。模型假设回归系数B是低秩张量，满足秩为R的CP分解 $B=〚B_1,B_2,\cdots ,B_D〛$。模型的未知参数为 $\theta ={\left({\left(vec{B}_1\right)}^{\text{T}},{\left(vec{B}_2\right)}^{\text{T}},\cdots ,{\left(vec{B}_D\right)}^{\text{T}}\right)}^{\text{T}}$，而且模型将待估参数的个数由 ${\displaystyle {\prod }_d{I}_d}$ 减少到 $R{\displaystyle {\sum }_d{I}_d}$，维度很大程度地降低了。

尽管 $g\left(\mu \right)$ 不是联合线性于 $\left(B_1,\cdots ,B_D\right)$ 整体，但是 $g\left(\mu \right)$ 和单个 $B_d$ 是线性相关的。因此，通过分块松弛算法，交替更新 $B_d,d=1,\cdots ,D$ 可以得到 $\theta$ 的极大似然估计。此外，为了消除CP分解中尺度变换和排列变换的不确定性，以及考虑到CP分解的唯一性，需要对参数空间作如下限制：

$B=\left\{\left(B_1,\cdots ,B_D\right):b_{d1}^{\left(r\right)}=1,d=1,\cdots ,D-1;r=1,\cdots ,R;且b_{D1}^{\left(1\right)}>\cdots >b_{D1}^{\left(R\right)}\right\}$

以及 ${\displaystyle {\sum }_{d=1}^D{k}_{B_d}}\ge 2R+\left(D-1\right)$，其中 $k_{D_d}$ 表示矩阵 $B_d$ 的秩。

对于Gauss模型，分块松弛算法可以简化为交替最小二乘算法，石美丽和夏志明研究了基于CP分解的张量线性回归模型中的参数估计和假设检验问题 [7]。他们先基于最小二乘法得到参数的点估计量，证明其相合性；其次建立了参数线性假设检验的拟似然比检验统计量，并证明其大样本性质。

3.2. Tucker张量回归模型

Li等在CP张量回归模型的基础上，使用更为灵活的Tucker分解代替CP分解，发展了广义线性模型框架下的Tucker张量回归模型 [8]。在Tucker张量回归模型中，假设系数张量B满足Tucker分解，即 $B=〚G,B_1,B_2,\cdots ,B_D〛$，则模型的系统部分为

$g\left(\mu \right)=\eta =\langle B,X\rangle =\langle {\displaystyle {\sum }_{r_1=1}^{R_1}{\displaystyle {\sum }_{r_2=1}^{R_2}\cdots }}{\displaystyle {\sum }_{r_D=1}^{R_D}{g}_{r_1{r}_2\cdots r_D}{b}_1^{r_1}\circ b_2^{r_2}\circ \cdots \circ b_D^{r_D}},X\rangle$.

模型允许系数张量B在不同的模上有不同数量的基向量，拥有更高的灵活性。此外，待估参数的个数由 ${\displaystyle {\prod }_d{R}_d}$ 减少到 ${\displaystyle {\sum }_d{I}_d{R}_d}+{\displaystyle {\prod }_d{R}_d}$，同样有效降低了参数的维度。

类似于CP张量回归，在Tucker张量回归模型中，亦可以使用分块松弛算法获得未知参数的极大似然估计。然而，Tucker张量回归和CP张量回归一样，模型的阶数选择都要依赖AIC、BIC等准则，不能实现自选择。鉴于此，Guhaniyogi等应用贝叶斯方法研究了Gauss模型下的Tucker张量回归 [9]。他们提出了一类新的关于张量系数的多边压缩先验分布，发展了贝叶斯张量回归理论，克服了Li等模型中的阶数不能自选择的困难。Billio等进一步发展了贝叶斯动态张量回归模型，他们基于CP分解开发了一种新的参数化方法，既能实现参数的简约化，又能考虑稀疏性 [10]。

3.3. 多重张量回归模型

在CP张量回归模型和Tucker张量回归模型中，都只考虑了自变量是张量而因变量是标量的情况，在此基础上，学者们发展了因变量是矩阵(张量)的回归模型，统称为多重张量回归模型。Zhao等发展了高阶偏最小二乘回归，可以视为广义多线性张量回归模型，它通过Tucker分解提取输入与输出的共同潜变量后进行回归，从而对输出进行预测 [11]。Miranda等基于贝叶斯方法应用多重张量回归模型进行神经图像分析 [12]。此外基于CP分解 [13] 和基于Tucker分解 [14] 的多重张量回归模型也被陆续提出。Hoff发展了一类特殊的双线性张量回归模型，用来处理自变量和因变量具有相同结构的预测问题，并使用Gibbs抽样方法来进行推断 [15]。Lock发展了更为一般的多重张量回归模型，利用收缩张量积实现了自变量和因变量均为任意阶张量的回归，上述张量回归模型都可以纳入此分析框架中来 [16]。

设自变量 $X\in R^{N\times P_1\times \cdots \times P_L}$，因变量 $Y\in R^\left(N\times Q_1\times \cdots \times Q_M\right)$，建立多重张量回归模型

$Y={\langle B,X\rangle }_L+E$

其中 $B\in R^{P_1\times \cdots \times P_L\times Q_1\times \cdots \times Q_M}$ 为系数张量， $E\in R^\left(N\times Q_1\times \cdots \times Q_M\right)$ 为误差张量， ${\langle B,X\rangle }_L$ 表示张量B和X的压缩张量积。参数B的前L个模用来压缩X的维度，而后M个模用来压缩Y的维度。设 $P={\displaystyle {\prod }_l{P}_l}$ 表示自变量X的总维数， $Q={\displaystyle {\prod }_m{Q}_m}$ 表示因变量Y的总维数，则当 $Q=0,P\ge 2$ 时，即为自变量为张量，因变量为标量的张量回归模型；当 $Q=P=1$ 时，即为自变量和因变量均为矩阵的双线性回归模型。

上述模型均是依赖于线性或多线性回归的参数张量模型，当然，学者们也研究了一些非线性的张量回归模型。一般情况下，可以采用两种建模策略来输入和输出之间的非线性依赖关系：基于核的方法和基于神经网络的方法。Zhao等将张量数据于Gauss过程相结合，发展了张量Gauss过程 [17]。Kossaifi等结合深度卷积神经网络发展了张量回归网络模型，受益于深层结构，该模型可以表示张量回归系数，从而具有更好的数据特征或潜在分量表示，有望进一步增强可预测性 [18]。

4. 张量回归模型应用研究现状

张量回归模型的提出应归功于现实应用的需要，正是由于大量张量数据的分析需求，促使了张量回归相关理论的快速发展。张量回归模型被广泛应用于神经图像分析、自然信号处理、时空数据分析和机器学习等领域。

神经图像分析是神经科学的一项重要工作，而神经图像都可以看成张量数据。例如，脑电图(EEG)是2阶张量；核磁共振图像(MRI)是3阶张量；功能性核磁共振图像(fMRI)是4阶张量。为了研究神经图像与临床结果之间的关系，理解人类大脑的内在工作机制，Hung和Wang首先应用矩阵Logistic模型进行了脑电图(EEG)的分类 [19]，其后Zhou等和Li等分别利用CP张量回归模型和Tucker张量回归模型针对小儿多动症(ADHD)探索了核磁共振图像和功能性核磁共振图像与临床结果之间的关系 [6] [8]。在此基础上，Hou发展了分层Tucker张量回归模型，在神经图像分析上也有不错的表现 [20] [21]。

张量回归模型在机器学习领域的应用主要包括模式识别和多任务学习。Guo等基于张量的CP分解技术采用不同的损失函数提出了高秩张量岭回归模型和高秩支持张量回归模型 [5]。利用公开数据库的真实数据，对头部姿态、人体年龄和三维身体姿态估计问题进行了实验，不仅验证了张量分解相对于向量化的优越性，而且验证了所提出的算法的有效性。Gao等研究了张量线性回归问题，并提出了一种新的张量低秩方法 [22]，该方法利用基于张量-奇异值分解(t-SVD)的张量核范数来强调嵌入在彩色图像中的空间结构并将其应用于彩色人脸分类。近年来，张量回归方法也被应用在多线性多任务学习问题(MLMTL)的问题 [23]。在多线性多任务学习问题中，任务由多个索引引用，指示所有任务之间的复杂相关性。然而，现有的基于凸松弛技术的多线性多任务方法在计算上是非常昂贵的，因为在交替方向方法中需要大矩阵的全奇异值分解操作，使得它在大规模应用中是不可行的。

张量回归模型以及其他基于张量技术的分析方法，正逐渐引起学者们的关注，也将被更多的领域所发展和应用，不仅仅是在自然科学领域，在社会科学领域也将会被重视起来。

5. 结论

本文研究了张量回归模型相关理论及其应用在近十年的发展与现状。其中，张量线性回归模型得到良好的发展及应用，但仍缺乏一个类似于经典线性模型的统一的分析框架。此外，实际应用中需要更为快速和便宜的估计方法和算法，以及更为灵活的应用场景。当然，张量回归模型的理论也需要进一步丰富和发展。将张量数据和张量技术与深度学习框架相结合，是目前研究的一个热点，也将在应用领域有所发展，但这也呼唤着其背后统计理论的进一步完善。