一类矩阵方程最小二乘问题及其在跨语言情感分类中的应用

The Least Squares Problem for a Kind of Matrix Equation and Its Applications in Cross-Lingual Sentiment Classification

摘要: 本文利用矩阵拉直算子、Moore-Penrose广义逆得到矩阵方程AXB = C极小范数最小二乘解的表达式，进一步得到矩阵方程AXB = C对称极小范数最小二乘解的表达式，最后讨论矩阵方程WX = Y在跨语言情感分类中的应用。

Abstract: This paper derives the expression of the linear least squares solution for the matrix equation AXB = C by using the matrix straightening operator and the Moore-Penrose generalized inverse, obtains the expression of the symmetric least squares solution for the matrix equation AXB = C with the least norm. Finally, the applications of the matrix equation WX = Y in cross-lingual sentiment classification are discussed.

1. 引言

随着电商平台的蓬勃发展，人们在使用电商平台的时候产生了大量的评论数据。这些评论数据包含了用户对该商品带有情感信息的评价，我们可以根据这些评论数据去评估这件商品的实际情况。这类评价数据对于研究文本情感分类有很大的帮助。

不同国家和地区的发展水平不平衡，导致了一些国家和地区的情感资源匮乏，从而产生了某些语言的情感资源缺少大量标注的问题。互联网用户所使用的语言是多样的，以及某些地区语言情感资源匮乏的原因，跨语言情感分类问题应运而生。跨语言情感分类顾名思义为利用源语言语料去训练分类器，利用训练好的分类器去对目标语言语料进行分类，从而实现利用源语言具有的丰富情感资源的特性帮助情感资源较少的目标语言做分类的目的。

近年来，跨语言情感分类技术和方法推陈出新，最小二乘法是很多算法的理论基础之一，并且最小二乘法还称为数理统计学之灵魂[1]。研究发现，源语言和目标语言之间的映射关系是解决跨语言情感分类问题的关键。Mikolov [2]和彭晓娅[3]通过线性变换，将英语和西班牙语的词向量对齐，形成一个跨语言的共享特征空间。并且源语言词向量和目标语言中对应的词向量可建立简单的线性对应关系：对源语言中任意给定的单词向量$x$ ，目标语言中对应的单词向量$y$ 存在一种简单线性关系$y=Wx$ 。它对应的最小二乘问题是求$W=W^{\ast }$ ，使得

$\min {\displaystyle \sum _{i=1}^n{\Vert W{x}_i-y_i\Vert }_2^2}={\displaystyle \sum _{i=1}^n{\Vert W^{\ast }{x}_i-y_i\Vert }_2^2},$ (1)

其中$x_i$ 指源语言的第$i$ 个词向量，$y_i$ 指目标语言中对应的第$i$ 个词向量。

实际上该最小二乘问题还可以化为如下矩阵形式的最小二乘问题：求$W=W^{*}$ ，使得

$\min {\Vert WX-Y\Vert }_F^2={\Vert W^{\ast }X-Y\Vert }_F^2,$ (2)

其中矩阵$X=\left[x_1,x_2,\cdots ,x_n\right]$ 是由$n$ 个源语言训练集词向量组成的矩阵，矩阵$Y=\left[{{\displaystyle y}}_1,{{\displaystyle y}}_2,\cdots ,{{\displaystyle y}}_n\right]$ 是由$n$ 个对应目标语言训练集词向量组成的矩阵，${{\displaystyle \Vert \cdot \Vert }}_F$ 是矩阵的Frobenius范数。待求矩阵$W$ 即是矩阵方程$WX=Y$ 的最小二乘解[4]。

Xing [5]发现Mikolov [6]的回归映射方法存在一些问题，他们提出了对词向量进行归一化处理来解决距离定义计算不一致问题。故Xing将$WX=Y$ 方程中的映射矩阵$W$ 定义为正交映射矩阵。并且Smith [7]在理论上证明正交约束的可行性。与此同时，不少学者研究跨语言情感分类模型并提出了分类模型方法。其中，Faruqui [8]利用典型相关分析(CCA)方法实现。Artetxe [9]训练正交变换用迭代的方法实现。Hauer [10]利用自助法(Bootstrapping)迭代实现，Conneau [11]利用生成对抗网络实现。

较之矩阵方程$WX=Y$ 更一般的方程是

$AXB=C$ (3)

其中$A\in R^{m\times n},B\in R^{n\times s},C\in R^{m\times s},X\in R^{n\times n}$ 。袁仕芳[12]利用矩阵的Kronecker积和Moore-Penrose广义逆研究矩阵方程$AXB+CYD=E$ 的对称极小范数最小二乘解。周立平[13]利用矩阵的奇异值分解，研究矩阵方程$AX=B$ 在加权范数下的对称最小二乘解。李永勤[14]利用矩阵对的商奇异值分解(QSVD)，研究矩阵方程$AXB=C$ 的对称最小二乘解。Peng Z. Y. [15]通过迭代法求矩阵方程$AXB=C$ 的对称最小二乘解。Peng Z. Y. [16]提出两种新的矩阵形式迭代方法来求矩阵方程$AXB+CYD=E$ 的对称最小二乘解。Deng Y. B. [17]利用矩阵的商奇异值分解研究矩阵方程$BX{A}^T=T$ 的对称最小二乘解。

本文在上述研究工作的基础上，利用矩阵拉直算子、Moore-Penrose广义逆得到矩阵方程$AXB=C$ 极小范数最小二乘解的表达式，进一步得到矩阵方程$AXB=C$ 对称极小范数最小二乘解的表达式，最后讨论矩阵方程$WX=Y$ 在跨语言情感分类中的应用。

为了方便起见，本文用${{\displaystyle R}}^{m\times n}$ 表示$m\times n$ 阶实矩阵的集合，${{\displaystyle SR}}^{n\times n}$ 表示全体$n$ 阶对称矩阵的集合，${{\displaystyle OR}}^{n\times n}$ 表示$n\times n$ 阶正交矩阵的集合，${{\displaystyle A}}^T$ 和${{\displaystyle A}}^{+}$ 表示$A$ 的转置和Moore-Penrose广义逆。在实矩阵$A=\left(a_{ij}\right)$ 中，$a_{ij}=a_{ji}$ ，称$A$ 为实对称矩阵。对$A,B\in R^{m\times n}$ ，定义$A$ 和$B$ 的内积为$\langle A,B\rangle =tr\left(B^{T}A\right)$ 。由此导出的矩阵$A$ 的Frobenius范数为$\Vert A\Vert =\sqrt{\langle A,A\rangle }$ 。

定义1.1. 设$A\in {{\displaystyle \left({{\displaystyle a}}_{ij}\right)}}_{m\times n}$ ，记$a_i=\left(a_{1i},a_{2i},a_{3i},\cdots ,a_{mi}\right)$ $\left(i=1,2,3,\cdots ,n\right)$ ，令

$vec\left(A\right)={\left(a_1,a_2,a_3,\cdots ,a_n\right)}^T.$ (4)

定义1.2. 设$A={\left(a_{ij}\right)}_{n\times n}$ ，记， $a_1=\left(a_{11},a_{21},a_{31},\cdots ,a_{n1}\right),a_2=\left(a_{22},a_{32},a_{42},\cdots ,a_{n2}\right),\cdots ,a_{n-1}=\left(a_{\left(n-1\right)\left(n-1\right)},a_{n\left(n-1\right)}\right),a_n=a_{nn}$ .

定义

$ve{c}_s\left(A\right)={\left(a_1,a_2,a_3,\cdots ,a_n\right)}^T\in R^{\frac{n\left(n+1\right)}{2}}.$ (5)

定义1.3. [18] 记$x={\left(x_1,x_2,\cdots ,x_k\right)}^T\in R^k$ 和$y={\left(y_1,y_2,\cdots ,y_k\right)}^T\in R^k$ 和$A=\left(A_1,A_2,\cdots ,A_k\right),$ $A_i\in R^{m\times n}$ ，定义

$\left(1\right)A\odot x=x_1{A}_1+x_2{A}_2+\cdots +x_k{A}_k\in R^{m\times n};$ (6)

$\left(2\right)A\odot \left(ax+by\right)=a\left(A\odot x\right)+b\left(A\odot y\right);$ (7)

$\left(3\right)假设M_1\in R^{m\times s},M_2\in R^{m\times t},M_3\in R^{n\times s},M_4\in R^{n\times t},x_1,x_2\in R,$ (8)

$\left[\begin{array}{cc}{M}_1& M_2\\ M_3& M_4\end{array}\right]\odot \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}\left(M_1,M_2\right)\odot \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ \left(M_3,M_4\right)\odot \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\end{array}\right];$ (9)

$\left[\begin{array}{cc}{M}_1& 0\\ 0& M_4\end{array}\right]\odot \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{M}_1{x}_1\\ M_4{x}_2\end{array}\right].$ (10)

本文主要研究如下两个问题：

问题I 给定矩阵$A\in R^{m\times n}$ ，$B\in R^{n\times s}$ ，$C\in R^{m\times s}$ ，记

$R_L=\left\{X|X\in R^{n\times n},{\Vert AXB-C\Vert }_F^2=\underset{X_0\in R^{n\times n}}{{\displaystyle \min }}{\Vert A{X}_{0}B-C\Vert }_F^2\right\},$ (11)

求$X_R\in R_L$ ，使得

$\Vert X_R\Vert =\underset{X_0\in R_L}{{\displaystyle \min }}\Vert X\Vert .$ (12)

问题II 给定矩阵$A\in R^{m\times n}$ ，$B\in R^{n\times s}$ ，$C\in R^{m\times s}$ ，记

$S_L=\left\{X|X\in S{R}^{n\times n},{\Vert AXB-C\Vert }_F^2=\underset{X_0\in S{R}^{n\times n}}{{\displaystyle \min }}{\Vert A{X}_{0}B-C\Vert }_F^2\right\},$ (13)

求$X_S\in S_L$ ，使得

$\Vert X_S\Vert =\underset{X_0\in S_L}{{\displaystyle \min }}\Vert X\Vert .$ (14)

本文在第二节介绍若干个引理，在第三节利用相关结果推导出问题I和问题II解的表达式。最后在第四节讨论矩阵方程$WX=Y$ 在跨语言情感分类中的应用。

2. 几个引理

引理2.1. [19] 设$A\in R^{m\times n}$ ，$b\in R^n$ ，则不相容线性方程组$Ax=b$ 的最小二乘解为

$x=A^{+}b+\left(I-A^{+}A\right)y,$ (15)

其中$y\in R^n$ 为任意的。

引理2.2. [18] (i) 对$X\in R^{n\times n}$ ，则

$X\in R^{n\times n}\iff X=K_n\odot vec\left(X\right)$ (16)

$K_n=\left[E_{11},E_{12},\cdots ,E_{1n},E_{21},E_{22},\cdots ,E_{2n},\cdots ,E_{n1},E_{n2},\cdots ,E_{nn}\right]，$ (17)

其中$K_n\in R^{n\times n^3}$ 。

(ii) 对$X\in R^{n\times n}$ ，则

$X\in S{R}^{n\times n}\iff X=K_s\odot ve{c}_s\left(X\right)$ (18)

$K_s=\left[E_{11},E_{21}+E_{12},\cdots ,E_{n1}+E_{1n},E_{22},E_{32}+E_{23},\cdots ,E_{n2}+E_{2n},\cdots ,E_{\left(n-1\right)\left(n-1\right)},E_{n\left(n-1\right)}+E_{\left(n-1\right)n},E_{nn}\right].$ (19)

其中$K_S\in R^{n\times n^2\left(n+1\right)/2}$ 。

引理2.3. [18] 给定实矩阵$A_1,A_2,A_3,\cdots ,A_l\in R^{m\times n}$ 和$B\in R^{m\times n}$ ，求$k={\left(k_1,k_2,k_3,\cdots ,k_l\right)}^T\in R^l$ ，使得

$k_1{A}_1+k_2{A}_2+k_3{A}_3+\cdots +k_l{A}_l=B.$ (20)

如果矩阵方程(20)是相容的，则满足矩阵方程的向量$k$ 的集合是以下相容方程的解集合，

$\left[\begin{array}{cccc}\langle A_1,A_1\rangle & \langle A_1,A_2\rangle & \cdots & \langle A_1,A_l\rangle \\ \langle A_2,A_1\rangle & \langle A_2,A_2\rangle & \cdots & \langle A_2,A_l\rangle \\ ⋮& ⋮& & ⋮\\ \langle A_l,A_1\rangle & \langle A_l,A_2\rangle & \cdots & \langle A_l,A_l\rangle \end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_l\end{array}\right]=\left[\begin{array}{c}\langle A_1,B_0\rangle \\ \langle A_2,B_0\rangle \\ ⋮\\ \langle A_l,B_0\rangle \end{array}\right].$ (21)

如果矩阵方程(20)不相容，则有矩阵$A_1,A_2,A_3,\cdots ,A_l\in R^{m\times n}$ 和$B\in R^{m\times n}$ ，求$k={\left(k_1,k_2,k_3,\cdots ,k_l\right)}^T\in R^l$ ，使得

$\Vert k_1{A}_1+k_2{A}_2+k_3{A}_3+\cdots +k_l{A}_l-B\Vert =\text{min},$ (22)

则该问题的解集为相容方程(21)的解集。

3. 主要结论

设矩阵$A=\left(A_1,A_2,\cdots ,A_n\right)\in R^{m\times n}$ ，其中$A_i\in R^m$ 是矩阵$A$ 的第$i$ 列向量，$B={\left(B_1^T,B_2^T,\cdots ,B_n^T\right)}^T\in R^{n\times s}$ ，其中$B_j\in R^s$ 是矩阵$B$ 的第$j$ 行向量，$C\in R^{m\times s}.$ 令$E_{ij}=\left(e_{st}\right)\in R^{n\times n}$ ，其中

$e_{st}=\{\begin{array}{ll}1,\hfill & \left(s,t\right)=\left(i,j\right),\hfill \\ 0,\hfill & 其它,\hfill \end{array}$

$i,j=i:n.$ 可得

$A{E}_{ij}B=A_i{B}_j.$

令

$T=\left[\begin{array}{cccccc}\langle T_{11},T_{11}\rangle & \langle T_{11},T_{12}\rangle & \cdots & \langle T_{11},T_{1n}\rangle & \cdots & \langle T_{11},T_{nn}\rangle \\ \langle T_{12},T_{11}\rangle & \langle T_{12},T_{12}\rangle & \cdots & \langle T_{12},T_{1n}\rangle & \cdots & \langle T_{12},T_{nn}\rangle \\ ⋮& ⋮& & ⋮& & ⋮\\ \langle T_{nn},T_{11}\rangle & \langle T_{nn},T_{12}\rangle & \cdots & \langle T_{nn},T_{1n}\rangle & \cdots & \langle T_{nn},T_{nn}\rangle \end{array}\right],e=\left[\begin{array}{c}\langle T_{11},C\rangle \\ \langle T_{12},C\rangle \\ ⋮\\ \langle T_{nn},C\rangle \end{array}\right],$ (23)

其中$T_{ij}=A_i{B}_j$ 。显然$T\in R^{n^2\times n^2}$ ，$e\in R^{n^2}$ 。

定理3.1. 令$K_n$ 如式(17)所示，$T,e$ 如式(23)所示，则问题I的解集合

$R_L=\left\{X|X=K_n\odot \left[T^{+}e+\left(I-T^{+}T\right)y\right],\forall y\in R^{n^2}\right\}.$ (24)

问题I存在唯一的极小范数最小二乘解

$X=K_n\odot \left(T^{+}e\right)$ (25)

证明 由引理2.2可得

$\begin{array}{c}{\Vert AXB-C\Vert }_F^2={\Vert A\left[K_n\odot vec\left(X\right)\right]B-C\Vert }_F^2\\ ={\Vert \left[\left(A{K}_n\right)\odot vec\left(X\right)\right]B-C\Vert }_F^2\\ ={\Vert \left(A{E}_{11}B,A{E}_{12}B,\cdots ,A{E}_{1n}B,\cdots ,A{E}_{n1}B,A{E}_{n2}B,\cdots ,A{E}_{nn}B\right)\odot vec\left(X\right)-C\Vert }_F^2\\ ={\Vert \left(T_{11},T_{12},\cdots ,T_{1n},T_{21},T_{22},\cdots ,T_{2n},\cdots ,T_{n1},T_{n2},\cdots ,T_{nn}\right)\odot vec\left(X\right)-C\Vert }_F^2.\end{array}$

由引理2.1和2.3可得

$vec\left(X\right)=T^{+}e+\left(I-T^{+}T\right)y.$

进一步可得式(25)。

由定理3.1和参考文献[18]，我们现在求问题II的解。令

$F=\left[\begin{array}{cccccccc}\langle F_{11},F_{11}\rangle & \cdots & \langle F_{11},F_{n1}\rangle & \langle F_{11},F_{22}\rangle & \cdots & \langle F_{11},F_{n2}\rangle & \cdots & \langle F_{11},F_{nn}\rangle \\ \langle F_{21},F_{11}\rangle & \cdots & \langle F_{21},F_{n1}\rangle & \langle F_{21},F_{22}\rangle & \cdots & \langle F_{21},F_{n2}\rangle & \cdots & \langle F_{21},F_{nn}\rangle \\ ⋮& & ⋮& ⋮& & ⋮& & ⋮\\ \langle F_{n1},F_{11}\rangle & \cdots & \langle F_{n1},F_{n1}\rangle & \langle F_{n1},F_{22}\rangle & \cdots & \langle F_{n1},F_{n2}\rangle & \cdots & \langle F_{n1},F_{nn}\rangle \\ ⋮& & ⋮& ⋮& & ⋮& & ⋮\\ \langle F_{n\left(n-1\right)},F_{11}\rangle & \cdots & \langle F_{n\left(n-1\right)},F_{n1}\rangle & \langle F_{n\left(n-1\right)},F_{22}\rangle & \cdots & \langle F_{n\left(n-1\right)},F_{n2}\rangle & \cdots & \langle F_{n\left(n-1\right)},F_{nn}\rangle \\ \langle F_{nn},F_{11}\rangle & \cdots & \langle F_{nn},F_{n1}\rangle & \langle F_{nn},F_{22}\rangle & \cdots & \langle F_{nn},F_{n2}\rangle & \cdots & \langle F_{nn},F_{nn}\rangle \end{array}\right],$ (26)

$f={\left[\langle F_{11},C\rangle ,\langle F_{21},C\rangle ,\cdots ,\langle F_{n1},C\rangle ,\cdots ,\langle F_{n\left(n-1\right)},C\rangle ,\langle F_{nn},C\rangle \right]}^T$ (27)

其中

$F_{ij}=\{\begin{array}{ll}{A}_i{B}_j,\hfill & i=j,\hfill \\ A_i{B}_j+A_j{B}_i,\hfill & i>j.\hfill \end{array}$

显然$F\in R^{\frac{n\left(n+1\right)}{2}\times \frac{n\left(n+1\right)}{2}}$ ，$f\in R^{\frac{n\left(n+1\right)}{2}}$ 。

定理3.2. 令$K_s$ 如式(19)所示，$F,f$ 如式(26) (27)所示，则问题II的解集合

$S_L=\left\{X|X=K_s\odot \left[F^{+}f+\left(I-F^{+}F\right)y\right],\forall y\in R^{\frac{n\left(n+1\right)}{2}}\right\}.$ (28)

问题II存在唯一的极小范数最小二乘解

$X=K_s\odot \left(F^{+}f\right).$ (29)

考虑到矩阵方程$WX=Y$ 是矩阵方程$AXB=C$ 的特殊形式，我们分别利用定理3.1和定理3.2得到它的极小范数最小二乘解和对称极小范数最小二乘解的相关结论。设矩阵$X=\left(X_1,X_2,\cdots ,X_n\right)\in R^{n\times s}$ ，其中$X_i\in R^n$ 是矩阵$X$ 的第$i$ 列向量，$Y={\left(Y_1^T,Y_2^T,\cdots ,Y_n^T\right)}^T\in R^{n\times s}$ ，其中$Y_j\in R^s$ 是矩阵$Y$ 的第$j$ 行向量。令

$H=\left[\begin{array}{cccccc}\langle H_{11},H_{11}\rangle & \langle H_{11},H_{12}\rangle & \cdots & \langle H_{11},H_{1n}\rangle & \cdots & \langle H_{11},H_{nn}\rangle \\ \langle H_{12},H_{11}\rangle & \langle H_{12},H_{12}\rangle & \cdots & \langle H_{12},H_{1n}\rangle & \cdots & \langle H_{12},H_{nn}\rangle \\ ⋮& ⋮& & ⋮& & ⋮\\ \langle H_{nn},H_{11}\rangle & \langle H_{nn},H_{12}\rangle & \cdots & \langle H_{nn},H_{1n}\rangle & \cdots & \langle H_{nn},H_{nn}\rangle \end{array}\right],g=\left[\begin{array}{c}\langle H_{11},Y\rangle \\ \langle H_{12},Y\rangle \\ ⋮\\ \langle H_{nn},Y\rangle \end{array}\right],$ (30)

其中$H_{ij}=E_{ij}X.$ 显然$H\in R^{n^2\times n^2}$ ，$g\in R^{n^2}$ 。

推论3.1. $K_n$ 如式(17)所示，$H,g$ 如式(30)所示，则矩阵方程$WX=Y$ 最小二乘问题

$\underset{W\in R^{n\times n}}{{\displaystyle \min }}\Vert WX-Y\Vert$ (31)

解集合$R_E$ 表示为

$R_E=\left\{W|W=K_n\odot \left[H^{+}g+\left(I-H^{+}H\right)y\right],\forall y\in R^{n^2}\right\},$ (32)

它的极小范数最小二乘解

$W=K_n\odot \left(H^{+}g\right).$ (33)

下面求矩阵方程$WX=Y$ 的对称极小范数最小二乘解，令

$M=\left[\begin{array}{cccccccc}\langle M_{11},M_{11}\rangle & \cdots & \langle M_{11},M_{n1}\rangle & \langle M_{11},M_{22}\rangle & \cdots & \langle M_{11},M_{n2}\rangle & \cdots & \langle M_{11},M_{nn}\rangle \\ \langle M_{21},M_{11}\rangle & \cdots & \langle M_{21},M_{n1}\rangle & \langle M_{21},M_{22}\rangle & \cdots & \langle M_{21},M_{n2}\rangle & \cdots & \langle M_{21},M_{nn}\rangle \\ ⋮& & ⋮& ⋮& & ⋮& & ⋮\\ \langle M_{n1},M_{11}\rangle & \cdots & \langle M_{n1},M_{n1}\rangle & \langle M_{n1},M_{22}\rangle & \cdots & \langle M_{n1},M_{n2}\rangle & \cdots & \langle M_{n1},M_{nn}\rangle \\ ⋮& & ⋮& ⋮& & ⋮& & ⋮\\ \langle M_{n\left(n-1\right)},M_{11}\rangle & \cdots & \langle M_{n\left(n-1\right)},M_{n1}\rangle & \langle M_{n\left(n-1\right)},M_{22}\rangle & \cdots & \langle M_{n\left(n-1\right)},M_{n2}\rangle & \cdots & \langle M_{n\left(n-1\right)},M_{nn}\rangle \\ \langle M_{nn},M_{11}\rangle & \cdots & \langle M_{nn},M_{n1}\rangle & \langle M_{nn},M_{22}\rangle & \cdots & \langle M_{nn},M_{n2}\rangle & \cdots & \langle M_{nn},M_{nn}\rangle \end{array}\right],$ (34)

$h={\left[\langle M_{11},Y\rangle ,\langle M_{21},Y\rangle ,\cdots ,\langle M_{n1},Y\rangle ,\cdots ,\langle M_{n\left(n-1\right)},Y\rangle ,\langle M_{nn},Y\rangle \right]}^T$ (35)

其中

$M_{ij}=\{\begin{array}{ll}{E}_{ij}X,\hfill & i=j,\hfill \\ \left(E_{ij}+E_{ji}\right)X,\hfill & i>j.\hfill \end{array}$

显然$M\in R^{\frac{n\left(n+1\right)}{2}\times \frac{n\left(n+1\right)}{2}}$ ，$h\in R^{\frac{n\left(n+1\right)}{2}}$ 。

推论3.2. $K_s$ 如式(19)所示，$M,h$ 如式(34)和(35)所示，则矩阵方程$WX=Y$ 最小二乘问题

$\underset{W\in S{R}^{n\times n}}{{\displaystyle \min }}\Vert WX-Y\Vert$ (36)

解集合$S_E$ 表示为

$S_E=\left\{W|K_s\odot \left[M^{+}h+\left(I-M^{+}M\right)y\right],\forall y\in R^{\frac{n\left(n+1\right)}{2}}\right\},$ (37)

它的极小范数最小二乘解

$W=K_s\odot \left(M^{+}h\right).$ (38)

4. 应用

4.1. 实验设置

本文以英文为源语言，以中文为目标语言。操作系统是Windows11 64位，处理器是Inter Core i7-13620H，内存为16 GB。采用的编程语言为Python，编辑器为PyCharm。

4.2. 数据集

本文使用来自NLP&CC2013提供的跨语言情感分类评测任务数据集，该数据集取自亚马逊电商平台的中英文书籍、DVD以及音乐商品评论数据。该数据集每一类别中含有2000条正面评价和2000条负面评价，在实验中按照一定比例随机抽取文本数据作为训练集和测试集。数据量如下表1所示：

Table 1. Comment on the text dataset

表1. 评论文本数据集

数据集		未标注数据集(篇)	标注数据集(篇)
英语	BOOK	——	4000
	DVD	——	4000
	MUSIC	——	4000
中文	BOOK	47071	4000
	DVD	17814	4000
	MUSIC	29677	4000

4.3. 实验过程

我们下面描述矩阵方程$WX=Y$ 的最小二乘解在跨语言情感分类中的应用。

算例I 极小范数最小二乘解在跨语言情感分类中的应用

第一步，数据预处理

提取文本数据，进行文本预处理操作，对所有文本做去特殊符号，去数字等预处理。对英文文本做大写字母转小写字母，nltk分词，对中文文本做jieba分词。利用Google Translate将提取的文本评论翻译成一一对应的中英文对应文本评论。

第二步，获取中文和英文评论文本的词向量

选取fastText提供的开源预训练词向量，预训练词向量在Wikipedia数据集上使用fastText训练得到的，词向量维度为300，使用默认参数的skip-gram模型获得。加载预训练词向量之后，将文本转化为词向量，运用TF-IDF算法计算文档词向量。忽略未出现在预训练词向量列表中的词，对相应的词向量计算加权词向量。

第三步，特征提取

在实验中仅使用文本嵌入特征，为训练映射矩阵，引入MUSE提供的中英双语词典。利用该中英双语词典以及一一对应的中英文文本数据，根据双语词典，找到数据集样本中对应的中英文词，将训练集中的中文文本数据与英文文本数据平行样本进行对齐，将对应的文本转化为加权词向量，将对齐的中文和英文加权词向量分别组合为训练集词向量矩阵。

第四步，求映射矩阵

使用最小二乘法训练线性映射矩阵，使用十折交叉验证方法，将数据集分成十份，前九份作为训练集，最后一份作为测试集。分别选取3000条中文和英文文本数据作为训练集和测试集样本数据，为验证不同的词向量维度对实验的影响，在实验中对词向量进行pca降维，将词向量维度降维至100维和150维。

经过第一步至第三步的步骤之后，得英文训练集组成的词向量矩阵$X$ ，得中文训练集组成的词向量矩阵$Y$ ，设映射矩阵为$W$ ，$X\in R^{n\times s}$ ，$Y\in R^{n\times s}$ ，求$W=W^{*}\in R^{n\times n}$ 使得

$\min {\Vert WX-Y\Vert }_F^2={\Vert W^{\ast }X-Y\Vert }_F^2.$

第五步，分类

对分类器进行训练，采用的分类器为逻辑回归(LR)，支持向量机(SVM)，朴素贝叶斯(NB)。对源语言中某个任意的单词的向量$x$ ，目标语言中对应单词的向量$y$ 存在一种简单线性关系：$y=Wx$ ，故可以通过映射矩阵变换到共享空间中。得到共享空间表示后，应用第五步训练出来的分类器，对目标语言数据进行分类。

算例II 对称极小范数最小二乘解在跨语言情感分类中的应用

第一步及第二步同算例I

第三步，提取特征

仅使用文本嵌入特征，对文本计算TF-IDF值得到加权文档词向量。为训练映射矩阵，使用kmeans聚类算法，通过计算样本特征间的距离，将样本划分到k个聚类(簇)中，kmeans聚类算法原理如下，

$\arg {\min }_s{\displaystyle \sum _{i=1}^k{\displaystyle \sum _{x\in S_i}\left|\left|x-{\mu }_i\right|\right|}},$ (39)

其中$S_i$ 表示被划分到簇$i$ 中的样本集合，${\mu }_i$ 表示簇$i$ 的簇，$x$ 表示样本。

在该实验中同样采用十折交叉验证的方法，并且为验证词向量维度对实验结果的影响大小，对原始词向量维度pca降维至50维和100维。在实验中，由kmeans聚类算法分别对源语言训练集特征矩阵$X$ 和目标语言训练集特征矩阵$Y$ 分别做聚类，分别将源语言和目标语言训练集划分为50个簇和100个簇，每个簇代表特征空间中相似的文本样本群体。计算每个簇的簇中心词，接着对于每个簇，计算簇内所有词到簇中心的距离，以欧几里得距离作为衡量标准，选择距离最近的词作为代表性词。分别提取出50个和100个源语言和目标语言代表性词，作为训练映射矩阵的源语言和目标语言词向量。对词向量做pca降维，将词向量维度由300维降维50维和100维。其中词向量降维维度与聚类簇数保持一致。

第四步，求映射矩阵

利用Moore-Penrose逆和拉直算子求矩阵方程$WX=Y$ 的对称极小范数最小二乘解，该解即为所求的映射矩阵。分别选取3000条中文和英文文本数据作为训练集和测试集样本数据，分别做十折交叉验证，经过第一步至第三步的步骤之后，得到英文训练集组成的词向量矩阵$X$ ，得到中文训练集组成的词向量矩阵$Y$ 。设映射矩阵为$W$ ，$X\in R^{n\times s}$ ，$Y\in R^{n\times s}$ ，求$W=W^{*}\in S{R}^{n\times n}$ ，使得

$\text{min}{\Vert WX-Y\Vert }_F^2={\Vert W^{\ast }X-Y\Vert }_F^2.$ (40)

存在唯一的解$W\in S_E，$

$W=K_S\odot \left(M^{+}h\right).$ (41)

计算得到$W$ 之后，$W={(w_1,w_2,w_3,\dots ,w_n)}^T$ ，列拉直为对称矩阵$W$ ，得到最终的映射矩阵。该映射矩阵的维度为(50, 50)和(100, 100)。

第五步，分类

对分类器进行训练，采用的分类器为逻辑回归(LR)，支持向量机(SVM)。通过对称映射矩阵变换，得到共享空间表示后，应用第五步训练出来的分类器，对目标语言数据进行分类。

4.4. 实验结果分析

使用带标记的英文训练集对分类器进行训练，利用映射矩阵将英文和中文变换到共享空间中，在共享空间中利用训练好的分类器对中文进行分类。

在前人的研究上，映射矩阵可以被约束为正交矩阵，故本文以正交procrustes方法作为基线模型，与本文模型进行对比。记源语言词向量为${{\displaystyle x}}_i$ ，目标语言词向量为${{\displaystyle y}}_i$ ，求映射矩阵$W=W^{\ast }\in O{R}^{n\times n}$ ，对所有的${{\displaystyle x}}_i\in X$ 和${{\displaystyle y}}_i\in Y$ ，使得

$\min {\displaystyle \sum _{i=1}^n{\Vert W{x}_i-y_i\Vert }_2^2}={\displaystyle \sum _{i=1}^n{\Vert W^{\ast }{x}_i-y_i\Vert }_2^2},$

该问题又可以简化为正交procrustes方法，

$W^{\ast }\text{=max}tr\left(XW{{\displaystyle Y}}^T\right).$

在本文的实验中，采用了多个分类器做分类，在算例I中的实验中发现在多次改变样本数以及降维维度的过程中，采用逻辑回归分类器对文本进行跨语言情感分类可以得到较优的结果，因此在本文的实验中主要采取逻辑回归分类器，实验结果如图1所示：

Figure 1. Classification accuracy results of different classifiers

图1. 不同分类器分类准确率结果

算例I和正交procrustes方法在不同词向量维度下进行情感分类的实验结果如图2所示：

Figure 2. Classification results of examples I and orthogonal procrustes method

图2. 算例I和正交procrustes方法分类结果

图2中分别为算例I和正交procrustes方法采用逻辑回归(LR)分类器，在BOOK、DVD、MUSIC数据集上的情感分类结果。在实验中，将词向量维度由300维降维至100维以及150维。由图中可以看出，词向量维度降维至150维可以得到较优的分类结果。与此同时，算例I在所有数据集上的表现都相对稳定，尤其在BOOK数据集上表现最优。

算例II实验结果如图3所示：

Figure 3. Classification results of examples II

图3. 算例II分类结果

图3中分别为算例II在逻辑回归(LR)分类器，在BOOK、DVD和MUSIC数据集上的情感分类结果。在实验中，将词向量维度由300维降维至50维以及100维。由图中可以看出，在所有数据集实验中，词向量维度由300维降维至100维可得到最优的分类效果，且在BOOK数据集上取得较优的结果。

5. 结论

在本文中，利用矩阵拉直算子、Moore-Penrose广义逆得到矩阵方程$AXB=C$ 极小范数最小二乘解的表达式，进一步得到矩阵方程$AXB=C$ 对称极小范数最小二乘解的表达式，最后讨论矩阵方程$WX=Y$ 在跨语言情感分类中的应用。

基金项目

广东省高校自然科学基金重点项目(2019KZDXM025)，五邑大学港澳联合研发基金资助项目(2019WGALH20)。

NOTES

^*通讯作者。