求解 张量多线性系统的一种新预处理Richardson迭代法
A New Preconditioned Richardson Iterative Method for Solving Multi-Linear Systems with -Tensors
摘要: Richardson迭代法是求解 张量多线性系统的一种有效方法。为了进一步加快其收敛速度,本文给出一个新的预处理子并提出一种新预处理Richardson迭代法。理论上证明所提预处理Richardson迭代法的收敛性。最后,通过数值例子验证该方法的有效性和可行性。
Abstract: The Richardson iterative method is an effective method for solving multi-linear systems with -tensors. In this paper, a new preconditioner and new preconditioned Richardson iterative method are proposed to accelerate the convergence of multi-linear systems with -tensors. In the theory, the convergence of the preconditioned Richardson iterative method is proved. Finally, a numerical example is given to verify the effectiveness and feasibility of the proposed method.
文章引用:苟小飞. 求解 张量多线性系统的一种新预处理Richardson迭代法[J]. 应用数学进展, 2024, 13(11): 4753-4760. https://doi.org/10.12677/aam.2024.1311457

1. 引言

考虑下面的多线性系统

A x m1 =b, (1)

其中 A [m,n] 是一个mn维的张量, x n 是一个n维向量。张量向量积的第i个分量被定义为

( A x m1 ) i = i 2 =1 n i m =1 n a i i 2 i m x i 2 x i m ,i=1,2,,n.

多线性系统在偏微分方程[1],张量互补问题[2] [3],张量特征值问题[4],信息处理[5] [6]和高阶马尔可夫链[7]等方面有着广泛的应用。

对于多线性系统已经有一些理论结果和数值算法。2016年,Ding和Wei [1]首先证明了 张量多线性系统具有唯一正解,从而确定了 张量多线性系统解的存在性。在数值解法方面,有全局二次收敛算法[8],同伦方法[9],张量分裂法[10],基于神经网络的方法[11],Richardson及其预处理迭代法[12],张量方法[13]和非线性共轭梯度法[14]等。为了进一步提高算法的效率,2018年,Li和Liu [15]把多线性系统和预处理技术结合起来,有了下面的预处理多线性系统

(2)

其中, P 是一个非奇异矩阵,被称为预处理子。

在本文中,我们研究的是求解 张量多线性系统的一种新预处理Richardson迭代法。文章结构组织如下,在第二节,我们给出了一些相关的预备知识。在第三节,我们给出了Richardson迭代法和其预处理形式,并提出新预处理Richardson迭代法。在第四节,我们分析了新预处理Richardson迭代法的收敛性。在第五节,我们给出了一个数值例子来验证所提方法的有效性和可行性。在最后一节,我们给出一些结论。

2. 预备知识

在这一节,我们将给出有关 张量相关的定义,引理和定理,这将在后续的章节中用到。

定义2.1 [16] A=( a i 1 i 2 i m ) C [m,n] i 1 , i 2 , i m =1,2,n ,其元素 a iii (其中 1in )被称为对角元素,其余元素被称为非对角元素。当且仅当其非对角元素为零时, A 是一个对角张量。如果张量 A 中的所有元素 a i 1 i 2 i m 0 ,则 A 是一个非负张量。

定义2.2 [17] A=( a i 1 i 2 i m ) R [m,n] ,张量 A 的主化矩阵 M( A ) 是一个 n×n 的矩阵,其元素 M ( A ) ij = a ijj ,其中 i,j=1,2,n.

定义2.3 [18] [19] A=( a i 1 i 2 i m ) R [m,n] ,如果张量 A 的非对角元素都是非正的,则 A 是一个 Z 张量。如果存在一个非负张量 和一个正实数 ηρ( ) ,使得

A=η ,

则称 A 是一个 张量,其中 是单位张量。如果 η>ρ( ) ,则称 A 是一个强(非奇异) 张量。

定理2.1 [18] A=( a i 1 i 2 i m ) R [m,n] ,如果 ( λ,x )C×{ C n \{ 0 } } 满足以下方程,则它是 A 的一个特征对(特征值–特征向量)

A x m1 =λ x [m1] ,

其中 x [m1] = ( x 1 m1 , x 2 m1 ,, x n m1 ) T 。如果 ( λ,x )R×{ R n \{ 0 } } ,则它是一个H-特征对。 A 的谱半径用 ρ( A ) 表示,定义为 ρ( A )=max{ | λ ||λσ( A ) } ,其中 σ( A ) A 的所有特征值的集合。

定理2.2 [1] 如果 A 是一个强 张量,那么对于每一个正向量 b ,多线性系统 A x m1 =b 都有一个唯一的正解。

定义2.4 [10] A ,和 是相同阶数和维度的张量,如果 是左非奇异的,则 A=

(1) A 的一个分裂;

(2) 一个正则分裂,如果 M ( ) 1 O O

(3) 一个弱正则分裂,如果 M ( ) 1 O M ( ) 1 O

(4) 一个收敛分裂,如果 ρ( M ( ) 1 )<1

在这里, O O 通常用来表示零矩阵和零张量。

引理2.1 [3] 如果 A 是一个 Z 张量,下面的条件是等价的

(1) A 是一个强 张量;

(2) 存在一个可逆正定Z-矩阵B和一个半正的 Z 张量 C ,使得 A=BC

(3) A 有一个收敛的(弱)正则分裂;

(4) A 的所有的(弱)正则分裂是收敛的。

定理2.3 [12] A x m1 =b 是一个多线性系统,其中 A [m,n] 是一个强 张量, b>0 ,精确解 x >0 。如果 α( 0, min λσ(C) 2Reλ | λ | 2 ) ,那么迭代法(4)是收敛的,其中 C= ( diag( x [m2] ) ) 1 A x m2 σ( C ) 是矩阵C的特征值。

3. Richardson迭代法和新预处理Richardson迭代法

在本节中,我们将给出Richardson迭代法和其预处理形式,并提出新预处理Richardson迭代法。

2023年,Liang [12]已经提出了多线性系统的Richardson迭代法及其预处理的迭代形式。首先,多线性系统(1)可以表示成下面的不动点问题

, (3)

其中, α 是一个参数, α>0 是单位张量。根据(3)式,Richardson迭代法被定义为

(4)

其中, x 0 是初始向量,是第k次迭代时的误差。

2018年Li等人[15]提出了预处理子 P 1 =I+ S β ,其中

S β =[ 0 β 1 a 122 0 0 0 0 β 2 a 233 0 0 0 0 β n1 a (n1)nn 0 0 0 0 ] ,

β j [ 0,1 ] j=1,2,,n1 。2020年Liu等人[20]提出了又提出了预处理子 P 2 =I+ R β ,其中

R β =[ 0 0 0 0 β 1 a 211 0 0 0 β n2 a (n1)11 0 0 0 β n1 a n11 0 0 0 ] ,

β j [ 0,1 ] j=1,2,,n1 。后来,Cui等人[21]在同一年再次提出了另一个预处理子 P 3 =I+ T β ,其中

T β =[ 0 β 1 a 122 β 2 a 133 β n1 a 1nn 0 0 0 0 0 0 0 0 0 0 0 0 ] ,

β j [ 0,1 ] j=1,2,,n1 。我们知道,以上三种预处理子是结合张量分裂法来求解多线性系统的有效方法。2023年,Liang [12]把以上三种预处理子和Richardson迭代法结合起来,用预处理Richardson迭代法求解了 张量多线性系统。由(2)式和(4)式我们知道,预处理的Richardson迭代法被定义为

, (5)

其中, αPA 是一个张量, αPb 是一个向量。不同的预处理子 P 对多线性系统有不同的预处理效果,当选择合适且有效的预处理子时,可以有效改变迭代法的收敛速度,从而极大地提高求解多线性系统的效率。

在本文中,我们提出一个新的预处理子 P =I+ H β ,它是一个一般的预处理子,其中

H β =[ 0 β 12 a 122 β 13 a 133 β 1n a 1nn β 21 a 211 0 β 23 a 233 0 β (n1)1 a (n1)11 0 0 β (n1)n a (n1)nn β n1 a n11 0 0 0 ] ,

β ij [ 0,1 ] i,j=1,2,,n 。如果给非奇异矩阵 P 的某些位置取0元素,它就会变成以上的几种预处理子。当 β ij ={ β ij , j=i+1 0, ji+1 ,我们提出的预处理子就变成了 P 1 。当 β ij ={ β ij , j=1,i=2,3,,n 0, j1,i=1,2,,n1 ,我们提出的预处理子就变成了 P 2 。当 β ij ={ β ij , i=1,j=2,3,,n 0, i1,j=1,2,,n ,我们提出的预处理子就变成了 P 3 。我们把新提出的预处理子 P =I+ H β 和(5)式结合起来就得到新预处理Richardson迭代法。

4. 新预处理Richardson迭代法的收敛性

为了加快本文提出的新预处理Richardson迭代法的收敛速度,我们对具有正向量 b 的强 张量多线性系统采用了预处理子 P ,下面的引理3.1和定理3.4保证了多线性系统(1)正解的不变性。

引理3.1 [12] 如果张量 A 是一个强 张量,那么对于任意的 α>0 αA 也是一个强 张量。

定理3.4 A mn维强 张量,bn维正向量。然后预处理的多线性系统 αPA x m1 =αPb 与原系统具有相同的唯一正解。

证明 首先,我们证明 PA 是一个强 张量,考虑它的非对角元素

a ^ j i 2 i m ={ a j i 2 i m j 2 =2 n β a ( j 2 1) j 2 j 2 1 j 2 j 2 a j 2 i 2 i m , j=1 a j i 2 i m β j(j+1) a jj+1j+1 a j+1 i 2 i m β j1 a j11 a 1 i 2 i m , 2jn1 a j i 2 i m β j1 a j11 a 1 i 2 i m , j=n

( j, i 2 ,, i m )( j,j,,j ) β ij [ 0,1 ] ,我们有 a ^ j i 2 i m 0 ,那么 PA 是一个 Z 张量。我们将 A 分裂为 A= ,令 PA= ˜ ˜ ,那么 ˜ =( I+ H β )( ) ˜ =( I+ H β ) ,显然, A ˜ = ˜ ˜ ˜ O 。因为 M ( ˜ ) 1 ˜ = ( IL ) 1 ( I+ H β ) 1 ( I+ H β )= ( I+L ) 1 O ,其中 I 是单位矩阵, L 是主化矩阵 M( ) 的严格下三角部分,所以 A ˜ = ˜ ˜ 是一个弱正则分裂,又 A 是一个强 张量,根据定义2.4的等价条件和引理2.1,我们证明了 PA 是一个强 张量。由引理3.1我们知道 PA 是一个强 张量,那么, αPA 也是一个强 张量。显然, b>0 ,那么 αb>0, 根据定理2.2,可以证明预处理的多线性系统 αPA x m1 =αPb 与原系统具有相同的唯一正解。

接下来我们分析新预处理Richardson迭代法的收敛性。

引理3.2 A 是一个强 张量, A ˜ =αPA α( 0, 1 max i<n> a iii ] β ij [ 0,1 ] i,j=1,2,,n

那么, A ˜ =( A ˜ ) A ˜ 的一个正则分裂。

证明 首先, A ˜ =( A ˜ ) A ˜ 的一个分裂,根据定义2.2,我们知道 M( ) 是一个单位矩阵,单位张量 是左非奇异的, M ( ) 1 =IO ,我们只需要证明 A ˜ =αPAO ,因为 A ˜ =αPA 是一个强 张量, A ˜ 的非对角元素是非正的,这表明张量 A ˜ 的非对角元素的非负的,接下来,我们考虑张量 A ˜ 的对角元素。因为 P=I+ H β A ˜ =αPA ,所以

a ^ jjj ={ α a jjj α j 2 =2 n β a j 2 1 j 2 j 2 1 j 2 j 2 a j 2 11 , j=1 α a jjj α β jj+1 a jj+1j+1 a j+1jj α β j1 a j11 a 1jj , 2jn1 α a jjj α β j1 a j11 a 1jj , j=n

α( 0, 1 max i<n> a iii ] ,所以 1 a ^ jjj 0 ,张量 A ˜ 的对角元素是非负的,我们证明了 A ˜ =αPAO ,又 M ( ) 1 =IO ,所以 A ˜ =( A ˜ ) A ˜ 的一个正则分裂。

定理3.5 A 是一个强 张量, A ˜ =αPA ,其中, α( 0, 1 max i<n> a iii ] ,那么 ρ( A ˜ )<ρ( αA )<1

证明 因为 α( 0, 1 max i<n> a iii ] ,我们有 αAO ,根据定理2.1,存在 λ0 和一个非负向量 y0 满足 λρ( αA )<1 ,此时:

( A ˜ ) y m1 λ y [ m1 ] =( αPA ) y m1 λ y [ m1 ] =( 1λ ) y [ m1 ] αPA y m1 =( 1λ ) y [ m1 ] P( 1λ ) y [ m1 ] =( IP )( 1λ ) y [ m1 ] . (6)

根据定理2.3,我们有 λρ( αA )<1 。因为 λ<1 y0 ,根据(6)式,有 ( A ˜ ) y m1 <λ y [m1] ,所以 ρ( A ˜ )<λρ( αA )<1

根据定理3.5,我们可以得出结论,新预处理的Richardson迭代法比Richardson迭代方法收敛得更快。

5. 数值实验

在本节中,我们给出一个数值例子,分别从迭代步数(“IT”)和运行时间(“CPU”)来验证所提方法的可行性和有效性。在计算过程时,我们给定的误差界是1 × 1011,迭代的最大次数是2000,当误差小于给定的误差界或迭代步数超过迭代的最大步数时,迭代终止。以下数值结果是1.80 GHZ的中央处理器(Intel(R)Core(TM)i7-8550U)和内存为8 GB的个人计算机在Windows11环境下使用MATLABR2023a进行计算的。

5.1. 我们构造一个三阶三维 张量的多线性系统。首先,我们使用MATLAB随机生成一个三阶三维的非负张量

(1) =( a 111 a 211 a 311 a 121 a 221 a 321 a 131 a 231 a 331 | a 112 a 212 a 312 a 122 a 222 a 322 a 132 a 232 a 332 | a 113 a 213 a 313 a 123 a 223 a 323 a 133 a 233 a 333 ) =( 0.9528 0.5982 0.8368 0.7040 0.8407 0.5187 0.9538 0.4428 0.0222 | 0.3758 0.1995 0.9102 0.8985 0.3031 0.5252 0.4290 0.5382 0.3068 | 0.0344 0.0595 0.3123 0.7153 0.6270 0.5226 0.7687 0.2651 0.4086 ),

其中 (1) 表示的是按模1把张量展开。接下来,我们定义标量

s=( 1+ε ) max i=1,2,,n ( e 2 ),ε>0 .

在这里,我们取 e= ( 1,1,1 ) T ε=0.05 b= [ 9,14,13 ] T 。然后由 A=s ,我们得到张量 A

A (1) =( a 111 a 211 a 311 a 121 a 221 a 321 a 131 a 231 a 331 | a 112 a 212 a 312 a 122 a 222 a 322 a 132 a 232 a 332 | a 113 a 213 a 313 a 123 a 223 a 323 a 133 a 233 a 333 ) =( 4.9856 0.5981 0.8368 0.7040 0.8407 0.5187 0.9538 0.4428 0.0222 | 0.3758 0.1995 0.9102 0.8985 5.6353 0.5252 0.4290 0.5382 0.3068 | 0.0344 0.0595 0.3123 0.7153 0.6270 0.5226 0.7687 0.2651 5.5297 )

表1显示了五种不同的Richardson迭代法求解 张量多线性系统的迭代次数(“IT”)和计算时间(“CPU”)。 P 1 R P 2 R P 3 R PR 分别表示的是带有预处理子 P 1 P 2 P 3 P 的Richardson迭代法, P 1 P 2 P 3 P 在第四节已经给出。

Table 1. Numerical results

1. 数值结果

Richardson

P1R

P2R

P3R

PR

α

IT

CPU

IT

CPU

IT

CPU

IT

CPU

IT

CPU

0.04

381

0.005645

316

0.002217

250

0.005570

287

0.004143

216

0.003131

0.08

183

0.004595

151

0.002090

120

0.001249

136

0.002655

100

0.001596

0.12

117

0.001367

96

0.001267

78

0.000804

86

0.001345

60

0.001181

0.16

84

0.001575

68

0.000902

59

0.000919

60

0.000930

41

0.000655

0.20

64

0.000919

51

0.000708

48

0.000886

45

0.000545

30

0.000566

0.24

51

0.002115

40

0.000587

43

0.000607

40

0.000390

22

0.000565

0.28

102

0.001560

55

0.000683

98

0.001400

102

0.000968

17

0.000231

0.32

2000

0.053824

136

0.001851

2000

0.036499

2000

0.048126

20

0.000311

表1中,参数 α( 0,0.32 ] ,步长为0.04,从表中可以看出,当迭代步数达到最大的迭代步数时, P 2 R P 3 R 两种方法还没有收敛到精确解。我们提出的新预处理Richardson (PR)的迭代步数和计算时间在计算过程中都是最小的,因此,不难看出该方法是最有效的。

6. 总结

本文提出了一个新的预处理子并给出了一种新预处理Richardson迭代法,然后证明了该方法的收敛性和有效性。通过将新预处理Richardson迭代法与以往研究中的四种方法进行比较,结果表明,在迭代步数和CPU方面,我们所提出的方法更好一点,有效改变了Richardson迭代法的收敛速度,在张量特征值和张量互补问题有一定的应用。然而,不同的预处理子对多线性系统有不同的预处理效果,我们只考虑了一个预处理子。在今后的研究中,我们可以考虑其它的预处理子对多线性系统的预处理效果,同时也可以研究包括预处理技术更多的加速方法。

参考文献

[1] Ding, W. and Wei, Y. (2016) Solving Multi-Linear Systems with-Tensors. Journal of Scientific Computing, 68, 689-715.
https://doi.org/10.1007/s10915-015-0156-7
[2] Luo, Z., Qi, L. and Xiu, N. (2017) The Sparsest Solutions to-Tensor Complementarity Problems. Optimization Letters, 11, 471-482.
https://doi.org/10.1007/s11590-016-1013-9
[3] Xu, H.R., Li, D.H. and Xie, S.L. (2019) An Equivalent Tensor Equation to the Tensor Complementarity Problem with Positive Semi-Definite-Tensor. Optimization Letters, 13, 685-694.
https://doi.org/10.1007/s11590-018-1268-4
[4] Liang, M., Zheng, B. and Zhao, R. (2019) Alternating Iterative Methods for Solving Tensor Equations with Applications. Numerical Algorithms, 80, 1437-1465.
https://doi.org/10.1007/s11075-018-0601-4
[5] Yang, J.H., Zhao, X.L., Ji, T.Y., Ma, T.H. and Huang, T.Z. (2020) Low-Rank Tensor Train for Tensor Robust Principal Component Analysis. Applied Mathematics and Computation, 367, Article 124783.
https://doi.org/10.1016/j.amc.2019.124783
[6] Yang, J., Zhao, X., Mei, J., Wang, S., Ma, T. and Huang, T. (2019) Total Variation and High-Order Total Variation Adaptive Model for Restoring Blurred Images with Cauchy Noise. Computers & Mathematics with Applications, 77, 1255-1272.
https://doi.org/10.1016/j.camwa.2018.11.003
[7] Liu, D., Li, W. and Vong, S. (2019) Relaxation Methods for Solving the Tensor Equation Arising from the Higher-Order Markov Chains. Numerical Linear Algebra with Applications, 26, e2260.
https://doi.org/10.1002/nla.2260
[8] He, H., Ling, C., Qi, L. and Zhou, G. (2018) A Globally and Quadratically Convergent Algorithm for Solving Multilinear Systems with-Tensors. Journal of Scientific Computing, 76, 1718-1741.
https://doi.org/10.1007/s10915-018-0689-7
[9] Han, L. (2017) A Homotopy Method for Solving Multilinear Systems with-Tensors. Applied Mathematics Letters, 69, 49-54.
https://doi.org/10.1016/j.aml.2017.01.019
[10] Liu, D., Li, W. and Vong, S. (2018) The Tensor Splitting with Application to Solve Multi-Linear Systems. Journal of Computational and Applied Mathematics, 330, 75-94.
https://doi.org/10.1016/j.cam.2017.08.009
[11] Wang, X., Che, M. and Wei, Y. (2019) Neural Networks Based Approach Solving Multi-Linear Systems with-Tensors. Neurocomputing, 351, 33-42.
https://doi.org/10.1016/j.neucom.2019.03.025
[12] Liang, Y., Ibrahim, A. and Omar, Z. (2023) Richardson Iterative Method for Solving Multi-Linear System with-Tensor. Malaysian Journal of Mathematical Sciences, 17, 645-671.
https://doi.org/10.47836/mjms.17.4.08
[13] Xie, Z.J., Jin, X.Q. and Wei, Y.M. (2018) Tensor Methods for Solving Symmetric-Tensor Systems. Journal of Scientific Computing, 74, 412-425.
https://doi.org/10.1007/s10915-017-0444-5
[14] Liu, J., Du, S. and Chen, Y. (2020) A Sufficient Descent Nonlinear Conjugate Gradient Method for Solving-Tensor Equations. Journal of Computational and Applied Mathematics, 371, Article 112709.
https://doi.org/10.1016/j.cam.2019.112709
[15] Li, W., Liu, D. and Vong, S.W. (2018) Comparison Results for Splitting Iterations for Solving Multi-Linear Systems. Applied Numerical Mathematics, 134, 105-121.
https://doi.org/10.1016/j.apnum.2018.07.009
[16] Qi, L. and Luo, Z. (2017) Tensor Analysis: Spectral Theory and Special Tensors. Society for Industrial and Applied Mathematics.
[17] Pearson, K. (2010) Essentially Positive Tensors. International Journal of Algebra, 4, 421-427.
[18] Ding, W., Qi, L. and Wei, Y. (2013)-Tensors and Nonsingular-Tensors. Linear Algebra and Its Applications, 439, 3264-3278.
https://doi.org/10.1016/j.laa.2013.08.038
[19] Zhang, L., Qi, L. and Zhou, G. (2014)-Tensors and Some Applications. SIAM Journal on Matrix Analysis and Appli cations, 35, 437-452.
https://doi.org/10.1137/130915339
[20] Liu, D., Li, W. and Vong, S.W. (2020) A New Preconditioned SOR Method for Solving Multi-Linear Systems with an-Tensor. Calcolo, 57, Article No. 15.
https://doi.org/10.1007/s10092-020-00364-8
[21] Cui, L.B., Zhang, X.Q. and Wu, S.L. (2020) A New Preconditioner of the Tensor Splitting Iterative Method for Solving Multi-Linear Systems with-Tensors. Computational and Applied Mathematics, 39, Article No. 173.
https://doi.org/10.1007/s40314-020-01194-8