位移全局GPBiCG方法求解Stein矩阵方程X + AXB = C
Shifted Global GPBiCG Method for Solving the Stein Matrix Equation X + AXB = C
摘要: 广义点积型双共轭梯度法(Generalized Product-type Biconjugate Gradient, GPBiCG)作为共轭梯度平方法(Conjugate Gradient Squared, CGS)和稳定双共轭梯度法(Biconjugate Gradient Stabilized, BiCGStab)的推广,收敛速度快于BiCGStab,收敛曲线比CGS更光滑。因此全局型GPBiCG方法被用于求解具有多个右端项的线性系统。基于全局GPBiCG方法,本文提出一种位移全局GPBiCG方法(Shifted Global GPBiCG, SGl-GPBiCG)求解Stein矩阵方程。该方法充分利用了Stein矩阵方程的位移结构。最后,我们给出数值算例验证了新方法的有效性。
Abstract: Generalized Product-type Biconjugate Gradient (GPBiCG) method can be regarded as generalizations of Conjugate Gradient Squared (CGS) and Biconjugate Gradient Stabilized (BiCGStab) methods which is faster than BiCGStab and its convergence is smoother than CGS. Then the global variant of GPBiCG method is proposed for linear systems with multiple right-hand sides. In this paper, we present a shifted global GPBiCG (SGl-GPBiCG) method for solving the Stein matrix equation based on the global GPBiCG method. The new method makes full use of the shifted structure of the Stein matrix equation. Finally, numerical examples are given to illustrate the effectiveness of the method.
文章引用:王平东, 李胜坤. 位移全局GPBiCG方法求解Stein矩阵方程X + AXB = C[J]. 应用数学进展, 2025, 14(12): 311-323. https://doi.org/10.12677/aam.2025.1412509

1. 引言

Stein矩阵方程在图像复原[1] [2],控制系统设计[3] [4],神经网络[5],模型降阶[6]等领域有着广泛的应用。Stein矩阵方程又称为离散型的Sylvester方程,其标准形式为

X+AXB=C, (1.1)

其中, A R n×n ,B R s×s ,C R n×s ,其存在唯一解的充要条件为 λ( A )λ( B )1 λ( A ),λ( B ) 分别表示矩阵 A B 的所有特征值的集合。本文只考虑Stein矩阵方程有唯一解的情况。

Krylov子空间方法[7]是求解大型线性方程组 Ax=b 的有效方法,相应的块Krylov子空间方法[8]-[11]和全局Krylov子空间方法[12]-[14]是求解具有多右端项的线性系统 AX=B 的有效方法。近年来,块方法和全局方法被推广用于求解Stein矩阵方程,其中系数矩阵 A B 的维数不同是构造不同方法的关键。当矩阵 A B 的维数都小时,直接法是最有效的选择,比如Hessenberg-Schur方法[15]和Bartels-Stewart 方法[16]。当矩阵 A 很大, B 很小时,黄等人[17]提出块Arnoldi Stein方法和非对称的块Lanczos Stein方法求解Stein矩阵方程。文献[18] [19]提出全局Arnoldi方法求Stein矩阵方程的低秩解。文献[20]提出块Arnoldi方法求其低秩解。但是,上述这些方法都没有利用到Stein矩阵方程的特殊位移结构。当矩阵 A B 都很大时,Smith方法[21]被提出用于Stein矩阵方程的求解。然而,Smith方法要求矩阵 A B 的谱半径满足 ρ( A )ρ( B )<1 。本文主要研究大规模Stein矩阵方程的求解。

在文献[22]中,张邵良提出了一种广义点积型双共轭梯度法(Generalized Product-type Biconjugate Gradient, GPBiCG)求解线性方程组。在文献[23]中,Dehghan等人提出了一种位移GPBiCG方法求解位移线性系统 Ax+δx=b 。这种位移技巧来源于Frommer的工作[24]。受到上述方法的启发,本文利用Stein矩阵方程的位移结构,基于全局GPBiCG方法提出了一种位移全局GPBiCG方法(Shifted Global GPBiCG, SGl-GPBiCG)。该方法适合任意维数的系数矩阵 A B ,不受矩阵维数的影响。

为了推导新方法,首先将矩阵方程(1.1)命名为位移系统,将矩阵方程

AXB=C, (1.2)

命名为种子系统。为了方便起见,定义线性算子 Μ 如下

Μ:Μ( X )=AXB,

相应地,种子系统(1.2)可以改写成

Μ( X )=C, (1.3)

而位移系统(1.1)可写成

( Μ+I )X=C. (1.4)

对给定的矩阵 V R n×s 和算子 Μ ,定义矩阵Krylov子空间如下

K m ( M,V )=span{ V,M( V ),, M m1 ( V ) }, (1.5)

其中

M i ( V )=M( M i1 ( V ) ).

由于Krylov子空间的位移不变性,我们有

K m ( M,V )= K m ( ( M+I ),V ). (1.6)

因此,在初始近似解为零矩阵的条件下,种子系统与位移系统在第 m 次迭代时得到的近似解在同一个矩阵Krylov子空间中,这为后续方法的推导提供了关键的理论支撑。

2. 全局GPBiCG算法

在这节,我们借鉴文献[25]中求解 AX=B 的全局GPBiCG方法,直接以算子形式给出求解种子系统(1.3)的全局GPBiCG算法(Gl-GPBiCG),具体迭代过程见表1

Table 1. Global GPBiCG method for solving seed system (1.3)

1. 全局GPBiCG算法求解种子系统(1.3)

算法2.1全局GPBiCG算法求解种子系统(1.3)

给定初值 X 0 R m×n ,计算 R 0 =CΜ( X 0 ),

选择 R 0 * = R 0 ,满足 R 0 * , R 0 0,

T 1 = W 1 = 0 N×S , β 1 =0,

对于 n=0,1, 计算

P n = R n + β n1 ( P n1 U n1 ),

α n = R 0 * , R n F R 0 * ,Μ P n F ,

T n = R n α n Μ P n ,

Y n = T n1 R n α n W n1 + α n Μ P n ,

ζ n == Y n , Y n F Μ T n , T n F Y n , T n F Μ T n , Y n F Μ T n ,Μ T n F Y n , Y n F Y n ,Μ T n F Μ T n , Y n F ,

η n = Μ T n ,Μ T n F Y n , T n F Y n ,Μ T n F Μ T n , T n F Μ T n ,Μ T n F Y n , Y n F Y n ,Μ T n F Μ T n , Y n F ,

如果 n=0 ,则 ζ n = Μ T n , T n Μ T n ,Μ T n , η n =0.

U n = ζ n Μ P n + η n ( T n1 R n + β n1 U n1 ),

Z n = ζ n R n + η n Z n1 α n U n ,

R n+1 = T n η n Y n ζ n Μ T n ,

β n = α n ζ n R 0 * , R n+1 F R 0 * , R n F ,

X n+1 = X n + α n P n + Z n ,

W n =Μ T n + β n Μ P n ,

结束.

在上述算法中,全局GPBiCG方法是通过残差矩阵优化近似解,残差矩阵表达式为

R n = H n ( Μ ) ϕ n ( Μ ) R 0 , (2.1)

其关键在于残差多项式 ϕ n 与辅助矩阵 H n 的构建。回顾张绍良[22]提出的GPBiCG方法, ϕ n 是BiCG的残差多项式,残差多项式 ϕ n 和辅助多项式 φ n 之间的基本递归关系如下

ϕ 0 ( t )=1, φ 0 ( t )=1, (2.2)

ϕ n+1 ( t )= ϕ n ( t ) α n t φ n ( t ). (2.3)

消去 φ n ,得到 ϕ n 的单独的三项递归关系

ϕ 0 ( t )=1, ϕ 1 ( t )=( 1 α 0 t ) ϕ 0 ( t ), (2.4)

ϕ n+1 ( t )= α n β n1 α n1 ϕ n1 ( t )+( 1+ α n β n1 α n1 ) ϕ n ( t ) α n t ϕ n ( t ). (2.5)

且辅助矩阵 H n 满足如下三项递归关系

H 0 ( t )=1, H 1 ( t+1 )=( 1 ζ 0 ( t ) ) H 0 ( t ), (2.6)

H n+1 ( t )=( 1+ η n ζ n ( t ) ) H n ( t ) η n H n1 ( t ). (2.7)

3. 位移全局GPBiCG算法

在本节中,我们在全局GPBiCG方法求解种子系统(1.3)的基础上,提出求解位移系统(1.4)的位移全局GPBiCG方法。

3.1. 位移系统的残差

众所周知,GPBiCG方法是在BiCG方法的残差多项式的基础上建立新的三项递推关系得到的。基于以上思想,我们推导求解位移系统的位移全局GPBiCG方法。

考虑种子系统的残差多项式的递归关系,定义位移系统的残差多项式为

ϕ 0 s ( t+1 )=1, ϕ 1 s ( t+1 )=( 1 α 0 ( t+1 ) ) ϕ 0 s ( t+1 ), (3.1)

ϕ n+1 s ( t+1 )= α n s β n1 s α n1 s ϕ n1 s ( t+1 )+( 1+ α n s β n1 s α n1 s ) ϕ n s ( t+1 ) α n s ( t+1 ) ϕ n s ( t+1 ). (3.2)

定义辅助多项式

φ 0 s ( t+1 )=1, (3.3)

φ n s ( t+1 )= ϕ n s ( t+1 ) ϕ n+1 s ( t+1 ) α n s ( t+1 ) . (3.4)

并且通过对(3.2)和(3.4)的一些简单运算,得到以下两个递归关系

ϕ 0 s ( t+1 )=1, φ 0 ( t )=1, (3.5)

ϕ n+1 s ( t+1 )= ϕ n s ( t+1 ) α n s ( t+1 ) φ n s ( t+1 ), (3.6)

φ n+1 s ( t+1 )= ϕ n+1 s ( t+1 )+ β n s φ n s ( t+1 ). (3.7)

考虑前面辅助矩阵 H n 的三项递归关系,定义位移系统的辅助矩阵

H 0 s ( t+1 )=1, H 1 s ( t+1 )=( 1 ζ 0 s ( t+1 ) ) H 0 s ( t+1 ), (3.8)

H n+1 s ( t+1 )=( 1+ η n s ζ n s ( t+1 ) ) H n s ( t+1 ) η n s H n1 s ( t+1 ). (3.9)

定义

G 0 s ( t+1 )=1, (3.10)

G n s ( t+1 )= H n s ( t+1 ) H n+1 s ( t+1 ) ζ n s ( t+1 ) . (3.11)

然后用这个定义对(3.9)进行一些简单计算,得到辅助矩阵 H n s 的两项递归关系

H n+1 s ( t+1 )= H n s ( t+1 ) ζ n s ( t+1 ) G n s ( t+1 ), (3.12)

G n+1 s ( t+1 )= H n+1 s ( t+1 )+ ζ n s η n+1 s ζ n+1 s G n s ( t+1 ) G n+1 s ( t+1 ) = H n+1 s ( t+1 )+ ζ n s η n+1 s ζ n+1 s G n s ( t+1 ). (3.13)

现在计算位移系统残差 R n s = H n s ( Μ ) ϕ n s ( Μ ) R 0 ,使用与全局GPBiCG相同的推导方法,并定义新的辅助矩阵如下

{ T n s = H n s ϕ n+1 s , Y n s =( Μ+I ) G n1 s ϕ n+1 s , P n s = H n s φ n s W n s =( Μ+I ) H n s φ n+1 , U n s =( Μ+I ) G n s φ n s , Z n s = G n s ϕ n s . (3.14)

得到中间矩阵的递归关系如下

P n s = R n s + β n s ( P n1 s U n1 s ),

Y n s = T n1 s R n s α n s W n1 s + α n s ( Μ+I ) P n s ,

T n s = R n s α n s ( Μ+I ) P n s ,

U n s = ζ n s ( Μ+I ) P n s + η n s ( T n1 s R n s + β n1 s U n1 s ),

Z n s = ζ n s R n s + η n s Z n1 s α n s U n s ,

X n+1 s = X n s + α n s P n s Z n s ,

R n+1 s = T n s η n s Y n s ζ n s ( Μ+I ) T n s ,

W n s =( Μ+I ) T n s + β n s ( Μ+I ) P n s .

比较算法2.1中对应式子不难发现,全局CPBiCG直接求解位移系统需要额外计算 ( M+I ) 与中间矩阵的乘积,相较于求解种子系统,增加了一次矩阵乘矩阵运算。

3.2. 残差的共线性

除了Krylov子空间的位移不变性,残差的共线性也是实现位移方法的一个关键因素。根据文献[24]中的定理1知,在种子系统和位移系统的初始近似解为0的前提下,两系统的残差共线。接下来,我们借鉴文献[23]的推导方式,分别为残差多项式 ϕ n ( t ) ϕ n s ( t+1 ) 和辅助多项式 H n ( t ) H n s ( t+1 ) 建立共线性。

首先,引入系数 δ n ,令

ϕ n ( t )= δ n ϕ n s ( t+1 ). (3.15)

从(2.5)有

ϕ n+1 s ( t+1 )= α n s β n1 s α n1 s ϕ n1 s ( t+1 )+( 1+ α n s β n1 s α n1 s α n s ) ϕ n s ( t+1 ) α n s ( t+1 ) ϕ n s ( t+1 ),

利用(3.15)式,将 ϕ n+1 s ( t+1 ), ϕ n s ( t+1 ), ϕ n1 s ( t+1 ) 分别用

( 1 δ n+1 ) ϕ n+1 ( t ),( 1 δ n ) ϕ n ( t ),( 1 δ n1 ) ϕ n1 ( t ),

代替,进而得到

( 1 δ n+1 ) ϕ n+1 ( t )= α n s β n1 s α n1 s ( 1 δ n1 ) ϕ n1 ( t )+( 1+ α n s β n1 s α n1 s α n s )( 1 δ n ) ϕ n ( t ) α n s ( t+1 )( 1 δ n ) ϕ n ( t ),

整理一下得到

ϕ n+1 ( t )= δ n+1 δ n1 α n s β n1 s α n1 s ϕ n1 ( t )+ δ n+1 δ n ( 1+ α n s β n1 s α n1 s α n s ) ϕ n ( t ) δ n+1 δ n α n s t ϕ n ( t ). (3.16)

比较(2.5)和(3.16),有

α n β n1 α n1 = δ n+1 δ n1 α n s β n1 s α n1 s , (3.17)

1+ α n β n1 α n1 = δ n+1 δ n ( 1+ α n s β n1 s α n1 s α n s ), (3.18)

α n s = δ n δ n+1 α n . (3.19)

将(3.19)代入(3.18)得到系数 β n s 的转化公式

β n s = ( δ n δ n+1 ) 2 β n , (3.20)

将(3.20)和(3.19)代入(3.18)并化简,得到辅助系数 δ n 一个三项递归关系

δ n+1 =( 1+ α n ) δ n + α n β n1 α n1 ( δ n δ n1 ). (3.21)

同理引入系数 ξ n ,设

H n = ξ n H n s . (3.22)

将(3.22)代入(3.10)化简得到

H n+1 ( t )= ξ n+1 ξ n1 η n s H n1 ( t )+ ξ n+1 ξ n ( 1+ η n s ζ n s ) H n ( t ) ξ n+1 ξ n ζ n s t H n ( t ), (3.23)

同理比较(3.23)和(2.7)得到系数 η n s ζ n s 的转换公式

η n s = ξ n1 ξ n+1 η n , (3.24)

ζ n s = ξ n ξ n+1 ζ n , (3.25)

其中辅助系数 ξ n 的三项递归关系为

ξ n+1 =( 1+ η n + ζ n ) ξ n η n ξ n1 . (3.26)

考虑共线系数 δ n ξ n 都是三项递归关系,迭代时需要两个初值,因此我们需要计算 δ 0 , ξ 0 , δ 1 , ξ 1 。根据残差的共线性,结合上式,当 n1 ,我们可以得到

R n = ξ n δ n R n s .

n=0 时, X 0 s = X 0 =0 ,那么 R 0 s = R 0 =C ,所以 ξ 0 δ 0 =1

结合(3.1)式和(3.15),可得

ϕ 1 ( t )= δ 1 ϕ 1 s = δ 1 ( 1 α 0 s ( t+1 ) ) ϕ 0 s ( t+1 ),

又因为 ϕ 0 ( t )= δ 0 ϕ 0 s ( t+1 ) ,所以

ϕ 1 ( t )= δ 1 ϕ 1 s = δ 1 ( 1 α 0 s ( t+1 ) ) ϕ 0 s ( t+1 )= δ 1 δ 0 ( 1 α 0 s ( t+1 ) ) ϕ 0 ( t ),

t=1 时, ϕ 1 ( 1 )= δ 1 δ 0 ϕ 0 ( 1 ) ,对比(2.4)可以得到

δ 1 =( 1+ α 0 ) δ 0 ,

同理有

ξ 1 =( 1+ ζ 0 ) ξ 0 .

现在,重新考虑位移全局GPBiCG递归关系中的 R n s T n s ,并使用残差共线多项式

R n s = 1 ξ n δ n R n , T n s = 1 ξ n δ n+1 T n , (3.27)

来降低它们的运行成本,得到

( Μ+I ) T n s =( Μ+I ) 1 ξ n δ n+1 T n = 1 ξ n δ n+1 Μ T n + 1 ξ n δ n+1 T n . (3.28)

因此,在实际计算时,只需要计算种子系统中的 M T n s ,而不需要计算位移系统中的 ( Μ+I ) T n s ,减少了算法的计算量。

在上述推导的基础上,我们给出求解位移系统的一种位移全局GPBiCG算法见表2

Table 2. The shifted global GPBiCG method for solving shifted system (1.4)

2. 位移全局GPBiCG算法求解位移系统(1.4)

算法3.1位移全局GPBiCG算法求解位移系统(1.4)

给定初值 X 0 = X 0 s = 0 n×s ,计算 R 0 =C( Μ+I )( X 0 ),

选择 R 0 * = R 0 ,满足 R 0 * , R 0 0,

T 1 = W 1 = 0 N×S , β 1 =0, δ 0 = ξ 0 = δ 1 = ξ 1 =1

对于 n=0,1, 计算

P n = R n + β n1 ( P n1 U n1 ),

α n = R 0 * , R n F R 0 * ,Μ P n F ,

T n = R n α n Μ P n ,

Y n = T n1 R n α n W n1 + α n Μ P n ,

ζ n == Y n , Y n F Μ T n , T n F Y n , T n F Μ T n , Y n F Μ T n ,Μ T n F Y n , Y n F Y n ,Μ T n F Μ T n , Y n F ,

η n = Μ T n ,Μ T n F Y n , T n F Y n ,Μ T n F Μ T n , T n F Μ T n ,Μ T n F Y n , Y n F Y n ,Μ T n F Μ T n , Y n F ,

如果 n=0 ,则 ζ n = Μ T n , T n Μ T n ,Μ T n , η n =0.

U n = ζ n Μ P n + η n ( T n1 R n + β n1 U n1 ),

Z n = ζ n R n + η n Z n1 α n U n ,

R n+1 = T n η n Y n ζ n Μ T n ,

β n = α n ζ n R 0 * , R n+1 F R 0 * , R n F ,

X n+1 = X n + α n P n + Z n ,

W n =Μ T n + β n Μ P n ,

δ n+1 =( 1+ α n ) δ n + α n β n1 α n1 ( δ n δ n1 ),

ξ n+1 =( 1+ η n + ζ n ) ξ n η n ξ n1 ,

P n s = R n s + β n1 s ( P n1 s U n1 s ),

α n s = δ n δ n+1 α n ,

β n s = ( δ n δ n+1 ) 2 β n ,

T n s = 1 ξ n δ n+1 T n ,

η n s = ξ n1 ξ n+1 η n ,

ζ n s = ξ n ξ n+1 ζ n ,

U n s = ζ n s ( Μ+I ) P n s + η n s ( T n1 s R n s + β n1 s U n1 s ),

Z n s = ζ n s R n s + η n s Z n1 s α n s U n s ,

X n+1 s = X n s + α n s P n s + Z n s ,

R n+1 s = 1 ξ n+1 δ n+1 R n+1 ,

结束.

4. 数值算例

在这节,我们给出两个数值实验来说明位移全局GPBiCG方法(SGl-GPBiCG)的有效性。我们从迭代次数(Its)和计算时间(CPU,单位秒)两方面比较位移型方法SGl-GPBiCG与非位移型方法Gl-GPBiCG。在所有算例中,初始近似解都为零矩阵,最大迭代次数为2500次,停止迭代的条件为 R n+1 F / R 0 F < 10 6

4.1 给定如下Stein矩阵方程

X+AXB=C,

其中

A= ( D A 0 0 0 I u D A 0 0 0 I u D A 0 0 0 I u D A ) n×n R u 2 × u 2 D A = ( 14 7 0 0 1 14 7 0 0 1 14 7 0 0 1 14 ) u×u R u×u B= ( 8 3 0 0 3 8 3 0 0 3 8 3 0 0 3 8 ) s×s R s×s C=eye( n,s )

数值结果见表3图1。从表3可以看出SGl-GPBiCG方法比Gl-GPBiCG的迭代次数更少。此外,从图1也可以看出,SGl-GPBiCG方法的收敛速度优于Gl-GPBiCG方法。

Table 3. Numerical results for Example 4.1

3. 例4.1的数值结果

Matrix order

Methods

Its

CPU

n= u 2 =225,s=200

Gl-GPBICG

38

2.0023

SGl-GPBICG

21

3.0354

n= u 2 =625,s=200

Gl-GPBICG

47

10.0729

SGl-GPBICG

25

11.2680

n= u 2 =1296,s=200

Gl-GPBICG

52

25.0586

SGl-GPBICG

31

37.8359

(a) n= u 2 =225,s=200

(b) n= u 2 =625,s=200

(c) n= u 2 =1296,s=200

Figure 1. Convergence curves for Example 4.1

1. 例4.1的收敛曲线

4.2 给定Stein矩阵方程为

X+AXB=C,

其中

A=triu( rand( n ),1 )+diag( 5+diag( rand( n ) ) ),

B=tril( rand( n ),1 )+diag( 8+diag( rand( n ) ) ),C=rand( n ).

数值结果见表4图2。从表4可以看出,SGl-GPBiCG方法比Gl-GPBiCG方法的迭代次数更少,消耗的CPU时间也更少。另外,从图2也可以看出,SGl-GPBiCG方法的收敛速度明显优于Gl-GPBiCG方法,并且随着矩阵阶数 n 的增加,收敛效果更明显。

Table 4. Numerical results for Example 4.2

4. 例4.2的数值结果

Matrix order

Methods

Its

CPU

n = 100

Gl-GPBICG

25

0.6745

SGl-GPBICG

21

0.4743

n = 200

Gl-GPBICG

45

4.3436

SGl-GPBICG

33

3.6176

n = 300

Gl-GPBICG

75

20.7008

SGl-GPBICG

53

12.9074

n = 500

Gl-GPBICG

178

77.1783

SGl-GPBICG

50

12.9074

(a) n=100

(b) n=200

(c) n=300

(d) n=500

Figure 2. Convergence curves for Example 4.2

2. 例4.2的收敛曲线

5. 总结

在本文中,我们提出一种位移全局GPBiCG方法求解大型Stein矩阵方程。该方法充分利用了Stein矩阵方程的特殊位移结构。同时,该方法去除了系数矩阵 A B 间的维数限制。最后,实验结果验证了位移全局GPBiCG方法求解Stein矩阵方程的有效性,尤其在矩阵 A B 均为大规模矩阵的情况下优势明显。

NOTES

*通讯作者。

参考文献

[1] Bouhamidi, A. and Jbilou, K. (2007) Sylvester Tikhonov-Regularization Methods in Image Restoration. Journal of Computational and Applied Mathematics, 206, 86-98. [Google Scholar] [CrossRef
[2] Zhao, X., Wang, F., Huang, T., Ng, M.K. and Plemmons, R.J. (2013) Deblurring and Sparse Unmixing for Hyperspectral Images. IEEE Transactions on Geoscience and Remote Sensing, 51, 4045-4058. [Google Scholar] [CrossRef
[3] Datta, B. (2004) Numerical Methods for Linear Control Systems. Academic Press.
[4] Kong, H., Zhou, B. and Zhang, M.R. (2010) A Stein Equation Approach for Solutions to the Diophantine Equations. 2010 Chinese Control and Decision Conference, Xuzhou, 26-28 May 2010, 3024-3028. [Google Scholar] [CrossRef
[5] Zhang, Y.N., Jiang, D.C. and Wang, J. (2002) A Recurrent Neural Network for Solving Sylvester Equation with Time-Varying Coefficients. IEEE Transactions on Neural Networks, 13, 1053-1063. [Google Scholar] [CrossRef] [PubMed]
[6] Van Dooren, P.M. (2000) Gramian Based Model Reduction of Large-Scale Dynamical Systems. In: Barbosa, V.C., et al., Eds., Chapman and Hall CRC Research Notes in Mathematics, Routledge, 231-248.
[7] Saad, Y. (2003) Iterative Methods for Sparse Linear Systems. 2nd Edition, SIAM.
[8] O'Leary, D.P. (1980) The Block Conjugate Gradient Algorithm and Related Methods. Linear Algebra and Its Applications, 29, 293-322. [Google Scholar] [CrossRef
[9] Simoncini, V. and Gallopoulos, E. (1996) Convergence Properties of Block GMRES and Matrix Polynomials. Linear Algebra and Its Applications, 247, 97-119. [Google Scholar] [CrossRef
[10] Freund, R.W. and Malhotra, M. (1997) A Block QMR Algorithm for Non-Hermitian Linear Systems with Multiple Right-Hand Sides. Linear Algebra and Its Applications, 254, 119-157. [Google Scholar] [CrossRef
[11] Guennouni, A.E., Jbilou, K. and Sadok, H. (2003) A Block Version of BICGSTAB for Linear Systems with Multiple Right-Hand Sides. Electronic Transactions on Numerical Analysis, 16, 129-142.
[12] Jbilou, K., Messaoudi, A. and Sadok, H. (1999) Global FOM and GMRES Algorithms for Matrix Equations. Applied Numerical Mathematics, 31, 49-63. [Google Scholar] [CrossRef
[13] Heyouni, M. (2001) The Global Hessenberg and CMRH Methods for Linear Systems with Multiple Right-Hand Sides. Numerical Algorithms, 26, 317-332. [Google Scholar] [CrossRef
[14] Jbilou, K., Sadok, H. and Tinzefte, A. (2005) Oblique Projection Methods for Linear Systems with Multiple Right-Hand Sides. Electronic Transactions on Numerical Analysis, 20, 119-138.
[15] Golub, G., Nash, S. and Van Loan, C. (1979) A Hessenberg-Schur Method for the Problem AX + XB= C. IEEE Transactions on Automatic Control, 24, 909-913. [Google Scholar] [CrossRef
[16] Bartels, R.H. and Stewart, G.W. (1972) Solution of the Matrix Equation AX + XB = C. Communications of the ACM, 15, 820-826.
[17] 黄飞虎, 汪晓虹. 求解大型Stein方程的块Krylov子空间方法[J]. 数值计算与计算机应用, 2013, 34(1): 47-58.
[18] Jbilou, K. (2006) Low Rank Approximate Solutions to Large Sylvester Matrix Equations. Applied Mathematics and Computation, 177, 365-376. [Google Scholar] [CrossRef
[19] Bao, L., Lin, Y. and Wei, Y. (2007) A New Projection Method for Solving Large Sylvester Equations. Applied Numerical Mathematics, 57, 521-532. [Google Scholar] [CrossRef
[20] Bouhamidi, A., Hached, M., Heyouni, M. and Jbilou, K. (2011) A Preconditioned Block Arnoldi Method for Large Sylvester Matrix Equations. Numerical Linear Algebra with Applications, 20, 208-219. [Google Scholar] [CrossRef
[21] Zhou, B., Lam, J. and Duan, G. (2009) On Smith-Type Iterative Algorithms for the Stein Matrix Equation. Applied Mathematics Letters, 22, 1038-1044. [Google Scholar] [CrossRef
[22] Zhang, S. (1997) GPBi-CG: Generalized Product-Type Methods Based on Bi-CG for Solving Nonsymmetric Linear Systems. SIAM Journal on Scientific Computing, 18, 537-551. [Google Scholar] [CrossRef
[23] Dehghan, M. and Mohammadi-Arani, R. (2016) Generalized Product-Type Methods Based on Bi-Conjugate Gradient (GPBiCG) for Solving Shifted Linear Systems. Computational and Applied Mathematics, 36, 1591-1606. [Google Scholar] [CrossRef
[24] Frommer, A. (2003) BiCGStab() for Families of Shifted Linear Systems. Computing, 70, 87-109. [Google Scholar] [CrossRef
[25] Zhang, J. and Dai, H. (2014) Global GPBiCG Method for Complex Non-Hermitian Linear Systems with Multiple Right-Hand Sides. Computational and Applied Mathematics, 35, 171-185. [Google Scholar] [CrossRef