Farkas引理在张量结构下的讨论
Discussion of Farkas’ Lemma in Tensor Structure
DOI: 10.12677/pm.2024.145171, PDF, HTML, XML,   
作者: 宋 端:青岛大学数学与统计学院,山东 青岛
关键词: Farkas引理张量非空闭凸集Farkas’ Lemma Tensor Nonempty Closed Convex Sets
摘要: Farkas引理在优化理论体系中具有十分重要的应用,张量是一种多维数组,在高维图像分析、超图聚类等方面具有重要的应用。本文研究张量结构下的Farkas引理,在张量的理论体系下对Farkas引理进行推广,通过引入非空闭凸集的概念及相关知识,利用点与闭凸集的分离定理,得到了张量结构下的Farkas引理。
Abstract: Farkas’ lemma holds significant importance in the system of optimization theory. Tensors, as multidimensional arrays, find crucial applications in fields such as high-dimensional image analysis and hypergraph clustering. This paper explores the Farkas lemma within the context of tensor structures, extending its application within tensor theoretical frameworks. By introducing the concept of non-empty closed convex sets and relevant knowledge, and utilizing the separation theorem of points and closed convex sets, resulting in the derivation of the Farkas lemma within tensor.
文章引用:宋端. Farkas引理在张量结构下的讨论[J]. 理论数学, 2024, 14(5): 145-152. https://doi.org/10.12677/pm.2024.145171

1. 引言

Farkas引理是优化理论中的一个基本引理,最早由匈牙利数学家Julius Farkas于1902年提出并发表了相关文献 [1] ,它是最优化方法中重要的基础工具之一,有助于分析问题的可行性、最优性,也可用于构建优化问题的对偶性,以推导原始问题的最优解。另外,Farkas引理还可以证明Karush-Kuhn-Tucker定理 [2] ,为解决各类优化问题提供了有力的理论基础。近年来,也有一些学者研究了Farkas引理的推广及应用,王周宏 [3] 研究了Farkas引理对锥不等式的推广并给出了理论证明,钱金娥 [4] 研究了Farkas引理的各类等价形式并给出了相关证明。

张量是一种多维数组,是矩阵的一种高阶推广,同时也被称为超矩阵,张量具有方向和大小,可以进行加法、减法、乘法等运算 [5] 。张量在量子力学、流体力学、电磁学等物理学领域有着广泛的应用,它为各种抽象的物理学定义提供了简单的数学框架,在机器学习、深度学习、高维图像分析等计算机领域中,张量是存储和处理数据的基本数据结构,用于表示数据的输入、输出。随着对张量的深入研究,广大学者定义了各种结构的张量包括半正定张量 [6] 、R0张量、随机R0张量 [7] 等,并研究了他们的性质以及应用。

在矩阵的理论体系下,Farkas引理为解决各类优化问题建立了重要的理论基础,而在涉及张量理论的优化问题中,Farkas引理没有得到广泛的应用,相关的研究也较为有限。为了丰富Farkas引理在张量理论中的应用,推动张量理论在优化问题中的发展,本文以Farkas引理为中心,结合张量理论的相关知识,将一般结构下的Farkas引理推广到了张量结构下的Farkas引理,利用张量与向量的乘积构建方程组并引入了嵌入集合及相关定义,证明了 D = { z | z = A x m 1 , x 0 } 为非空闭凸集,进而利用点与闭凸集的分离定理,完成了证明。

2. 预备知识

本节给出一般结构下的Farkas引理以及张量的相关定义。

定理2.1 [8] 设 A R m × n m × n 阶实矩阵, b R n 为非零向量,则下面两组方程:

(a) 存在 x R n ,使得 A x = b ,且 x 0

(b) 存在 y R m ,使得 A T y 0 b T y > 0

有且仅有一组有解。

定义2.1 若张量 A 满足

A = ( a i 1 i 2 i m ) n × n × × n R [ m , n ] = R n × n × × n m

则称 A 为m阶n维张量, R [ m , n ] 为m阶n维张量的集合。

定义2.2 若张量 A 的项在相同索引的不同排列下是相同的,即

a i 1 i 2 i 3 i m = a i 2 i 1 i 3 i m = a i 3 i 2 i 1 i m = = a i m i m 1 i m 2 i 1 ,

A 为对称张量,记 S [ m , n ] 为m阶n维对称张量的集合,则 A S [ m , n ] = S n × n × × n

推论2.1 对称张量 A 的基于任意维度下的转置仍然是对称张量 A 本身。

证明:根据定义2.2中对称张量 A 的性质,交换任意两个维度得到的项与原来的项仍相同。

定义2.3 设张量 A R [ m , n ] ,向量 x R n ,则

A x m 1 表示 R n 中的向量,即

( A x m 1 ) i = i 2 , i 3 i m = 1 n a i i 2 i 3 i m x i 2 x i 3 x i m

其中 i I n = { 1 , 2 , , n } ( A x m 1 ) i 表示 A x m 1 这个向量的第i个分量。

A x m 2 表示 R n × n 中的矩阵,即

( A x m 2 ) i j = i 3 , i 4 i m = 1 n a i j i 3 , , i m x i 3 x i 4 x i m

其中 i , j I n = { 1 , 2 , , n } ( A x m 2 ) i j 表示 A x m 2 这个矩阵的第i行第j列的项。

A x 表示 R [ m 1 , n ] 中的 m 1 阶n维张量,即

( A x ) i 1 i 2 i m 1 = j = 1 n a i 1 i 2 i m 1 j x j

其中 i 1 i 2 i m 1 I n = { 1 , 2 , , n }

定义2.4 设 A R [ m , n ] ,若任意的 a i 1 i 2 i m 0 ,则称 A 0

推论2.2 若 A S [ m , n ] ,则 A x S [ m 1 , n ]

证明:由定义2.2知,设 j [ n ] ,则

a i 1 i 2 i m 1 j = a i 2 i 1 i m 1 j = = a i m 1 i 2 i m 1 j = a i m 1 i m 2 i 1 j

那么

j = 1 n a i 1 i 2 i m 1 j x j = j = 1 n a i 2 i 1 i m 1 j x j = = j = 1 n a i m 2 i 2 i m 1 j x j = j = 1 n a i m 1 i m 2 i 1 j x j

( A x ) i 1 i 2 i m 1 = ( A x ) i 2 i 1 i m 1 = = ( A x ) i m 2 i 2 i m 1 = ( A x ) i m 1 i m 2 i 1

由对称张量的性质知, A x 也是对称张量。

3. 张量结构下的Farkas引理

本节首先给出一些相关的定义,引理及推论。

定义3.1设 D R m D R n m n ,若满足

z D D = { ( z , 0 ) | 0 R n m }

则称D为 D R n 下的嵌入集合。

引理3.1 设 A R m × n m × n 阶矩阵,且 A 0 ,则 D = { z | z = A x , x 0 } 为无限集。

引理3.2 设凸集D非空且非单点,则D为无限集。

推论3.1 设 A S [ m , n ] 为m阶n维对称张量且 A 0 ,则凸集 D = { z | z = A x m 1 , x 0 } 为无限集。

证明:由 A 0 易知恒有 a k 1 k 2 k s 0 k s [ n ] ,取s个n维向量组成的单位正交向量组

x 1 = ε k 1 , x 2 = ε k 2 , , x s = ε k s

存在 t 1 , t 2 ,使得 A ε k t 1 m 1 A ε k t 2 m 1 0 ,故D为非空且非单点凸集,由引理3.2知,D为无限集。

引理3.3 [9] 设 { z p } 为集合D中的任意点列,若满足

z p z 0 ( p + )

z 0 为D的边界点或内点。

引理3.4 设 D R m D R n m n ,D为 D R n 下的嵌入集合,则D为凸集是 D 为凸集的充分必要条件,且集合D中的点都是边界点。

证明:先证必要性,设 z 1 , z 2 D λ ( 0 , 1 ) ,因为D为凸集,则 λ z 1 + ( 1 λ ) z 2 D ,根据定义3.1, ( z 1 , 0 ) , ( z 2 , 0 ) D ,则 λ ( z 1 , 0 ) + ( 1 λ ) ( z 2 , 0 ) = ( λ z 1 + ( 1 λ ) z 2 , 0 ) D 显然,故 D 为凸集。

再证充分性,设 ( z 1 , 0 ) , ( z 2 , 0 ) D λ ( 0 , 1 ) ,因为 D 为凸集, λ ( z 1 , 0 ) + ( 1 λ ) ( z 2 , 0 ) D ,根据定义3.1, z 1 , z 2 D λ z 1 + ( 1 λ ) z 2 D 显然,故D为凸集。

由引理3.3知,集合D中的点都是边界点。

引理3.5 [8] 设 D R n 为非空闭凸集, y R n y D ,则存在非零向量 α R n 和实数 β 使得

α T x β < α T y x D

成立,即存在超平面 H = { x R n | α T x = β } 严格分离点y和凸集D。

根据定理2.1,将 m × n 阶矩阵A推广为m阶n维对称张量,以下给出了张量结构下的Farkas引理。

定理3.1 设 A S [ m , n ] 为m阶n维对称张量, b R n 为非零向量,则下面两组方程:

(a) 存在 x R n ,使得 A x m 1 = b ,且 x 0

(b) 存在 y R n ,使得 A y 0 b T y > 0

有且仅有一组有解。

证明:要证明方程组(a)、(b)有且仅有一组有解,只需证明当方程组(a)有解时方程组(b)无解,当方程组(a)无解时方程组(b)有解即可。

设方程组(a)有解,则存在非负的 x R n ,使得 A x m 1 = b ,由于 A 为对称张量,则

b T y = ( A x m 1 ) T y = ( x T ) m 1 A y

根据推论2.2,记张量

A = ( t i 1 i 2 i m 1 ) n × n × × n = A y S [ m 1 , n ]

T = A y 0 ,故 t i 1 i 2 i m 1 0 ,因为 x 0 ,则

b T y = ( x T ) m 1 T = T x m 1 = i 1 i 2 i m 1 = 1 n t i 1 i 2 i m 1 x i 1 x i 2 x i m 1 0

对任意的向量 y R n 成立,所以方程组(b)无解。

设方程组(a)无解,记 A x m 1 = z ,设 D = { z | z = A x m 1 , x 0 } ,其中 b D ,为了利用点与闭凸集的分离定理(引理3.5),接下来需要先证明集合D为非空闭凸集。

先证明D为非空集,已知 A S [ m , n ] 为m阶n维对称张量, x 0 x R n ,则

( A x m 1 ) i = i 2 , i 3 i m = 1 n a i i 2 i 3 i m x i 2 x i 3 x i m

由于 D = { z | z = A x m 1 , x 0 } ,则存在常数k,使得

z k = ( ( A x k m 1 ) 1 ( A x k m 1 ) 2 ( A x k m 1 ) n ) D

因此D为非空集。

再证明D为凸集,由上述证明知D为非空集,设 z 1 , z 2 D ,则

z 1 = A x 1 m 1 z 2 = A x 2 m 1

对任意的 λ ( 0 , 1 ) ,有

λ z 1 + ( 1 λ ) z 2 = λ A x 1 m 1 + ( 1 λ ) A x 2 m 1

对于分量,有以下关系

( λ z 1 + ( 1 λ ) z 2 ) i = ( λ A x 1 m 1 + ( 1 λ ) A x 2 m 1 ) i

( λ z 1 + ( 1 λ ) z 2 ) i = ( λ A x 1 m 1 ) i + ( ( 1 λ ) A x 2 m 1 ) i = λ i 2 i 3 i m = 1 n a i i 2 i 3 i m x i 2 ( 1 ) x i 3 ( 1 ) x i m ( 1 ) + ( 1 λ ) i 2 i 3 i m = 1 n a i i 2 i 3 i m x i 2 ( 2 ) x i 3 ( 2 ) x i m ( 2 ) = i 2 i 3 i m = 1 n a i i 2 i 3 i m λ x i 2 ( 1 ) x i 3 ( 1 ) x i m ( 1 ) + i 2 i 3 i m = 1 n a i i 2 i 3 i m ( 1 λ ) x i 2 ( 2 ) x i 3 ( 2 ) x i m ( 2 ) = i 2 i 3 i m = 1 n a i i 2 i 3 i m ( λ x i 2 ( 1 ) x i 3 ( 1 ) x i m ( 1 ) + ( 1 λ ) x i 2 ( 2 ) x i 3 ( 2 ) x i m ( 2 ) ) ,

存在向量 t R n 使得

t i 2 t i 3 t i m = λ x i 2 ( 1 ) x i 3 ( 1 ) x i m ( 1 ) + ( 1 λ ) x i 2 ( 1 ) x i 3 ( 1 ) x i m ( 1 )

其中 i 2 i 3 i m { 1 , 2 , , n } ,则

( λ z 1 + ( 1 λ ) z 2 ) i = i 2 , i 3 i m = 1 n a i i 2 i 3 i m t i 2 t i 3 t i m = ( A t m 1 ) i

由于 λ z 1 + ( 1 λ ) z 2 = A t m 1 D ,故D为凸集。

最后证明D为闭集,当 A 中的项全为0时, D = { 0 } ,显然D为闭集。

A 中的项不全为0时,则由推论3.1知D为无限凸集,因此可以在D中可选取两两不同的点列 { z p } ,令 z p z 0 ( p ) ,由引理3.3知 z 0 在D的闭包中,若 z 0 在D的内部,则有 z 0 D ,故要证D为闭集,只需证明当 z 0 为D的边界点时,恒有 z 0 D

z 0 为D的边界点,记为 z 0 D ,在D中选取任意两两不同的点列 { z p } ,令 z p z 0 ( p ) ,因 z p D ,所以存在 x p 使得

z p = A x p m 1 , x p 0 , p = 1 , 2 , 3 ,

A x p m 1 z 0 ( p + ) ,取 x p = ( x 1 ( p ) , x 2 ( p ) , , x n ( p ) ) T R n 展开得

( i 2 , i 3 i m = 1 n a 1 i 2 i 3 i m x i 2 ( p ) x i 3 ( p ) x i m ( p ) i 2 , i 3 i m = 1 n a 2 i 2 i 3 i m x i 2 ( p ) x i 3 ( p ) x i m ( p ) i 2 , i 3 i m n a n i 2 i 3 i m x i 2 ( p ) x i 3 ( p ) x i m ( p ) ) ( z 1 ( 0 ) z 2 ( 0 ) z n ( 0 ) ) ( p + ) (1)

将(1)展开可以构建方程组,即

a 111 1 x 1 ( p ) x 1 ( p ) x 1 ( p ) + a 121 1 x 2 ( p ) x 1 ( p ) x 1 ( p ) + + a 1 n n n x n ( p ) x n ( p ) x n ( p ) z 1 ( 0 ) a 211 1 x 1 ( p ) x 1 ( p ) x 1 ( p ) + a 221 1 x 2 ( p ) x 1 ( p ) x 1 ( p ) + + a 2 n n n x n ( p ) x n ( p ) x n ( p ) z 2 ( 0 ) a n 11 1 x 1 ( p ) x 1 ( p ) x 1 ( p ) + a n 21 1 x 2 ( p ) x 1 ( p ) x 1 ( p ) + + a n n n n x n ( p ) x n ( p ) x n ( p ) z n ( 0 ) ( p ) (2)

考虑到 ( a 1 i 2 i 3 i m , a 2 i 2 i 3 i m , , a n i 2 i 3 i m ) T = 0 ( a i 11 1 , a i 21 1 , , a i n n n ) = 0 的情况,去掉(1)中这两种情况的零式,将(2)改写为

a 111 1 x 1 ( p ) x 1 ( p ) x 1 ( p ) + a 121 1 x 2 ( p ) x 1 ( p ) x 1 ( p ) + + a 1 r 2 r 3 r m x r 2 ( p ) x r 3 ( p ) x r m ( p ) z 1 ( 0 ) a 211 1 x 1 ( p ) x 1 ( p ) x 1 ( p ) + a 221 1 x 2 ( p ) x 1 ( p ) x 1 ( p ) + + a 2 r 2 r 3 r m x r 2 ( p ) x r 3 ( p ) x r m ( p ) z 2 ( 0 ) a k 11 1 x 1 ( p ) x 1 ( p ) x 1 ( p ) + a k 21 1 x 2 ( p ) x 1 ( p ) x 1 ( p ) + + a k r 2 r 3 r m x r 2 ( p ) x r 3 ( p ) x r m ( p ) z k ( 0 ) ( p ) (3)

其中 0 k , r 2 , r 3 , , r m n 且均为实数。

r = r 2 + r 3 + + r m ,设 B = ( b i j ) k × r 为上式的系数矩阵,取向量 t R r

t i ( p ) = x i 2 ( p ) x i 3 ( p ) x i m ( p ) i = i 2 + i 3 + + i m m + 2 i j r j 2 j m

则(3)等价于

b 11 t 1 ( p ) + b 12 t 2 ( p ) + + b 1 r t r ( p ) z 1 ( 0 ) b 21 t 1 ( p ) + b 22 t 2 ( p ) + + b 2 r t r ( p ) z 2 ( 0 ) b k 1 t 1 ( p ) + b k 2 t k 2 ( p ) + + b k r t r ( p ) z k ( 0 ) ( p )

显然B的每行和每列中都至少存在一个非零元素,令

D = { z | z = B t , t 0 } R k k n

根据定义3.1, R n 中的D为 R k 中的 D R n 中的嵌入集合,已证得D为凸集,由引理3.1和引理3.4知 D 为无限凸集,且D中的点都是边界点,故

z D z D z = ( z , 0 ) .

同理

z D z D z = ( z , 0 ) .

由于z, z 分别是D, D 中的任意向量,故以下结论成立

z 0 D , z 0 D z 0 D , z 0 D .

只需证明 D = { z | z = B t , t 0 } 为闭集即可得到 D = { z | z = A x m 1 , x 0 } 为闭集的结论,而 D = { z | z = B t , t 0 } 为闭集在 [4] 中已得到证明,故 D = { z | z = A x m 1 , x 0 } 为闭集。

综上所述,D为非空闭凸集,根据引理3.5,存在非零向量 α R n 和实数 β 使得

z D α T z β < α T b

因为 0 D ,所以 0 β < α T b ,则

β α T z = α T A x m 1 = ( x T ) m 1 A α

记张量

Q = ( q i 1 i 2 i m 1 ) n × n × × n = A α S [ m 1 , n ]

β α T z = ( x T ) m 1 Q = Q x m 1 = i 1 i 2 i m 1 n q i 1 i 2 i m 1 x i 1 x i 2 x i m 1

由于实数 β 是有限实数, x i 1 , x i 2 , , x i m 1 均为任意的非负实数,要保持上述不等式成立,一定有 A α 0 ,又因为 b T α = α T b > 0 成立,所以存在向量 α 使得方程组(b)成立,即方程组(b)有解,定理得证。

m = 2 时,定理3.1退化为了定理2.1。在应用方面,张量结构下的Farkas引理在张量结构的优化问题中可以用来证明解的存在性,考虑如下优化问题,

min A x 3 + q = b s .t . x 0 (4)

其中 A S [ 4 , 3 ] 为四阶三维对称张量, q R 3 b R 3 。直接确定问题(4)解的存在性是困难的,那么可以利用定理3.1,若不等式组

{ A x > 0 ( b q ) T x > 0

有解,则问题(4)一定有解。

相较于一般结构下的Farkas引理,张量结构下的Farkas引理适用于更加复杂的张量系统,这种推广对于解决带有张量结构的优化问题具有重要意义,为张量理论在优化问题中的发展打开了新的思路。

4. 结论

本文将一般结构下的Farkas引理推广为张量结构下的Farkas引理,即给定m阶n维对称张量 A 与非零向量 b R n ,存在向量 x R n ,使得 A x m 1 = b x 0 或者存在向量 y R n ,使得 A y 0 b T y > 0 ,通过引入嵌入集合的概念并利用张量与向量的乘积构建方程组,证明了集合 D = { z | z = A x m 1 , x 0 } 为非空闭凸集,利用点与闭凸集的分离定理证明了该推广,最后给出了推广结果在相关优化问题中的应用。但是本文主要考虑的是对称张量,对于一般的张量或者更为特殊的张量,该推广是否成立仍然需要进一步研究,对于张量结构下的Farkas引理,能否推导出张量结构下约束优化问题的KKT条件同样需要更深入的研究。

参考文献

[1] Farkas, J. (1902) Theorie der einfachen Ungleichungen. Journal für die reine und angewandte Mathematik (Crelles Journal), 124, 1-27.
https://doi.org/10.1515/crll.1902.124.1
[2] Takayama, A. (1985) Mathematical Economics. Cambridge University Press, New York.
[3] 王周宏. Farkas引理的几个等价形式及其推广[J]. 应用数学学报, 2008(5): 929-939.
[4] 钱金娥. Farkas引理及其应用[D]: [硕士学位论文]. 荆州: 长江大学, 2017.
[5] Qi, L. (2005) Eigenvalues of a Real Supersymmetric Tensor. Journal of Symbolic Computation, 40, 1302-1324.
https://doi.org/10.1016/j.jsc.2005.05.007
[6] 罗自炎, 祁力群. 半正定张量[J]. 中国科学: 数学, 2016, 46(5): 639-654.
[7] Che, M., Qi, L. and Wei, Y. (2019) Stochastic R0 Tensors to Stochastic Tensor Complementarity Problems. Optimization Letters, 13, 261-279.
https://doi.org/10.1007/s11590-018-1362-7
[8] 袁亚湘, 孙文瑜. 最优化理论与方法[M]. 北京: 科学出版社, 1997.
[9] 关肇直, 张恭庆, 冯德兴. 线性泛函分析入门[M]. 上海: 上海科学技术出版社, 1979.