带稀疏约束的分裂可行问题的算法
The Solution of Sparsity-Constrained Split Feasibility Problem
摘要: 本文,我们主要研究带稀疏约束的分裂可行问题。在某些合理的假设下用IHT算法,得到了带稀疏约束的分裂可行问题的稳定点及给出在局部收敛性分析中起到了重要作用的结论。
Abstract: In this paper, we mainly study the solution of sparsity-constrained split feasibility problem. Under some reasonable assumptions, we use IHT algorithm to get the stationary points of sparsity-  constrained split feasibility problem and get a conclusion which plays an important role in local convergence analysis.
文章引用:畅含笑, 孙军, 屈彪. 带稀疏约束的分裂可行问题的算法[J]. 应用数学进展, 2016, 5(2): 269-275. http://dx.doi.org/10.12677/AAM.2016.52034

1. 引言

近几年来,带稀疏约束的最优化问题得到了学者们广泛的关注,这是因为它在信号处理、图像恢复等领域有着重要的应用 [1] - [4] 。不论是在理论、算法还是在应用方面,已经有了大量的研究。

大多数的理论研究都是关于带稀疏约束的一般连续可微函数,问题形式如下:

使得 (1.1)

其中,是一个连续可微的函数,是一个小于的整数。代表零范数(是向量中非零分量的个数)。目前,问题(1.1)已经引起了大量学者的研究,并提出了许多算法,但大多数的算法产生的点列都只是收敛到问题(1.1)的稳定点。在 [5] 中,作者引用了一种叫IHT的算法用来解问题(1.1),并证明由该算法产生的点列的任意聚点都为问题(1.1)的L-稳定点。

关于问题(1.1)的特殊形式,其中,也得到了广大学者的广泛关注 [6] - [8] 。

本文,我们主要研究的是带稀疏约束的分裂可行问题,分裂可行问题就是下述形式的问题,最早被Censor在 [9] 中提出:

找向量

, (1.2)

其中,分别为中的非空闭凸集,为一个的实矩阵。

本文研究的是带稀疏约束的分裂可行问题,问题形式如下:

找向量

, , 使得 (1.3)

受到 [5] 的启发,我们通过求解下述最优问题得到(1.3)的近似解

(1.4)

注1:在本文中我们取

2. 预备知识

2.1. 支撑映射

定义:对任意的非空闭集,称的投影。称由往稀疏集上的投影为支撑映射。

显然,往稀疏集上的投影的分量包括个绝对值最大的分量和个零。即:设的指标集,且

,

因为非凸的,所以一般不是一个单点集。为使为单点集,我们这样定义:设代表的第大的分量,则有。记。当时,取,如果有多于一个的时,随机从中选一个;否则,取。即:

2.2. L-稳定点

定义:如果对任意的,满足如下:

(2.1)

则称为(1.4)的稳定点.其中,为(1.4)的可行域,

2.3. 导集

定义:记集合的所有的聚点组成的集合为,称的导集。

注2:导集的一些性质:1) 若为闭集,则;2) 记的闭包,则

引理2.1:对任意的满足(2.1)当且仅当,且

引理2.2:(1.4)式中,目标函数的梯度函数上是Lipschitz连续的,且Lipschitz常数为,即:

证明:对任意的,有

即:

证毕。

引理2.3 (the descent lemma [10] ):假设是一个连续可微的函数,且其梯度函数是Lipschtz连续的,并记其Lipschtz常数为,则对任意,有

其中

引理2.4:对于任意的,则对任意的,满足于

(2.2)

则有

其中,

证明:我们知(2.2)式可以写成如下形式:

(2.3)

又因为

关于为常数,故(2.3)式等价于

即:

(2.4)

由引理2.4可得

即:

(2.5)

联立(2.4),(2.5)可得

证毕。

定理2.1:对于任意的,设为(1.4)式的最优解,则

(1)是一个-稳定点。

(2)为一个单点集。

证明:我们同时证明(a)和(b),假设存在向量,且有

在引理2.4中取,有

这与为最优解矛盾。

证毕。

3. IHT算法

在本文我们引用求解带稀疏约束的一般连续可微函数的IHT算法来求解带稀疏约束的分裂可行问题。

算法过程如下:

步骤1:任取

步骤2:

步骤3:若有,则停止;否则令,转步骤2。

其中,稀疏集

引理3.1:设为由IHT算法产生的点列,则

(1)

(2)是一个不增数列;

(3)

证明:在引理2.4中,取,从而由(1)成立。又由(1)可直接得出(2),(3)成立。

定理3.1:设为由IHT算法产生的点列,则的任一聚点都为L-稳定点。

证明:该证明与 [5] 中定理3.1类似,证明过程如下:

的任意聚点,则存在子列收敛到。由引理3.1的(1)可得:

(2.6)

因为为正数列,结合引理3.1中(2),可以得出收敛到同一极限。从而有时,,联立(2.6)式可以得出:

时,

。因为都收敛到,所以存在使得当时,有:

从而对所有的

可得

再取。如果存在有限个。则

取极限可得。特别地,。另一方面,如果存在,使得对所有的都有,则

再取,利用函数的连续性可得:

从而结论得证。

证毕。

引理3.2:设为由IHT算法产生的点列,且为包含的所有聚点的集合,,则①;或②,其中的导集。

证明:假设①不成立,则证②成立。因为为闭集,所以我们只需要证明

,故存在的子列使得:

(2.7)

因为①不成立,故存在的一个邻域,记作使得:

(2.8)

,由引理3.1的(3)和(2.7)式知,使得:

(2.9)

(2.10)

不失一般性,对于我们可以假设对,使得且有对于,由(2.8)式和(2.9)式可得,所以,存在使得:

(2.11)

(2.12)

由(2.10)和(2.11)式可得,当时有:

即点列,故存在聚点,设为,则,由(2.12)式可得,由的任意性,得

证毕。

定理3.2:设为IHT算法产生的点列,若为(1.4)的严格局部最小解,则有

证明:由于的一个聚点,故(2.7)式成立,又,结合引理3.2的(2)知,由IHT算法产生的点列满足,所以

即:

(2.13)

由引理3.1的(3)知

由引理3.2知,若,则对于任意的,存在,都有,而由(2.13)式知对所有成立。故与为(1.4)的严格局部最小解矛盾。

证毕。

4. 总结

本文在带稀疏约束的一般连续可微函数的已有结论的基础上,对带稀疏约束的分裂可行问题进行求解分析。由引理3.2我们可以得出,由IHT算法产生的点列,要么满足,此时,有收敛到(1.4)的一个-稳定点;要么有 (包含的所有聚点)。并且我们给出了在局部收敛性分析中起到了重要作用的结论。

参考文献

[1] Bardsley, J. and Nagy, J. (2006) Covariance-Preconditioned Iterative Methods for Nonnegativity Constrainted Astro-nomical. SIAM Journal, 27, 1184-1198.
[2] Bruckstein, A.M., Donoho, D.L. and Elad, M. (2009) From Sparse Solu-tions of Systems of Equations to Sparse Modeling of Signals and Images. SIAM Review, 51, 34-81.
http://dx.doi.org/10.1137/060657704
[3] Bruckstein, A.M., Elad, M. and Zibulevsky, M. (2008) On the Uni-queness of Nonnegative Sparse Solutions to Underdetermined Systems of Equations. IEEE Transactions on Information Theory, 54, 4813-4820.
http://dx.doi.org/10.1109/TIT.2008.929920
[4] Donoho, D.L. and Tanner, J. (2005) Sparse Nonnegative Solu-tions of Underdetermined Linear Equations by Linear Programming. Proceedings of the National Academy of Sciences of the United States of America, 102, 9446-9951.
http://dx.doi.org/10.1073/pnas.0502269102
[5] Beck, A. and Eldar, Y. (2013) Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms. SIAM Journal, 23, 1480-1509.
http://dx.doi.org/10.1137/120869778
[6] Bahmani, S., Raj, B. and Boufounos, P.T. (2013) Greedy Sparsi-ty-Constraind Optimization. Journal of Machine Learning Research, 14, 807-841.
[7] Cartis, C. and Thompson, A. (2013) A New and Improved Quantitative Recovery Analysis for Iterative Hard Thresholding Algorithms in Compressed Sensing. arXiv:1309.5406.pdf.
[8] Tropp, J. (2004) Greed Is Good: Algorithmic Results for Sparse Approximation. IEEE Transactions on Information Theory, 50, 2231-2242.
http://dx.doi.org/10.1109/TIT.2004.834793
[9] Censor, Y. and Elfving, T. (1994) A Multiprojection Algorithm Using Bregman Projection in a Product Space. Numerical Algorithms, 8, 221-239.
http://dx.doi.org/10.1007/BF02142692
[10] Bertsekas, D.P. (1999) Nonlinear Programming. 2nd Edition, Athena Scientific, Belmont.
[11] Wang, C., Liu, Q. and Ma, C. (2013) Smoothing SQP Algorithm for Semismooth Equations with Box Constraints. Computational Optimization and Applications, 55, 399-425.
http://dx.doi.org/10.1007/s10589-012-9524-5