梯度法求解黎曼流行上的多指标最优化
A Gradient Method to Solve Multicriteria Optimization on Riemannian Manifolds
摘要:

在这篇文章中,我们提出了黎曼流形上的一种新的梯度法,来解决多指标最优化问题。当目标函数是拟凸时,由梯度法产生的迭代序列收敛到临界的Pareto点,若目标函数是伪凸的,则由新的梯度算法产生的迭代序列收敛到最优的Pareto点。

In this paper, we present a new gradient method in the Riemannian context to solve multicriteria optimization. If the objective function is quasiconvex, the sequence generated by this method converges to a critical Pareto point. If the objective function is pseudo-convex, then the sequence will converge to optimal Pareto point.

文章引用:唐凤梅. 梯度法求解黎曼流行上的多指标最优化[J]. 理论数学, 2016, 6(1): 10-16. http://dx.doi.org/10.12677/PM.2016.61002

1. 引言

梯度法在最优化问题的研究中有重要作用,特别地,对于无限制最优化问题经常与经典的最速下降法联系起来(见[1] ),经典的最速下降法又叫做Cauchy方法或简单的梯度方法。由于在很多情况下由于收敛较慢而经常会被改进。在[2] 中对经典的最速下降法进行了修正得到了其他两种较快的梯度方法。

对于将欧式空间中的算法与概念推广到黎曼流形上是理论和实际的推动,已经有很多相关方面知识的推广。在欧式空间中多数情况研究的目标函数是凸函数。在非凸的条件下,情况比较复杂。所以将欧式空间推广到黎曼流形上主要的优点在于可以将经典意义下的非凸问题可以转化成凸问题。只要定义恰当的黎曼度量,可以将欧式空间上有限制的最优化问题转化为黎曼流形上的无限制最优化问题,这方面可以参照[3] [4] 。

Para Quiroz在[5] 中解决了拟凸函数在黎曼流形上的最小值问题,Bento在[6] 中假定目标函数是拟凸的,产生的序列收敛到临界的Pareto点。在这个条件下,我们所定义的新的梯度法产生的序列同样能收敛到临界的Pareto点。若目标函数是伪凸的,由本文的梯度法产生的迭代序列将收敛到最优的Pareto点。

本篇文章的第二部分主要介绍了文章中涉及到的关于黎曼几何的一些概念和结果。第三部分给出了多指标最优化问题的定义,以及一些基本的概念。第四部分,我们给出了全局收敛结果。

2. 基本说明

2.1. 黎曼流形的基本知识

这一部分,我们将介绍黎曼流形的一些基本性质和概念。这些概念可以在如下黎曼流形的书中找到,如[7] [8] 。

是一个维完备的黎曼流形。我们用表示在点的切空间,表示的切丛,表示的光滑切向量场。假设的黎曼度量是,它所对应的范数记为中连接两点的侧地线可以表示为,其中,这条测地线的长度可以表示为两点的距离定义为所有这些测地线距离的下确界,记为

表示黎曼流形的Levi-Civita联络,一条曲线叫做测地线当且仅当,一条测地线被点和切向量唯一确定,记为

一个黎曼流形是完备的,意思是说按照上述方式定义的距离,流形构成一个完备的度量空间。根据Hopf-Rinow定理,黎曼流形的完备性等价于测地线对于任意的实值都有定义。完备性蕴含着存在连接两点的测地线段达到的距离。

我们用表示黎曼曲率张量,对于

其中表示的Possion括号积。关于截面曲率定义为

其中

一个中的测地链表示一对测地线使得且其中至少有一条是极小测地线段。记

(余弦定理)设是一个具有非负曲率的完备黎曼流形,所有的符号如上所示,我们有

(1)

证明见[8] 。

2.2. 基本说明二

。对于任意的,我们说表示,同样的表示

给定一个连续可微的向量函数,我们求解下面的最优化问题:

(2)

其中

表示的黎曼Jacob在的像。

的最优的Pareto点,即不存在其他的点使得并且

的临界的Pareto点,即满足一阶最优化条件

(3)

我们称上是凸的,若对于和连接的测地线段(即),有

(4)

我们称上是拟凸的,若对于和连接的测地线段(即),有

(5)

我们称上是伪凸的,若是可微的,且对于和连接的测地线段(即),有

注:向量函数的凸性(拟凸性)与每一个分量的凸性(拟凸性)等价,若的分量是伪凸的,则是伪凸的,反之不成立。

我们称收敛到非空集合,若对,都存在序列使得

在得到收敛性之前我们需要做如下假设:

假设一:,对于中的任意点列都有非空。

由假设一可得如下假设二:

假设二:,对于中的任意点列都有非空。

3. 黎曼流形上的梯度法

为了求解这个多目标最优化问题,我们任取,并且满足,我们将原问题转化为解。下面我们给出迭代方向:

(6)

迭代方向定义为:

算法迭代如下:

初始化:任取,令

终止条件:若迭代方向,则算法终止。否则继续进行下面的步骤:

迭代步长:计算出迭代方向,计算迭代步长:

(7)

返回终止条件。

注:这个迭代具有良好的性质:

,只要那么使得

4. 引理和定理

引理4.1 无限制最优化问题(6)有唯一的最优解,并且解的形式如下:

证明 令。注意到是一个凸函数,是一个严格凸函数,从而是一个严格凸函数,因而这个无限制最优化问题有唯一解。

由于是可微的标量函数,它的极值点就是稳定点,由此计算得

引理4.2 若不是函数的临界的Pareto点,并且是问题(6)的解,则

证明 因为不是临界的Pareto点,所以,使得,特别地,令

因为,令,可得

是(6)的解,所以

引理4.3是一个拟凸(伪凸)的向量函数,那么是拟凸(伪凸)函数。

证明 因为是拟凸的向量,则对于和连接的测地线段(即),有,那么的分量函数也满足,上式两边同乘以可得

求和可得

得证。伪凸的情况类似可得。

引理4.4是一个可微的伪凸函数,则是拟凸函数。

证明 见[9] Remark 3.3

引理4.5是一个可微的拟凸函数,则对于每一条连接的测地线段

证明 见[6] 。

引理4.6 设是一个非空集合并且是拟收敛的,则序列是有界的,进一步地,若的聚点,则

证明 类似于[10] 的证明,只要将黎曼距离代替欧式空间中的距离即可。

引理4.7是一个拟凸函数,是一个具有非负曲率的完备黎曼流形,且假设二成立,则收敛到非空集合

证明 任取,令是连接单位最短测地线,是连接的测地线段使得并且那么根据余弦定理,我们得到:

注意到,带入上面的不等式得

(8)

由引理4.1得根据引理4.3可知:是拟凸的,并且

据引理4.5可得:,带入(8)可得

由假设二:非空,则存在根据算法的迭代步骤:

求和可得:

收敛,从而结论得证。

引理4.8是一个连续可微的拟凸函数,是一个具有非负曲率的完备黎曼流形,并且假设二成立,则收敛到一个稳定点(即),并且就是的一个临界的Pareto点。

证明 由于收敛到非空集合,由引理4.6可知是有界序列,则存在收敛子序列,不妨设,根据的连续性可得:

从迭代算法中可知是单调递减的,从而

现在证明,假设结论不成立,由的收敛性知:。结合算法的性质可得,当充分大的时候,存在,使得:

即:

在上式令,由于,上式左侧就是对关于在零点处求导,从而有:

注意到,我们得到,这与矛盾,得证。

定理4.1是一个可微的伪凸函数,是一个具有非负曲率的完备黎曼流形,并且假设二成立,那么收敛到全局最优点,且的一个最优的Pareto点。

证明 由引理4.3,引理4.4可知是拟凸函数,再根据引理4.8可得,收敛到的稳定点,即收敛点满足,结合的伪凸性知,不存在使得,这说明不存在使得。得证。

5. 结论

这篇文章主要给出了流形上的一种梯度法,并且当目标函数是拟凸时,得出了由这种梯度法产生的迭代序列收敛到临界的Pareto点。当目标函数是伪凸时,收敛到最优的Pareto点。在具有非负曲率的完备黎曼流形上已经有很多算法的提出来解决多指标最优化问题。在今后的研究中我们不仅可以对算法做进一步的改进,也可以将问题研究的范围推广到其它空间,如函数空间,锥空间等。

基金项目

本研究获得“上海高校一流学科(B类)”经费资助。

参考文献

[1] Cauchy, A. (1847) Méthodes générales pour la résolution des systèmes d’équations simultanees, C.R. Acad. Sci. Par., 25, 536-538.
[2] Raydan, M. and Svaiter, B.F. (2002) Relaxed Steepest Descent and Cauchy-Barzilai-Borwein Method. Computational Optimization and Applications, 21, 155-167.
http://dx.doi.org/10.1023/A:1013708715892
[3] Bento, G.C. and Melo, J.G. (2012) A Subgradient Method for Convex Feasibility on Riemannian Manifolds. Journal of Optimization Theory and Applications, 152, 773-785.
http://dx.doi.org/10.1007/s10957-011-9921-4
[4] Cruz Neto, J.X., de Lima, L.L. and Oliveira, P.R. (1998) Ge-odesic Algorithms in Riemannian Geometry. Balkan Journal of Geometry and Its Applications, 3, 89-100.
[5] Papa Quiroz, E.A., Quispe, E.M. and Roberto Oliveira, P. (2008) Steepest Descent Method with a Generalized Armijo Search for Quasiconvex Functions on Riemannian Manifolds. Journal of Mathematical Analysis and Applications, 341, 467-477.
http://dx.doi.org/10.1016/j.jmaa.2007.10.010
[6] Bento, G.C., Ferreira, O.P. and Oliveira, P.R. (2012) Unconstrained Steepest Descent Method for Multicriteria Optimization on Riemannian Manifolds. Journal of Optimi-zation Theory and Applications, 154, 88-107.
http://dx.doi.org/10.1007/s10957-011-9984-2
[7] Do Carmo, M.P. (1992) Remannian Geometry. Birkhauser, Boston.
[8] Sakai, T. (1996) Riemannian Geometry. Translations of Mathematical Monographs, Vol. 149. American Mathematical Society, Providence.
[9] Bento, G.C., Cruz Neto, J.X. and Soubeyran, A. (2014) A Proximal Point-Type Method for Multicriteria Optimization. Set-valued and Variational Analysis, 22, 557-573.
[10] Burachik, R., Graña Drummond, L.M., Iusem, A.N. and Svaiter, B.F. (1995) Full Convergence of the Steepest Descent Method with Inexact Line Searches. Optimization, 32, 137-146.
http://dx.doi.org/10.1080/02331939508844042