1. 引言
考虑无约束优化问题 ,共轭梯度法是解决此类问题的一种非常有效方法。共轭梯
,共轭梯度法是解决此类问题的一种非常有效方法。共轭梯
度法是一种迭代算法,因为简便、存储需求小的优势而往往被用来求解大规模的优化问题,它的迭代公式通常如下:
 (1)
(1)
其中 是搜索步长,
是搜索步长, 是搜索方向,通常定义如下:
是搜索方向,通常定义如下:
 (2)
(2)
这里的 ,表示目标函数
,表示目标函数 在点
在点 处的梯度,其中
处的梯度,其中 在
在 上连续可微。
上连续可微。 则是一个参数。通过改变这个参数的不同选取,可以获得不同的带参数共轭梯度算法,人们经常讨论的参数公式有以下这些 [1] :
则是一个参数。通过改变这个参数的不同选取,可以获得不同的带参数共轭梯度算法,人们经常讨论的参数公式有以下这些 [1] :
 ,
, ,
, ,
, ,
,
研究者普遍认为PRP方法是目前数值表现最好的共轭梯度法之一,但收敛性质比较一般。文献 [2] 举例指出:即使按照Curry原则进行选取步长,PRP共轭梯度法对一般的非凸函数也未必收敛;因此,很多研究者都对PRP共轭梯度法进行了修正改进,文献 [3] [4] [5] [6] [7] 均是对 进行非负修正,其中文献 [5] 提出的参数公式
进行非负修正,其中文献 [5] 提出的参数公式

受到了广泛关注。建立在这一参数公式基础上的共轭梯度算法不仅收敛效果好,而且数值结果也比较理想 [4] [5] 。在此基础上文献 [6] 提出了一种修正的WYL共轭梯度法
 ,
,
该方法能够自动保证参数公式的非负性,而且不依赖任何线搜索,可以自动保证充分下降性,因而收敛效果也比较好。我们在文献 [7] 中提出的修正的PRP共轭梯度法
 (3)
(3)
借鉴了文献 [6] 的思路。若对参数公式(3)的分母加一个非负的量 ,选择参数为
,选择参数为
 ,
, (4)
 (4)
则可以得到一个新的共轭梯度法。
下面将建立并讨论新算法和算法的收敛性。新算法采用弱Wolfe-Powell(WWP)线搜索,步长 满足:
满足:
 (5)
(5)
和
 (6)
(6)
其中 和
和 是满足
是满足 的常数。
的常数。
2. 算法与假设
算法1
步1:给出 ,
, 。令
。令 ,
, 。若
。若 ,则停止。
,则停止。
步2:计算步长因子 ,使
,使 满足WWP线搜索(5)、(6)。
满足WWP线搜索(5)、(6)。
步3:令 ,
, 。若
。若 ,则停止。
,则停止。
步4:按(4)式计算公式 ,其中
,其中 ,利用(3)式计算
,利用(3)式计算 。
。
步5:令 ,转步2。
,转步2。
假设:
假设(i) 水平集 有界。
有界。
假设(ii) 函数 在
在 的某邻域
的某邻域 内连续可微,并且它的梯度函数
内连续可微,并且它的梯度函数 Lipschitz连续。即存在一个正的常数
Lipschitz连续。即存在一个正的常数 ,对任意
,对任意 ,
,
 。(7)
。(7)
3. 全局收敛性
引理1. 若 ,其中
,其中 ,则
,则 。
。
证明:因为 ,所以
,所以 。
。
由Cauchy-Schwarz不等式可得
 。
。
引理2 (性质*)。考虑算法1,假设(i)、(ii)成立,若
 (8)
(8)
则存在常数 和
和 ,使对所有
,使对所有 ,有
,有
 ,
,
以及
 。
。
证明:取 ,
, ,则
,则
 。
。
而若 ,则由Lipschitz连续性知
,则由Lipschitz连续性知
 。
。
引理3 [8] 。考虑共轭梯度方法(1)和(2),步长因子 满足线搜索WWP (5)、(6),若:
满足线搜索WWP (5)、(6),若:
1) ;
;
2) 充分下降条件成立;
3) 性质(*)成立;
4) 假设(ⅰ)(ⅱ)成立;
则算法全局收敛。
在共轭梯度法的讨论中,充分下降条件
 ,
, ,(9)
,(9)
是一个很重要的性质。
根据以上3个引理,在假设充分下降条件可以满足的前提下,容易得出本文所给的共轭梯度法在WWP线搜索下全局收敛的结论。
定理1. 若假设(i) (ii)成立,且(9)式成立,序列 由算法1生成,则
由算法1生成,则
 。
。
4. 数值试验
为了考查新算法的数值表现,本文选取26个函数进行数值实验,部分测试函数来自CUTE函数库。数值试验程序我们利用Fortran语言编写。表1列出的计算结果是在参数 ,线搜索参数
,线搜索参数 ,
,


Table 1. The results of numerical experiment
表1. 数值实验结果
 ,
, ;终止条件是迭代次数
;终止条件是迭代次数 ,或者
,或者 的时候分别对3000维和6000维进行测试时取得的。表1中的
的时候分别对3000维和6000维进行测试时取得的。表1中的 是算法终止时的函数值,
是算法终止时的函数值, 表示算法终止时梯度范数值,
表示算法终止时梯度范数值, 表示迭代次数,
表示迭代次数, 表示计算次数。
表示计算次数。
上表中的测试结果表明新算法是有效的,特别是对于高维问题,新算法表现出了较好的处理能力,所以对于大规模优化问题的求解,新算法有能力解决此类问题。
基金项目
国家自然科学基金项目(No.11661001, No.11661009);广西自然科学基金(No.2014GXNSFAA118030);广西教育厅科研项目(No.YB2014389)。