等式约束下凸二次规划问题的改进拟Newton算法Word文档下载推荐.docx
《等式约束下凸二次规划问题的改进拟Newton算法Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《等式约束下凸二次规划问题的改进拟Newton算法Word文档下载推荐.docx（7页珍藏版）》请在冰豆网上搜索。
,此外拟Newton法修正原则BFGS法产生的1kB+不一定对称正定,因而相应的拟Newton方向可能不是f在kx的下降方向。
为了克服这一缺陷本文改进了文献[5]的算法,采用Wolf-Powell线搜索确定步长,此线性搜索可以避免步长过小的情况,从而减少迭代次数。
2.算法描述
主要考虑以下等式约束凸二次规划问题
1min（
2
..T
TfxxQxcxst
Axb
=
+=（2.1式中,Q为n阶正定阵;
A为mn×
阶矩阵;
,mnn
bRcRxR∈∈∈。
利用增广Lagrange函数将该等式约束转问题转化为无约束问题,得到相应的增广Lagrange函数为:
（,,（（（（2
TTxfxAxbAxbAxbµ
φλµ
λ=−−+
−−
式中1（,,;
0.T
mλλλµ
=>
L记*
x为最优解,*
λ为最优解*
x处的增广Lagrange乘子。
可以证明,在一定的条件下,当µ
固定*
λλ→时,有*（,,xxxλµ
→见参考文献[4]。
于是问题（1可以转化为以下无约束最小值问题:
1min（,（（（22
TTTTxxQxcxAxbAxbAxbµ
φλλ=
+−−+−−（2.2其中,（,:
n
xRRφλ→二阶连续可微且有下界,记（,kkkgxφλ=∇,1kkkygg+=−,
1kkksxx+=−
考虑迭代
1kkkkxxdα+=+,1
kkkdBg−=−,1（kkkAxbλλµ
+=−−
其中kλ为乘子迭代公式中的乘子向量,kα为搜索步长,kB是拟牛顿修正矩阵,他由BFGS修正公式（见文献[3]
1TTkkkkkk
kkTT
kkkkk
yyBssBBByssBs+=+−（2.3给出,由于kkkkBsgλ=−,kkkBdg=−故上式可写成
1TTkkkk
ggyyBBgdydλ+=++BFGS校正公式是迄今最好的拟牛顿公式,它具有DEP校正所具有的各种性质,当采取不精确线搜索时,BFGS校正公式还具有总体收敛性。
（见参考文献[3]
我们采用Wolf-Powell线搜索原则:
给定常数12,σσ,满足11201/2,1σσσ<
<
取
0kα>
使之满足下列不等式:
12（（（T
kkkkkkk
TT
kkkkkk
xdxgdxddgdφαφσαφασ⎧+≤+⎨∇+≥⎩（2.4利用函数（（kkxdϕαφα=+上式可等价下式:
12（（0（0,
（（0kkkϕαϕσαϕϕασϕ′≤+⎧⎨
′′≥⎩
其中kd满足线性方程组0kkBdg+=,kB为已知正定矩阵。
算法如下:
步骤1.若1kα=满足（2.4则取1kα=否则转下一步;
步骤2.给定常数0β>
1,（0,1ρρ∈。
令（0
kα是集合{}
0,1,2,iiβρ=L中使得（2.4中
第一个不等式成立的最大者,令0i=;
步骤3.若（
ikα满足（2.4中的第二个不等式则终止计算,并得到步长（
ikkαα=,否则令
（1（iikkβρα−=转步4;
步骤4.令（1
ik
α+是集合{
}
（（（
1（,0,1,2,ijiikkkjαρβα+−=L中使（2.4中第一个不等式成
立的最大者,令:
1ii=+,转步3;
其中第一个条件是Armijo型线搜索的条件,第二个条件的作用在于限制过小的步长,一般地,2σ值愈小线性搜索愈精确,不过2σ值愈小工作量愈大,而不精确线搜索不要求过小2σ,的通常取120.1,0.4σσ==。
综上所述,利用拟Newton法解等式约束下凸二次规划算法的步骤如下:
步1给定初始点1n
xE∈,乘子向量初始估计1λ,参数µ
允许误差0ε>
;
步2置1nBI=（单位矩阵计算在1x处的梯度1
111（T
T
gQxcAAAxbλµ
=+−+−,置
:
1k=;
步3计算1
kkkdBg−=−;
步4沿方向kd通过Wolf-Powell线搜索原则确定步长kα令1kkkkxxdα+=+;
步5若kgε≤,则停止迭代,得*
1kxx+=否则转步6;
步6若kn=,则令11kxx+=返回步2否则转步7;
步7计算1（kkkAxbλλµ
+=−−;
校正kB:
利用
（2.3产生1kB+,置:
1kk=+返回步3。
3.算法收敛性
线性搜索对算法的收敛性有影响,采用不同的线性搜索的拟Newton法的收敛性质也不相同。
首先假设:
（1函数二次连续可微
（2水平集是凸集,且函数在上是一致凸函数,即存在正常数,使得
为了定理的证明,我们需要以下引理:
引理3.1（参考[4]若假设成立,则（,0ktrBckk≤∀≥
（
（（
01
01ik
iiTiiiBSckkSBS
=≤∀≥+∑其中（trA表示矩阵A的迹,0c>
是常数。
引理3.2（参考[4]若假设成立,点列（
{}kx由Wolf-Powell型线搜索的BFGS算法产生,则存在常数20c>
使得
1（2（coskkkkdcfxαθ−≤∇;
其中,kθ表示k
d与（（kfx−∇间的夹角。
而且,存在常数0α>
使得算法产生的步长kα满足
11
0k
ki
ikα
α+=≥∀≥∏。
定理1（参考[4]若假设成立,则Wolf-Powell型线搜索的BFGS算法产生的点列（
{}kx收敛于问题的唯一极小值*
x。
4.数值检验
为了进一步验证算法的实际计算效果,我们对算法进行了一定的数值试验（以下算例中均取参数1122,0.5,0.6,0.1,0.4,14eβρρσσε======−如下:
例1[5]
22212
3123123123min22..422
xxxxxxstxxxxxx++−+++=−+=
例2[5]
22
1212
12min22..1
xxxxstxx+−+=
计算结果见表1、2
表1例1的计算结果
1T
x
1λ
µ
0T
kx1
Tkx0k
1
k（1,1,1
（1,1,1（2,2,0.1（1,1（1,1（1,10.5
10.5
（1.9061,1.9591,0.1376
（1.9064,1.9519,0.1409（1.9055,1.9539,0.1411（1.9092,1.9541,0.1364（1.9091,1.9545,0.1363（1.9090,1.9537,0.1363
457249
463943
表2例2的计算结果
1Tx
k（1,1（1,1（0.5,0.7（1（1（1211
（0.3989,0.5997
（0.3966,0.5999（0.4011,0.5999（0.4000,0.6001（0.4000,0.6000（0.4000,0.6001
283713
192916
其中0k表示文献[5]中算法的迭代次数,1k则表示本文改进算法的迭代次数;
0T
kx表示文献[5]中算法的最优解,1T
kx表示本文改进算法的最优解。
数值计算结果表明优于文献[5]中提出的算法,而且对初始值和参数进行适当调整,发现计算结果并不敏感,精度较高,迭代次数少。
参考文献
[1]陈宝林.最优化化理论与算法[M].北京:
清华大学出版社,1989.
[2]席少林.非线性最优化方法[M].北京:
高等教育出版社,1992.
[3]袁亚湘,孙文瑜.最优化理论与方法.北京:
科学出版社,2004.
[4]李董辉,童小娇,万中.数值最优化[M].北京:
科学出版社,2005.
[5]王朝平,赵天玉,陈忠.一个等式约束下凸二次规划的拟牛顿算法[J].长江大学学报,2005,2（4:
109-110.AClassofImprovedQuasi-NewtonMethodsonConvex
QuadraticProblems
WangJianfang,YangXiaoguang,SongWei
DepartmentofMathematics,DalianMaritimeUniversity,Dalian,Liaoning（116026
Abstract
ImprovedQuasi-NewtonMethodpresentsacalssofimprovedquasi-Newtonmethodssolvingconvexq
升级会员 