求解非线性约束优化问题精确罚函数方法.docx
《求解非线性约束优化问题精确罚函数方法.docx》由会员分享，可在线阅读，更多相关《求解非线性约束优化问题精确罚函数方法.docx（99页珍藏版）》请在冰豆网上搜索。
求解非线性约束优化问题精确罚函数方法
独创性声明
本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成
果。
尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其它人已经发
表或撰写过的研究成果，也不包含为获得山东理工大学或其它教育机构的学位或证书
而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明
确的说明并表示了谢意。
研究生签名：
时间：
年
月
日
关于论文使用授权的说明
本人完全了解山东理工大学有关保留、使用学位论文的规定，即：
学校有权保留
送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体
上发表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保
存、汇编学位论文。
（保密的学位论文在解密后应遵守此协议）
研究生签名：
导师签名：
时间：
时间：
年
年
月
月
日
日
万方数据
山东理工大学硕士学位论文
摘要
摘要
精确罚函数方法是求解非线性约束优化问题的一种重要方法。
理论上，精
确罚函数方法只需求解罚参数取某一有限值的罚问题，就可得到约束优化问题
的解，从而避免了当罚参数的值趋于无穷大时产生病态的缺点。
精确罚函数又
分为不可微精确罚函数和连续可微精确罚函数。
通常情况下，简单精确罚函数
一定是不可微的，从而会在一些快速算法中阻止局部快速收敛，产生“Maratos
效应”。
连续可微精确罚函数就克服了上述缺点，因此具有更好地性质。
增广
拉格朗日函数就是这样一种特殊的连续可微精确罚函数。
对于一般的非线性约束优化模型，本文将提出一种新的非线性Lagrange
函数,讨论该函数在KKT点处的性质，并证明在适当条件下，基于该函数的对
偶算法产生的迭代点列具有局部收敛性，然后给出与罚参数有关的解的误差估
计。
这为解决非线性约束优化问题又提供了一种新途径。
然后对非光滑罚函数进行二阶可微光滑逼近，并给出原优化问题、相应的
非光滑罚函数、光滑罚函数最优值间的误差估计，然后设计基于该光滑罚函数
的算法，并证明在适当条件下它具有全局收敛性，最后再利用数值实验来说明
算法的有效性。
最后对于锥优化问题，运用增广拉格朗日函数这一特殊的精确罚函数，给
出一种迭代算法，并证明这种算法具有一种较弱的全局收敛性，即提出一种∑-
全局最优解，对于每一次迭代k，得到相应的∑k-全局最优解，该序列都收敛
到原问题的∑-全局最优解，从而证明算法具有∑-全局收敛性。
关键词：
非线性约束优化问题，精确罚函数，光滑逼近，增广拉格朗日函数
I
万方数据
山东理工大学硕士学位论文
Abstract
Abstract
Theexactpenaltyfunctionmethodisanimportantmethodforsolving
nonlinearconstrainedoptimizationproblem.Intheory,theexactpenaltyfunction
methodonlyneedtosolvethepenaltyproblemwhentheparametertakeafinite
value,thenwecangetthesolutionoftheconstrainedoptimizationproblem,thus
avoidtheshortcomingsofmorbidwhenthevalueofthepenaltyparametertendsto
infinity.Exactpenaltyfunctionisdividedintonondifferentiableexactpenalty
functionandcontinuouslydifferentiableexactpenaltyfunction.Undernormal
circumstances,thesimpleexactpenaltyfunctionmustbenondifferentiable,which
willpreventthelocalfastconvergenceofsomefastalgorithm,andresultinthe
“Maratoseffect”.Continuouslydifferentiableexactpenaltyfunctionovercomes
theaboveshortcomings,ithasbetterproperties.AugmentedLagrangianfunction
isaspecialkindofcontinuouslydifferentiableexactpenaltyfunction.
First，forageneralnonlinearconstrainedoptimizationmodel,thispaperwill
proposeanewnonlinearLagrangianfunctiontodiscussthepropertiesofthe
functionattheKKTpoint,andprovethatunderwildconditions,theiterated
pointsbasedonthedualalgorithmofthefunctionarelocalconvergent,andthen
givetheerrorestimatesofthesolutionaboutthepenaltyparameter.Thisprovides
anewwayforsolvingnonlinearconstrainedoptimizationproblem.
Thenwemakeasecondorderdifferentiablesmoothapproximationforthe
nonsmoothpenaltyfunctionoftheabovemodel,andgivetheerrorestimatesofthe
optimalvaluesoftheoriginaloptimizationproblem,thecorrespondingnonsmooth
penaltyfunctionandthesmoothpenaltyfunction,anddesignthealgorithmbased
onthesmoothpenaltyfunction,thenprovethatunderwildconditions,itis
globallyconvergent,andfinallynumericalexperimentsaregiventoillustratethe
effectivenessofthealgorithm.
Finally,fortheconeoptimizationproblem,weusetheaugmentedLagrangian
function,whichisaspecialexactpenaltyfunction,giveaniterativealgorithm,and
provethatthealgorithmhasaweakglobalconvergence,thatis,proposea
∑-globaloptimalsolution,thenforeachiterationk,wegetthecorresponding
II
万方数据
山东理工大学硕士学位论文
Abstract
∑k-globaloptimalsolution,whichconvergetothe∑-globaloptimalsolution,thus
the∑-globalconvergenceofthealgorithmisproved.
Keywords:
Nonlinearconstrainedoptimizationproblem,exactpenaltyfunction,
smoothapproximation,augmentedLagrangianfunction
III
万方数据
山东理工大学硕士学位论文
目
录
摘要......................................................................................................................................I
Abstract.................................................................................................................................II
第一章
绪论....................................................................................................................1
1.1精确罚函数方法的研究意义..................................................................................1
1.2精确罚函数方法的研究现状及其发展..................................................................1
1.3本文的研究内容和主要工作..................................................................................3
第二章
预备知识..............................................................................................................4
2.1问题的引入..............................................................................................................4
2.2符号说明及定义......................................................................................................5
第三章
一类非线性Lagrange函数...................................................................................8
3.1函数定义及对偶算法..............................................................................................8
3.2主要结论..................................................................................................................8
3.2.1非线性Lagrange函数G（x,u,⎛）的性质............................................................8
3.2.2基于非线性Lagrange函数G（x,u,⎛）的对偶算法的收敛性............................9
第四章
光滑逼近低阶精确罚函数................................................................................15
4.1低阶精确罚函数的二阶可微光滑逼近................................................................15
4.2算法........................................................................................................................18
4.3数值实验................................................................................................................19
第五章
一类具有全局收敛性的增广Lagrangian方法及其算法.................................22
5.1算法........................................................................................................................22
5.2∑-全局收敛性........................................................................................................23
第六章
总结与展望........................................................................................................26
6.1总结........................................................................................................................26
6.2展望........................................................................................................................26
致
谢.................................................................................................................................27
参考文献.............................................................................................................................28
攻读硕士学位期间发表的论文.........................................................................................32
万方数据
山东理工大学硕士学位论文
第一章绪论
第一章绪论
1.1精确罚函数方法的研究意义
最优化理论与方法是数学的一个重要分支，它讨论决策问题的最佳选择特
性，构造寻求最优解的计算方法，研究这些计算方法的理论性质以及实际计算
效果。
很多实际问题都可以通过建立数学模型从而归结为求解最优化问题来解
决，有关最优化理论和算法的研究随着现代科技的不断进步和计算机的普遍应
用得到了进一步的发展，其在军事、国防、工程、经济、金融和社会科学等许
多重要领域应用都非常广泛。
在这些领域中，很多问题都可以归结为线性规划问题，即其目标函数和约
束条件都是自变量的一次函数。
但是，还有一些问题，其目标函数和（或）约
束条件很难用线性函数表达，这类规划问题我们称之为非线性规划问题。
纵观
最优化理论的发展，目前对线性规划的研究，已经形成了比较成熟的理论体系。
而对于非线性约束优化问题的研究仍有待深入探索，其生命力更是方兴未艾。
一般说来，非线性函数相对复杂，解非线性规划问题要比解线性规划问题困难
的多，而且，非线性规划也不像线性规划有单纯形法等通用方法，目前还没有
适用于各种非线性规划问题的一般算法，现有各个方法都有其特定的适用范
围。
这就需要人们对其进行更深入的研究。
求解约束非线性规划问题的方法有很多种，一种常用的方法就是惩罚函数
法。
这类方法的基本思想就是，借助罚函数把约束问题转化为无约束问题，进
而用无约束的最优化方法进行求解。
而对于罚函数来说，为了得到最优解，我们要让罚参数无限大，但这会造
成计算上的困难或引起病态效应。
为此，我们常用精确罚函数来求解以避免该
问题。
于是，精确罚函数方法的研究引起了国内外广大学者的关注。
1.2精确罚函数方法的研究现状及其发展
求解约束优化问题的罚函数方法首先由Courant[1]提出。
后来，Camp[2]和
Pietrzykowski[3]等又讨论了罚函数方法对于求解约束非线性规划问题的应用。
1
万方数据
山东理工大学硕士学位论文
第一章绪论
而后Fiacco[4]和McCormick[5,6,7,8,9]在罚函数的理论和算法的研究方面也取得了
重大进展，并提出了序列无约束极小化方法（sequentialunconstrained
minimizationtechnique），简记为SUMT。
此后，罚函数方法在求解实际问题中
的应用更为广泛。
但是，随着罚参数的增大，会产生病态罚问题，即罚函数的
海森矩阵的不适定，这就导致了计算上的困难。
从理论上讲，SUMT需要求解
无穷多个病态程度越来越高的无约束优化问题，所以，用这种方法求解约束优
化问题的计算量相当大。
理论上，精确罚函数方法只需求解罚参数取某一有限值的罚问题，就可得
到约束优化问题的解，从而避免了序列罚函数方法当罚参数的值趋于无穷大时
产生病态的缺点。
精确罚函数的概念由Eremin[10]和Zangwill[11]于上世纪六十年代后期首先
提出。
从那时起，精确罚函数就一直在最优化理论与方法中扮演着十分重要的
角色。
精确罚函数包括连续可微精确罚函数和不可微精确罚函数。
Zangwill首先证明了简单精确罚函数一定是不可微罚函数。
在Zangwill
之后，又有大量的文献对此类罚函数进行了研究，其中包括[12]。
不可微精确罚函数方法虽然在理沦上克服了当罚参数值趋于无穷大时序
列罚函数方法产生病态的缺点，但由于这种罚函数的不可微性，在实际计算时，
我们很难采用对可微函数行之有效的极小化方法，如一些以梯度为基础的快速
无约束算法。
到目前为止，有关不可微问题的极小化方法十分有限，而且有效
算法也比较少。
另一方面，不可微精确罚函数的不可微性还会在一些快速算法
中阻止局部快速收敛，产生“Maratos效应”。
连续可微精确罚函数法同时克服了不可微精确罚函数法和序列罚函数法
所具有的缺点，因而得到了大量的研究和广泛的应用。
增广拉格朗日函数包括Hestenes-Powell[13]，DiPillo-Grippo[14]，Lucidi[15]，
DiPillo-Lucidi[16]增广拉格朗日函数等（见文献[17]）。
大量的理论结果和数值实
验表明，增广拉格朗日函数法比不可微精确罚函数法和序列罚函数法具有更明
显的优点，它克服了序列罚函数法出现病态和不可微精确罚函数法引起
“Maratos效应”的缺点，同时也具有比其它可微精确罚函数法优越的一些性
质，因而有重要的研究价值和广泛的应用前景[58]。
2
万方数据
山东理工大学硕士学位论文
第一章绪论
从二十世纪九十年代后期开始，非线性精确罚函数[18,19,20,21,22]和低阶罚函
数[23,24]得到了较多的研究，开辟了精确罚函数法研究的新领域，且至今不断
有新的研究成果问世。
1.3本文的研究内容和主要工作
本文对非线性约束优化问题进行了研究，讨论了低阶精确罚函数的光滑逼
近以及用增广拉格朗日精确罚函数求解锥优化问题等内容。
论文共分六个部
分，具体安排如下：
在第一章中,我们简要介绍了精确罚函数的研究意义以及目前国内外关于
精确罚函数的研究状况，从而引出需要进一步解决的问题和本文所做的主要工
作。
在第二章中，我们对文中所用符号、基本定义及相关性质进行了简单陈述。
在第三章中，我们针对带约束的非线性规划问题给出了一类新的非线性
Lagrange函数，并探讨了这类函数在KKT点处的性质，以及基于该函数的对
偶算法产生的迭代点列的局部收敛性，并给出了与罚参数有关的解的误差估
计。
在第四章中，我们对非光滑罚函数进行二阶可微光滑逼近，并给出原优化
问题、相应的非光滑罚函数、光滑罚函数最优值间的误差估计，然后给出基于
该光滑罚函数的算法，证明了在适当条件下它具有全局收敛性，并给出了数值
实验来说明算法的有效性。
在第五章中，对于锥优化问题，运用增广拉格朗日
函数这一特殊的精确罚函数，我们给出了一种迭代算法，并证明了这种算法具
有一种较弱的全局收敛性。
第六章，我们对全文的内容进行了总结,并对未来
的工作做出进一步的展望。
3
万方数据
山东理工大学硕士学位论文
第二章预备知识
2.1问题的引入
考虑如下优化问题（P）:
第二章预备知识
min
f（x）
s.t.
gi（x）≤0,i=1,
x∈n,
升级会员 