求解非线性约束优化问题精确罚函数方法.docx

1、求解非线性约束优化问题精确罚函数方法独 创 性 声 明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其它人已经发表或撰写过的研究成果，也不包含为获得山东理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：时间：年月日关于论文使用授权的说明本人完全了解山东理工大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容，可以采

2、用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后应遵守此协议)研究生签名：导师签名：时间：时间：年年月月日日万方数据山东理工大学硕士学位论文摘 要摘 要精确罚函数方法是求解非线性约束优化问题的一种重要方法。理论上，精确罚函数方法只需求解罚参数取某一有限值的罚问题，就可得到约束优化问题的解，从而避免了当罚参数的值趋于无穷大时产生病态的缺点。精确罚函数又分为不可微精确罚函数和连续可微精确罚函数。通常情况下，简单精确罚函数一定是不可微的，从而会在一些快速算法中阻止局部快速收敛，产生 “ Maratos效应”。连续可微精确罚函数就克服了上述缺点，因此具有更好地性质。增广拉格朗日

3、函数就是这样一种特殊的连续可微精确罚函数。对于一般的非线性约束优化模型，本文将提出一种新的非线性 Lagrange函数 ,讨论该函数在 KKT 点处的性质，并证明在适当条件下，基于该函数的对偶算法产生的迭代点列具有局部收敛性，然后给出与罚参数有关的解的误差估计。这为解决非线性约束优化问题又提供了一种新途径。然后对非光滑罚函数进行二阶可微光滑逼近，并给出原优化问题、相应的非光滑罚函数、光滑罚函数最优值间的误差估计，然后设计基于该光滑罚函数的算法，并证明在适当条件下它具有全局收敛性，最后再利用数值实验来说明算法的有效性。最后对于锥优化问题，运用增广拉格朗日函数这一特殊的精确罚函数，给出一种迭代算法

4、，并证明这种算法具有一种较弱的全局收敛性，即提出一种 -全局最优解，对于每一次迭代 k ，得到相应的 k -全局最优解，该序列都收敛到原问题的 -全局最优解，从而证明算法具有 -全局收敛性。关键词： 非线性约束优化问题，精确罚函数，光滑逼近，增广拉格朗日函数I万方数据山东理工大学硕士学位论文AbstractAbstractThe exact penalty function method is an important method for solvingnonlinear constrained optimization problem. In theory, the exact penal

5、ty functionmethod only need to solve the penalty problem when the parameter take a finitevalue, then we can get the solution of the constrained optimization problem, thusavoid the shortcomings of morbid when the value of the penalty parameter tends toinfinity. Exact penalty function is divided into

6、nondifferentiable exact penaltyfunction and continuously differentiable exact penalty function. Under normalcircumstances, the simple exact penalty function must be nondifferentiable, whichwill prevent the local fast convergence of some fast algorithm, and result in the“Maratos effect”. Continuously

7、 differentiable exact penalty function overcomesthe above shortcomings, it has better properties. Augmented Lagrangian functionis a special kind of continuously differentiable exact penalty function.First， for a general nonlinear constrained optimization model, this paper willpropose a new nonlinear

8、 Lagrangian function to discuss the properties of thefunction at the KKT point, and prove that under wild conditions, the iteratedpoints based on the dual algorithm of the function are local convergent, and thengive the error estimates of the solution about the penalty parameter. This providesa new

9、way for solving nonlinear constrained optimization problem.Then we make a second order differentiable smooth approximation for thenonsmooth penalty function of the above model, and give the error estimates of theoptimal values of the original optimization problem, the corresponding nonsmoothpenalty

10、function and the smooth penalty function, and design the algorithm basedon the smooth penalty function, then prove that under wild conditions, it isglobally convergent, and finally numerical experiments are given to illustrate theeffectiveness of the algorithm.Finally, for the cone optimization prob

11、lem, we use the augmented Lagrangianfunction, which is a special exact penalty function, give an iterative algorithm, andprove that the algorithm has a weak global convergence, that is, propose a -global optimal solution, then for each iteration k , we get the correspondingII万方数据山东理工大学硕士学位论文Abstract

12、 k -global optimal solution, which converge to the -global optimal solution, thusthe -global convergence of the algorithm is proved.Key words: Nonlinear constrained optimization problem, exact penalty function,smooth approximation, augmented Lagrangian functionIII万方数据山东理工大学硕士学位论文目录摘 要 .IAbstract. II

13、第一章绪 论. 11.1 精确罚函数方法的研究意义 . 11.2 精确罚函数方法的研究现状及其发展 . 11.3 本文的研究内容和主要工作 . 3第二章预备知识. 42.1 问题的引入 . 42.2 符号说明及定义 . 5第三章一类非线性Lagrange函数. 83.1 函数定义及对偶算法 . 83.2 主要结论 . 83.2.1 非线性 Lagrange函数 G( x, u, ) 的性质 . 83.2.2 基于非线性Lagrange 函数 G( x, u, ) 的对偶算法的收敛性 . 9第四章光滑逼近低阶精确罚函数. 154.1 低阶精确罚函数的二阶可微光滑逼近 . 154.2 算法 . 1

14、84.3 数值实验 . 19第五章一类具有全局收敛性的增广Lagrangian方法及其算法 . 225.1 算法 . 225.2 -全局收敛性. 23第六章总结与展望. 266.1 总结 . 266.2 展望 . 26致谢 . 27参考文献 . 28攻读硕士学位期间发表的论文 . 32万方数据山东理工大学硕士学位论文第一章 绪论第一章 绪 论1.1 精确罚函数方法的研究意义最优化理论与方法是数学的一个重要分支，它讨论决策问题的最佳选择特性，构造寻求最优解的计算方法，研究这些计算方法的理论性质以及实际计算效果。很多实际问题都可以通过建立数学模型从而归结为求解最优化问题来解决，有关最优化理论和算法

15、的研究随着现代科技的不断进步和计算机的普遍应用得到了进一步的发展，其在军事、国防、工程、经济、金融和社会科学等许多重要领域应用都非常广泛。在这些领域中，很多问题都可以归结为线性规划问题，即其目标函数和约束条件都是自变量的一次函数。但是，还有一些问题，其目标函数和（或）约束条件很难用线性函数表达，这类规划问题我们称之为非线性规划问题。纵观最优化理论的发展，目前对线性规划的研究，已经形成了比较成熟的理论体系。而对于非线性约束优化问题的研究仍有待深入探索，其生命力更是方兴未艾。一般说来，非线性函数相对复杂，解非线性规划问题要比解线性规划问题困难的多，而且，非线性规划也不像线性规划有单纯形法等通用方法

16、，目前还没有适用于各种非线性规划问题的一般算法，现有各个方法都有其特定的适用范围。这就需要人们对其进行更深入的研究。求解约束非线性规划问题的方法有很多种，一种常用的方法就是惩罚函数法。这类方法的基本思想就是，借助罚函数把约束问题转化为无约束问题，进而用无约束的最优化方法进行求解。而对于罚函数来说，为了得到最优解，我们要让罚参数无限大，但这会造成计算上的困难或引起病态效应。为此，我们常用精确罚函数来求解以避免该问题。于是，精确罚函数方法的研究引起了国内外广大学者的关注。1.2 精确罚函数方法的研究现状及其发展求解约束优化问题的罚函数方法首先由 Courant 1提出。后来， Camp 2和Pie

17、trzykowski 3等又讨论了罚函数方法对于求解约束非线性规划问题的应用。1万方数据山东理工大学硕士学位论文第一章 绪论而后 Fiacco 4和 McCormick 5,6,7,8,9在罚函数的理论和算法的研究方面也取得了重 大 进 展 ， 并 提 出 了 序 列 无 约 束 极 小 化 方 法 (sequential unconstrainedminimization technique)，简记为 SUMT。此后，罚函数方法在求解实际问题中的应用更为广泛。但是，随着罚参数的增大，会产生病态罚问题，即罚函数的海森矩阵的不适定，这就导致了计算上的困难。从理论上讲，SUMT需要求解无穷多个病态

18、程度越来越高的无约束优化问题，所以，用这种方法求解约束优化问题的计算量相当大。理论上，精确罚函数方法只需求解罚参数取某一有限值的罚问题，就可得到约束优化问题的解，从而避免了序列罚函数方法当罚参数的值趋于无穷大时产生病态的缺点。精确罚函数的概念由 Eremin 10和 Zangwill 11于上世纪六十年代后期首先提出。从那时起，精确罚函数就一直在最优化理论与方法中扮演着十分重要的角色。精确罚函数包括连续可微精确罚函数和不可微精确罚函数。Zangwill 首先证明了简单精确罚函数一定是不可微罚函数。在 Zangwill之后，又有大量的文献对此类罚函数进行了研究，其中包括 12。不可微精确罚函数方

19、法虽然在理沦上克服了当罚参数值趋于无穷大时序列罚函数方法产生病态的缺点，但由于这种罚函数的不可微性，在实际计算时，我们很难采用对可微函数行之有效的极小化方法，如一些以梯度为基础的快速无约束算法。到目前为止，有关不可微问题的极小化方法十分有限，而且有效算法也比较少。另一方面，不可微精确罚函数的不可微性还会在一些快速算法中阻止局部快速收敛，产生 “ Maratos 效应”。连续可微精确罚函数法同时克服了不可微精确罚函数法和序列罚函数法所具有的缺点，因而得到了大量的研究和广泛的应用。增广拉格朗日函数包括 Hestenes-Powell 13，Di Pillo-Grippo 14，Lucidi 15，

20、Di Pillo-Lucidi 16增广拉格朗日函数等 (见文献 17)。大量的理论结果和数值实验表明，增广拉格朗日函数法比不可微精确罚函数法和序列罚函数法具有更明显的优点，它克服了序列罚函数法出现病态和不可微精确罚函数法引起“ Maratos效应”的缺点，同时也具有比其它可微精确罚函数法优越的一些性质，因而有重要的研究价值和广泛的应用前景 58。2万方数据山东理工大学硕士学位论文第一章 绪论从二十世纪九十年代后期开始，非线性精确罚函数 18,19,20,21,22和低阶罚函数 23,24得到了较多的研究，开辟了精确罚函数法研究的新领域，且至今不断有新的研究成果问世。1.3 本文的研究内容和主

21、要工作本文对非线性约束优化问题进行了研究，讨论了低阶精确罚函数的光滑逼近以及用增广拉格朗日精确罚函数求解锥优化问题等内容。论文共分六个部分，具体安排如下：在第一章中 ,我们简要介绍了精确罚函数的研究意义以及目前国内外关于精确罚函数的研究状况，从而引出需要进一步解决的问题和本文所做的主要工作。在第二章中，我们对文中所用符号、基本定义及相关性质进行了简单陈述。在第三章中，我们针对带约束的非线性规划问题给出了一类新的非线性Lagrange 函数，并探讨了这类函数在 KKT 点处的性质，以及基于该函数的对偶算法产生的迭代点列的局部收敛性，并给出了与罚参数有关的解的误差估计。在第四章中，我们对非光滑罚函数进行二阶可微光滑逼近，并给出原优化问题、相应的非光滑罚函数、光滑罚函数最优值间的误差估计，然后给出基于该光滑罚函数的算法，证明了在适当条件下它具有全局收敛性，并给出了数值实验来说明算法的有效性。在第五章中，对于锥优化问题，运用增广拉格朗日函数这一特殊的精确罚函数，我们给出了一种迭代算法，并证明了这种算法具有一种较弱的全局收敛性。第六章，我们对全文的内容进行了总结 ,并对未来的工作做出进一步的展望。3万方数据山东理工大学硕士学位论文第二章 预备知识2.1 问题的引入考虑如下优化问题 ( P) :第二章 预备知识minf ( x)s.t.gi ( x) 0, i = 1,x n ,