管理科学理论-2PPT课件下载推荐.ppt

1、l结论结论2：（Lagrange乘子规则乘子规则）设设（x0,y0）是局部极小点，且是局部极小点，且 g（x0,y0）0，则存在常数则存在常数 ，对函数，对函数F（x0,y0）=f（x0,y0）+g（x0,y0），满足满足 F（x0,y0）=f（x0,y0）+g（x0,y0）=0.结论结论3（充分条件）：设点（充分条件）：设点x0满足必要条件：满足必要条件：F（x0）=f（x0）+g（x0）=0.若若则则x0是局部极小点。是局部极小点。二，具不等式约束的问题二，具不等式约束的问题1，下降方向和可行方向，下降方向和可行方向考虑一般非线性约束优化问题：考虑一般非线性约束优化问题：例：求解例：求解

2、1）下降方向的选择下降方向的选择 如果方向如果方向P在点在点x0处是下降方向，则处是下降方向，则P应与应与 f（x0）同侧，同侧，即：即：记记 为点为点x0处的下降方向集。处的下降方向集。2）可行方向的选择可行方向的选择 在在x0处的可行方向应满足处的可行方向应满足:结论结论1：若：若 所有方向所有方向P都是可行的。都是可行的。结论结论2：若 当当 时时则则P为可行方向。为可行方向。记记 为可行方为可行方向集。向集。注：对等式约束而言，所有约束都是起作用约束。2，最优性条件，最优性条件定义定义1：若对：若对 x C和和0，有有 x C，则称则称C为锥，如果为锥，如果C是是凸的，则称其为凸锥。凸

3、的，则称其为凸锥。设是约束集，称：设是约束集，称为为x0处的可行方向锥。处的可行方向锥。下面进一步讨论最优性条件。设下面进一步讨论最优性条件。设x*是问题是问题 的最优解，则的最优解，则x*处处 换言之，在换言之，在x*处满足处满足 的方向的方向P必有必有 称称 为为FritzJohn 条件。其中条件。其中 线性无关。线性无关。在最优点在最优点x*处应满足处应满足 lFarkas引理：给定向量引理：给定向量a i（i=1,2,k）与）与b，不存在向量不存在向量P同同时满足条件时满足条件 和和 的充要条件是的充要条件是 向向量量b 在在ai 所张成的凸锥内，即满足所张成的凸锥内，即满足 定理定理

4、定理定理1:1:设设设设x x*为问题为问题为问题为问题的一个可行点的一个可行点的一个可行点的一个可行点,并且前并且前并且前并且前t t个约束为起作用约束个约束为起作用约束个约束为起作用约束个约束为起作用约束,则则则则x x*为最为最为最为最优解的一个必要条件是下式成立优解的一个必要条件是下式成立优解的一个必要条件是下式成立优解的一个必要条件是下式成立:例例例例:考虑问题考虑问题考虑问题考虑问题l从上例看出，满足定理从上例看出，满足定理1还需增加一些约束规范，如梯度向还需增加一些约束规范，如梯度向量线性无关等，上例有量线性无关等，上例有 更一般的有：更一般的有：l定理定理2（KuhnTucke

5、r）最优性必要条件：最优性必要条件：在最优点在最优点x*处，设处，设线性无关，则存在线性无关，则存在满足：满足：称上式为称上式为KT条件条件，满足上式的点称，满足上式的点称KT点点。相应的广义相应的广义Lagrange函数为：函数为：例例1：验证以下问题在最优解处：验证以下问题在最优解处K-T条件成立。条件成立。解解:例例2:定理定理3 设设x*是一个可行点，若存在使是一个可行点，若存在使K-T条件成立，并且对应条件成立，并且对应的的Lagrange函数的函数的Hessen阵在子空间阵在子空间M上正定，则上正定，则x*是一个严是一个严格的局部极小点。格的局部极小点。其中：注注 若若 线性无关，

6、线性无关，则则M是约束集在是约束集在x*处的切空间。处的切空间。定理定理4：凸规划问题的可行凸规划问题的可行K-T点必为最优解。点必为最优解。3，Lagrange函数的鞍点函数的鞍点定义定义1：如果对：如果对有有则称点则称点 是是Lagrange函数：函数：的鞍点。定理定理5：若 是鞍点，则是鞍点，则 是原问题的整体最优解，是原问题的整体最优解，但逆一般不成立。但逆一般不成立。例例 考虑非线性规划问题：考虑非线性规划问题：注注 可验证可验证x*=（0,0）T是问题的极小点是问题的极小点（在在x*是处，取是处，取*=3，则，则K-T条件成立条件成立）。下证其下证其Lagrange函数函数没有鞍点

7、。没有鞍点。反证法反证法，假设鞍点，假设鞍点 存在，由定理存在，由定理5知，知，必为问题的必为问题的最优解，故最优解，故 ,由鞍点定义，对所有的由鞍点定义，对所有的x与与，有有即即:由于当由于当x1=0，x2取充分大时，总能使右端为负值，推出矛盾。取充分大时，总能使右端为负值，推出矛盾。l鞍点迭代方法鞍点迭代方法:设设Lagrange函数函数其中其中 为某个取定的步长，迭代过程中为某个取定的步长，迭代过程中 逐步缩小，每次迭代需逐步缩小，每次迭代需计算两迭代点之间的距离，如距离减小计算两迭代点之间的距离，如距离减小 被接受，否则缩小，被接受，否则缩小，最后当两点距离充分小时，迭代终止。最后当两

8、点距离充分小时，迭代终止。4，对偶问题，对偶问题 原原 对对 问问 偶偶 题：题：问问（1）题题（2）例例 考虑问题考虑问题极小点为极小点为x*=（2,2）T，极小值为极小值为8，令，令 因此因此最优点最优点*=4，最大值，最大值 （*）=8。l1）对偶定理）对偶定理定理定理1（弱对偶定理）若（弱对偶定理）若x 是原问题（是原问题（1）的可行解，）的可行解，而（而（，）是对偶问题（是对偶问题（2）的可行解，则）的可行解，则进一步有：进一步有：l定理定理2（对偶定理）：（对偶定理）：是是Lagrange函数鞍点的充要条件是：函数鞍点的充要条件是：（i）x*是原问题的解；（是原问题的解；（ii）*

9、0，*是对偶问题是对偶问题的解；的解；（iii）2）对偶问题的几何解释）对偶问题的几何解释设原问题为：设原问题为：对偶问题为：l当约束集当约束集S在映射（在映射（g，f）下的像下的像G是非凸时，可能出现对是非凸时，可能出现对偶间隙：偶间隙：三，常用非线性约束优化的方法三，常用非线性约束优化的方法1，序列线性规划法（，序列线性规划法（Sequence Linear Programming）2,序列无约束极小化方法序列无约束极小化方法例例构造新函数如下：构造新函数如下：为避免间断，令新函数为：F（x）=f（x）+M p（x），），其中其中M为某正数，为某正数，为某一连续可微函数。为某一连续可微函数

10、。上例取上例取以下就不同的函数构造方法分别介绍以下就不同的函数构造方法分别介绍1）外罚函数法（外点法）外罚函数法（外点法）上例中：上例中：注注（1）对等式约束问题可取对等式约束问题可取（2）对不等式约束问题可取）对不等式约束问题可取（3）对一般问题取：对一般问题取：l定理定理 设设 的最优解存在，的最优解存在，Mk为满足为满足Mk+1 Mk（k=1,2,）的正数序列，的正数序列，且且Mk，如果如果F（x,Mk）的极小点序列的极小点序列x（k）存在且存在且收敛到收敛到x#，则，则x#为原问题的最优解。为原问题的最优解。l注注 由于由于 ，故常以此作为收敛判别准，故常以此作为收敛判别准则。则。2）

11、内罚函数法（内点法）内罚函数法（内点法）罚函数（响应函数）：罚函数（响应函数）：对不等式约束问题，取对不等式约束问题，取惩罚因子为惩罚因子为3）混合罚函数法）混合罚函数法 对一般约束问题记：对一般约束问题记：取罚函数为取罚函数为4）精确罚函数法）精确罚函数法 罚函数取为：罚函数取为：例例精确罚函数为：精确罚函数为：5）乘子法）乘子法（1）等式约束问题）等式约束问题Lagrange函数为函数为罚函数为：罚函数为：其中的迭代公式为其中的迭代公式为（2）不等式约束问题）不等式约束问题引入松弛变量得增广引入松弛变量得增广Lagrange函数：经过推导得关于经过推导得关于z的极小：的极小：3）具等式和不

12、等式的问题）具等式和不等式的问题增广增广Lagrange函数为：其中的迭代公式为其中的迭代公式为例例解解 增广增广Lagrange函数为：3，可行方向法，可行方向法定理定理 如果方向如果方向p 满足满足 则称则称p是是 x（k）处的可行下降方向。处的可行下降方向。1）Zoutendijk可行方向法可行方向法（1）线性约束线性约束需求解如下需求解如下线性规划问题线性规划问题例例（2）非线性约束非线性约束（具不等式约束问题具不等式约束问题）l点点 处的可行方向处的可行方向P应满足应满足l但在此严格不等式约束下，可能得不到最优解，为此将严格但在此严格不等式约束下，可能得不到最优解，为此将严格不等式改

13、为不等式改为l为了避免为了避免 的选取过大或过小，引进新变量的选取过大或过小，引进新变量 ，于是找方向，于是找方向的线性规划问题为的线性规划问题为:l为避免拉锯现象，引入为避免拉锯现象，引入 起起约束可行方向法约束可行方向法，起作用约束，起作用约束集改为：集改为：l全约束可行方向法：全约束可行方向法：l求解如下线性规划问题：求解如下线性规划问题：设最优解为（设最优解为（P（k），k），），若若 k=0，则，则x（k）为最优解，为最优解，迭代终止。若迭代终止。若 k 0,则得到可行下降方向则得到可行下降方向P（k）。例例l取取初始点初始点 x（0）=（1/2，1）T。得到得到l找方向的线性规划问

14、题为：找方向的线性规划问题为：l其最优解为其最优解为 ,可行下降方向为可行下降方向为1 1）相关投影概念）相关投影概念）相关投影概念）相关投影概念（1 1）正交互补空间）正交互补空间）正交互补空间）正交互补空间（2 2）正交投影算子）正交投影算子）正交投影算子）正交投影算子定理定理定理定理：设子空间：设子空间 UU 的基矩阵为的基矩阵为的基矩阵为的基矩阵为 NN，则则则则（i）（i）从从从从R R到子空间到子空间到子空间到子空间U U 的投影算子的投影算子的投影算子的投影算子 f f 可表为矩阵可表为矩阵可表为矩阵可表为矩阵（ii）（ii）从从从从R R 到子空间到子空间到子空间到子空间 V=UV=UT T 的正交投影算子的正交投影算子的正交投影算子的正交投影算子 q q 可表为矩阵可表为矩阵可表为矩阵可表为矩阵（3 3）正交投影算子的性质）正交投影算子的性质）正交投影算子的性质）正交投影算子的性质2 2）线性约束问题）线性约束问题）线性约束问题）线性约束问题 设设设设 x x 处起作用约束超平面的法矩阵为处起作用约束超平面的法矩阵为处起作用约束超平面的法矩阵为处起作用约束超平面的法矩阵为 N