管理科学理论-2.ppt

管理科学理论-2.ppt

《管理科学理论-2.ppt》由会员分享，可在线阅读，更多相关《管理科学理论-2.ppt（33页珍藏版）》请在冰豆网上搜索。

第四章第四章约束非线性优化的理论与方法约束非线性优化的理论与方法一，等式约束问题一，等式约束问题1，切向量与正规性，切向量与正规性定义定义1设设x0是由方程组是由方程组gi（x）=0，i=1,2,m，确定的曲面确定的曲面S上的一点，若在上的一点，若在S上存在曲线上存在曲线x（t），x（0）=x0，x（0）=h，则称向量是曲面则称向量是曲面S上点上点x0处的切向量。

处的切向量。

定义定义2：

如果关于：

如果关于h的线性方程组：

的线性方程组：

系数矩阵系数矩阵满满秩，则称秩，则称x0为曲面为曲面S上的一个正规点。

上的一个正规点。

l注注1是是x0处法空间的一组基。

处法空间的一组基。

l注注2方程组方程组的一组线性无关的的一组线性无关的解构成曲面解构成曲面S上上x0处切空间的一组基。

处切空间的一组基。

l2，具等式约束问题的极值必要条件，具等式约束问题的极值必要条件l考虑二维问题：

考虑二维问题：

minf（x,y）S.t.g（x,y）=0l结论结论1:

若在极小点若在极小点（x0,y0）处处,g（x0,y0）0，则则f（x0,y0）与与g（x0,y0）线性相关，即线性相关，即f（x0,y0）+g（x0,y0）=0。

l结论结论2：

（Lagrange乘子规则乘子规则）设设（x0,y0）是局部极小点，且是局部极小点，且g（x0,y0）0，则存在常数则存在常数，对函数，对函数F（x0,y0）=f（x0,y0）+g（x0,y0），满足满足F（x0,y0）=f（x0,y0）+g（x0,y0）=0.结论结论3（充分条件）：

设点（充分条件）：

设点x0满足必要条件：

满足必要条件：

F（x0）=f（x0）+g（x0）=0.若若则则x0是局部极小点。

是局部极小点。

二，具不等式约束的问题二，具不等式约束的问题1，下降方向和可行方向，下降方向和可行方向考虑一般非线性约束优化问题：

考虑一般非线性约束优化问题：

例：

求解例：

求解1）下降方向的选择下降方向的选择如果方向如果方向P在点在点x0处是下降方向，则处是下降方向，则P应与应与f（x0）同侧，同侧，即：

即：

记记为点为点x0处的下降方向集。

处的下降方向集。

2）可行方向的选择可行方向的选择在在x0处的可行方向应满足处的可行方向应满足:

结论结论1：

若：

若所有方向所有方向P都是可行的。

都是可行的。

结论结论2：

若：

若当当时时则则P为可行方向。

为可行方向。

记记为可行方为可行方向集。

向集。

注：

对等式约束而言，所有约束都是起作用约束。

注：

对等式约束而言，所有约束都是起作用约束。

2，最优性条件，最优性条件定义定义1：

若对：

若对xC和和0，有有xC，则称则称C为锥，如果为锥，如果C是是凸的，则称其为凸锥。

凸的，则称其为凸锥。

定义定义2：

设是约束集，称：

设是约束集，称为为x0处的可行方向锥。

处的可行方向锥。

下面进一步讨论最优性条件。

设下面进一步讨论最优性条件。

设x*是问题是问题的最优解，则的最优解，则x*处处换言之，在换言之，在x*处满足处满足的方向的方向P必有必有称称为为FritzJohn条件。

其中条件。

其中线性无关。

线性无关。

在最优点在最优点x*处应满足处应满足lFarkas引理：

给定向量引理：

给定向量ai（i=1,2,k）与）与b，不存在向量不存在向量P同同时满足条件时满足条件和和的充要条件是的充要条件是向向量量b在在ai所张成的凸锥内，即满足所张成的凸锥内，即满足定理定理定理定理1:

1:

设设设设xx*为问题为问题为问题为问题的一个可行点的一个可行点的一个可行点的一个可行点,并且前并且前并且前并且前tt个约束为起作用约束个约束为起作用约束个约束为起作用约束个约束为起作用约束,则则则则xx*为最为最为最为最优解的一个必要条件是下式成立优解的一个必要条件是下式成立优解的一个必要条件是下式成立优解的一个必要条件是下式成立:

例例例例:

考虑问题考虑问题考虑问题考虑问题l从上例看出，满足定理从上例看出，满足定理1还需增加一些约束规范，如梯度向还需增加一些约束规范，如梯度向量线性无关等，上例有量线性无关等，上例有更一般的有：

更一般的有：

l定理定理2（KuhnTucker）最优性必要条件：

最优性必要条件：

在最优点在最优点x*处，设处，设线性无关，则存在线性无关，则存在满足：

满足：

称上式为称上式为KT条件条件，满足上式的点称，满足上式的点称KT点点。

相应的广义相应的广义Lagrange函数为：

函数为：

例例1：

验证以下问题在最优解处：

验证以下问题在最优解处K-T条件成立。

条件成立。

解解:

例例2:

解解:

定理定理3设设x*是一个可行点，若存在使是一个可行点，若存在使K-T条件成立，并且对应条件成立，并且对应的的Lagrange函数的函数的Hessen阵在子空间阵在子空间M上正定，则上正定，则x*是一个严是一个严格的局部极小点。

格的局部极小点。

其中：

其中：

注注若若线性无关，线性无关，则则M是约束集在是约束集在x*处的切空间。

处的切空间。

定理定理4：

凸规划问题的可行凸规划问题的可行K-T点必为最优解。

点必为最优解。

3，Lagrange函数的鞍点函数的鞍点定义定义1：

如果对：

如果对有有则称点则称点是是Lagrange函数：

函数：

的鞍点。

的鞍点。

定理定理5：

若：

若是鞍点，则是鞍点，则是原问题的整体最优解，是原问题的整体最优解，但逆一般不成立。

但逆一般不成立。

例例考虑非线性规划问题：

考虑非线性规划问题：

注注可验证可验证x*=（0,0）T是问题的极小点是问题的极小点（在在x*是处，取是处，取*=3，则，则K-T条件成立条件成立）。

下证其下证其Lagrange函数函数没有鞍点。

没有鞍点。

反证法反证法，假设鞍点，假设鞍点存在，由定理存在，由定理5知，知，必为问题的必为问题的最优解，故最优解，故,由鞍点定义，对所有的由鞍点定义，对所有的x与与，有有即即:

由于当由于当x1=0，x2取充分大时，总能使右端为负值，推出矛盾。

取充分大时，总能使右端为负值，推出矛盾。

l鞍点迭代方法鞍点迭代方法:

设设Lagrange函数函数其中其中为某个取定的步长，迭代过程中为某个取定的步长，迭代过程中逐步缩小，每次迭代需逐步缩小，每次迭代需计算两迭代点之间的距离，如距离减小计算两迭代点之间的距离，如距离减小被接受，否则缩小，被接受，否则缩小，最后当两点距离充分小时，迭代终止。

最后当两点距离充分小时，迭代终止。

4，对偶问题，对偶问题原原对对问问偶偶题：

题：

问问

（1）题题

（2）例例考虑问题考虑问题极小点为极小点为x*=（2,2）T，极小值为极小值为8，令，令因此因此最优点最优点*=4，最大值，最大值（*）=8。

l1）对偶定理）对偶定理定理定理1（弱对偶定理）若（弱对偶定理）若x是原问题（是原问题

（1）的可行解，）的可行解，而（而（，）是对偶问题（是对偶问题

（2）的可行解，则）的可行解，则进一步有：

进一步有：

l定理定理2（对偶定理）：

（对偶定理）：

是是Lagrange函数鞍点的充要条件是：

函数鞍点的充要条件是：

（i）x*是原问题的解；（是原问题的解；（ii）*0，*是对偶问题是对偶问题的解；的解；（iii）2）对偶问题的几何解释）对偶问题的几何解释设原问题为：

设原问题为：

对偶问题为：

对偶问题为：

l当约束集当约束集S在映射（在映射（g，f）下的像下的像G是非凸时，可能出现对是非凸时，可能出现对偶间隙：

偶间隙：

三，常用非线性约束优化的方法三，常用非线性约束优化的方法1，序列线性规划法（，序列线性规划法（SequenceLinearProgramming）2,序列无约束极小化方法序列无约束极小化方法例例构造新函数如下：

构造新函数如下：

为避免间断，令新函数为：

为避免间断，令新函数为：

F（x）=f（x）+Mp（x），），其中其中M为某正数，为某正数，为某一连续可微函数。

为某一连续可微函数。

上例取上例取以下就不同的函数构造方法分别介绍以下就不同的函数构造方法分别介绍1）外罚函数法（外点法）外罚函数法（外点法）上例中：

上例中：

注注

（1）对等式约束问题可取对等式约束问题可取

（2）对不等式约束问题可取）对不等式约束问题可取（3）对一般问题取：

对一般问题取：

l定理定理设设的最优解存在，的最优解存在，Mk为满足为满足Mk+1Mk（k=1,2,）的正数序列，的正数序列，且且Mk，如果如果F（x,Mk）的极小点序列的极小点序列x（k）存在且存在且收敛到收敛到x#，则，则x#为原问题的最优解。

为原问题的最优解。

l注注由于由于，故常以此作为收敛判别准，故常以此作为收敛判别准则。

则。

2）内罚函数法（内点法）内罚函数法（内点法）罚函数（响应函数）：

罚函数（响应函数）：

对不等式约束问题，取对不等式约束问题，取惩罚因子为惩罚因子为3）混合罚函数法）混合罚函数法对一般约束问题记：

对一般约束问题记：

取罚函数为取罚函数为4）精确罚函数法）精确罚函数法罚函数取为：

罚函数取为：

例例精确罚函数为：

精确罚函数为：

5）乘子法）乘子法

（1）等式约束问题）等式约束问题Lagrange函数为函数为罚函数为：

罚函数为：

其中的迭代公式为其中的迭代公式为

（2）不等式约束问题）不等式约束问题引入松弛变量得增广引入松弛变量得增广Lagrange函数：

函数：

经过推导得关于经过推导得关于z的极小：

的极小：

3）具等式和不等式的问题）具等式和不等式的问题增广增广Lagrange函数为：

函数为：

其中的迭代公式为其中的迭代公式为例例解解增广增广Lagrange函数为：

函数为：

3，可行方向法，可行方向法定理定理如果方向如果方向p满足满足则称则称p是是x（k）处的可行下降方向。

处的可行下降方向。

1）Zoutendijk可行方向法可行方向法

（1）线性约束线性约束需求解如下需求解如下线性规划问题线性规划问题例例

（2）非线性约束非线性约束（具不等式约束问题具不等式约束问题）l点点处的可行方向处的可行方向P应满足应满足l但在此严格不等式约束下，可能得不到最优解，为此将严格但在此严格不等式约束下，可能得不到最优解，为此将严格不等式改为不等式改为l为了避免为了避免的选取过大或过小，引进新变量的选取过大或过小，引进新变量，于是找方向，于是找方向的线性规划问题为的线性规划问题为:

l为避免拉锯现象，引入为避免拉锯现象，引入起起约束可行方向法约束可行方向法，起作用约束，起作用约束集改为：

集改为：

l全约束可行方向法：

全约束可行方向法：

l求解如下线性规划问题：

求解如下线性规划问题：

设最优解为（设最优解为（P（k），k），），若若k=0，则，则x（k）为最优解，为最优解，迭代终止。

若迭代终止。

若k0,则得到可行下降方向则得到可行下降方向P（k）。

例例l取取初始点初始点x（0）=（1/2，1）T。

得到得到l找方向的线性规划问题为：

找方向的线性规划问题为：

l其最优解为其最优解为,可行下降方向为可行下降方向为11）相关投影概念）相关投影概念）相关投影概念）相关投影概念（11）正交互补空间）正交互补空间）正交互补空间）正交互补空间（22）正交投影算子）正交投影算子）正交投影算子）正交投影算子定理定理定理定理：

设子空间：

设子空间：

设子空间：

设子空间UU的基矩阵为的基矩阵为的基矩阵为的基矩阵为NN，则则则则（i）（i）从从从从RR到子空间到子空间到子空间到子空间UU的投影算子的投影算子的投影算子的投影算子ff可表为矩阵可表为矩阵可表为矩阵可表为矩阵（ii）（ii）从从从从RR到子空间到子空间到子空间到子空间V=UV=UTT的正交投影算子的正交投影算子的正交投影算子的正交投影算子qq可表为矩阵可表为矩阵可表为矩阵可表为矩阵（33）正交投影算子的性质）正交投影算子的性质）正交投影算子的性质）正交投影算子的性质22）线性约束问题）线性约束问题）线性约束问题）线性约束问题设设设设xx处起作用约束超平面的法矩阵为处起作用约束超平面的法矩阵为处起作用约束超平面的法矩阵为处起作用约束超平面的法矩阵为N