最优化理论与算法第八章Word文档格式.docx

1、则称是处的线性化可行方向。在处的的所有线性化可行方向的集合记为。定义8.3 设，若存在序列和，使得对一切，有，且，则称是处的序列可行方向。在处的的所有序列可行方向的集合记为。引理8.4 设，且所有约束函数都在处均可微，则有： （8.5）证明： 对任何，由定义8.1可知，存在使得，令 ，和 则显然有 ，且 ，因而，由的任意性，即知。 又对任何，如果，则显然。假定，由定义8.3，存在序列和，使得，且和。由有，在上两式的左右两端除以，然后令趋于无穷，即得满足 因而，由的任意性，即知，证毕。二、一阶最优性条件引理8.5 设是问题（8.1）的局部极小点，若和都在处可微，则必有，。对任何，存在序列和，使得

2、，且和。由，而且是局部极小点，故对充分大的有：由上式可知，引理于是证毕。引理8.5表明：在极小点处，所有的序列可行方向都不是下降方向。引理8.6 （Farkas引理）线性方程组和不等式组无解的充要条件是存在实数和非负实数使得： （8.9）假定（8.9）式成立，且，那么对任意满足（8.6），（8.7）的，都有因而不等式组无解。另一方面，若不存在实数，非负实数，使（8.9）式成立。考虑集合：易证是中的一个闭凸锥，且。由凸集分离定理：必存在，使得 （是一常数）由于，所以。又由于是锥，故，有，从而因而必有 再由 有 类似可得 ，亦即 由以上讨论可见，是不等式组（8.6）（8.8）的一个解。注： 这里介

3、绍的Farkas引理，以和其他教科书上给出的择一定理、Motzkin定理与Gordan定理，均是由凸集分离定理得出的同一类定理，它们在导出约束最优性条件方面起着至关重要的作用。定理8.7（Karush-Kuhn-Tucker定理）设是（8.1）的局部极小点，若，则必存在，使得： （8.10）由引理8.5，有，因而 ，有。由的定义，知 无解。由Farkas引理，知存在和，使得再令 ，即得，且满足。1） 称为Lagrange函数，称为Lagrange乘子；2）（8.10）通常称为问题（8.1）的K-T-T条件（或K-T条件），而满足（8.10）的点称为K-T-T点（或K-T点），（8.10）中的第

4、二式称为互补松弛条件；3）当约束规范性条件不成立时，局部极小点不一定是K-T点。三、的一些充分条件定理8.8 若所有的都是线性函数，则。，有取，那么当时，有当时，有 而当时，由知：当充分大时（），有。即有 这表明 即 再由，即得，证毕。定理8.8 若1） 线性无关； 2）集合非空。则。先证 设是中任一向量，令是子空间的正交补中的标准正交基。（由，故与正交，因而上述生成子空间的维数为）。考虑下面以为参数的非线性方程组 （8.11）它将确定以为参数的一个隐函数。由于在处，上述方程组的Jacobi矩阵非奇异，且是方程组的解。根据隐函数定理，对充分小的，必存在解且满足事实上，将方程组确定的隐函数对求导

5、，有令，得上述方程组得系数矩阵非奇异，故有唯一解，又显然方程组的解，因而有。下证当充分小时，。事实上，由是由方程组（8.11）确定的隐函数，由方程组（8.11）的第一式知，当时，由的定义，有故当充分小时，有最后一个不等式是由于时，当时，由。故当充分小（）时，有 。因此有。现取 则有 （，）由上面分析， 这表明 ，或 由是中任意向量，故。再由是闭集（可直接验证），故有注意到 从而得： ，定理证毕。定理8.9 若在处线性无关，则。1）若是空集，则易知上一定理的条件满足，从而结论成立。2） 若非空，那么对任何，由于线性无关，必存在，使得： （，），。事实上，若记，则线性无关。记是的一组标准正交基。取

6、则与正交，即与正交。因此有：而 因而取 即满足要求，对每个，均可仿此构造出。令 ，易证：，即非空，由上一定理有：定理8.9 是最重要、最常用的约束规范性条件。四、一阶充分性条件定理8.10 设，若和在处都可微，且，（） （8.12）则是问题（8.1）的严格局部极小点。假定（8.12）成立，而不是局部严格极小点，则存在，使得 （8.13）且有 不失一般性，可设 （否则，取其收敛子序列）。即知 再由（8.13），有 其中，位于由与确定的线段上。进而有在上式中，令，即得这与（8.12）矛盾。定理于是证毕。推论 设，若和在处都可微，且，（） （8.14）五、Fritz-John必要条件定理8.11 设

7、，在上连续可微，若是问题（8.1）的局部极小点，则必存在，使得1） Fritz-John必要条件对约束不附加任何条件（即不要求约束满足约束规范性条件）；2） 时，是K-T条件；时，目标函数从条件中消失。这是条件仅描述了约束条件之间的关系，使得到的Fritz-John点不是极小点的可能性增大，则也是Fritz-John条件不如Karush-Kuhn-Tucker条件使用广泛的原因；3）证明可参见俞玉森等著数学规划原理和方法。8.3 二阶最优性条件1）若且，都有，则由前一节的充分性条件知是局部严格极小点；2）若，使，则是处的一个下降可行方向，因而不是极小点。以上两种情形都可得到确定的结果，但若这两

8、种情形都不出现，即 ， （8.15）且 ，（）使 （8.16）如果仍假定约束规范性条件满足，那么类似定理8.7的证明可知是K-T点。记是相应的Lagrange乘子，显然对使（8.16）成立的，有 由，知，由上式可推出，。由此，引入下述定义定义8.12 设是K-T点，是相应的Lagrange乘子，若，且满足：则称是在处的线性化零约束方向。处所有线性化零约束方向记为。若处的Lagrange乘子唯一，则简记为。定义8.13 设是K-T点，是相应的Lagrange乘子，如果存在向量序列和数列，使得 ，且有，则称是在处的序列零约束方向，处的序列零约束方向的集合记为。由定义显然有：且类似于 下面证明这一结

9、论。事实上，任取，由的定义知，存在，（）使 ，且 （这里，对应的） 。将在处展开，则有1）若，两边除，令，得2）若，类似可得：故有 由的任意性，有 。1）；2）若，则存在，使得且，；二阶最优性条件定理8.14 设是局部极小点，是对应的Lagrange乘子，则必有，使得其中是Lagrange函数。（二阶必要条件）（略）定理8.15 设是一个K-T点，是对应的Lagrange乘子。如果，则是局部严格极小点。（二阶充分条件）1）一阶充分性条件与二阶充分性条件不是谁比谁弱的关系，彼此之间不存在简单的逻辑蕴含。2）对一阶充分性条件，。若出现某些，使，这时一阶条件无效，可以转而考察二阶条件。8.4 凸规划

10、问题定义8.16 若为凸集，为上的凸函数，则称 （8.17）为凸规划。在 （8.18）中，若，均为凸函数，则为凸集，从而上述问题为凸规划问题。在（8.18）中没有考虑等式约束。事实上，在凸规划问题中，若包含等式约束，则该约束必为线性约束，因而为简单计，假定不含等式约束，对于包含等式约束的凸规划问题，所有讨论只须稍作修正，则同样有效。定理8.17 若在（8.18）中，均为凸函数，则其任何局部最优解均为全局最优解。设为局部最优解，若它不是全局最优解，则必存，使得，有 当时，落入的邻域，但这与为局部最优解矛盾，所以必为全局最优。定理8.18 若为严格凸函数，而均为凸函数。若（8.18）有最优解，则必

11、唯一。设是（8.18）的最优解，而是另一最优解。于是，因而有 这与为最优解矛盾，故最优解唯一。定理8.19 设，均为凸函数，且在可微，又是问题的K-T点，则是全局最优解。由在上凸，故，有再由的凸性，有当时，而，故有而当时，由互补松弛条件，有，因此有 所以是全局最优解。8.5 凸规划的对偶理论和线性规划一样，对偶理论在非线性规划的理论与算法研究中也起着重要作用。由于构造对偶问题的不同方法，因而有不同的对偶理论。如Rockafellare对偶理论，Wolfe对偶理论，Fenchel对偶理论。这里只介绍Wolfe对偶理论，一方面是因为它比较简单，从计算的观点看较为方便。另一方面，它也是目前文献中最常

12、采用的对偶形式。考虑非线性规划问题（NLP）：记，称函数：为对偶目标函数，而称问题（DNLP）对原问题的对偶问题。对一般非线性规划问题，对偶问题的形式比较复杂，较难处理。但当，均为上的凸函数时，由于为凸函数，而且，其中由解出。因而对偶问题可化为（DNLP1）：对偶理论设原问题为：对偶问题为：1）若是原问题的可行解，是对偶问题的可行解，则有，即总有，这就是所谓弱对偶定理。2）若进一步有，即，则与是分别是原问题与对偶问题的最优解。这就是所谓强对偶定理。8.6 鞍点问题对任一非线性规划问题，可以考虑下面三个密切相关的问题。1）原始不等式约束问题（PP） 2） 广义Lagrange问题（K-T条件）记 3）鞍点问题（SP）求，（），使得，和都有称为的鞍点。定理8.20 设，可微，是（PP）的最优解。若在处满足约束规范性条件，则必存在Lagrange乘子，使得是K-T问题的解。定理8.21 若，可微凸，且是K-T问题的解，则是（PP）的最优解。定理8.22 若，可微，是鞍点问题（SP）的解，则它是K-T问题的解。定理8.23 若，可微凸，是K-T问题的解，则它必是鞍点问题的解。定理8.24 若是鞍点问