附录4：《最优化方法》复习提要Word文档格式.doc
《附录4：《最优化方法》复习提要Word文档格式.doc》由会员分享，可在线阅读，更多相关《附录4：《最优化方法》复习提要Word文档格式.doc（33页珍藏版）》请在冰豆网上搜索。
定义设是上的连续函数，．是维非零向量．如果，使得，有（>
）．则称为在点处的下降（上升）方向．
定理3设，且在点处可微，如果非零向量，使得（>
）0，则是在点处的下降（上升）方向．
定义设．如果在点处对于自变量的各分量的二阶偏导数都存在，则称函数在点处二阶可导，并称矩阵
为在点处的二阶导数矩阵或Hesse矩阵．
定义设，记，如果
在点处对于自变量的各分量的偏导数
都存在，则称向量函数在点处是一阶可导的，并且称矩阵
为在点处的一阶导数矩阵或Jacobi矩阵，简记为．
例2设，求在任意点处的梯度和Hesse矩阵．
解设，则，
因，故得．
又因，则．
例3设是对称矩阵，，称为二次函数，求在任意点处的梯度和Hesse矩阵．
解设，则
，
从而．
再对求偏导得到，于是
例4设，其中二阶可导，，试求．
解由多元复合函数微分法知．
定理4设，且在点的某邻域内具有二阶连续偏导数，则在点处有Taylor展式
证明设，则．按一元函数Taylor公式在处展开，有
从例4得知．
令，有．
根据定理1和定理4，我们有如下两个公式
1.3最优化的基本术语
定义设为目标函数，为可行域，．
（1）若，都有，则称为在上的全局（或整体）极小点，或者说，是约束最优化问题的全局（或整体）最优解，并称为其最优值．
（2）若，都有，则称为在上的严格全局（或整体）极小点．
（3）若的邻域使得，都有，则称为在上的局部极小点，或者说，是约束最优化问题的局部最优解．
（4）若的邻域使得，都有，则称为在上的严格局部极小点．
第二章最优性条件
2.1无约束最优化问题的最优性条件
定理1设在点处可微，若是问题的局部极小点，则．
定义设在处可微，若，则称为的平稳点．
定理2设在点处具有二阶连续偏导数，若是问题的局部极小点，则，且半正定．
定理3设在点处具有二阶连续偏导数，若，且正定，则是问题的严格局部极小点．
注：
定理2不是充分条件，定理3不是必要条件．
例1对于无约束最优化问题，其中，显然
，令，得的平稳点，而且
易见为半正定矩阵．
但是，在的任意邻域，总可以取到，使，即不是局部极小点．
例2对于无约束最优化问题，其中，
易知，从而得平稳点，并且
显然不是正定矩阵．但是，在处取最小值，即为严格局部极小点．
例3求解下面无约束最优化问题，
其中，
解因为
所以令，有
解此方程组得到的平稳点．
从而
由于和是不定的，因此和不是极值点．是负定的，故不是极值点，实际上它是极大点．是正定的，从而是严格局部极小点．
定理4设是凸函数，且在点处可微，若，则为的全局极小点．
推论5设是凸函数，且在点处可微．则为的全局极小点的充分必要条件是．
例4试证正定二次函数有唯一的严格全局极小点，其中为阶正定矩阵．
证明因为为正定矩阵，且，所以得的唯一平稳点．又由于是严格凸函数，因此由定理4知，是的严格全局极小点．
2.2等式约束最优化问题的最优性条件
定理1设在点处可微，在点处具有一阶连续偏导数，向量组线性无关．若是问题
的局部极小点，则，使得
称为Lagrange函数，其中．
称为Lagrange乘子向量．
易见，这里．
定理2设和在点处具有二阶连续偏导数，若，使得，并且，，只要，便有，则是问题
的严格局部极小点．
例1试用最优性条件求解
解Lagrange函数为，则，
从而得的平稳点和，对应有
和．
由于．
因此
并且，有．
利用定理2，所得的两个可行点和都是问题的严格局部极小点．
2.3不等式约束最优化问题的最优性条件
定义设，若，使得，，
则称为集合在点处的可行方向．
这里．
令，
定理1设是非空集合，在点处可微．若是问题的局部极小点，则．
对于
（1）
其中．
令，其中是上述问题
（1）的可行点．
定理2设是问题
（1）的可行点，和在点处可微，在点处连续，如果是问题
（1）的局部极小点，则，
定理3设是问题
（1）的可行点，和在点处可微，在点处连续，若是问题
（1）的局部极小点，则存在不全为0的非负数，使
．（称为FritzJohn点）
如果在点处也可微，则存在不全为0的非负数，使
（称为FritzJohn点）
例1设试判断是否为FritzJohn点．
解因为，且，
所以为使FritzJohn条件成立，只有才行．取即可，因此是FritzJohn点．
定理4设是问题
（1）的可行点，和在点处可微，在点处连续，并且线性无关．若是问题
（1）的局部极小点，则存在，使得
．（称为K-T点）
如果在点处也可微，则存在，使得
（称为K-T点）
例2求最优化问题的K-T点．
解因为，所以K-T条件为
若，则，这与矛盾．故，从而；
由于，且为问题的可行点，因此是K-T点．
定理5设在问题
（1）中，和是凸函数，是可行点，并且和在点处可微．若是问题
（1）的K-T点，则是问题
（1）的全局极小点．
2.4一般约束最优化问题的最优性条件
考虑等式和不等式约束最优化问题
并把问题
（1）的可行域记为．．
定理1设为问题
（1）的可行点，和在点处可微，在点处具有一阶连续偏导数，在点处连续，并且向量组线性无关．若是问题
（1）的局部极小点，则，
这里，，
定理2设为问题
（1）的可行点，和在点处可微，在点处具有一阶连续偏导数，在点处连续．若为问题
（1）的局部极小点，则存在不全为0的数和，且，使
若在点处也可微，则存在不全为0的数和，且，使
例1设试判断是否为FritzJohn点．
解，且，且，
因此为使FritzJohn条件成立，只有才行．所以取，即知是FritzJohn点．
定理3设为问题
（1）的可行点，和在点处可微，在点处具有一阶连续偏导数，在点处连续，且向量组线性无关．若是问题
（1）的局部极小点，则存在数和，使
如果在点处也可微，则存在数和，使
令，
称与为广义Lagrange乘子向量或K-T乘子向量．
令为广义Lagrange函数．称为广义Lagrange函数．则K-T条件为
定理4设在问题
（1）中，和是凸函数，是线性函数，是可行点，并且和在点处可微．若是问题
（1）的K-T点，则是问题
（1）的全局极小点．
例2求解最优化问题
解广义Lagrange函数为
因为，．
所以K-T条件及约束条件为
下面分两种情况讨论．
（1）设，则有
由此可解得，但不是可行点，因而不是K-T点．
（2）设，则有
由此可得，解得或。
从而或．于是或（这与矛盾）．或．由此可知是问题的K-T点，但不是问题的K-T点．
易见，是上的凸函数，是上的凹函数，是线性函数，因此由定理4知，是问题的全局最优解．
定理5设为问题
（1）的可行点，和在点处具有二阶连续偏导数，并且存在乘子向量和使K-T条件成立，即
若对于任何满足
的向量，都有，则是问题
（1）的严格局部极小点．
例3求解最优化问题
其中常数．
解该问题的广义Lagrange函数为
因为．
所以问题的K-T条件及约束条件为
由第1式、第3式知，从而由第二式解得．于是再由第1式知，且，
即得，从而，解得，
于是．
所以是问题的K-T点．
又由于在点处关于的Hesse矩阵是一个阶对角矩阵，其对角线上第个元素为
因此是正定矩阵．根据定理5，为问题的严格局部极小点．
第三章常用优化算法介绍
3.1一维搜索
给定，令．
定义如果求得步长，使得
（3.1.1）
则称这样的一维搜索为最优一维搜索或精确一维搜索．叫做最优步长．
定理1对于问题，设是可微函数，是从出发沿方向作最优一维搜索得到的，则有．
定义如果选取，使目标函数沿方向取得适当的可接受的下降量，即使得下降量是我们可接受的，则称这样的一维搜索为可接受一维搜索或非精确一维搜索．
定义设，并且．如果对于有，那么称是问题的搜索区间．
定义设，若存在，使得在上严格单调减少，在上严格单调增加，则称是的单谷区间，是上的单谷函数或单峰函数．
定理2设为的单谷区间，，且，那么
（1）若，则是的单谷区间；
（2）若，则是的单谷区间．
算法3-1（进退法）
Step1选取初始数据。
给定初始点，初始步长，加倍系数（一般取），计算，置．
Step2试探．令，计算．
Step3比较目标函数值．若，转Step4，否则，转Step5．
Step4加步探索．令，转Step2．
Step5反向搜索．若，转换搜索方向，，转Step2；
否则，停止迭代．令．输出搜索区间．
3.20.618法与Fibonacci法
考虑．假定的一个搜索区间已确定，并设在上为单谷函数．
算法3-2（0.618法）
Step1选取初始数据．确定初始搜索区间和允许误差．
Step2计算最初两个试探点：
，求出，并置．
Step3检查？
是，停止计算，输出；
否则，转Step4．
Step4比较函数值．若，转Step5；
若，转Step6．
Step5向左搜索．令．
并计算，转Step7．
Step6向右搜索．令．
Step7置，转Step3．
定义Fibonacci数是指满足下述条件的数列：
（3.2.1）
用数学归纳法可以证明，Fibonacci数可由下式表示：
．（3.2.2）
算法3-3（Fibonacci法）
Step1选取初始数据．给定初始搜索区间和允许误差，辨别系数，求搜索次数，使
．
，求函数值和，并置．
是，转Step4；
否，转Step5．
Step4向左搜索．令．
并计算和，转Step6．
Step5向右搜索．令．
Step6置，若，转Step3；
若，转Step7．
Step7令，计算和。
若，则令
；
否则，令，停止计
升级会员 