最优化方法全部课件.ppt

最优化方法全部课件.ppt

《最优化方法全部课件.ppt》由会员分享，可在线阅读，更多相关《最优化方法全部课件.ppt（333页珍藏版）》请在冰豆网上搜索。

开始开始最优化方法（最优化课件研制组）退出退出主讲：

张京最优化方法最优化方法为了使系统达到最优的目标所提出的各种求解方法称为最优化方法。

最优化方法是在第二次世界大战前后，在军事领域中对导弹、雷达控制的研究中逐渐发展起来的。

最优化方法解决问题一般步骤：

（1）提出需要进行最优化的问题，开始收集有关资料和数据；

（2）建立求解最优化问题的有关数学模型，确定变量，列出目标函数和有关约束条件；（3）分析模型，选择合适的最优化方法；（4）求解方程。

一般通过编制程序在电子计算机上求得最优解；（5）最优解的验证和实施。

随着系统科学的发展和各个领域的需求，最优化方法不断地应用于经济、自然、军事和社会研究的各个领域。

第第11章章预备知识预备知识1.11.1经典极值问题经典极值问题1.1.例子例子，2.2.数学模型数学模型第一，第一，无约束极值问题无约束极值问题或或解法：

解方程组解法：

解方程组第二，仅含等式约束的极值问题第二，仅含等式约束的极值问题或或解法：

解法：

LagrangeLagrange乘子法乘子法1.21.2实例实例数数据据拟拟合合问问题题原原料料切切割割问问题题运运输输问问题题营养配餐问题营养配餐问题分配问题分配问题1.31.3基本概念基本概念1.1.最优化问题的向量表示法最优化问题的向量表示法设设则则

（1）以向量为变量的实值函数以向量为变量的实值函数定义向量间的序关系定义向量间的序关系（定义定义1.1）：

等于，小于等于，小于，严格小于，严格小于。

由此。

由此

（2）以向量为变量的实向量值函数以向量为变量的实向量值函数最优化问题的一般形式最优化问题的一般形式（3）2.2.最优化问题的分类最优化问题的分类试验问题：

用于检验、比较最优化试验问题：

用于检验、比较最优化方法优劣的一方法优劣的一些最优化问题。

些最优化问题。

3.术语术语目标函数目标函数等式约束等式约束不等式约束不等式约束容许解（点）容许解（点）容许集容许集求解问题求解问题（3）是指：

在）是指：

在容许集容许集中找一点中找一点目标函数目标函数在该点取极小值，即对于在该点取极小值，即对于容许集容许集中中的任的任，总有，总有意一点意一点最优点（极小点）最优点（极小点）最优值最优值最优解最优解严格极小点严格极小点局部局部非严格极小点非严格极小点严格极小点严格极小点非严格极小点非严格极小点全局全局，使得使得到目前为止，大多数最优化算法求到的都是到目前为止，大多数最优化算法求到的都是局部极小点。

局部极小点。

为了求得全局极小点，一种解决办法是，先求出所有的为了求得全局极小点，一种解决办法是，先求出所有的局部极小点，然后再从中找出全局极小点。

局部极小点，然后再从中找出全局极小点。

4.极大值问题与极小值问题的关系极大值问题与极小值问题的关系1.41.4二维问题图解法二维问题图解法二维二维极值极值问题有时可以用图解的方式进行求解，有问题有时可以用图解的方式进行求解，有明显的几何解释。

明显的几何解释。

例例求解求解图解法的步骤：

图解法的步骤：

，显然；取取并画出相应的曲线（称之为等值线）并画出相应的曲线（称之为等值线）.确定极值点位置，并用以往所学方法求之。

确定极值点位置，并用以往所学方法求之。

易知本题的极小值点易知本题的极小值点。

再复杂点的情形见再复杂点的情形见P13上的例上的例1.7。

虽然三维及以上的问题不便于在平面上画图，图解虽然三维及以上的问题不便于在平面上画图，图解法失效，但仍有相应的等值面的概念，且等值面具有以法失效，但仍有相应的等值面的概念，且等值面具有以下性质：

下性质：

有不同函数值的等值面互不相交（因目标函数是单值有不同函数值的等值面互不相交（因目标函数是单值函数的缘故）；函数的缘故）；等值面不会在区域的内部中断，除了极值点所在的等等值面不会在区域的内部中断，除了极值点所在的等值面以外。

这是由于目标函数是连续函数的缘故；值面以外。

这是由于目标函数是连续函数的缘故；令令等值面稠密的地方，目标函数值变化得比较快；等值等值面稠密的地方，目标函数值变化得比较快；等值面稀疏的地方，目标函数值变化得比较慢；面稀疏的地方，目标函数值变化得比较慢；在极值点附近，等值面（等值线）一般近似地呈现为在极值点附近，等值面（等值线）一般近似地呈现为同心椭球面族（椭圆线族）。

同心椭球面族（椭圆线族）。

1.51.5梯度和梯度和HesseHesse矩阵矩阵本段讨论都基于对函数本段讨论都基于对函数以下及今后的讨论中还经常要用到以下一些向量的知识。

以下及今后的讨论中还经常要用到以下一些向量的知识。

可微的假定。

可微的假定。

与。

记作记作。

向量也常用希腊字母向量也常用希腊字母等表示。

等表示。

向量内积的向量内积的性质性质：

）（对称性）；（对称性）；）（线性性）；（线性性）；）,当且仅当当且仅当时时，（正定性）；（正定性）；向量的内积向量的内积设设则则称为向量称为向量的内积，的内积，其实，其实，向量向量的长的长单位向量单位向量向量的夹角向量的夹角，向量的向量的正交正交（正交性正交性）1.可微定义定义1.71.7设设.如果存在如果存在维向量维向量对于可任意小的对于可任意小的维非零向量维非零向量，总有，总有在点在点那么称函数那么称函数处处可微。

可微。

若令若令便得到（便得到（1.9）的等价形式）的等价形式.（1.10）2.梯度定理定理1.1若若在点在点处可微，则处可微，则在该点关于各个变量的一阶偏导数存在，并且在该点关于各个变量的一阶偏导数存在，并且定义定义1.81.8以函数以函数的的个偏导数为分量的向量个偏导数为分量的向量称为称为在点在点处的梯度，记为处的梯度，记为。

梯度也称为函数梯度也称为函数关于变量关于变量于是，（于是，（1.10）可写为）可写为这个公式与一元函数展开到两项的这个公式与一元函数展开到两项的Taylor公式是相对的。

公式是相对的。

梯度的性质梯度的性质：

当梯度当梯度连续时，连续时，第一，若第一，若，则，则必垂直于必垂直于过过点点处的等值面；处的等值面；的一阶偏导数。

第二，梯度方向是函数具有最大变化率的方向。

第二，梯度方向是函数具有最大变化率的方向。

下面以下面以为例来解释这个性质。

为例来解释这个性质。

上图是该函数的等值线图。

上图是该函数的等值线图。

今考虑一点今考虑一点，不妨取坐标为，不妨取坐标为。

设想有。

设想有出发沿某个方向移动到了点出发沿某个方向移动到了点，其坐标，其坐标，那么目标函数值将产生如下变化量，那么目标函数值将产生如下变化量一动点从一动点从设为设为假定假定。

试问：

动点沿哪个方向移动会使。

试问：

动点沿哪个方向移动会使目标函数值有最多的下降或上升？

目标函数值有最多的下降或上升？

从图上看，这相当于问：

在以点从图上看，这相当于问：

在以点为圆心、以为圆心、以11为为半径半径的圆周上，哪一个点具有最大的或最小的目标函数值。

的圆周上，哪一个点具有最大的或最小的目标函数值。

为了一般地描述函数为了一般地描述函数在点在点处沿处沿情况及变化速度，须引入上升方向和下降方向及方向导数情况及变化速度，须引入上升方向和下降方向及方向导数的概念。

的概念。

方向的变化方向的变化函数函数在点在点处沿处沿方向的变化反映的是函数方向的变化反映的是函数在一条直线上的变化，空间中由一点在一条直线上的变化，空间中由一点和一方向和一方向所确定的直线方程为所确定的直线方程为上升方向和下降方向上升方向和下降方向设设是连续函数。

是连续函数。

若存在若存在，对于，对于都有都有，则称，则称方向是方向是在点在点处的上升方向；若存在处的上升方向；若存在对于对于都有都有，则称，则称方向是方向是在点在点处的下降方向。

处的下降方向。

定义定义1.91.9设设在点在点处可微，处可微，是非是非方向上的单位向量。

如果极限方向上的单位向量。

如果极限零向量零向量存在，则称其为函数存在，则称其为函数在点在点处沿处沿方向的方向导数，方向的方向导数，。

记作记作思考：

思考：

与的异同。

的异同。

若若，则，则方向是方向是在点在点处的上升方向；处的上升方向；根据极限理论，根据极限理论，易见易见若若，则，则方向是方向是在点在点处的下降方向。

处的下降方向。

因此因此，方向导数的正负决定了函数值的升降方向导数的正负决定了函数值的升降。

定理定理1.21.2设设在点在点处可微，则处可微，则，其中其中是非零向量是非零向量方向上的单位向量。

方向上的单位向量。

定理定理1.2又表明：

只要又表明：

只要，则，则方向是方向是在点在点处的上升方向；只要处的上升方向；只要，则，则方向是方向是在点在点处的下降方向。

处的下降方向。

函数值升降的快慢则是由方向导数绝对值的大小决函数值升降的快慢则是由方向导数绝对值的大小决定的。

绝对值越大，升或降的速度就越快；绝对值越小，定的。

绝对值越大，升或降的速度就越快；绝对值越小，升或降的速度就越慢。

这是因为升或降的速度就越慢。

这是因为据此有据此有）等号成立当且仅当等号成立当且仅当与与同方向或与同方向或与同方向同方向。

且当。

且当与同方向同方向时，时，取到最大值取到最大值。

当当与与同方向同方向时，时，取到最小值取到最小值）若若是锐角，则是锐角，则;若若是钝角，则是钝角，则。

因此，方向导数又可以称为函数因此，方向导数又可以称为函数在点在点处沿处沿方向的变化率。

方向的变化率。

使函数值下降最快的方向称为最速下降方向。

使函数值下降最快的方向称为最速下降方向。

最速下降方向为最速下降方向为例例1.8P19几个常用函数的梯度公式几个常用函数的梯度公式

（1）若，则，则，即，即

（2）（3）；（4）.；2.Hesse矩阵矩阵问：

函数问：

函数关于变量关于变量的二阶导数又是什么？

的二阶导数又是什么？

先来看什么是向量值函数的可微。

先来看什么是向量值函数的可微。

定义定义1.11设设。

若若的所有分量的所有分量在在点点都都可微，则称向量值函数可微，则称向量值函数在点在点处可微处可微。

定义表明，定义表明，在点在点处可微，则处可微，则成立，成立，其用向量形式可简单地表示为其用向量形式可简单地表示为其中其中称为向量值函数称为向量值函数在点在点处的导数，处的导数，而而称为向量值函数称为向量值函数在点在点处的处的JacobiJacobi矩阵。

矩阵。

设设具有二阶连续偏导数，且具有二阶连续偏导数，且则矩阵则矩阵称为函数称为函数关于变量关于变量的二阶导数，简记为的二阶导数，简记为。

也称为多元实值也称为多元实值函数函数的的HesseHesse矩阵。

矩阵。

例例1.9P21几个特殊的向量值函数的导数公式：

几个特殊的向量值函数的导数公式：

（1）；

（2）；（3）；（4）设设，其中，其中。

则。

则利用（利用（4），可得多元函数展开到三项的），可得多元函数展开到三项的Taylor公式公式（1.29）或或（1.31）这个公式与一元函数展开到三项的这个公式与一元函数展开到三项的Taylor公式是相对应的。

公式是相对应的。

多元函数的多元函数的Taylor展开式在最优化方法中十分重要，展开式在最优化方法中十分重要，许多方法及其收敛性的证明都是从它出发的。

许多方法及其收敛性的证明都是从它出发的。

1.凸集凸集1.6凸函数与凸规划凸函数与凸规划直观上，凸集就是空间中内部无直观上，凸集就是空间中内部无“洞洞”，边界又不向，边界又不向内凹的一些点的集合，其基本特征是该集合中任意两点内凹的一些点的集合，其基本特征是该集合中任意两点间的线段仍然属于这个集合。

间的线段仍然属于这个集合。

非凸集非凸集凸集凸集空间中两点间的线段是由点的凸组合定义的。

空间中两点间的线段是由点的凸组合定义的。

定义定义1.12设设是是中的中的个已知点。

个已知点。

点点，若存在满足，若存在满足的非负实数的非负实数对于对于使得使得，则称，则称是是的一个凸组合。

的一个凸组合。

又若又若是满足是满足的正实数，则称的正实数，则称是是的一个严格凸组合。

的一个严格凸组合。

两点两点的的凸组合凸组合恰是连接两点的恰是连接两点的的的线段。

线段。

线段，而严格凸组合是不含端点线段，