机械优化设计--第四章(第5次课).pptx

机械优化设计--第四章(第5次课).pptx

《机械优化设计--第四章(第5次课).pptx》由会员分享，可在线阅读，更多相关《机械优化设计--第四章(第5次课).pptx（81页珍藏版）》请在冰豆网上搜索。

机械优化设计20172017年年66月月上上海海海海事事大大学学SHANGHAIMARITIMEUNIVERSITYSHANGHAIMARITIMEUNIVERSITY何军良何军良07:

501上海海事大学上海海事大学ShanghaiMaritimeUniversity19092009200419121958机械优化设计中的几个问题优化设计概述优化设计的数学基础2目录CONTENTS一维搜索方法无约束优化方法线性规划约束优化方法07:

50第四章无约束优化方法概述01最速下降法牛顿型方法共轭方向与共轭方向法020304共轭梯度法05变尺度法坐标轮换法鲍威尔方法060708单形替换法0907:

50344.1概述工程问题大都为有约束优化问题。

为什么要研究无约束优化问题?

1.有些实际问题，其数学模型本身就是一个无约束优化问题。

2.通过熟悉它的解法可以为研究约束优化问题打下良好的基础。

3.约束优化问题的求解可以通过一系列无约束优化方法来达到。

所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。

07:

5054.1概述无约束优化问题是：

求n维设计变量使目标函数无约束优化问题极值存在的必要条件：

07:

5064.1概述目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。

（1）间接法要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。

（2）直接法不使用导数信息，如坐标轮换法、鲍威尔法、单形替换法等。

用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。

这类方法较适用于解决变量个数较少的（n20）问题，一般情况下比间接法效率低。

间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。

搜索方向的构成问题乃是无约束优化方法的关键。

其搜索方向直接取定或由计算目标函数值所得的信息来确定。

07:

5074.1概述771.选择初始迭代点x0。

2.从迭代点xk出发进行搜索，确定使目标函数值下降的搜索方向dk。

3.确定适当的步长因子k，求xk+1=xk+kdk，使f（xk+1）f（xk）。

4.选择适当的终止准则，若xk+1满足终止准则，则终止迭代计算，并输出局部最优点x*xk+1；否则，令kk+1，返回步骤

（2）继续进行优化搜索。

无约束优化方法求解的四个步骤:

07:

5084.2最速下降法

（1）基本思想搜索方向d取该点的负梯度方向（最速下降方向），使函数值在该点附近的范围内下降最快。

终止判别条件07:

5094.2最速下降法

（2）计算方法为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。

即有步长因子求解方法：

解析法：

根据极值点必要条件。

黄金分割法牛顿法抛物线法07:

50104.2最速下降法

（2）计算方法根据一元函数极值的必要条件及复合函数求导公式得07:

50114.2最速下降法（3）现象最速下降法的搜索路径1.在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。

2.搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。

3.形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。

07:

50124.2最速下降法4.在远离极小点位置，每次迭代可使函数值有较多的下降。

5.在接近极小点位置，每次迭代行进的距离缩短，收敛速度减慢。

6.最速下降性”只是迭代点邻域的局部性质。

从全局看，并非最速下降方向。

（3）现象07:

50134.2最速下降法（4）计算步骤1）给定初始迭代点x0，精度，维数n；2）令k0；3）计算xk的梯度；4）以xk点为出发点，求方向上的最优步长k，有；5）终止判别？

若满足条件，输出最优解，xk+1x*,f*f（x*）。

否则，令kk+1，转步骤3）。

07:

50144.2最速下降法（4）计算步骤07:

50154.2最速下降法（5）举例沿负梯度方向进行一维搜索，有例：

求目标函数的极小点。

取初始点解：

初始点处梯度：

07:

50164.2最速下降法（5）举例为一维搜索最佳步长，应满足极值必要条件07:

50174.2最速下降法（5）举例第一次迭代设计点位置和函数值因此，迭代终止：

07:

50184.2最速下降法（5）举例07:

50194.2最速下降法（5）举例例：

用最速下降法求极小点，精度解：

1）取初始点。

初始梯度2）沿负梯度方向一维搜索3）求最优步长初始点处函数值07:

50204.2最速下降法（5）举例4）计算新的迭代点位置和函数值5）迭代终止条件判断继续迭代。

取初始点为X1，继续重复1-5步，直到满足精度要求。

迭代10次的结果是：

07:

50214.2最速下降法（5）举例这个问题的目标函数的等值线为一簇椭圆,迭代点从X0走的是一段锯齿形路线，见图。

07:

50224.2最速下降法（5）举例其等值线由椭圆变成一簇同心圆。

则函数f（X）变为：

y1=x1,y2=5x2将上例中目标函数引入变换仍从,即出发进行最速下降法寻优。

此时：

07:

50234.2最速下降法（5）举例00为一维搜索最佳步长，可由极值条件：

从而算得一步计算后设计点的位置及其目标函数：

由沿负梯度方向进行一维搜索：

07:

50244.2最速下降法（5）举例经变换后，只需一次迭代，就可找到最优解。

这是因为经过尺度变换：

等值线由椭圆变成圆。

07:

50254.2最速下降法（5）举例例：

用最速下降法求下面无约束优化问题：

07:

50264.2最速下降法（5）举例07:

50274.2最速下降法（5）举例07:

50284.2最速下降法（5）举例07:

50294.2最速下降法（6）收敛性分析最速下降法的收敛速度和变量的尺度关系很大。

在适当条件下，收敛速度的估计公式：

式中m表示f（x）的海塞矩阵的最大特征值上界，M表示f（x）的海塞矩阵的最小特征值的下界对于等值线为椭圆的二次型函数其海塞矩阵为特征值为2，50因此收敛性较慢07:

50304.2最速下降法（7）最速下降法的典型特征由于一维搜索是求的极小。

故应满足：

即因此，在梯度法中，相邻两次搜索方向（即相邻两次迭代点的梯度方向）是正交的。

07:

50314.2最速下降法（7）最速下降法的典型特征1.理论明确，程序简单，对初始点要求不严格。

2.对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。

3.梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。

4.梯度法的收敛速度与目标函数的性质密切相关。

对于等值线（面）为同心圆（球）的目标函数，一次搜索即可达到极小点。

07:

50324.3牛顿型方法

（1）基本思想在xk邻域内用一个二次函数来近似代替原目标函数，并将的极小点作为对目标函数求优的下一个迭代点。

经多次迭代，使之逼近目标函数的极小点。

牛顿法是求函数极值的最古老算法之一。

07:

50334.3牛顿型方法

（2）迭代公式原函数:

近似二次函数:

求的极小点，要求其梯度等于零。

07:

50344.3牛顿型方法

（2）迭代公式（牛顿方向）1）迭代方向：

*2）步长因子：

令由此，这就是多元函数求极值的牛顿法迭代公式。

对于二次函数，海赛G是一个常矩阵，其中各元素均为常数。

因此，无论从任何点出发，只需一步就可找到极小点。

07:

50354.3牛顿型方法（3）举例例：

求目标函数的极小点。

解：

取初始点经过一次迭代即求得极小点07:

50364.3牛顿型方法（4）阻尼牛顿法对于正定二次函数，牛顿法可以直达极小点。

对于非二次函数，基本牛顿法的步长因子恒为1，有时会导致迭代发散而失效，如果采用上述牛顿迭代公式，有时会使函数值上升。

问题提出07:

50374.3牛顿型方法（4）阻尼牛顿法比如，对于如下问题：

当新迭代点当新迭代点问题提出07:

50384.3牛顿型方法（4）阻尼牛顿法迭代公式阻尼因子，沿牛顿方向进行一维搜索的最佳步长，由下式求得：

07:

50394.3牛顿型方法（4）阻尼牛顿法迭代步骤1）给定初始点x0，收敛精度，置k=0；2）计算3）求其中k是沿dk一维搜索最优步长；4）检查收敛精度。

若时停止，否则k=k+1，返回第二步。

07:

50404.3牛顿型方法（4）阻尼牛顿法算法特点1）不能保证每次迭代都使函数值下降。

举例说明：

用阻尼牛顿法求函数的最优解。

初始点函数的梯度07:

50414.3牛顿型方法（4）阻尼牛顿法算法特点牛顿方向结果说明迭代后的新点仍为原点，无法继续迭代。

原因是海赛矩阵不定，导致失败。

07:

50424.3牛顿型方法（4）阻尼牛顿法算法特点2）初始点应选在x*附近，有一定难度；3）尽管每次迭代都不会是函数值上升，但不能保证每次下降4）收敛速度较牛顿法慢，但对初始点无特殊要求，实用性更好5）要求海赛矩阵正定（保证有极小值）和非奇异（保证有逆矩阵）。

这使得该法对复杂多变量目标函数的优化问题无实用价值；6）不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。

虽然阻尼牛顿法有上述缺点，但在特定条件下它具有收敛最快的优点，并为其他的算法提供了思路和理论依据。

07:

50434.3牛顿型方法（5）牛顿型法与梯度法对比一般迭代式：

梯度法：

牛顿法：

阻尼牛顿法：

07:

5044

（1）共轭方向的概念4.4共轭方向与共轭方向法设G为nn阶实对称正定矩阵，如果有两个n维向量d0和d1满足，则称向量d0和d1关于矩阵G共轭。

如果G=I（单位矩阵），就有，d0和d1方向正交，即与单位矩阵共轭的方向是正交方向，所以正交方向是共轭方向的一个特例。

但两者不能混淆。

共轭但不正交正交但不共轭对于共轭正交07:

5045

（1）共轭方向的概念4.4共轭方向与共轭方向法假设目标函数f（x）在极值点附近的二次近似函数为对二维情况任选取初始点x0沿某个下降方向d0作一维搜索，得x107:

5046

（1）共轭方向的概念4.4共轭方向与共轭方向法0d0x0x1x*111d1d1如果按最速下降法，选择负梯度方向为搜索方向，则将发生锯齿现象。

取下一次的迭代搜索方向d1直指极小点x*。

因为0是沿d0方向搜索的最佳步长，即在点x1处函数f（x）沿方向d0的方向导数为零。

考虑到点x1处方向导数与梯度之间的关系，故有07:

5047

（1）共轭方向的概念4.4共轭方向与共轭方向法如果能够选定这样的搜索方向，那么对于二元二次函数只需顺次进行d0、d1两次直线搜索就可以求到极小点x*，即有那么这样的d1方向应该满足什么条件呢?

对于前述的二次函数:

有07:

5048

（1）共轭方向的概念4.4共轭方向与共轭方向法当时，x*是f（x）极小点，应满足极值必要条件，故有将等式两边同时左乘,同时得：

07:

5049

（1）共轭方向的概念4.4共轭方向与共轭方向法就是使d1直指极小点x*，d1所必须满足的条件。

两个向量d0、d1和称为G的共轭向量，或称d0和d1对G是共轭方向。

07:

5050

（1）共轭方向的概念4.4共轭方向与共轭方向法则称d0,d1,dm-1是对G共轭n定义：

若设G为n*n对称正定矩阵，若n维空间中有m个非零向量系d0,d1,dm-1是满足当G=I（单位矩阵）时，d0,d1,dm-1正交。

共轭概念是正交概念的推广，正交是共轭的特例。

07:

5051

（2）共轭方向的性质4.4共轭方向与共轭方向法n性质1若非零向量系d0,d1,dm-1是对G共轭，则这m个向量是线性无关的。

n性质2在n维空间中互相共轭的非零向量的个数不超过n。

n性质3从任意初始点出发，顺次沿m个G的共轭方向d0,d1,dm-1进行一维搜索，最多经过m次迭代就可以找到的二次函数f（x）极小点。

07:

5052（3）共轭方向法4.4共轭方向与共轭方向法07:

5053（3）共轭方向法4.4共轭方向与共轭方向法在无约束方法中许多算法都是以共轭方向作为搜索方向，它们具有许多特点。

根据构造共轭方向的原理不同，可以形成不同的共轭方向法。

n格拉姆-斯密特矢量系共轭化方法n共轭梯度法n鲍威尔（Powell）法n07:

5054（4）格拉姆-斯密特矢量系共轭化方法4.4共轭方向与共轭方向法选定n个线性无关的矢量系v0,v1,vn-1，首先取令其中10是待定系数，可根据d1与d0的共