现代设计方法-优化设计-无约束优化优质PPT.ppt

现代设计方法-优化设计-无约束优化优质PPT.ppt

《现代设计方法-优化设计-无约束优化优质PPT.ppt》由会员分享，可在线阅读，更多相关《现代设计方法-优化设计-无约束优化优质PPT.ppt（69页珍藏版）》请在冰豆网上搜索。

坐标轮换法（4）（4）算法分析算法分析1.1.对于维数较高的优化问题，搜索时间过长，一般当对于维数较高的优化问题，搜索时间过长，一般当n10n10时，时，2.2.则不应采用此方法。

则不应采用此方法。

2.2.算法效率与算法效率与f（x）f（x）形态有关。

形态有关。

收敛速度最快收敛速度慢搜索无效基本思想基本思想梯度方向是函数值增加最快的方向，而负梯度方向是函数下降最快的方向，所以梯度法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向一维搜索，直到满足精度要求为止。

因此，梯度法又称为最速下降法。

梯度法f（x0）df（x）=2f（x）=1x0f（x）=0设在某次迭代中已取得迭代点X（k），从该点出发，取负梯度方向为搜索方向S（k），即：

这样，第k+1k+1次迭代计算所得的新点为：

上式即为梯度法迭代公式。

因为X（k）已知，故和不难求出，只要知道步长后，就可以得到新点X（k+1）。

由于每次迭代能保证，如此反复计算，最后总能达到最优点X*。

为了使目标函数值在搜索方向S（k）上获得最多的下降，每次迭代都进行一维搜索求最优步长，即求迭代步骤迭代步骤1）任选初始点X（0），计算精度，令k=0；

2）计算和；

3）收敛判断，A.若，则X（k）为近似最优点，停止迭代，输出最优解：

，；

B.若，则转下一步继续迭代；

4）令5）确定最优步长因子，使6）计算；

7）令k=k+1，转2）。

例1：

用梯度法求函数的极小值，初始点，计算精度。

解解：

（：

（1）如果如果转（转

（2），否则转（），否则转（5）。

）。

例2.用一阶梯度法求目标函数f（X）=x12+4x22在初始点X（0）=22T，迭代精度=10-2下的最优解。

（2）（3），并转（，并转

（1）。

（4）第）第7次迭代后，次迭代后，成立，停止迭代。

成立，停止迭代。

（5）取）取时，时，f（X*）=2.59610-60比较上面两个例题，能得出什么样的结论？

比较上面两个例题，能得出什么样的结论？

梯度法的特点：

负梯度方向只是函数值在点X（k）的邻域内下降最快的方向，离开该邻域以后函数值不一定下降最快。

因此，采用负梯度方向，从局部看函数值下降快，从全局看却要走很多弯路。

因此，梯度法的收敛速度较慢。

梯度法的迭代过程，每相邻两步的搜索方向是垂直的，也就是说梯度法的迭代路线是呈锯齿形前进的。

梯度法迭代过程中，当迭代点离理论极小点较远时，一次迭代的函数值下降量大。

迭代点离极小点越近，函数值下降的速度就越慢。

因此，梯度法常与其它优化方法结合使用。

即第一步采用梯度法，后面采用其它的方法确定搜索方向。

梯度法的收敛速度与目标函数的性质有关。

如果目标函数的等值线（面）为同心圆（球），则无论从哪里出发，只需要一次搜索就能达到极小点。

1.1.基本牛顿法基本牛顿法设目标函数是连续二阶可微的，将函数在X（k）点按泰勒级数展开后，取到二次项将上式展开，得牛顿法对X求导，设X（k+1）是极小点，并令一阶导数为0，得上式即为基本牛顿法的迭代公式，其中S（k）称为牛顿方向。

例.用基本牛顿法求下列函数的极小值:

基本牛顿法的特点：

对于二次函数而言，取到二次项的泰勒展开式就是目标函数本身。

如果二阶导数矩阵正定，那么按基本牛顿法求出的X

（1）就是目标函数的精确极小点。

因此，对正定二次函数而言，牛顿法只需一次迭代就可以达到精确极小点。

基本牛顿法迭代时步长总是为1，对非二次函数、非正定函数而言，一次迭代并不能达到极小点，有时还可能失效（即总是不能收敛）。

2.2.阻尼牛顿法阻尼牛顿法基本牛顿法对非正定函数失效是因为沿牛顿方向搜索时，步长总是为1，这并不能保证找到的下一个迭代点是该方向上的极小点。

为此，增加步长因子和一维搜索过程。

此时的牛顿法称为阻尼牛顿法。

阻尼牛顿法比基本牛顿法多一个一维搜索过程阻尼牛顿法比基本牛顿法多一个一维搜索过程阻尼牛顿法迭代步骤：

阻尼牛顿法迭代步骤：

1）选取初始点）选取初始点X（0），计算精度，计算精度，令，令k=0；

2）计算）计算；

3）4）5）按一维搜索结果，计算）按一维搜索结果，计算6）收敛判断，）收敛判断，A.若若，则，则X（k+1）为近似最优点，停止为近似最优点，停止迭代，输出最优解迭代，输出最优解和和；

B.若若，则令，则令k=k+1，转，转2）继续迭代）继续迭代.例例.用阻尼牛顿法求下列函数的极小值:

数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点，但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离极小点比较远，就难保证收敛；

另外，牛顿法必须求一阶导数、二阶导数矩阵及其逆阵，这对复杂的目标函数来说，是比较较困难的。

梯度法构造简单，只用到一阶偏导数，计算量小，迭代初期收敛速度快，但当迭代点到最优点附近时收敛速度极慢；

变尺度法是在梯度法和牛顿法的基础上发展起来的一种优化方法。

用得较多的是DFP（Davidon-Fletcher-Powell）变尺度法。

1.1.基本思想基本思想变尺度法牛顿法收敛很快，对二次函数只需迭代一次就能达到最优点，对非二次函数也能较快达到最优点，但牛顿法计算量和存储量偏大。

而且某些函数可能根本无法计算二阶偏导数矩阵及其逆阵。

为了综合梯度法和牛顿法的优点，扬长避短，产生了变尺度法。

变尺度法的搜索方向为变尺度法的基本迭代公式为2.2.变尺度矩阵的构建变尺度矩阵的构建变尺度矩阵A（k）的构建是从A（0）=I开始，通过迭代公式A（k+1）=A（k）+E（k）得到的。

E（k）称为修正矩阵，通过它的一步步修正，使A（k）逐步逼近，即使变尺度法的迭代方向逐步逼近牛顿方向。

修正矩阵取不同的形式，就形成了不同的变尺度法。

DFP变尺度法修正矩阵E（k）的构造公式为3.3.变尺度法的迭代步骤变尺度法的迭代步骤例.用变尺度法求下列函数的极小值。

用变尺度法求函数的极小值。

=0.01解：

（1）取初始点：

（2）一维搜索（3）如何求如何求？

（4）搜索方向与牛顿法比较其结果非常接近，从本例中可以看出用与牛顿法比较其结果非常接近，从本例中可以看出用近似矩阵代替二阶导数及逆阵是可行的。

近似矩阵代替二阶导数及逆阵是可行的。

如何判断搜索结束？

1.椭圆的共轭方向共轭方向法SiS椭圆的一簇平行弦的中点联系通过圆心。

并称中点连线方向S与平行弦方向Si为相互共轭方向。

2.共轭方向的代数定义定义:

设A为nn阶实对称正定矩阵，而S1、S2为在n维欧氏空间En中的两个非零向量，如果满足式S1TAS2=0则称向量S1与S2关于实对称正定矩阵A是共轭的。

共轭是正交关系的推广：

当A=I时，共轭就是正交。

由A对称正定,得：

所以,即共轭是仿射变换Q下的正交.关于二次函数关于二次函数HesseHesse矩阵矩阵AA共轭共轭的几何意义的几何意义与正交概念的关系与正交概念的关系变换前变换后几何定义与代数定义是等价的。

设设X

（1）:

minf（X1+aSi）X

（2）:

minf（X2+aSi）X

（1）=X1+a1SiX

（2）=X2+a2Si则则Si与与S=X

（2）-X

（1）共轭共轭.X1X2SiS性质：

性质：

对于二次函数,沿n个共轭方向依次进行一维搜索,在第n次搜索时达到整体最优解。

n为X维数.X1X2SiS第一轮:

S1

（1）,S2

（1）不一定共轭,产生S

（1）.第二轮:

取S1

（2）=S2

（1）S2

（2）=S

（1）,产生S

（2）.第三轮:

取S1（3）=S

（1）S2（3）=S

（2）,所以,由定义知,对于二次函数,S

（1）,S

（2）共轭.第一轮第一轮第二轮第二轮算法：

算法：

共轭方向法算法分析算法分析1.对于二次函数,经过n轮（每轮n次一维搜索）循环后,第n轮中的n个搜索方向相互共轭.所以,第n轮能达到最优解.2.对于非二次函数,经过n轮循环后,第n轮中的n个搜索方向对于f（x）的二次局部近似函数的Hesse矩阵只是近似相互共轭,虽然有较高的逼近,但不一定到达极值点.3.算法可能出现n个方向线性相关.例如,当一维搜索中a=0时,X1

（2）=X0

（2）时S

（1）与S

（2）线性相关.此时,不能得到最优解.4.对于非二次函数,经过n轮循环后,可以重新选择n个初始搜索方向,以减小前面搜索方向线性相关或退化的影响.算法思想算法思想结合共轭方向法和梯度法的优点,取相互共轭的搜索方向,同时取为与当前点梯度方向相关方向.一般共轭梯度法一般共轭梯度法:

1.初始化.g0=f（x0）,选择S0使S0Tg00.2.如果|gk|eps,结束.3.一维搜索xk+1=xk+akSk:

minf（xk+akSk）.4.选择Sk+1,使Sk+1THSj=0,j=0,1,k.H=2f（xk）5.k=k+1,转步2.共轭梯度法梯度法与共轭梯度法Fletcher-Reeves共轭梯度法选择：

x2-f（xk+1）Skxkxk+1kSkSk1x*x1Sk+1=-gk+1+kSkgk+1S（k）X（k）X（k+1）由一维搜索性质，得推导Fletcher-Reeves共轭方向：

Fletcher-Reeves公式共轭梯度法算法算法1.1.初始化初始化.gg00=f（xf（x00）,）,选择选择SS00=-=-gg00.2.2.如果如果|ggkk|Q（k）|的情况下执行，其它情况仍3.用前一轮的搜索方向。

Powell方法X0（k）X1（k）Xn（k）Xn+1（k）条件（*）（a）当|Q（k+1）|Q（k）|或条件（*）满足时，Sn+1（k）作为Sn（k+1）；

（b）否则，第k+1轮的搜索方向组与第k轮相同。

1.初始化S

（1）i=ei,k=1,X

（1）0=X（0）.2.依次一维搜索:

X（k）i=X（k）i-1+aS（k）i:

minf（X（k）i-1+aS（k）i）,i=1,2,n3.计算反射点:

S（k）n+1=X（k）n-X（k）0,X（k）n+1=2X（k）n-X（k）04.计算5.5.转步6.否则否则转步7.6.一维搜索:

X=X（k）n+aS（k）n+1:

minf（X（k）n+aS（k）n+1）转步7.7.如果结束.否则.k=k+1,转步2.算法分析算法分析1.共轭方向法具有二次收敛性,即二次目标函数n步收敛,2.效率高,但可能退化到局部空间.2.与共轭方向法不同,斜方向替