第二章优化设计的理论与数学基础.ppt

1、第二篇第二篇 机械优化设计机械优化设计第二章第二章 优化设计的理论与数学基础优化设计的理论与数学基础 2.1 2.1 目标函数的泰勒目标函数的泰勒(Taylor)(Taylor)展开式展开式 2.2 2.2 目标函数的等值线目标函数的等值线(面面)2.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件2.4 2.4 凸集与凸函数凸集与凸函数 2.5 2.5 约束极值点条件约束极值点条件2.6 优化计算的数值解法及收敛条件优化计算的数值解法及收敛条件1二元二次函数二元二次函数 令令:则则:梯度梯度:验证验证:二次函数的矩阵表示方法二次函数的矩阵表示方法(补充补充)其中：其中：:

2、2二次函数的矩阵表示方法二次函数的矩阵表示方法(补充补充)例题例题:将将F(X)=x12-2-2x1x2+x22-8-8x1+9+9x2+10+10写成矩阵表示式，并求其写成矩阵表示式，并求其梯度。梯度。解解:验证验证:32.1 2.1 目标函数的泰勒目标函数的泰勒(Taylor)(Taylor)展开式展开式 工程工程实际中的中的优化化设计问题，常常是多，常常是多维且非且非线性函数形式，一般性函数形式，一般较为复复杂。为便于研究函数极便于研究函数极值问题，需用，需用简单函数函数作作局部逼近局部逼近，通常采用泰勒展开，通常采用泰勒展开式作式作为函数在某点附近的近似表达式，以近似于原函数。函数在某

3、点附近的近似表达式，以近似于原函数。一元函数一元函数f(x)在在x(k)点的泰勒展开式：点的泰勒展开式：二元函数二元函数F(X)=F(x1,x2)=在在X(k)=x1(k)x2(k)T点的泰勒展开式为：点的泰勒展开式为：4矩阵矩阵形式形式海赛矩阵海赛矩阵 即即:其中其中:5多元函数多元函数F(X)在在X(k)=x1(k)x2(k)xn(k)T点的泰勒展开式为：点的泰勒展开式为：(二阶偏导数矩阵二阶偏导数矩阵)n nn n阶的对称方阵阶的对称方阵 同上：同上：一阶偏导数矩阵一阶偏导数矩阵称为函数在称为函数在K K点的梯度：点的梯度：但其中：但其中：6 称为函数在称为函数在 点的梯度点的梯度.梯度

4、是一个向量梯度是一个向量,其方向是函其方向是函数在数在 点处数值增长最快的点处数值增长最快的方向方向.72.2 目标函数的等值线目标函数的等值线(面面)89v函数的极值与极值点函数的极值与极值点2.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件10v极值点存在条件极值点存在条件一元函数的情况一元函数的情况极值点存在的必要条件极值点存在的必要条件 的点称为驻点，极值点必为驻点，但驻的点称为驻点，极值点必为驻点，但驻点不一定为极值点。点不一定为极值点。极值点存在的充分条件极值点存在的充分条件若在驻点附近若在驻点附近 11(一一)极值存在的必要条件极值存在的必要条件:各一阶偏导

5、数等于零各一阶偏导数等于零H驻点驻点二元函数的情况二元函数的情况多元函数的情况多元函数的情况:12(二二)极值存在的充分条件极值存在的充分条件:海赛矩阵海赛矩阵H(X*)正定正定点点X*为为极小点极小点海赛矩阵海赛矩阵H(X*)负定负定点点X*为为极大点极大点海赛矩阵海赛矩阵H(X*)不定不定点点X*为为鞍点鞍点海赛矩阵海赛矩阵H(X*)正定正定点点X*为为极小点极小点证明证明:=0处处处处F(X)F(X*),故故点点X*为为极小点极小点二次型二次型0若：若：13什么是矩阵正定、什么是矩阵正定、负定、不定？负定、不定？若若各阶主子行列式均大于零各阶主子行列式均大于零正定正定若若各阶主子行列式如

6、下各阶主子行列式如下负定负定不是不是正定正定或或负定负定不定不定142.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件函数极值函数极值必要条件必要条件充分条件充分条件极极 小小H(X*)正定极极 大大H(X*)负定一元函数一元函数二元函数二元函数H高等数学高等数学：设函数：设函数F(X)=F(x1,x2)在点在点X*的某邻域内连续且有一阶及二的某邻域内连续且有一阶及二阶连续偏导数，在阶连续偏导数，在点点X*有有Fx1=0、Fx2=0，令：令：正定正定15极值存在的必要条件极值存在的必要条件:各一阶偏导数等于零各一阶偏导数等于零H驻点驻点极值存在的充分条件极值存在的充分条件

7、:海赛矩阵海赛矩阵H(X*)H(X*)正定正定点点X*X*为为极小点极小点各阶主子行列式均各阶主子行列式均大于零大于零正定正定小结小结:无约束目标函数极值点存在条件无约束目标函数极值点存在条件16例题例题试判断试判断X0=2 4T是否为下面函数的极小点：是否为下面函数的极小点：解：解：满足极值存在的必要条件满足极值存在的必要条件各阶主子行列式均大于零各阶主子行列式均大于零H(X0)正定正定X0是极小点是极小点17例：求解例：求解 极值点和极值极值点和极值解解 的极值点必须满足：的极值点必须满足：解此联立方程得：解此联立方程得：即即点点 为为一一驻驻点点。再再利利用用海海赛赛矩矩阵阵的的性性质质

8、来来判判断断此驻点是否为极值点。此驻点是否为极值点。1819因此，赫森矩阵是正定的。故驻点因此，赫森矩阵是正定的。故驻点 为极小点。为极小点。对应于该极小点的函数极小值为对应于该极小点的函数极小值为由由:20设平面上有点的集合设平面上有点的集合 ，在该集合中任意取两个设计点，在该集合中任意取两个设计点x x1 1和和x x2 2，如如果连接点果连接点x x1 1与与x x2 2直线上的一切内点均属于该集合，则此集合称为直线上的一切内点均属于该集合，则此集合称为x x1 1oxox2 2平面上的一个凸集，平面上的一个凸集，2.4 凸集与凸函数凸集与凸函数21凸集的数学定义如下：对某集合内的任意两

9、点凸集的数学定义如下：对某集合内的任意两点x1与与x2连线，如果连连线，如果连线上的任意点线上的任意点x均满足均满足xx1+(1-)x2，则该集定义为一个凸集则该集定义为一个凸集 22优化设计总是期望得到全局最优解优化设计总是期望得到全局最优解局部最优解局部最优解全局最优解全局最优解2.4.2 凸函数凸函数由前局部极小点与全局极小点由前局部极小点与全局极小点:23 凸函数凸函数 函数的凸性函数的凸性(单峰性单峰性)最优值最优值(最小值最小值)与极小值是有区别的与极小值是有区别的,在什么情况下极小点就在什么情况下极小点就是最小点是最小点?极小值就是最优值极小值就是最优值?函数的凸性：实质就是单峰

10、性。如果函数在定域内是单峰的函数的凸性：实质就是单峰性。如果函数在定域内是单峰的,即只有一个峰值即只有一个峰值,则其极大值就是全域内的最大值则其极大值就是全域内的最大值,则其极小则其极小值就是全域内的最小值值就是全域内的最小值24几何解释几何解释：如图所示的一元函数如图所示的一元函数f(x)，在定义域内在定义域内任取两点任取两点x1与与x2，函数曲线上的对应点函数曲线上的对应点为为K1与与K2，连该两点的直线方程设为连该两点的直线方程设为 。如在。如在x1，x2内任取一点内任取一点x，则该点则该点对应的对应的f(x)与直线与直线 两个函数值之关系两个函数值之关系为为f(x)，则称则称f(x)为

11、为a，b区间内的区间内的凸函数。凸函数。数学定义：数学定义：设设F(x)为为定定义义在在n n维维欧欧氏氏空空间间中中一一个个凸凸集集 上上的的函函数数，x1与与x2为为 上上的的任任意意两两设设计计点点，取取任任意意实实数数，0，1，将将x1与与x2连连线线上上的内点的内点x表达为：表达为：xx1+(1-)x2，如果恒有下式成立如果恒有下式成立 Fx1+(1-)x20、0，则则线线性性组组合合F(x)F1(x)+F2(x)也也是是域域上上的的凸凸函数。函数。26函数的凸性与局部极值及全域最优值之间的关系：函数的凸性与局部极值及全域最优值之间的关系：若若F(x)为凸集为凸集 上的一个凸函数，则

12、上的一个凸函数，则 上的任何一个极值点，上的任何一个极值点，同时也是它的最优点。同时也是它的最优点。27 例：例：判别函数判别函数在在 上是否为凸函数。上是否为凸函数。解：利用海赛矩阵来判别：解：利用海赛矩阵来判别：因海赛矩阵是正定的，故因海赛矩阵是正定的，故 为严格凸函数。为严格凸函数。282.5 约束极值点条件约束极值点条件(P11-94)在约束条件下求得的函数极值点在约束条件下求得的函数极值点,称为约束极值点称为约束极值点.K-TK-T条件条件(约束极小点的必要条件约束极小点的必要条件):如果有如果有n n个起作用的约束条件个起作用的约束条件,即即n n个约束函数交于一点个约束函数交于一

13、点,则该点成为约束极值点的必要条件是则该点成为约束极值点的必要条件是:该点目标函数的梯度方向应处在由该点的该点目标函数的梯度方向应处在由该点的n n个约束函数梯度方向个约束函数梯度方向所组成的锥形空间内所组成的锥形空间内.293031 对于凸规划问题对于凸规划问题(可行域为凸集可行域为凸集,目标函数为凸函数目标函数为凸函数),),则局部极值点和全域最优点相重合则局部极值点和全域最优点相重合,但对于非凸规但对于非凸规划问题则不然划问题则不然.如图如图:3233例例:用用 条件检验点条件检验点 是否为目标函数是否为目标函数 在不等式约束在不等式约束 、条件下的约束最优点。条件下的约束最优点。解：计

14、算诸约束函数值解：计算诸约束函数值 点是可行点，该点起作用约束函数为点是可行点，该点起作用约束函数为计算计算 点有关诸梯度点有关诸梯度34解得：解得：，乘子均为非负，乘子均为非负，故满足故满足 条件，点条件，点 为约束极为约束极值点，参看左图，亦得到证实。而且，值点，参看左图，亦得到证实。而且，由于由于 是凸函数，可行域为凸集，是凸函数，可行域为凸集，所以点所以点 也是约束最优点。也是约束最优点。代入式，求拉格朗日乘子代入式，求拉格朗日乘子35 K-TK-T条件只能检验起作用约束的可行点条件只能检验起作用约束的可行点,如下图中如下图中X*X*是约束极值点是约束极值点,但但K-TK-T条件对它不

15、实用条件对它不实用.362.6 优化计算的数值解法及收敛条件优化计算的数值解法及收敛条件(P11-14)v2.6.1 数值计算法的迭代过程数值计算法的迭代过程 选初始点选初始点 x(0)确定搜索方向确定搜索方向 S(0),沿沿S(0)搜索搜索,步长为步长为(0)求得第一个迭代点求得第一个迭代点 x(1)ox1x2基本迭代公式基本迭代公式:步长步长方向方向步步下步步下降降步步逼步步逼近近37 数值计算法的基本思想及迭代格式数值计算法的基本思想及迭代格式：在在设设计计空空间间从从一一个个初初始始点点x(0)出出发发，应应用用某某一一规规定定的的算算法法,按按某某一一方方向向S(0)和和步步长长(0

16、)，产产生生改改进进设设计计的的新新点点x(1)，使使满满足足F(x(1)F(x(0)，再再以以x(1)为为新新起起点点，仍仍应应用用同同一一算算法法,按按某某一一方方向向S(1)和和步步长长(1)，产产生生第第二二个个设设计计新新点点x(2)，使使满满足足F(x(2)F(x(1)，这这样样一一步步一一步步地地搜搜索索下下去去，依依次次得得设设计计点点x(1)、x(2)、x(3)、x(k)、x(k+1)、使使目目标标函数值逐步下降，直至得到满足所规定精度要求的理论极小点函数值逐步下降，直至得到满足所规定精度要求的理论极小点x(1)=x(0)+(0)S(0)x(2)=x(1)+(1)S(1)x(k+1)=x(k)+(k)S(k)迭代格式迭代格式:381）点距准则）点距准则2）函数下降量准则）函数下降量准则或或3）梯度准则：）梯度准则：2.6.2 迭代计算的终止准则迭代计算的终止准则(收敛准则收敛准则)3940作作 业业PII-34 题题2、题、题7 PII-142 题题1 41424344