第2章优化设计的理论与数学基础PPT文件格式下载.ppt

1、梯度。解解:32.1 2.1 目标函数的泰勒目标函数的泰勒（Taylor）（Taylor）展开式展开式 工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。为便于研究函数极值问题，需用为便于研究函数极值问题，需用简单函数简单函数作作局部逼近局部逼近，通常采用泰勒展开，通常采用泰勒展开式作为函数在某点附近的近似表达式，以近似于原函数。式作为函数在某点附近的近似表达式，以近似于原函数。一元函数一元函数f（x）在在x（k）点的泰勒展开式：点的泰勒展开式：在x与x（k）之间4二元函数二元函数F（X）=F（x1,x2）=

2、在在X（k）=x1（k）x2（k）T点的泰勒展开式为：点的泰勒展开式为：矩阵形式：点距矢量点距矢量梯度矢量梯度矢量5矩阵矩阵形式形式62.1 2.1 目标函数的泰勒目标函数的泰勒（Taylor）（Taylor）展开式展开式 二元函数二元函数F（X）=F（x1,x2）=在在X（k）=x1（k）x2（k）T点的泰勒展开式为：海赛矩阵海赛矩阵 7多元函数多元函数F（X）在在X（k）=x1（k），x2（k），xn（k）T点的泰勒展开，只取点的泰勒展开，只取二次项，函数的近似表达为：二次项，函数的近似表达为：（二阶偏导数矩阵二阶偏导数矩阵）n nn n阶的对称方阵阶的对称方阵 一阶偏导数矩阵一阶偏导数矩

3、阵称为函数在称为函数在K K点的梯度：点的梯度：8 称为函数在称为函数在 点的梯度。点的梯度。梯度是一个矢量，其方向是函数在梯度是一个矢量，其方向是函数在 点处点处数值增长最快的方向数值增长最快的方向.梯度矢量指出了该点极小邻域内函数梯度矢量指出了该点极小邻域内函数的最速上升方向，具有局部性的最速上升方向，具有局部性函数负梯度方向为函数最速下降方向函数负梯度方向为函数最速下降方向梯度矢量是等值线梯度矢量是等值线（面面）在该点的法矢在该点的法矢量。量。92.2 2.2 目标函数的等值线目标函数的等值线（面面）在n维设计空间的任一点x有确定的函数值F；对于某一确定的函数值将有若干个设计点xi与之对

4、应1011v函数的极值与极值点函数的极值与极值点2.3 2.3 无约束优化最优解的条件无约束优化最优解的条件12v极值点存在条件极值点存在条件一元函数的情况一元函数的情况极值点存在的必要条件极值点存在的必要条件 的点称为驻点，极值点必为驻点，但驻的点称为驻点，极值点必为驻点，但驻点不一定为极值点。点不一定为极值点。极值点存在的充分条件极值点存在的充分条件若在驻点附近若在驻点附近 13（一一）极值存在的必要条件极值存在的必要条件:各一阶偏导数等于零各一阶偏导数等于零H驻点驻点二元函数的情况二元函数的情况多元函数的情况多元函数的情况:14（二二）极值存在的充分条件极值存在的充分条件:海赛矩阵海赛矩

5、阵H（X*）正定正定点点X*为为极小点极小点海赛矩阵海赛矩阵H（X*）负定负定点点X*为为极大点极大点海赛矩阵海赛矩阵H（X*）不定不定点点X*为为鞍点鞍点海赛矩阵海赛矩阵H（X*）正定正定点点X*为为极小点极小点证明证明:=0处处处处F（X）F（X*）,故故点点X*为为极小点极小点二次型二次型0若：若：15什么是正定、什么是正定、负定、不定负定、不定矩阵矩阵？二次型函数：若对于任意不为零的若对于任意不为零的xx1 x2xn，l恒有恒有F（x）0，则相应的系数矩阵，则相应的系数矩阵A称为正定矩阵。称为正定矩阵。l恒有恒有F（x）0，则相应的系数矩阵，则相应的系数矩阵A称为半正定矩阵。称为半正定

6、矩阵。l恒有恒有F（x）0，有些，有些F（x）0，则相应的系数矩阵，则相应的系数矩阵A称为不定矩阵。称为不定矩阵。16正定、正定、负定、不定矩阵的判定负定、不定矩阵的判定若若各阶主子行列式均大于零各阶主子行列式均大于零正定正定若若各阶主子行列式如下各阶主子行列式如下负定负定不是不是正定正定或或负定负定不定不定各阶主子式大于等于零各阶主子式大于等于零半半正定正定172.3 2.3 无约束优化最优解的条件无约束优化最优解的条件函数极值函数极值必要条件必要条件充分条件充分条件极极 小小H（X*）正定极极 大大H（X*）负定一元函数一元函数二元函数二元函数H高等数学高等数学：设函数F（X）=F（x1,

7、x2）在点X*的某邻域内连续且有一阶及二阶连续偏导数，在点X*有Fx1=0、Fx2=0，令：当时有极值极极 小小极极 大大正定正定18极值存在的必要条件极值存在的必要条件:各一阶偏导数等于零各一阶偏导数等于零H驻点驻点极值存在的充分条件极值存在的充分条件:海赛矩阵海赛矩阵H（X*）H（X*）正定正定点点X X*为为极小点极小点各阶主子行列式均各阶主子行列式均大于零大于零正定正定小结小结:无约束目标函数极值点存在条件无约束目标函数极值点存在条件19例题例题试判断试判断X0=2 4T是否为下面函数的极小点：是否为下面函数的极小点：解：满足极值存在的必要条件满足极值存在的必要条件若各阶主子行列式均大

8、于零若各阶主子行列式均大于零H（X0）正定正定X0是极小点是极小点20例：求解例：求解 极值点和极值极值点和极值解解 的极值点必须满足：的极值点必须满足：解此联立方程得：即即点点 为为一一驻驻点点。再再利利用用海海赛赛矩矩阵阵的的性性质质来来判判断断此此驻点是否为极值点。驻点是否为极值点。2122因此，海赛矩阵是正定的。故驻点因此，海赛矩阵是正定的。故驻点 为极小点。为极小点。对应于该极小点的函数极小值为对应于该极小点的函数极小值为由由:23设平面上有点的集合，在该集合中任意取两个设计点设平面上有点的集合，在该集合中任意取两个设计点x x1 1和和x x2 2，如果如果连接点连接点x x1 1

9、与与x x2 2直线上的一切内点均属于该集合，则此集合称为直线上的一切内点均属于该集合，则此集合称为x x1 1oxox2 2平面上的一个凸集，平面上的一个凸集，2.4 凸集与凸函数凸集与凸函数24凸集的数学定义如下：对某集合凸集的数学定义如下：对某集合 内的任意两点内的任意两点x x1 1与与x x2 2连线，连线，如果连线上的任意点如果连线上的任意点x x均满足均满足x xxx1 1+（1-）x+（1-）x2 2 ，则该集定，则该集定义为一个凸集。义为一个凸集。25优化设计总是期望得到全局最优解优化设计总是期望得到全局最优解局部最优解局部最优解全局最优解全局最优解2.4.2 凸函数凸函数由

10、前局部极小点与全局极小点由前局部极小点与全局极小点:26 凸函数凸函数函数的凸性函数的凸性（单峰性单峰性）最优值最优值（最小值最小值）与极小值是有区别的与极小值是有区别的,在什么情况下极小点就在什么情况下极小点就是最小点是最小点?极小值就是最优值极小值就是最优值?函数的凸性：实质就是单峰性。如果函数在定义域内是单峰函数的凸性：如果函数在定义域内是单峰的的,即只有一个峰值即只有一个峰值,则其极大值就是全域内的最大值则其极大值就是全域内的最大值,则其极则其极小值就是全域内的最小值小值就是全域内的最小值27几何解释几何解释：数学定义：设设F（x）F（x）为为定定义义在在n n维维欧欧氏氏空空间间中中

11、一一个个凸凸集集 上上的的函函数数，x x1 1与与x x2 2为为 上上的的任任意意两两设设计计点点，取取任任意意实实数数，00，11，将将x x1 1与与x x2 2连连线线上上的的内内点点x x表表达达为为：x xxx1 1+（1-）x+（1-）x2 2，如如果果恒恒有有下下式式成成立立 FxFx1 1+（1+（1-）x-）x2 2F（x00、00，则则线线性性组组合合F（x）F（x）FF1 1（x）+F（x）+F2 2（x）（x）也也是是域域上上的的凸凸函数。函数。29v函数的凸性与局部极值及全域最优值之间的关系：函数的凸性与局部极值及全域最优值之间的关系：若若F（x）F（x）为凸集为

12、凸集 上的一个凸函数，则上的一个凸函数，则 上的任何一个极值点，上的任何一个极值点，同时也是它的最优点。同时也是它的最优点。30因海赛矩阵是正定的，故因海赛矩阵是正定的，故 为严格凸函数。为严格凸函数。例：判别函数判别函数在在 上是否为凸函数。上是否为凸函数。利用海赛矩阵来判别解：利用海赛矩阵来判别312.5 关于优化方法中搜寻方向的理论关于优化方法中搜寻方向的理论基础基础函数的最速下降方向函数的最速下降方向一、方向导数一、方向导数32概述概述约束优化问题约束优化问题最优解最优解最优值最优值最优点最优点约束优化问题约束优化问题最优解的情形与无最优解的情形与无约束时不同约束时不同,须满足的条件也

13、不同须满足的条件也不同约束优化问题极小点的条件约束优化问题极小点的条件 33一、约束优化问题的类型一、约束优化问题的类型 1.不等式约束优化问题不等式约束优化问题（IP型型）2.等式约束优化问题等式约束优化问题（EP型型）3.一般约束优化问题一般约束优化问题（GP型型）34 约束优化问题的最优解约束优化问题的最优解 局部最优解与全局最优解局部最优解与全局最优解 35约束优化问题的最优解约束优化问题的最优解 起作用约束与不起作用约束起作用约束与不起作用约束 不等式约束gu（X）0，u=1，2，p 等式约束hv（X）0，v=1，2，q 36约束优化问题极小点的条件约束优化问题极小点的条件 无约束优

14、化问题极小点的必要条件：无约束优化问题极小点的必要条件：IP型约束问题解的必要条件型约束问题解的必要条件 约束优化问题约束优化问题与无约束优化问题等价与无约束优化问题等价 没有一个约束起作用没有一个约束起作用37约束优化问题极小点的条件约束优化问题极小点的条件 IP型约束问题解的必要条件型约束问题解的必要条件 一个约束起作用一个约束起作用约束函数的梯度目标函数的梯度共线且共线且方向一致方向一致38约束优化问题极小点的条件约束优化问题极小点的条件 IP型约束问题解的必要条件型约束问题解的必要条件 两个约束起作用两个约束起作用目标函数的梯度夹于夹于两约束函数的梯度矢量之间之间39约束优化问题极小点

15、的条件约束优化问题极小点的条件 IP型约束问题解的必要条件型约束问题解的必要条件 40约束优化问题极小点的条件约束优化问题极小点的条件 IP型约束问题解的必要条件型约束问题解的必要条件 设最优点X*位于J个约束边界的汇交处，则J个约束条件组成一个起作用的约束集，对于X*点必有下式成立:但是在实际求解过程中，并不能预先知道最优点X*位于哪一个或哪几个约束边界的汇交处，为此，把p个约束全部考虑进去，特别注意，并取不起作用约束的相应乘子 库恩库恩塔克塔克（Kuhn-Tucker）条件条件K-T条件条件41 在约束条件下求得的函数极值点在约束条件下求得的函数极值点,称为约束极值点称为约束极值点.K-TK-T条件条件（约束极值点的必要条件约束极值点的必要条件）:如果有如果有n n个起作用的约束条件个起作用的约束条件,即即n n个约束函