第2章优化设计的数学基础PPT推荐.ppt

第2章优化设计的数学基础PPT推荐.ppt

《第2章优化设计的数学基础PPT推荐.ppt》由会员分享，可在线阅读，更多相关《第2章优化设计的数学基础PPT推荐.ppt（69页珍藏版）》请在冰豆网上搜索。

解：

在点在点处的梯度为：

处的梯度为：

*1212例例22：

试试求二次函数求二次函数在点在点处的最速下降方向，并求沿的最速下降方向，并求沿这个方向移个方向移动一个一个单位位长度后新点的目度后新点的目标函数函数值。

则函数在则函数在处的最速下降方向为处的最速下降方向为*1313该方向上的单位向量为该方向上的单位向量为新点新点该点函数值该点函数值*1414常用梯度公式：

常用梯度公式：

注意：

梯度为向量注意：

梯度为向量二次型二次型*1515在在点处的泰勒展开为：

点处的泰勒展开为：

其中其中1、一元函数一元函数第二节第二节多元函数的泰勒展开多元函数的泰勒展开*161622、二元函数、二元函数其中：

其中：

二元函数二元函数在在点处的泰勒展开式为：

点处的泰勒展开式为：

*1717上式写成矩阵形式：

上式写成矩阵形式：

*1818令令上式可写成上式可写成称为函数称为函数在在点处的点处的海赛（海赛（Hessian）矩阵）矩阵参见教材例题参见教材例题P30*1919海赛矩阵海赛矩阵是由函数是由函数在点在点处的二阶偏导处的二阶偏导数组成的方阵。

由于函数的二次连续性，有：

数组成的方阵。

所以所以矩阵为矩阵为对阵方阵。

对阵方阵。

*2020海赛矩阵海赛矩阵33、多元函数、多元函数其中：

梯度其中：

梯度泰勒展开式泰勒展开式*2121若将函数的泰勒展开式只取到线性项，即取若将函数的泰勒展开式只取到线性项，即取则则是过点是过点和函数和函数所代表的超曲面相所代表的超曲面相切的切平面。

切的切平面。

若将函数的泰勒展开式取到二次项时，则得到二若将函数的泰勒展开式取到二次项时，则得到二次函数形式，在线性代数中将二次齐次函数称为次函数形式，在线性代数中将二次齐次函数称为二次型。

二次型。

矩阵形式矩阵形式-对称矩阵对称矩阵*2222当对任何非零向量当对任何非零向量xx使使则二次型函数正定，则二次型函数正定，GG为正定矩阵。

为正定矩阵。

*2323海赛矩阵的特征：

是实对称矩阵。

海赛矩阵的特征：

44、海、海赛矩矩阵与正定与正定矩阵矩阵正定正定的充要条件：

矩阵的充要条件：

矩阵G的各阶顺序主子式为正，即的各阶顺序主子式为正，即矩阵矩阵负定负定的充要条件：

矩阵GG的的奇数阶主子式奇数阶主子式主子式主子式偶数阶主子式偶数阶主子式海赛矩阵的正定性：

海赛矩阵的正定性：

正定正定-为全局极小值点的充分条件为全局极小值点的充分条件负定负定-为全局极大值点的充分条件为全局极大值点的充分条件*2424例例33判定矩阵判定矩阵是否正定？

是否正定？

该对称矩阵的三个主子式依次为：

故可知矩阵故可知矩阵G是正定的。

是正定的。

*2525定理：

定理：

若二次函数若二次函数中中QQ正定，正定，则它的等值面是同心椭球面族，且中心为则它的等值面是同心椭球面族，且中心为证明：

证明：

作变换作变换，代入二次函数式中：

，代入二次函数式中：

结论：

Q为正定矩阵的二次型为正定矩阵的二次型的等值面是以的等值面是以的同心椭球面族。

原二次函数就是以的同心椭球面族。

原二次函数就是以为中心的同心为中心的同心椭球面族，椭圆中心为极小值点。

椭球面族，椭圆中心为极小值点。

*2626例例4把二次函数把二次函数化为矩阵向量形式并检验化为矩阵向量形式并检验Q是否正定，如正定，试用公式是否正定，如正定，试用公式求这个函数的极小点。

求这个函数的极小点。

与题中函数比较各系数得：

由计算知由计算知QQ正定，极小点正定，极小点*2727的梯度和的梯度和Hesse矩阵。

矩阵。

因为解：

因为则则又因为：

又因为：

故故Hesse阵为：

阵为：

例例5：

求目标函数求目标函数*282811、一元函数、一元函数对于可微的一元函数于可微的一元函数判断在判断在处是否取得极处是否取得极值的过程：

值的过程：

则为极小点。

为极小点。

逐次检验其更高阶导数的逐次检验其更高阶导数的符号，开始不为零的导数符号，开始不为零的导数阶数若为偶次，则为极值阶数若为偶次，则为极值点，若为奇次，则为拐点。

点，若为奇次，则为拐点。

则为极大点。

为极大点。

第三节第三节无约束优化问题的极值条件无约束优化问题的极值条件*292922、二元函数、二元函数定理定理1：

若二元可微函数若二元可微函数在在处处取得极值的取得极值的必要条件必要条件是：

是：

即即凡满足上式的点称为函数的凡满足上式的点称为函数的驻点驻点（零向量）（零向量）*3030如下图所示的二元函数，在如下图所示的二元函数，在M0点虽有点虽有和和是个驻点，但它不是极值点。

是个驻点，但它不是极值点。

*3131定理定理2：

若二元可微函数若二元可微函数在在的的某个邻域取得极小值的某个邻域取得极小值的充分条件充分条件是要求在该点附是要求在该点附近的一切点均满足：

近的一切点均满足：

若函数存在连续的一阶及二阶偏导数，当满足若函数存在连续的一阶及二阶偏导数，当满足则泰勒展开式的函数增量近似式（略三阶以上则泰勒展开式的函数增量近似式（略三阶以上高阶微量）为：

高阶微量）为：

*3232令令则则可见，函数增量的性态与可见，函数增量的性态与A,B,C的值有关。

可以证明，当满的值有关。

可以证明，当满足以下条件时，足以下条件时，为极小值（证明略）。

为极小值（证明略）。

此条件反映了函数在该点的海赛矩阵的各阶主子式均大于零（即正定）。

*3333结论：

二元函数在某点取得二元函数在某点取得极小值极小值的的充分条件充分条件是要是要求求该点处的海赛矩阵为正定该点处的海赛矩阵为正定。

且且对于二元函数于二元函数在在处取得极处取得极值的值的充分必要条件充分必要条件是：

参见教材例题参见教材例题P32P32*34343、多元函数、多元函数对于多元函数于多元函数若在若在处取得处取得极值极值，则，则必要条件：

必要条件：

充分条件：

正定正定或负定或负定*3535当极值点当极值点x*x*能使能使f（x*）f（x*）在整个可行域中为最小在整个可行域中为最小值时，即在整个可行域中对任一值时，即在整个可行域中对任一xx都都f（x）=f（x*）,f（x）=f（x*）,则则x*x*为为全域最优点（全域极小点）。

全域最优点（全域极小点）。

若若f（x*）f（x*）为局为局部可行域中的极小值而非整个可行域的最小值时，部可行域中的极小值而非整个可行域的最小值时，则称则称x*x*为为局部最优点或相对最优点局部最优点或相对最优点。

优化的目标。

优化的目标是全域最优点。

为了判断某个极值点是否为全域是全域最优点。

为了判断某个极值点是否为全域最优点，研究函数的凸性是必要的。

最优点，研究函数的凸性是必要的。

第四节第四节凸集、凸函数与凸规划凸集、凸函数与凸规划*3636函数的凸性表现为函数的凸性表现为单峰性单峰性。

对于具有凸性特点的函数。

对于具有凸性特点的函数来说，其极值点只有一个，因而该点既是局部最优亦是全来说，其极值点只有一个，因而该点既是局部最优亦是全域最优点。

域最优点。

为了研究函数的凸性，下面引入为了研究函数的凸性，下面引入凸集凸集的概念：

的概念：

*373711、凸集、凸集如果如果对一切一切及一切满足及一切满足的的实数数，点点则称集合则称集合为凸集凸集，否，否则称称为非凸集。

非凸集。

yyxx22xx11若若yy是是xx11和和xx22连线上的点，则有连线上的点，则有整理后即得整理后即得图图2-8二维空间的凸集与非凸集二维空间的凸集与非凸集*3838凸集的性质：

凸集的性质：

若若D为凸集，为凸集，为一个实数，则集合为一个实数，则集合仍是凸集；

仍是凸集；

若若D和和F均为凸集，则其和（或并）仍是凸集；

均为凸集，则其和（或并）仍是凸集；

任何一组凸集的积（或交）仍是凸集。

图图2-9凸集的性质凸集的性质*393922、凸函数、凸函数具有凸性（表现为单峰性）或只有唯一的局具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全域最优值的函数，称为凸函数或部最优值亦即全域最优值的函数，称为凸函数或单峰函数。

其数学定义是：

单峰函数。

设设f（x）f（x）为定义在为定义在nn维欧式空间中的一个凸集维欧式空间中的一个凸集DD上上的函数，如果对于任何实数的函数，如果对于任何实数以及对以及对DD中任意两点中任意两点xx11，xx22恒有：

恒有：

则则为为DD上的凸函数，若不满足上式，则为上的凸函数，若不满足上式，则为凹函数。

凹函数。

如式中的等号去掉，则称其为严格凸如式中的等号去掉，则称其为严格凸函数。

函数。

*4040凸函数的凸函数的几何意义几何意义：

在函数曲线上取任意两点连：

在函数曲线上取任意两点连成一直线段，则该线段上任一点的纵坐标值必大成一直线段，则该线段上任一点的纵坐标值必大于或等于该点处的原函数值。

于或等于该点处的原函数值。

*4141凸函数的性质凸函数的性质1）若）若f（x）为定义在凸集为定义在凸集D上的一个凸函数，对于任上的一个凸函数，对于任意实数意实数a0，则，则af（x）也是凸集也是凸集D上的凸函数；

上的凸函数；

2）定义在凸集）定义在凸集D上的两个凸函数上的两个凸函数f1（x）,f2（x），其和，其和f1（x）+f2（x）亦为该凸集上的一个凸函数；

亦为该凸集上的一个凸函数；

3）若）若f1（x）,f2（x）为定义在凸集为定义在凸集D上的两个凸函数，