优化设计的数学基础第02章-1PPT推荐.ppt

1、则则二元函数梯度的模二元函数梯度的模二元函数梯度的模二元函数梯度的模 梯度方向是函数值变化最梯度方向是函数值变化最梯度方向是函数值变化最梯度方向是函数值变化最快的方向；快的方向；而梯度的模就是函数变化而梯度的模就是函数变化率的最大值率的最大值。梯度方向与等值线的关系梯度方向与等值线的关系设：设：则有则有 为单位向量。为单位向量。.2 2、多元函数的梯度、多元函数的梯度、多元函数的梯度、多元函数的梯度 函数的梯度方向与函数等值面相垂直，也就是和等值面上过函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。的一切曲线相垂直。由于梯度的模因点而异，即函数在不同点处的最大变化率是

2、由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种不同的。因此，梯度是函数的一种局部性质局部性质。多元函数梯度的模多元函数梯度的模性质一性质一性质一性质一 函数在某点的梯度不为零，则必与过该点的等值面函数在某点的梯度不为零，则必与过该点的等值面函数在某点的梯度不为零，则必与过该点的等值面函数在某点的梯度不为零，则必与过该点的等值面垂直；垂直；梯度方向与等值面的关系梯度方向与等值面的关系梯度两个重要性质梯度两个重要性质梯度两个重要性质梯度两个重要性质性质二性质二性质二性质二 梯度方向是函数梯度方向是函数梯度方向是函数梯度方向是函数具有最大变化率的方具有最大变化率的

3、方具有最大变化率的方具有最大变化率的方向。向。例题例题1求函数求函数 在点在点3,2T 的的 梯度。梯度。在点在点x（1）=3,2T处的梯度为：处的梯度为：解：则函数在则函数在 处的最速下降方向是处的最速下降方向是解：则，新点是则，新点是这个方向上的单位向量是：这个方向上的单位向量是：例题例题例题例题2 2 试求目标函数试求目标函数 f（x1,x2）=3x12-4x1x2+x22 在点在点 X0=0,1T 处的最处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。函数值。由于由于三、几个常用的梯度公式三、几个常用的梯度公式

4、当当极极值值点点X X*能能使使f f（X X*）在在整整个个可可行行域域中中为为最最小小值值时时，即即在在整整个个可可行行域域中中对对任任一一X X都都有有f f（X X）f f（X X*）时时，则则X X*就就是是最最优优点点，且称为且称为全域最优点或整体最优点全域最优点或整体最优点全域最优点或整体最优点全域最优点或整体最优点。若若f f（X X*）为为局局部部可可行行域域中中的的极极小小值值而而不不是是整整个个可可行行域域中中的的最最小值时，则称小值时，则称X X*为为局部最优点或相对最优点局部最优点或相对最优点局部最优点或相对最优点局部最优点或相对最优点。最最优优化化设设计计的的目目标

5、标是是全全域域最最优优点点。为为了了判判断断某某一一极极值值点点是是否否为全域最优点，研究一下函数的凸性很有必要。为全域最优点，研究一下函数的凸性很有必要。第二节第二节 凸集、凸函数与凸规划凸集、凸函数与凸规划设设D为为n维欧氏空间中的一个集合，若其中任意两点维欧氏空间中的一个集合，若其中任意两点X（1）、X（2）之间的联接直线都属于之间的联接直线都属于R，则称这种集合，则称这种集合R为为n维欧氏空间的维欧氏空间的一个凸集。一个凸集。图（图（a）是二维空间的一个凸集，而（是二维空间的一个凸集，而（b）不是。）不是。一、凸集一、凸集X X（1 1）、X X（2 2）两点之间的连接直线，可用数学式

6、表达为两点之间的连接直线，可用数学式表达为:（0101）则：则：1 1）若）若R R 为凸集，为凸集，是一个实数，则集合是一个实数，则集合R R 仍是凸集；仍是凸集；2 2）若）若D D 和和F F 均为凸集，则其和（或并）仍是凸集；均为凸集，则其和（或并）仍是凸集；3 3）任何一组凸集的积（或交）仍是凸集。）任何一组凸集的积（或交）仍是凸集。凸集的性质凸集的性质具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全域最优值的函数，称为凸函数或单峰函数。域最优值的函数，称为凸函数或单峰函数。其数学定义是：设设 f（X）为定义在为定义在 n维欧氏

7、空间中的一个凸集维欧氏空间中的一个凸集R上的函数，如上的函数，如果对任何实数果对任何实数（0 0），），则则 af（X）也必是定义在凸集也必是定义在凸集D D上的凸函数；上的凸函数；3 3）若若f1 1（X X），f2 2（X X）为定定义在在凸凸集集D D上上的的两两个个凸凸函函数数，和和为两个任意正数，两个任意正数，则函数函数fl l（X X）f2 2（X X）仍仍为D D上的凸函数上的凸函数。2 2）定定义在在凸凸集集D D上上的的两两个个凸凸函函数数f1 1（X X），f2 2（X X），其其函函数数和和 f（X X）=f1 1（X X）f2 2（X X）亦必亦必为该凸集上的一个凸函数

8、；凸集上的一个凸函数；凸函数的一些性质凸函数的一些性质怎样确定一个函数是否具有凸性？怎样确定一个函数是否具有凸性？1 1）若若f（X X）为定定义在在凸凸集集R R上上且且具具有有连续一一阶导数数的的函函数数，则f（X X）在）在R R上上为凸函数的充分必要条件凸函数的充分必要条件为：对任意两点任意两点X X（1 1），X X（2 2），不等式不等式恒成立恒成立 2 2）若若f（X X）为定定义在在凸凸集集R R上上,且且具具有有连续二二阶导数数的的函函数，数，则f（X X）在）在R R上上为凸函数的充分必要条件凸函数的充分必要条件为：海海赛矩矩阵G（xG（x）在在D D上上处处半正定。半正定

9、。三、凸性条件三、凸性条件几何意义？凸性条件凸性条件凸性条件凸性条件 例题例题例题例题判断函数判断函数f（X）=4x12+8x22+x32-2x2-x1x2+30是凸集是凸集D上的一个凸上的一个凸函数，函数，D=X|-xi 0则二次型函数则二次型函数f（x）正定，正定，G为正定矩阵。为正定矩阵。优化计算中，在研究某点邻域的极值问题使常需要分析二次优化计算中，在研究某点邻域的极值问题使常需要分析二次型函数是否正定。型函数是否正定。三、泰勒展开三、泰勒展开三、泰勒展开三、泰勒展开 例题例题例题例题解：函数在点解：函数在点x（1）处的函数值、梯度和二阶导数矩阵：处的函数值、梯度和二阶导数矩阵：用泰勒展开将函数用泰勒展开将函数在点在点处简化成线性函数与二次函数。处简化成线性函数与二次函数。简化的线性函数简化的线性函数简化的二次函数简化的二次函数而而 x=