现代设计方法课件第2节.ppt

1、现代设计方法现代设计方法第三章第三章 优化设计优化设计Optimization Design现代设计方法现代设计方法本章主要内容本章主要内容 优化设计概述优化设计概述 优化问题的数学分析基础优化问题的数学分析基础 一维探索优化方法一维探索优化方法 无约束多维问题的优化方法无约束多维问题的优化方法 约束问题的优化方法约束问题的优化方法 多目标函数的优化方法多目标函数的优化方法 LINGO在优化设计中的应用在优化设计中的应用现代设计方法现代设计方法3.2 3.2 优化设计的数学分析基础优化设计的数学分析基础优化设计的本质：求极值。优化设计的本质：求极值。1.1.函数的泰勒展开函数的泰勒展开 为便于

2、对多变量问题进行数学分析和求解，往往需为便于对多变量问题进行数学分析和求解，往往需要采用线性函数和二次函数替代简化目标函数。要采用线性函数和二次函数替代简化目标函数。（1 1）一元函数的）一元函数的f(X)泰勒展开：泰勒展开：若若f(x)在含有在含有x(0)处的某处的某个开区间内直到（个开区间内直到（n+1）阶可导，只要开区间（）阶可导，只要开区间（a,b）足）足够小够小,则该函数在则该函数在（a,b）内）内x(0)点点处的二阶泰勒展开式处的二阶泰勒展开式为：为：现代设计方法现代设计方法（2）二元函数）二元函数f(x1，x2)的泰勒展开：的泰勒展开：现代设计方法现代设计方法现代设计方法现代设计

3、方法（3）多元函数）多元函数f(x1，x2,xn)的泰勒展开：的泰勒展开：现代设计方法现代设计方法（3）多元函数）多元函数f(x1，x2,xn)的泰勒展开：的泰勒展开：:目标函数目标函数f(X)在点在点X(0)的所有一阶偏导数组成的所有一阶偏导数组成的矩阵向量的矩阵向量(一阶导数矩阵向量或梯度）一阶导数矩阵向量或梯度）:目标函数目标函数f(X)在点在点X(0)的所有二阶偏导数组成的所有二阶偏导数组成的矩阵的矩阵(二阶导数矩阵或海色矩阵，记作二阶导数矩阵或海色矩阵，记作H(X)），），nn阶对称矩阵阶对称矩阵现代设计方法现代设计方法2.2.目标函数极值的存在性目标函数极值的存在性优化设计的首要工

4、作是判断极值的存在性，如不存在极优化设计的首要工作是判断极值的存在性，如不存在极值，优化设计无意义。值，优化设计无意义。（1 1）无约束无约束目标函数极值的存在性目标函数极值的存在性目标函数为一元函数目标函数为一元函数 f(x)f(x)在点在点x(0)(0)处有极值的充要条件为：处有极值的充要条件为：时，有极小值；时，有极小值；时，有极大值。时，有极大值。现代设计方法现代设计方法一元函数的极值点一元函数的极值点极小值点极小值点0 xyy=f(x)x00 xyy=f(x)x00yy=f(x)x0极大值点极大值点不存在极值点不存在极值点现代设计方法现代设计方法目标函数为多元函数目标函数为多元函数

5、f(x1，x2,xn)f(X)在点在点X(0)处有极值的充要条件为：处有极值的充要条件为：（必要条件）（必要条件）（充分条件）（充分条件）正定正定时，有极小值；时，有极小值；（必要条件）（必要条件）（充分条件）（充分条件）负定负定时，有极大值；时，有极大值；现代设计方法现代设计方法附：附：如何判断矩阵正定？如何判断矩阵正定？方法：方法：各阶主子式都大于各阶主子式都大于0对矩阵对矩阵A=(aij)n n，其子式，其子式称为称为A的顺序主子式的顺序主子式即要求即要求现代设计方法现代设计方法附：附：如何判断矩阵如何判断矩阵负定？负定？所有所有奇数阶顺序主子式小于零奇数阶顺序主子式小于零，所有，所有偶

6、数阶顺序主偶数阶顺序主子式大于零子式大于零。如何判断矩阵如何判断矩阵半正定？半正定？各阶顺序主子式各阶顺序主子式大于或等于零，其中至少有一个主大于或等于零，其中至少有一个主子式等于子式等于0 0。现代设计方法现代设计方法【例例 5】试证明函数试证明函数 在点在点 处具有极小值。处具有极小值。解：解：将将 代入得代入得H(X(0)正定，目标函数在（正定，目标函数在（2,4）处具有极小值。）处具有极小值。现代设计方法现代设计方法（2）目标函数的凸性）目标函数的凸性目标函数的极值点一般是相对于它附近的局部区域中目标函数的极值点一般是相对于它附近的局部区域中的各点而言的，目标函数在其整个可行区域中，有

7、时的各点而言的，目标函数在其整个可行区域中，有时可能存在可能存在许多个极值点许多个极值点，优化设计时应力求找到，优化设计时应力求找到多个多个极值点中的最小值点极值点中的最小值点，即，即全局最优点全局最优点或或整体最优点整体最优点，其它非最小值的极值点称为其它非最小值的极值点称为局部最优点局部最优点或或相对最优点相对最优点。凸性：凸性：单峰性单峰性，目标函数若为凸性，极值点只有一个，目标函数若为凸性，极值点只有一个，即为全局最优点。即为全局最优点。现代设计方法现代设计方法 凸集：凸集：假设在假设在n维欧式空间维欧式空间 Rn 中有一个集合中有一个集合D，即，即D Rn，若，若D内任意两点之间的连

8、接直线都属于集合内任意两点之间的连接直线都属于集合D,则则D为为n维欧式空间内的一个维欧式空间内的一个凸集凸集，否则为否则为非凸集非凸集。如果将如果将X(1),X(2)之间的连接直线用之间的连接直线用 X=X(1)+(1-)X(2)表达，则凸集的数学表达式为：表达，则凸集的数学表达式为：若若X(1),X(2)D,则则 X=X(1)+(1-)X(2)D现代设计方法现代设计方法x2x1x(2)x(1)x2x1x(2)x(1)凸集凸集非凸集非凸集凸集的几何特征凸集的几何特征：其任意两点连线上的一切点都位于这个几何内。其任意两点连线上的一切点都位于这个几何内。现代设计方法现代设计方法凸函数：凸函数：凸

9、函数的数学表达式为：凸函数的数学表达式为：f(x)x2x1xf(x2)f(x1)凸函数的几何意义凸函数的几何意义现代设计方法现代设计方法判断函数判断函数f(X)为为凸函数的充要条件：凸函数的充要条件：方法方法1：若函数若函数f(X)在在D上具有上具有一阶的连续导数一阶的连续导数，对任意，对任意两点两点X(1),X(2),f(X)为凸函数的充要条件是为凸函数的充要条件是:恒成立恒成立方法方法2：若函数若函数f(X)在在D上具有上具有二阶的连续导数二阶的连续导数，则，则f(X)为凸函数的充要条件是为凸函数的充要条件是:H(X)处处半正定处处半正定凸性形态表现为凸性形态表现为下凸下凸时，函数为时，函

10、数为凸函数凸函数；凸性表现为；凸性表现为上凸上凸时，函数为时，函数为凹函数凹函数。现代设计方法现代设计方法 凸规划凸规划对于非线性规划对于非线性规划若其中若其中 f(X)和和 gu(X)均为凸函数均为凸函数,则这样的规划问题称则这样的规划问题称为为凸规划凸规划。现代设计方法现代设计方法（3）有约束目标函数极值的存在性）有约束目标函数极值的存在性目标函数有约束极值还是无约束极值，主要取决于约目标函数有约束极值还是无约束极值，主要取决于约束条件对极值和极值点的影响。同样的目标函数对于束条件对极值和极值点的影响。同样的目标函数对于不同的约束条件，可能出现不同的最优值和最优点，不同的约束条件，可能出现

11、不同的最优值和最优点，其原因在于不同的约束条件限制了设计变量不同的取其原因在于不同的约束条件限制了设计变量不同的取值范围。值范围。有约束最优问题需要解决的问题有约束最优问题需要解决的问题u 判断约束极值点存在的条件；判断约束极值点存在的条件；u 判断找到的极值点是全局最优点还是局部最优点。判断找到的极值点是全局最优点还是局部最优点。现代设计方法现代设计方法A.A.无约束最优点无约束最优点(目标函数的目标函数的自然极小值点自然极小值点)为可行域的为可行域的内点，此时目标函数的最优内点，此时目标函数的最优点就是约束问题的最优点；点就是约束问题的最优点；约束最优点和无约束最优点的相互关系：约束最优点

12、和无约束最优点的相互关系：现代设计方法现代设计方法B.B.无约束最优点无约束最优点(目标函数的自目标函数的自然极小值点然极小值点)在可行域外，约在可行域外，约束问题的最优点是束问题的最优点是约束边界约束边界上的一点上的一点，该点是约束边界，该点是约束边界与目标函数一条等值线（面）与目标函数一条等值线（面）的切点；的切点；(等值线在函数值下降方向上与等值线在函数值下降方向上与可行域的最后一个交点可行域的最后一个交点)可行域外可行域外 现代设计方法现代设计方法对于等式约束问题对于等式约束问题 等式约束的极值条件等式约束的极值条件可以建立拉格朗日函数可以建立拉格朗日函数(把有约束问题转化为无约束问题

13、把有约束问题转化为无约束问题)其中其中,=(1,2,n)T为拉格朗日向量。为拉格朗日向量。现代设计方法现代设计方法这这就是等式约束问题在就是等式约束问题在点点X*取得极值的必要条件，取得极值的必要条件，它的含义是：它的含义是：在等式约束问题的极值点上，目标函数的负梯度等在等式约束问题的极值点上，目标函数的负梯度等于诸约束函数在该点梯度的线性组合。于诸约束函数在该点梯度的线性组合。令令L(X,)=0,即可得到即可得到现代设计方法现代设计方法对于不等式约束问题对于不等式约束问题 不等式约束的极值条件不等式约束的极值条件可以通过引入可以通过引入m个个松弛变量松弛变量将不等式约束变成等式约束将不等式约

14、束变成等式约束现代设计方法现代设计方法然后类似地建立拉格朗日函数然后类似地建立拉格朗日函数 等式约束等式约束其中其中:X=(xn+1,xn+2,xn+m)T为松弛变量组成的向量为松弛变量组成的向量令令 L(X,X)=0,即即现代设计方法现代设计方法）若若 u 0，则必有则必有xn+u=0和和gu(X*)=0，这说明点这说明点X*在在约束边界约束边界gu(X)=0上，上，gu(X)0为点为点X*的起作用约束。的起作用约束。由于约束条件形式为由于约束条件形式为“0”，也就是说约束函数的梯也就是说约束函数的梯度方向指向可行域外度方向指向可行域外（与目标函数的梯度方向相反），（与目标函数的梯度方向相反

15、），因此，必有因此，必有 u 0；现代设计方法现代设计方法以上两点可以统一用一个条件来表示：以上两点可以统一用一个条件来表示：）若）若 u=0，则必有则必有 f(X*)=0现代设计方法现代设计方法K-T（Kuhn-Tucker)条件：条件：设设 gi(X)0(i Ik)是点是点X(k)的的n个起作用约束，且个起作用约束，且X(k)是极值点，则必有是极值点，则必有 若点若点X(k)是函数是函数f(X)的极值点，要么的极值点，要么 f(X(k)=0（此时（此时 i=0），），要么目标函数在该点的要么目标函数在该点的负梯度等于该点所有负梯度等于该点所有起作用约束梯度的非负线性组合起作用约束梯度的非负

16、线性组合(此时此时 i0）。）。现代设计方法现代设计方法满足满足K-T条件条件的点称为的点称为K-T点点。对于一般对于一般非线性规划问题非线性规划问题，K-T点一定是点一定是约束极值点约束极值点，但却不一定是但却不一定是全域最优点全域最优点。一般采用。一般采用多初始点多初始点下的极下的极值点是否都值点是否都逼近同一点逼近同一点（可看成最优点）的近似方法（可看成最优点）的近似方法来判别。来判别。但是，对于但是，对于目标函数目标函数为为凸函数凸函数，可行域为凸集可行域为凸集的的凸规凸规划划问题，问题，K-T点点一定是一定是全域最优点全域最优点。现代设计方法现代设计方法 Eg:用用KT条件判断点条件判断点X*=(2 0)T是否是下列约束是否是下列约束优化问题的约束极值点。优化问题的约束极值点。现代设计方法现代设计方法解题步骤：解题步骤：1）找出起作用约束）找出起作用约束1）求）求 f(X*),gu(X*)2）令）令3）判断是否存在）判断是否存在 u0使上式成立使上式成立现代设计方法现代设计方法解：在点解：在点 X*=2 0T处处起作用的约束为起作用的约束为 g1(X)、g2(X)，相关函数在