最优化方法课件01.1.ppt

最优化方法课件01.1.ppt

《最优化方法课件01.1.ppt》由会员分享，可在线阅读，更多相关《最优化方法课件01.1.ppt（41页珍藏版）》请在冰豆网上搜索。

最优化原理与方法辽宁科技大学理学院辽宁科技大学理学院任课教师：

陶玉敏前言前言一、什么是最优化一、什么是最优化最优化是一门应用性相当广泛的学科，它讨论决策最优化是一门应用性相当广泛的学科，它讨论决策问题的最佳选择之特性，寻找最佳的计算方法，研究这问题的最佳选择之特性，寻找最佳的计算方法，研究这些计算方法的理论性质及其实际计算表现。

些计算方法的理论性质及其实际计算表现。

应用范围：

信息工程及设计、经济规划、生产管理、交应用范围：

信息工程及设计、经济规划、生产管理、交通运输、国防工业以及科学研究等诸多领域。

通运输、国防工业以及科学研究等诸多领域。

22二、包含的内容二、包含的内容按照优化思想分为经典方法与现代方法。

按照优化思想分为经典方法与现代方法。

经典方法主要包括：

线性规划、非线性规划、整数规经典方法主要包括：

线性规划、非线性规划、整数规划、动态规划等划、动态规划等现代方法主要包括：

随机规划、模糊规划、模拟退火现代方法主要包括：

随机规划、模糊规划、模拟退火算法、遗传算法、禁忌搜索和人工神经网络等。

算法、遗传算法、禁忌搜索和人工神经网络等。

我们学习的内容主要是经典的最优化方法。

我们学习的内容主要是经典的最优化方法。

内容包括线性规划及其对偶规划，无约束最优化方法、内容包括线性规划及其对偶规划，无约束最优化方法、约束最优化方法等主要内容。

约束最优化方法等主要内容。

33三、学习方法三、学习方法1、认真听讲，课后及时复习巩固，并主动完成课、认真听讲，课后及时复习巩固，并主动完成课后习题。

后习题。

2、多看参考书，通过不同学者的讲述，全方位理、多看参考书，通过不同学者的讲述，全方位理解最优化方法的思想方法和应用，特别是计算方法。

解最优化方法的思想方法和应用，特别是计算方法。

3、学以致用，通过最优化方法的学习，培养研究、学以致用，通过最优化方法的学习，培养研究生数学建模的能力和解决实际问题的能力。

大家可生数学建模的能力和解决实际问题的能力。

大家可以尝试对于一些实际问题，先建立数学模型，转化以尝试对于一些实际问题，先建立数学模型，转化为数学问题，通过一些算法解决。

为数学问题，通过一些算法解决。

44四四、主要参考书、主要参考书1、薛嘉庆、薛嘉庆最优化原理与方法最优化原理与方法冶金工业出版社冶金工业出版社2、陈宝林、陈宝林最优化理论与算法最优化理论与算法清华大学出版社清华大学出版社3、席少霖、席少霖非线性最优化方法非线性最优化方法高等教育出版社高等教育出版社4、邓乃扬、邓乃扬诸梅芳诸梅芳最优化方法最优化方法辽宁教育出版社辽宁教育出版社5、袁亚湘、袁亚湘最优化理论与方法最优化理论与方法科学出版社科学出版社6、薛、薛毅毅最优化原理与方法最优化原理与方法7、曹卫华、曹卫华最优化技术方法及最优化技术方法及MATLAB的实现的实现化学化学工业出版社工业出版社55第一章第一章最优化问题与数学预备最优化问题与数学预备知识知识1.1最优化问题实例最优化问题实例77例例1.1.1运输问题运输问题设有设有m个水泥厂个水泥厂A1,A2,Am,年产量各为年产量各为a1,a2,am吨吨.有有k个城市个城市B1,B2,Bk用这用这些水泥厂生产的水泥些水泥厂生产的水泥,年需求量年需求量b1,b2,bk吨吨.再设由再设由Ai到到Bj每吨水泥的运价为每吨水泥的运价为cij元元.假设假设产销是平衡的产销是平衡的,即即:

试设计一个调运方案试设计一个调运方案,在满足需要的同时使总在满足需要的同时使总运费最省运费最省.88A1由题意可画出如下的运输费用图由题意可画出如下的运输费用图:

B2AmB1A2Bk产量产量需求量需求量设设AiBj的水泥量为的水泥量为xij,已知已知AiBj单价为单价为cij,单单位为元位为元,则总运费为则总运费为:

99数学模型数学模型:

注注:

平衡条件平衡条件作为已知条件并不作为已知条件并不出现在约束条件中出现在约束条件中.1010例例1.1.2生产计划问题设某工厂有设某工厂有m种资源种资源B1,B2,Bm,数量分别数量分别为为:

b1,b2,bm,用这些资源产用这些资源产n种产品种产品A1,A2,An.每生产一个单位的每生产一个单位的Aj产品需要产品需要消耗资源消耗资源Bi的量为的量为aij,根据合同规定根据合同规定,产品产品Aj的的量不少于量不少于dj.再设再设Aj的单价为的单价为cj.问如何安排生产计划问如何安排生产计划,才能既完成合同才能既完成合同,又使又使该厂总收入最多该厂总收入最多?

1111假设产品假设产品Aj的计划产量为的计划产量为xj.由题意可画出如下的生产与消耗的关系图由题意可画出如下的生产与消耗的关系图:

B1B2BmAnA2A1消耗消耗1212数学模型数学模型1313例例1.1.3指派问题指派问题设有四项任务设有四项任务B1,B2,B3,B4派四个人派四个人A1,A2,A3,A4去完成去完成.每个人都可以承担四项任务中每个人都可以承担四项任务中的任何一项的任何一项,但所消耗的资金不同但所消耗的资金不同.设设Ai完成完成Bj所需资金为所需资金为cij.如何分配任务如何分配任务,使总支出最少使总支出最少?

设变量设变量指派指派Ai完成完成bj不指派不指派Ai完成完成bj1414则总支出可表示为则总支出可表示为:

数学模型数学模型:

1515例例1.1.4数据拟合问题数据拟合问题在实验数据处理或统计资料分析中常遇在实验数据处理或统计资料分析中常遇到如下问题到如下问题.设两个变量设两个变量x和和y,已知存在函数关已知存在函数关系系,但其解析表达式或者是未知的或者虽然为但其解析表达式或者是未知的或者虽然为已知的但过于复杂已知的但过于复杂.设已取得一组数据设已取得一组数据:

（xi,yi）i=1,2,m.根据这一组数据导出函数根据这一组数据导出函数y=f（x）的一个简单而的一个简单而近似的解析表式近似的解析表式.1616最小二乘法最小二乘法解这种问题常用的方法是最小二乘法解这种问题常用的方法是最小二乘法,以一个以一个简单的函数序列简单的函数序列jj1（x）,jj2（x）,jjn（x）为基本函数为基本函数.一般选取一般选取1,x,x2,xn为基本函数为基本函数,即以即以作为近似表达式作为近似表达式.1717最小二乘法最小二乘法系数的选取要使得下面得平方和最小系数的选取要使得下面得平方和最小:

因此因此,数据拟合问题得数学模型为数据拟合问题得数学模型为其中其中xi,yi（i=1,2,m）及及jjj（x）（j=0,1,n）为已知为已知.18181.2最优化问题的基本概念最优化问题的基本概念1919最优化问题的一般形式为最优化问题的一般形式为:

（1.1）（目标函数目标函数）（1.3）（不等式约不等式约束束）（1.2）（等式约束等式约束）其中其中x是是n维向量维向量.在实际应用中在实际应用中,可以将求最大值的目标函数取可以将求最大值的目标函数取相反数后统一成公式中求最小值的形式相反数后统一成公式中求最小值的形式.我们总是讨论我们总是讨论PP:

2020相关定义相关定义定义定义1.2.1（可行解可行解）满足约束条件满足约束条件（1.2）和和（1.3）的的x称为可行解称为可行解,也称为可行点或容许点也称为可行点或容许点.定义定义1.2.2（可行域可行域）全体可行解构成的集合称为全体可行解构成的集合称为可行域可行域,也称为容许集也称为容许集,记为记为D,即即:

D=x|hi（x）=0,i=1,m,gj（x）0,j=1,p,xRn.若若hi（x）,gj（x）为连续函数为连续函数,则则D为闭集为闭集.2121相关定义相关定义定义定义1.2.3（整体最优解整体最优解）若若x*D,对于一切对于一切xD恒有恒有f（x*）f（x）,则称则称x*为最优化问题为最优化问题（P）的整体最优解的整体最优解.若若x*D,xx*,恒有恒有f（x*）f（x）,则称则称x*为最优为最优化问题化问题（P）的严格整体最优解的严格整体最优解.2222定义定义1.2.4（局部最优解局部最优解）若若x*D,存在存在x*的某的某邻域邻域Nee（x*）,使得对于一切使得对于一切xDNee（x*）,恒有恒有f（x*）f（x）,则称则称x*为最优化问题为最优化问题（P）的局部最优的局部最优解解,其中其中Nee（x*）=x|x-x*|0.当当xx*时时,若上面的不等式为严格不等式则称若上面的不等式为严格不等式则称x*为问题为问题（P）的严格局部最优解的严格局部最优解.显然显然,整体最优解一定是局部最优解整体最优解一定是局部最优解,而局部最而局部最优解不一定是整体最优解优解不一定是整体最优解.x*对应的目标函数值对应的目标函数值f（x*）称为最优值，记为称为最优值，记为f*.2323相关定义相关定义求解最优化问题求解最优化问题（P）,就是求目标函数就是求目标函数f（x）在约在约束条件束条件（1.2）,（1.3）下的极小点下的极小点,实际上是求可实际上是求可行域行域D上的整体最优解上的整体最优解.但是但是,在一般情况下在一般情况下,整体最优解是很难求出的整体最优解是很难求出的,往往只能求出局部往往只能求出局部最优解最优解.在求解时需要范数的概念，以下给出定义。

在求解时需要范数的概念，以下给出定义。

2424向量范数向量范数定义定义1.2.5如果向量如果向量xRn的某个实值函数的某个实值函数|x|,满足条件满足条件

（1）|x|0（|x|=0当且仅当当且仅当x=0）（正定性正定性）;

（2）|aax|=|aa|x|（对于任意对于任意aaR）;（3）|x+y|x|+|y|（三角不等式三角不等式）;则称则称|x|为为Rn上的一个向量范数上的一个向量范数.2525常用的向量范数常用的向量范数1-范数范数2-范数范数（欧氏范数欧氏范数）-范数范数p-范数范数-范数是范数是p-范数的极限范数的极限2626常用的向量范数常用的向量范数对向量对向量x=（1,-2,3）T,有有|x|p是是p的单调递减函数的单调递减函数.2727最优化问题的分类最优化问题的分类根据数学模型中有无约束函数分为有约束的根据数学模型中有无约束函数分为有约束的最优化问题和无约束的最优化问题最优化问题和无约束的最优化问题.根据目标函数和约束函数的函数类型分类根据目标函数和约束函数的函数类型分类:

线线性最优化问题性最优化问题,非线性最优化问题非线性最优化问题,二次规划二次规划,多目标规划多目标规划,动态规划动态规划,整数规划整数规划,0-1规划规划.28281.3梯度与梯度与Hesse矩阵矩阵2929n元函数元函数其中其中都是都是实常数，且常数，且。

矩阵形式矩阵形式其中其中是是对称矩称矩阵，3030设如果存在如果存在维向量维向量,对于任意的对于任意的维向量维向量使得使得那么称函数那么称函数在点在点处可微。

可微。

若令若令便得到（便得到（1.4）的等价形式）的等价形式（1.5）（1.4）n元函数的可微性元函数的可微性3131n元函数的梯度元函数的梯度梯度：

多元函数梯度：

多元函数关于关于的的一阶导数一阶导数定理：

定理：

若若在点在点处可微，可微，则在在该点关于各个点关于各个变量的一量的一阶偏偏导数存在，并且数存在，并且3232方向方向导数数设在点在点处可微，可微，是非是非零向量零向量方向上的方向上的单位向量。

位向量。

则称其称其为函数函数在点在点处沿沿方向的方向的方向导数，方向导数，记作作思考：

思考：

与与的异同？

的异同？

如果极限如果极限存在，存在，3333Hesse矩阵：

多元函数矩阵：

多元函数关于关于的二阶偏导的二阶偏导数矩阵数矩阵3434例：

求目标函数的梯度和例：

求目标函数的梯度和Hesse矩阵。

矩阵。

解：

因为解：

因为则则3535例：

求目标函数的梯度和例：

求目标函数的梯度和Hesse矩阵。

矩阵。

又因为：

又因为：

故故Hesse阵为：

阵为：

3636下面几个公式是今后常用到的：

下面几个公式是今后常用到的：

（1），则则

（2），则，则（3），Q对称，则对称